JPH03124124A - フレーム間／フレーム内適応符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 直交変換後の係数領域の係数データを符号化して伝送す
るにあたり、フレーム間符号化とフレーム内符号化とを
切り替えるためのフレーム間／フレーム内適応符号化方
式に関し、 直交変換領域の交流係数をいくつかの周波数バンドに対
応してグループ化し、それぞれのグループについてフレ
ーム内符号化とフレーム間符号化との選択を行うことを
目的とし、 フレーム間符号化とフレーム内符号化とを切り替えて該
２符号化方式のいずれかにより入力画像データの直交変
換後の係数領域における係数を符号化するフレーム間ｌ
フレーム内適応符号化方式において、前記直交変換後の
係数領域における直流から高周波までの周波数成分を表
す係数のうちで直流成分を表す係数を除いた複数の係数
を複数の周波数帯域に対応する複数のグループにグルー
プ化し、該複数の各グループに対して、自グループ内の
交流成分の係数に対する全てのフレーム間係数信号とフ
レーム内係数信号とが入力され、該全フレーム間係数信
号の２乗和か該全フレーム内係数信号の２乗和より小さ
い時に該フレーム間係数信号を出力し、逆に該全フレー
ム内係数信号の２乗和が該全フレーム間係数信号の２乗
和より小さい時には該フレーム内係数信号を出力するフ
レーム間ｌフレーム内係数信号選択手段と、該フレーム
間ｌフレーム内係数信号選択手段からの制御信号に応じ
て、該フレーム間ｌフレーム内係数信号選択手段の出力
がフレーム間係数信号の時には該出力を可変長符号化し
、該出力がフレーム内係数信号の時には該出力を固定長
符号化して出力する可変長符号化手段とをそれぞれ備え
るように構成する。

〔産業上の利用分野〕

本発明は画像データのディジタル伝送方式に係り、さら
に詳しくは直交変換後の係数領域の係数データを符号化
して伝送するにあたり、フレーム間符号化とフレーム内
符号化とを切り替えるためのフレーム間ｌフレーム内適
応符号化方式に関する。

〔従来の技術〕

最近画像機器のディジタル化、画像ディジタル信号の伝
送方式などが、テレビ電話など多くの応用分野で広く開
発、研究されている。一般に画像データはその情報量が
非常に多い０例えば現在のテレビをそのままディジタル
化すると１００Ｍｂ／Ｓの伝送容量が必要であり、画像
データは音声の１５００倍の情報量を持っている。テレ
ビでは１秒間に画面が３０回切り替わり、１／３０秒で
フレームが切り替えられる。１枚のフレームに対応する
１画面上に画素は一般的に２次元的に配置されており、
１画素のレベルを例えば８ビツトで表すとしても、１フ
レームに対する画像データは非常にその情報量が多くな
る。

しかしながらテレビでｌ／３０秒でフレームか切り替え
られる場合にも、各フレームの絵の内容はあまり大きく
変化しないことが多い。すなわち画像は空や背景などの
ように全体的に止まっている部分が多く、フレーム毎に
変化する部分が少ない。そこで画像データを圧縮して符
号化する１つの方式としてフレーム間符号化方式がある
。

フレーム間符号化方式では時間的に連続する２つのフレ
ームの間で例えば対応する画素毎に、レベルデータの差
がとられ、その差が例えばハフマン符号化されて伝送路
上に送出される。大部分の画素に対するレベルが変化し
ないとすると、それらの画素に対する差はＯとなり、そ
の差は１ビツトで表すことができる。レベル差の大きい
画素に対する符号は８ビツト以上必要となるが、これら
の差分だけを符号化することにより、結果として伝送す
べき情報量が大きく圧縮されることになる。

これに対してｌフレーム内のデータをそのまま符号化す
る方式はフレーム内符号化方式と呼ばれる。

フレーム間符号化、フレーム内符号化のいずれを用いる
としても、画像信号のディジタル表現には標本化および
量子化の２つの操作が基本的に必要になる０画像の標本
化には２つの方法があり、その第１は画像をフレーム内
の画素に対応する離散的な点記列に対するレベル値で表
すことである。

第２の方法はフレーム面に対応するＸＹ平面で定義され
たレベル値関数（画像関数）を正規直交展開し、その展
開係数を標本値とすることである。

第８図は第２の方式である正規直交変換を用いた画像伝
送システムの全体ブロック図である。第８図において入
力画像は１でブロック化され、２で直交変換された後、
３で量子化され、４で例えばハフマン符号化されて送り
側から伝送路５に送り出される。そして、受信側では伝
送路５からの信号を６で復号化し、７で逆直交変換し、
８で逆ブロック化して画像データとして出力する。ここ
で１のブロック化は２次元のＫＸＫ個（１画面分）の画
素のデータを−まとめにして直交変換するのでなく、４
×４〜１６Ｘ１６個程度の画素を１ブロツクとしてブロ
ック単位に変換係数を求めることにより、変換時間を短
縮するために行われる。

２つの直交変換の種類としては、例えばアダマール変換
、コサイン変換、カルーネン、レーベ変換などがあるが
、近年ではコサイン変換の離散表現であり、後述するデ
ィスクリートコサイン変換（ＤＣＴ）がよく用いられて
いる。

第８図で用いられている直交変換符号化方式では画面内
の小領域の相関が着目され、小領域の画素を数値列とし
て直交変換が行われる。その結果得られる変換係数は周
波数成分に相当し、低周波から高周波までの各成分を表
している。画像信号では一般に低周波成分が電力的に大
きく高周波成分は電力的に小さいため、低周波成分には
多くのビット数、高周波成分には少ないビット数を割り
当てる量子化を行うことにより、伝送すべき情報量が削
減される。

第９図は４×４個の画素によって構成される１ブロツク
内の画像データに直交変換を施した後の変換係数領域を
示す図である。この変換係数領域において、一般に最も
左上の領域９は信号の直流成分を表し、またその他の領
域の係数は全て交流成分を表している。交流成分はそれ
ぞれ低周波から高周波までの各周波数に対応し、右下方
向にいくほどその周波数は高くなる。

第１０図は直交変換を用いた画像データ符号化システム
の従来例のブロック図である。同図において符号化シス
テムは入力画像データに対して、例えばディスクリート
コサイン変換などの直交変換を行う直交変換部１０、直
交変換部ｌＯの出力であるフレーム内係数信号と後述す
る減算器１４の出力としてのフレーム間係数信号とが入
力され、どちらの入力信号を出力するかを判定するフレ
ーム間／フレーム内判定部１１、フレーム間／フレーム
内判定部１１の出力を量子化する量子化器１２、量子化
器１２の出力を可変長符号化する可変長符号化部１３、
直交変換部１０の出力である現在のフレーム内係数信号
とフレームメモリ（ＦＭ）１５の出力、すなわち現在の
フレームより１フレーム前のフレーム内の対応する領域
の係数との差をとる減算器１４、フレーム間係数信号を
作るために前のフレーム内係数信号の値を各係数領域に
対して格納するフレームメモリ１５、量子化器１２の出
力を再び量子化前の信号、すなわちフレーム間／フレー
ム内判定部１１の出力形式に戻す逆量子化器１６、加算
器１７、およびＯ挿入部１８から成っている。

第１０図のような直交変換を用いる符号化方式において
フレーム間信号とフレーム内信号とのどちらを符号化す
るかを選択する場合には、従来−船釣に各ブロックのそ
れぞれについてブロックの直流成分を除いた交流成分に
相当する係数の２乗和、すなわちパワーの和とフレーム
間係数、すなわち予測誤差の２乗和であるパワーの和と
が比較され、２乗和の小さい方が選択されていた。これ
は直交変換係数を可変長符号化する場合に、雑音の源と
なる高周波成分による符号量の増加が問題になるためで
ある。

第１０図において現在のフレーム内の各ブロックの係数
から直流成分を除いた交流成分を表すフレーム内係数信
号と、これらのフレーｌ、内係数とそれぞれ前のフレー
ム内で対応する係数との差、すなわちフレーム間係数信
号とがフレーム間／フレーム内判定部１１に入力され２
つの信号に対するパワーの和が比較される。そしてフレ
ーム間係数の２乗和がフレーム内係数の２乗和より小さ
い場合には、フレーム間係数信号が量子化器１２に出力
されると共にフレーム間係数信号の符号化を行うことを
示す制御信号が可変長符号化部１３に出力される。逆に
フレーム内係数信号の２乗和の方が小さい場合には、フ
レーム内係数信号が量子化器１２に出力されると共にフ
レーム内係数信号の符号化を示すための制御信号が可変
長符号化部１３に出力される。

第１０図におけるフレームメモリ１５、逆量子化器１６
、加算器１７および０挿入部１８は、現在の量子化器１
２の出力を用いて次のフレームに対するフレーム間係数
信号を作成するために、現在のフレーム内係数信号をフ
レームメモリ１５に格納するためのものである。すなわ
ち量子化器１２の出力がフレーム内係数信号である場合
には、その信号が逆量子化器１６を介して加算器１７に
よってＯ挿入部１８の出力と加算される。

この時Ｏ挿入部１８に対してフレームメモリ１５の出力
、すなわち前のフレームに対するフレーム内信号が入力
されているが、フレーム間／フレーム内判定部１１から
のフレーム内係数信号の出力を示す制御信号によって、
０挿入部１８はその出力を全て０として加算器１７に出
力する。従って加算器Ｉ７の加算結果は現在のフレーム
内係数そのものとなり、これが次のフレームに対するフ
レーム間係数信号の作成に備えてフレームメモリ１５に
格納される。

これに対して量子化器１２の出力がフレーム間係数信号
である場合には、Ｏ挿入部１８はフレームメモリ１５の
出力、すなわち前のフレームに対するフレーム内係数を
そのまま加算器１７に出力し、その結果加算器１７の出
力は現在のフレーム内係数となる。

〔発明が解決しようとする課題〕

以上のように、直交変換を用いる符号化方式におけるフ
レーム内符号化とフレーム間符号化の選択は、フレーム
内の各ブロックの係数のうち直流成分を除いた全ての各
周波数成分のパワーの和の比較によって行われていた。

しかしながら実際には各周波成分では周波数の値によっ
てその性質が異なり、画像データ全体に与える影響も異
なるために、全ての交流成分に対する係数を−まとめに
してフレーム間符号化とフレーム内符号化の選択を行う
ことは必ずしも適切でないという問題点があった。

本発明は、直交変換領域の交流係数をいくつかの周波数
帯域に対応してグループ化し、それぞれのグループにつ
いてフレーム内符号化とフレーム間符号化との選択を行
うことを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図はフレー
ム間符号化とフレーム内符号化とを切り替えて、これら
の２つの符号化方式のいずれかによって入力画像データ
の直交変換後の係数領域の係数を、符号化するフレーム
間／フレーム内適応符号化方式の原理ブロック図である
。

第１図において、入力画像データの直交変換後の係数領
域における直流から高周波までの周波数成分を表す係数
のうち直流分を除く複数の交流係数が複数の周波数帯域
に対応する複数のグループにグループ化され、それぞれ
のグループに対してフレーム間／フレーム内係数信号選
択手段（２０ａ、２０ｂ、　　・・・）と可変長符号化
手段（２１ａ、２１ｂ、　　・・・）とがそれぞれ１つ
設けられる。

フレーム間／フレーム内係数信号選択手段（２０ａ、２
０ｂ、　　・・・）は、入力される自グループ内の交流
成分の係数に対する全てのフレーム間係数信号とフレー
ム内係数信号とについてそれぞれ２乗和をとり、フレー
ム間係数信号の２乗和がフレーム内係数信号の２乗和よ
り小さい時にはフレーム間係数信号を、逆にフレーム内
係数信号の２乗和の方が小さい時にはフレーム内係数信
号を自グループに対応する可変長符号化手段２１ａ。

２１ｂ、・・・に出力すると共に、フレーム間係数信号
とフレーム内係数信号とのいずれを選択したかを示す制
御信号を同時に可変長符号化手段２１ａ、２１ｂ、　　
・・・に出力する。

可変長符号化手段２１ａ、２１ｂ、　　・・・は、それ
ぞれ自グループに対するフレーム間／フレーム内係数信
号選択手段２０ａ、２０ｂ、　　・・・からの制御信号
に応じて、フレーム間／フレーム内係数信号選択手段２
０ａ、２０ｂ、　　・・・の出力がフレーム間係数信号
の時にはその出力を可変長符号化し、またその出力がフ
レーム内係数信号の時にはその出力を、例えば８ビツト
の固定長符号化して伝送路に出力する。

ここでフレーム内の各ブロックの交流係数のグループ化
に対応する周波数帯域の区分は任意であり、例えば比較
的低周波の帯域、中間周波数の帯域、高周波の帯域の３
つに区分することもできる。

〔作　　　用］ 本発明においては、例えば第９図に示した直交変換係数
領域のうち直流係数を除いた部分が複数の周波数帯域に
対応して複数のグループに分割される。第９図において
最も左上の係数は直流成分を表し、右下方向に進むに従
って周波数が高い交流成分を表す係数となる。そこでこ
の係数領域を例えば右上から左下に向かう折れ線によっ
て区分することによって周波数帯域に応じた係数のグル
ープ化が行われる。

そしてそれぞれの係数のグループに対して設けられるフ
レーム間／フレーム内係数信号選択手段２０ａ、２０ｂ
、　　・・・と、可変長符号化手段２１ａ、２１ｂ、　
　・・・とによって、フレーム間係数信号またはフレー
ム内係数信号のいずれがが、符号化されて伝送路に出力
される。以上のように本発明によれば、周波数帯域毎に
フレーム間係数を符号化するか、フレーム内係数を符号
化するがを選択することができる。

〔実　　施　　例］ 第２図は本発明における直交変換係数領域の分割法の実
施例である。同図において８Ｘ８の画素に対応するグル
ープ内の交流係数が、右上から左下に向かう３本の折れ
線によって低周波側からＡＣ＋　、ＡＣｚ　、ＡＣ３お
よびＡＣ４の４つの周波数バンドに分割されている。

第３図は本発明のフレーム間／フレーム内適応符号化方
式を用いる画像データ符号化システムの実施例の全体構
成ブロック図である。同図において、直交変換の１種で
あるディスクリートコサイン変換を行うＤＣＴ部２２の
出力としての係数領域が、第４図に示すように、直流分
のみ（ＤＣ）と低周波数帯域Ａｃｔおよび高周波帯域Ａ
Ｃ２の３つのグループに分けられているものとする。こ
こでディスクリートコサイン変換（ＤＣＴ）はコサイン
関数から作られた変換行列を用いるものであり、演算に
乗算器が必要で高速演算に難点があったが、高速な信号
処理プロセッサの開発に伴い、静止画伝送やテレビ会議
、信号などの準動画伝送に盛んに使われるようになって
いる。

第３図において直流分、低周波バンド、および高周波バ
ンドのグループの係数を符号化する部分は類似の構成を
持っており、例えば直流分（ＤＣ）を符号化する部分は
第１０図の従来例におけるフレーム間／フレーム内判定
部１１に対応するフレーム内／フレーム間判定部（Ａ）
２３．１３に対応する可変長符号化部２４．１２に対応
する量子化器２５．１５に対応するフレームメモリ（Ｆ
Ｍ）２６．１４に対応する減算器２７．１６に対応する
逆量子化器２８．１７に対応する加算器２９および１８
に対応するＯ挿入部３０がら成っている。

また低周波バンドＡＣ，および高周波バンドＡＣ２のグ
ループ内の係数を符号化する部分の構成も直流分を符号
化する部分の構成とほぼ同じであり、第１０図のフレー
ム間／フレーム内判定部１１に対応するフレーム内／フ
レーム間判定部（Ｂ）３１と４１．１２に対応する量子
化器３２と４２．１３に対応する可変長符号化部３３と
４３．１４に対応する減算器３４と４４．１５に対応す
るフレームメモリ３５と４５、工６に対応する逆量子化
器３６と４６．１７に対応する加算器３７と４７および
１８に対応するＯ挿入部３８と４８によって構成される
。

低周波バンドＡＣ，および高周波バンドＡ　Ｃｚに対す
るフレーム内／フレーム間判定部（Ｂ）３１．４１は第
１図のフレーム間／フレーム内係数信号選択手段２０ａ
、２０ｂ・・・に対応し、第１０図の従来例におけると
同様にフし・−ム内係数信号とフレーム間係数信号との
、それぞれグループ内の全交流係数に対する２乗和を比
較して、２乗和が小さい方の係数信号を量子化器３２．
４２に出力すると同時に、フレーム間信号とフレーム内
信号とのいずれを出力するかを示す制御信号をそれぞれ
可変長符号化部３３．４３に出力する。

そして可変長符号化部３３．４３は、フレーム内／フレ
ーム間判定部ＣＢ）３１．４１からの制御信号に応じて
、量子化器３２．４２の出力を、その出力がフレーム間
信号の時には可変長符号化し、また出力がフレーム内信
号の時には、例えば８ビツトの固定長符号化して伝送路
上に出力する。

また例えば低周波バンドＡＣ，に対する減算器３４、フ
レームメモリ３５、逆量子化器３６、加算器３７および
Ｏ挿入部３８の作用は従来例の第１０図におけると同様
である。

本実施例では、第３図における直流分に対するフレーム
内／フレーム間判定部（Ａ）２３によるフレーム間係数
とフレーム内係数との選択の判定は、交流分に対するフ
レーム内／フレーム間判定部（Ｂ）３１．４１とは全く
別の基準を用いて行うことにする。すなわちフレーム内
信号に対しては８ビツトの固定長符号化を行うものとし
、フレーム間信号すなわち係数の差分については、その
差分の絶対値が４より小さい場合にはそれを可変長符号
化し、５より大きい場合にはフレーム間信号でなくフレ
ーム内信号を８ビツト固定長符号化するものとする。

一般に時間的に連続する２つのフレームの画像データの
間に相関が大きい場合には、その画像データを直交変換
した係数は２つのフレーム間で差が少ないために、差分
の絶対値は小さくなる。従ってその絶対値を短い符号長
の可変長符号として伝送することが可能になり、情報量
が圧縮される。

しかしながら、その場合には符号が可変長であるために
、データの区切りを受信側で判読可能とするためには差
分の絶対値の増大と共に必要な符号長が急速に増大する
という問題がある。

このためフレーム間信号、すなわち差分の絶対値に対す
る符号長がフレーム内信号の符号長よりも長くなる場合
には、フレーム間信号を用いるメリットは失われること
になるので、その場合にはフレーム内信号を符号化する
ものとする。

第５図は以上の直流成分に対する符号化方式を示す符号
化テーブルの実施例である。すなわちフレーム内信号に
対しては８ビツトの固定長符号化がなされ、フレーム間
信号に対しては差分の絶対値が４より小さく符号長が７
ビツト以下となる時にはフレーム間係数の可変長符号化
が、また差分の絶対値が５以上で対応する符号長が８ビ
ツト以上の場合にはフレーム内信号の符号化が行われる
。

第６図は第３図におけるフレーム内／フレーム間判定部
（Ａ）２３の構成ブロック図である。同図において、フ
レーム内／フレーム間判定部（Ａ）はリードオンリーメ
モリ　（ＲＯＭ）４９およびセレクタ５０によって構成
され、ＲＯＭ４９には、フレーム間係数信号が入力され
、またセレクタ５０のａ端子にはフレーム内係数信号が
、ｂ端子にはフレーム間係数信号が入力され、セレクタ
５０の出力は量子化器２５に出力されている。

同図においてＲＯＭ４９にはフレーム間係数信号、すな
わち差分の絶対値が４以下で１．５以上で０となる制御
信号を出力するためのデータが記憶されており、その制
御信号はセレクタ５０、可変長符号化部２４．０挿入部
３０にそれぞれ出力される。セレクタ５０はＲＯＭ４９
からの制御信号が０の時ａ端子に入力するフレーム内信
号を、また制御信号が１の時す端子に入力されるフレー
ム間信号を量子化器２５に出力する。また制御信号が０
の時、０挿入部３０の出力はＯとなり、制御信号が１の
時にはその出力はフレームメモリ２６に格納されている
前のフレームに対する直流係数値となる。

第７図はフレーム内／フレーム間判定部（Ｂ）３１．４
１の判定処理の実施例のフローチャートである。同図に
おいて判定処理がスタートすると、まずステップ５１で
フレーム内のグループに対する係数領域の係数をそまま
２乗和したΣ、が求められ、次にステップ５２でフレー
ム間の係数の差分を２乗和したΣ２が求められる。そし
てステンプ５３でΣ、とΣ２とが比較され、Σ２がΣ１
より大きい時にはフレーム内信号が用いられることにな
るので、ステップ５４でＯ挿入部３８．４８へＯ挿入、
すなわちその出力を全てＯにすることが指示された後に
ステップ５５に至る。ステップ５３でΣ、がΣ２より大
きい場合には、フレーム間信号が用いられることになる
ので、０挿入部３８．４８への０挿入指示が行われるこ
となくステップ５５に移行する。そしてステップ５５で
どちらの信号を選択したかが可変長符号化部３３．４３
に通知されて処理が終了する。

以上の説明では画像データに対する直交変換としてディ
スクリートコサイン変換を用いた実施例を説明したが、
直交変換の種類がこれに限定されないことは当然である
。

〔発明の効果〕

以上詳細に説明したように、本発明によれば、フレーム
内符号化とフレーム間符号化との選択が周波数バンド別
に行われることになり、周波数成分別にきめ細かな判定
が可能となる。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２図は画像データの直交変換後の直交変換係数領域の
グループ化の実施例を示す図、第３図は本発明のフレー
ム間／フレーム内適応符号化方式を用いる画像データ符
号化システムの実施例の全体構成を示すブロック図、 第４図は第３図の画像データ符号化システムに対する直
交変換係数領域の分割を示す図、第５図は直流成分に対
する符号化テーブルの実施例を示す図、 第６図は直流成分に対するフレーム内／フレーム間判定
部の実施例の構成を示すブロック図、第７図は交流の低
周波バンドおよび高周波バンドに対するフレーム間／フ
レーム内判定部の判定処理実施例のフローチャートを示
す図、第８図は正規直交変換を用いる画像データ伝送シ
ステムの全体構成を示すブロック図、第９図は画像デー
タの直交変換後の変換係数領域を示す図、 第１０図は直交変換を用いる画像データ符号化システム
の従来例の構成を示すブロック図である。 ２２・・・ディスクリートコサイン変換（ＤＣＴ）部、 ２３・・・フレーム内／フレーム間判定部（Ａ）２４．
３３．４３・・・可変長符号化部、２６．３５．４５　
・　・　・フレームメモリ　（ＦＭ）３１．４１・・・
フレーム内／フレーム間判定部（Ｂ）、 ３０．３８．４８・・・０挿入部。

Claims (1)

1. 【特許請求の範囲】 フレーム間符号化とフレーム内符号化とを切り替えて該
   ２符号化方式のいずれかにより入力画像データの直交変
   換後の係数領域における係数を符号化するフレーム間／
   フレーム内適応符号化方式において、 前記直交変換後の係数領域における直流から高周波まで
   の周波数成分を表す係数のうちで直流成分を表す係数を
   除いた複数の係数を複数の周波数帯域に対応する複数の
   グループにグループ化し、該複数の各グループに対して
   、自グループ内の交流成分の係数に対する全てのフレー
   ム間係数信号とフレーム内係数信号とが入力され、該全
   フレーム間係数信号の２乗和が該全フレーム内係数信号
   の２乗和より小さい時に該フレーム間係数信号を出力し
   、逆に該全フレーム内係数信号の２乗和が該全フレーム
   間係数信号の２乗和より小さい時には該フレーム内係数
   信号を出力するフレーム間／フレーム内係数信号選択手
   段（２０ａ、２０ｂ、・・・）と、 該フレーム間／フレーム内係数信号選択手段（２０ａ、
   ２０ｂ、・・・）からの制御信号に応じて、該フレーム
   間／フレーム内係数信号選択手段（２０ａ、２０ｂ、・
   ・・）の出力がフレーム間係数信号の時には該出力を可
   変長符号化し、該出力がフレーム内係数信号の時には該
   出力を固定長符号化して出力する可変長符号化手段（２
   １ａ、２１ｂ、・・・）とをそれぞれ備えることを特徴
   とするフレーム間／フレーム内適応符号化方式。