JPH0666947B2

JPH0666947B2 - フレ−ム間符号化装置

Info

Publication number: JPH0666947B2
Application number: JP62175071A
Authority: JP
Inventors: 篤道村上; 光太郎浅井; 正実西田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1987-07-14
Filing date: 1987-07-14
Publication date: 1994-08-24
Anticipated expiration: 2009-08-24
Also published as: JPS6418382A

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は，動画像信号をフレーム間符号化の手法によ
つて高能率符号化し，伝送・記録するためのフレーム間
符号化装置に関するものである。

〔従来の技術〕

第５図は，例えば電子通信学会技術報告IE84−１（′8
4）等に示された従来のフレーム間符号化装置の送信部
の構成例を示すブロツク図である。同図において，
（１）はデイジタル化された動画像信号系列，（７）は
フレーム間差分信号を得るための減算器，（８）は既に
符号化を終了した過去のフレームから形成されたフレー
ム間予測信号，（９）はフレーム間差分信号系列，（1
0）はフレーム間予測誤差信号を入力し符号化すべき入
力画像信号系列に対する前記フレーム間予測信号の近似
度を領域（以下、ブロックという）毎に測定した後に、
このブロック毎の近似度を所定のしきい値と比較して、
近似度が大きいブロックについては予測誤差であるフレ
ーム間差分信号（９）を零と量子化することにより後段
の符号化処理を行わなくてもよいかどうかをブロツク単
位で識別するブロツク識別部，（11）は前記ブロツク識
別のためのしきい値，（12）は前記しきい値（11）を決
定する符号化制御部，（13）は前記ブロツク識別部（1
0）において有意な予測誤差を持つと判断されたブロツ
ク（これを有効ブロツク，また，予測誤差を零とみなせ
るブロツクを無効ブロツクと呼ぶ）を符号化し，復号化
する符号化復号化部，（14）は前記符号化復号化部（1
3）で得られた復号予測誤差信号，（15）は前記予測信
号（８）と前記復号予測誤差信号（14）とを加算する加
算器，（16）は復号画像信号系列，（17）は前記復号画
像信号系列（16）を用いて前記フレーム間予測信号
（８）を形成するフレームメモリ，（18）は前記符号化
復号化部（13）で得られた符号化データ，（19）は前記
符号化データ（18）を可変長符号化する可変長符号化
部，（20）は前記可変長符号化部（19）において可変長
符号化されたデータ系列を，一定の伝送速度で送出する
ための平滑化を行うバツフア，（21）は前記の可変長符
号化されたデータ系列をフレーム毎に計数したデータ
（フレームあたりの情報発生量），（22）は前記バツフ
ア（20）にて平滑化されたデータ系列を伝送路に送出す
るための回線インターフエース（Ｉ／Ｆ）部，（23）は
送信信号である。また，第６図は，第５図における符号
化制御部（12）の構成例を示すブロツク図である。図に
おいて，（32）は前記しきい値（11）をフレーム周期で
遅延させるためのレジスタ，（33）は前記レジスタ（3
2）にて遅延を受けたしきい値，（34）はテーブルROMで
ある。また第７図は，前記テーブルROM（34）に書込ま
れるべき特性を説明するための説明図である。

次に動作について説明する。デイジタル化された画像信
号系列（１）は減算器（７）によつて，フレーム間予測
信号（８）との減算が行われ，フレーム間差分信号
（９）に変換される。前記フレーム間予測信号（８）
は，既に符号化と，送信部における局部復号化を終了し
た過去のフレームの再生画像信号系列を用いて形成され
るもので，動き補償等の手法が用いられることもある。
フレーム間差分信号（９）は，被写体に変化や動きがな
い場合に極めて０に近くなるため，前に記したように，
ブロツク識別部（10）において有効ブロツクと無効ブロ
ツクとを識別し，無効ブロツクについてはそれを無効と
示すデータのみを伝送することによつて，情報量の圧縮
を行う。さてブロツクを識別するためには，ブロツク化
されたフレーム間差分信号系列の絶対値和等を求め，こ
れをしきい値（11）と比較する。すなわち、この絶対値
和が大きいと近似度が小さく、この絶対値和が小さいと
近似度が大きいので、これを所定のしきい値と比較する
ことで近似度の大きいブロックと小さいブロックとを識
別する。今，ブロツク化されたフレーム間差分信号系列
をεｊ（ｊ＝1,2,……,k），しきい値をTnとすると，ブ
ロツク識別は例えば次のように行われる。

ここで絶対値和がTn以下と識別されたブロック（無効ブ
ロック）は、近似度が大きいブロックなので、上述の如
くフレーム間差分信号を０に量子化し、それを無効と示
すデータのみを伝送することで情報量の圧縮がはかれ
る。一方、絶対値和が大きく近似度が小さいブロック、
すなわち有効ブロツクと識別されたブロツクについて
は，さらにフレーム間差分信号（９）を符号化する。符
号化復号化部（13）では有効ブロックを符号化して符号
化データ（18）を出力するとともに、次フレームの符号
化処理のための予測信号を得るためにその符号化データ
を復号化し、これにより得られた復号予測誤差信号（1
4）を出力する。符号化復号化の方式には，種々のもの
があり，この発明の本質とは関わらないので，ここでは
詳しく述べない。そこで復号予測誤差信号（14）は加算
器（15）によつて，前記フレーム間予測信号（８）と加
算され，復号画像信号系列（16）を形成する。復号画像
信号系列（16）はフレームメモリ（17）に蓄わえられ，
次フレーム以降のフレーム間予測信号を形成するために
用いられる。一方，符号化データ（18）は，可変長符号
化部（19）において，各データの発生頻度に応じた符号
語を割当てられる。バツフア（20）は，可変長符号化さ
れた符号化データ系列を一定の伝送速度で送出するため
に，速度平滑化を行うと共に，可変長符号化された符号
化データ系列をフレーム毎に計数し，フレームあたりの
情報発生量（21）として，符号化制御部（12）へ出力す
る。回線インターフエース部（22）は，速度平滑化され
た可変長符号化データを，送信信号（23）として伝送路
に送出する。

符号化制御部（12）では，レジスタ（32）によつてフレ
ーム遅延を与えられたしきい値（33）と，前記の情報発
生量（21）とを用いてテーブルROM（34）を参照し，新
しいしきい値（11）を出力する。今，過去のしきい値
（33）をTn_-1,このTn_-1を用いて符号化したフレームに
おける情報発生量（21）をBn_-1とすると，新しいしきい
値Tn（11）は第７図のようにして得られる。しきい値と
情報発生量との間には，第７図に示すような双曲線状の
関係がある。図中,4本の曲線が例として書かれている
が，これらは被写体の動きの大小によつて変わる。先
ず,Bn_-1とTn_-1が与えられると，テーブルROM（34）に記
憶された複数の曲線の内，最も適切な曲線を選択する。
次いで，選択された曲線に沿つて情報発生量がＢ^＊であ
る点を捜す。ここで,B^＊は伝送速度に対応して１フレー
ム許容される情報量である。選択された曲線上で，情報
発生量がＢ^＊となる点が決定したならば，その点におけ
るしきい値をTnとして読みとる。

すなわち，符号化を終了したフレームのしきい値Tn_-1と
情報発生量Bn_-1との関係から，動き量に対応した特性曲
線を決定し，同曲線から，目標とする情報発生量を達成
するために必要なしきい値を，新しいしきい値Tnとして
得るように制御する。

〔発明が解決しようとする問題点〕

従来のフレーム間符号化装置は以上のように構成されて
いるので，情報量を平滑化するためのしきい値制御が常
に遅れるという性質を持ち，従つて被写体が静止状態か
ら動き状態に移る時や，その逆の場合に極端な駒おとし
が生じたり，画品質も収束が遅れ易いという問題点があ
つた。

この発明は上記のような問題点を解消するためになされ
たもので，しきい値制御が遅れることなく，常に適切な
しきい値を用いてフレーム間符号化を行うことのできる
フレーム間符号化装置を得ることを目的とする。

〔問題点を解決するための手段〕

この発明に係るフレーム間符号化装置は，符号化部の前
段にフレームメモリを持ち，フレーム間差分信号から推
定動き量を符号化に先立つて求め既に符号化を終了した
フレームにおいて発生した情報量と，前記推定動き量と
からブロツク識別のためのしきい値を決定する符号化制
御部を備えるようにしたものである。

〔作用〕

この発明におけるフレーム間符号化装置は，符号化部の
前段に置かれたフレームメモリによつてフレーム間差分
信号を求め，同信号を１フレームに渡つて積分すること
により動き量を推定し，過去に符号化したフレームにお
ける情報発生量からしきい値を決定する複数の特性の
内，前記推定動き量を用いてその１つを適応的に選択す
ることが符号化制御部の基本動作である。

〔発明の実施例〕

以下，この発明の一実施例を図について説明する。

第１図は，この発明の一実施例によるフレーム間符号化
装置の送信部の構成を示すブロツク図である。図におい
て，（１）はデイジタル化された動画像信号系列，
（２）は時間フイルタ，（３）は時間フイルタ（２）に
おいて得られるフレーム間差分信号に非線形重み付けし
た信号，（４）は動き量推定部，（５）は動き量推定部
（４）にて得られた推定動き量，（６）は前記時間フイ
ルタ（２）で処理され，解像度や速度等の変換をうけた
動画像信号系列，（７）はフレーム間差分信号を得るた
めの減算器，（８）は既に符号化を終了した過去のフレ
ームから形成されたフレーム間予測信号，（９）はフレ
ーム間差分信号系列，（10）はフレーム間予測信号系列
に対する前記フレーム間予測信号の近似度をブロック毎
に測定した後に、このブロック毎の近似度を所定のしき
い値と比較して、近似度が大きいブロックについては予
測誤差であるフレーム間差分信号（９）を零と量子化し
て，後段の符号化処理を行わなくてもよいかどうかをブ
ロツク単位で識別するブロツク識別部，（11）は前期ブ
ロツク識別のためのしきい値，（12）は前記しきい値を
決定する符号化制御部，（13）は前記ブロツク識別部
（10）において有意な予測誤差を持つと判断されたブロ
ツク，すなわち有効ブロツクを符号化し，復号化する符
号化復号化部，（14）は前記符号化復号化部（13）で得
られた復号予測誤差信号，（15）は前記予測信号（８）
と前記復号予測誤差信号（14）とを加算する加算器，
（16）は復号画像信号系列，（17）は前記復号画像信号
系列（16）を用いて前記フレーム間予測信号（８）を形
成するフレームメモリ，（18）は前記符号化復号化部
（13）で得られた符号化データ，（19）は前記符号化デ
ータ（18）を可変長符号化する可変長符号化部，（20）
は前記可変長符号化部（19）において可変長符号化され
たデータ系列を，一定の伝送速度で送出するための平滑
化を行うバツフア，（21）は前記の可変長符号化された
データ系列をフレーム毎に計数したデータ（フレームあ
たりの情報発生量），（22）は前記バツフア（20）にて
平滑化されたデータ系列を伝送路に送出するための回線
インターフエース部，（23）は送信信号である。また第
２図は，第１図における時間フイルタ（２）の構成例を
示すブロツク図である。

図において，（24）はフレーム間差分を求める減算器，
（25）は過去のフレームの画像信号系列，（26）はフレ
ーム間差分信号，（27）はフレーム間差分信号（26）に
重み付けをする非線形重み付け回路，（28）は重み付け
されたフレーム間差分信号（３）と前記過去のフレーム
の画像信号系列（25）を加算する加算器，（29）は加算
器（28）によつて得られる時間フイルタ出力信号，（3
0）はフレーム遅延や解像度変換や速度変換を行うフレ
ームメモリである。また，第３図は，第１図における符
号化制御部（12）の構成例を示すブロツク図である。図
において，（31）はテーブルROM,（32）は前記しきい値
（11）をフレーム周期で遅延させるためのレジスタ，
（33）は，前記レジスタ（32）にて遅延を受けたしきい
値である。また，第４図は，前記テーブルROM（31）に
書き込まれるべき特性を説明するための説明図である。
次に動作について説明する。デイジタル化された画像信
号系列（１）は先ず，時間フイルタ（２）に入力され
る。時間フイルタ（２）では減算器（24）によつて前フ
レームの信号（25）との減算を行い，フレーム間差分信
号（26）に変換する。フレーム間差分信号（26）は，非
線形重み付け回路（27）によつて重み付けされた信号
（３）となり，加算器（28）によつて前フレームの信号
（25）と加算され，時間フイルタ処理が施された信号
（29）となる。同信号（29）はフレームメモリ（30）に
蓄えられ，次のフレームのフイルタ処理に用いられる。
フレームメモリ（30）は，時間フイルタのためのフレー
ム遅延を与えるのみならず，符号化部の仕様や伝送速度
に適合するように解像度や速度の変換を行つて，符号化
入力画像信号系列（６）として読出す機能を持つ。伝送
速度が低い時には，符号化フレームを間引く，いわゆる
駒おとしが行われる。この時，フレームメモリ（30）か
ら読出されるのは符号化されるフレームだけであり，駒
おとしによつて捨てられるフレームは，メモリ上で上書
きされる。従つて，画像信号系列（１）と前フレームの
信号（25）との時間的関係は，「連続して符号化される
フレーム」という関係になる。前記重み付けされたフレ
ーム間差分信号（３）は，動き量推定部（４）にて１フ
レーム分積分され，推定動き量（５）として，後述する
しきい値決定に用いられる。前記フレームメモリ（30）
から読出された信号（６）は，減算器（７）によつて，
フレーム間予測信号（８）との減算を行い，フレーム間
差分信号（９）に変換される。前記フレーム間予測信号
（８）は，既に符号化と送信部における局部復号化を終
了した過去のフレームの再生画像信号系列を用いて形成
されるもので，動き補償等の手法が用いられることもあ
る。フレーム間差分信号（９）は，被写体や変化や動き
がない場合には極めて０に近くなるため，前に記したよ
うに，ブロツク識別部（10）において，有効ブロツクと
無効ブロツクとを識別し，無効ブロツクについては，そ
れを無効と示すデータのみを伝送することによつて情報
量の圧縮を行う。そこでブロツクを識別するためには、
上述の如くブロツク化されたフレーム間差分信号系列の
絶対値和等を求め，これをしきい値（11）と比較すれば
良い。今，ブロツク化されたフレーム間差分信号系列を
εｊ（ｊ＝1,2,…,k），しきい値をTnとすると，ブロツ
ク識別は例えば次のように行われる。

ここで有効ブロツクと識別されたブロツクについては，
さらにフレーム間差分信号（９）を符号化する。符号化
復号化部（13）では，有効ブロツクを符号化して符号化
データを得るとともに、この符号化データを復号化して
復号予測誤差信号を得、それぞれ符号化データ（18）、
復号予測誤差信号（14）として出力する。符号化復号化
の方式には種々のものがあり，この発明の本質とは関わ
らないので，ここでは詳しく述べない。さて復号予測誤
差信号（14）は，加算器（15）によつて，前記フレーム
間予測信号（８）と加算され，復号画像信号系列（16）
を形成する。復号画像信号系列（16）はフレームメモリ
（17）に蓄わえられ，次フレーム以降のフレーム間予測
信号を形成するために用いられる。一方，符号化データ
（18）は，可変長符号化部（19）において，各データの
発生頻度に応じた符号語を割当てられる。バツフア（2
0）は，可変長符号化された符号化データ系列を，一定
の伝送速度で送出するために，速度平滑化を行うと共
に，可変長符号化された符号化データ系列をフレーム毎
に計数し，フレームあたりの情報発生量（21）として，
符号化制御部（12）へ出力する。回線インターフエース
部（22）は，速度平滑化された可変長符号化データを，
送信信号（23）として伝送路に送出する。

符号化制御部（12）では，前記の推定動き量（５）と，
情報発生量（21）と，レジスタ（32）によつてフレーム
遅延を与えられたしきい値（33）とを用いて，テーブル
ROM（34）を参照し，新しいしきい値（11）を出力す
る。今，推定動き量（５）をMn,過去のしきい値（33）
をTn_-1,このTn_-1を用いて符号化したフレームにおける
情報発生量（21）をBn_-1とすると，新しいしきい値Tn
（11）は，第４図のようにして得られる。

しきい値と情報発生量との間には，第４図中に４本の曲
線として示されているような双曲線状の関係がある。４
本の特性曲線は一例を示すものであるが，これらは被写
体の動きの大小によつて変わる。先ず,Bn_-1とTn_-1とか
ら，テーブルROM（31）に記憶された複数の曲線の内,1
つの特性曲線を選択する。同特性は，しきい値Tn_-1を用
いて符号化し,Bn_-1の情報を発生したフレームがどの程
度の動きを含んでいたかを示している。推定動き量Mn
（５）は，これから符号化すべきフレームの動き量を推
定したものであるから、このMnを用いて，適宜，動き特
性曲線を遷移させる。そこでMnが大きければ，動き大の
特性に,Mnが小さければ，動き少の特性に遷移させる。
次いで決定した曲線に沿つて，情報発生量がＢ^＊である
点を捜す。ここで,B^＊は伝送速度に対応して１フレーム
あたりに許容される情報量である。選択された曲線上
で，情報発生量がＢ^＊となる点が決定したならば，その
点におけるしきい値をTnとして読みとる。すなわち，符
号化を終了したフレームのしきい値Tn_-1と，情報発生量
Bn_-1との関係から，動き量に対応した特性曲線を選択
し，さらにこれから符号化すべきフレームについて，推
定した動き量を用い特性曲線を補正し，同曲線から，目
標とする情報発生量を達成するために必要なしきい値
を，新しいしきい値Tnとして得るように制御する訳であ
る。

なお，前記実施例では，動き量を推定する参照信号とな
るフレーム間差分信号（３）を得る手段として，時間フ
イルタ処理や，解像度及び速度の変換を行うためのフレ
ームメモリ（30）によるフレーム遅延を用いたが，純粋
に動き量を推定するためだけにフレームメモリを用意し
てもよいことは，もちろんである。

〔発明の効果〕

以上のように，この発明によれば，これから符号化すべ
きフレームの動き量を推定して符号化制御を行うように
構成したので，被写体が急に激しく動きだしたり，ある
いは逆に静止した時にも，制御が遅れないフレーム間符
号化装置の得られる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例によるフレーム間符号化装
置送信部の構成を示すブロツク図，第２図はこの発明の
一実施例における時間フイルタの構成例を示すブロツク
図，第３図はこの発明の一実施例における符号化制御部
の構成例を示すブロツク図，第４図はこの発明における
符号化制御の動作例を示す説明図，第５図は従来のフレ
ーム間符号化装置送信部の構成例を示すブロツク図，第
６図は従来のフレーム間符号化装置における符号化制御
部の構成例を示すブロツク図，第７図は従来のフレーム
間符号化装置における符号化制御の動作例を示す説明図
である。図中，（１）は動画像信号系列，（２）は時間フイル
タ，（３）は重み付けしたフレーム間差分信号，（４）
は動き量推定部，（５）は推定動き量，（６）は符号化
部入力動画像信号系列，（７）は減算器，（８）はフレ
ーム間予測信号，（９）はフレーム間差分信号系列，
（10）はブロツク識別部，（11）はしきい値，（12）は
符号化制御部，（13）は符号化復号化部，（14）は復号
予測誤差信号，（15）は加算器，（16）は復号画像信号
系列，（17）はフレームメモリ，（18）は符号化デー
タ，（19）は可変長符号化部，（20）はバツフア，（2
1）はフレームあたりの情報発生量，（22）は回線イン
ターフエース部，（23）は送信信号，（24）は減算器，
（25）は過去のフレームの画像信号系列，（26）はフレ
ーム間差分信号系列，（27）は非線形重み付け回路，
（28）は加算器，（29）は時間フイルタ出力信号，（3
0）はフレームメモリ，（31）はテーブルROM,（32）は
レジスタ，（33）は遅延を受けたしきい値，（34）はテ
ーブルROMである。なお，図中，同一符号は同一，又は相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭62−122389（ＪＰ，Ａ) 特開昭57−99885（ＪＰ，Ａ) 特公昭57−58112（ＪＰ，Ｂ１) 電子通信学会通信部門全国大会講演論文集（昭61−８−15）Ｐ．１−201（情報推定をベースとするビデオ符号化制御方式の一提案)

Claims

【特許請求の範囲】

【請求項１】画像信号系列を少なくとも１フレーム分保
持することのできる第１のフレームメモリを持ち、前記
第１のフレームメモリを用いてフレーム間予測信号を形
成し、フレーム間予測誤差信号を量子化し、この量子化
された信号を可変長符号化して符号化データとして送信
すると共に、上記量子化された信号を逆量子化し、この
逆量子化信号を復号化し、この復号化された画像信号系
列を前記第１のフレームメモリに書込み、次フレーム以
降のフレーム間予測信号を形成するために用いる画像の
フレーム間符号化装置において、前記フレーム間予測誤差信号を入力し符号化すべき入力
画像信号系列に対する前記フレーム間予測信号の近似度
を領域毎に測定した後、前記領域毎の近似度を所定のし
きい値と比較する識別部と、前記識別部から比較結果を
入力し、近似度が大きい領域については、前記フレーム
間予測誤差信号を零に量子化して、近似度が小さい領域
については、前記フレーム間予測誤差信号を量子化する
とともにこの量子化した信号を逆量子化する符号化復号
化部と、入力画像信号系列を符号化に先立って一旦蓄積
する第２のフレームメモリと、前記第２のフレームメモ
リに記憶されているフレームの画像信号系列と入力画像
信号系列とを減算した値を、フレーム単位で積分して情
報発生量の推定値を求める推定部と、前記第１のフレー
ムメモリに記憶されているフレームを符号化する際に用
いた前記のしきい値と符号化したときに発生した情報量
と前記推定部にて推定した現在のフレームにおける推定
値とを用いて、現在のフレームにおける被写体の動き量
を推定するようにしきい値を決定し該しきい値を前記識
別部に供給し符号化制御を行う符号化制御部とを備えた
ことを特徴とするフレーム間符号化装置。