JPS62195987A - 画像符号化復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、テレビ会議・テレビ電話等に用いられる画
像の符号化復号化装置に関するものである。

〔従来の技術〕

第７図、第８図は従来の画像の符号化復号化装置におけ
る符号化部、復号化部のブロック図である。図中、　！
１１１−Ｉｔ人カビデオ信号、（２）はＡ／Ｄ変換器、
（３）はディジタルビデオ信号、　（１４はフレーム間
符号化回路、α５は局部復号された信号、Ｕは局部復号
償金映像フレーム単位で記憶することのできるフレーム
メモリ、α７）はフレーム遅延をうけた局部復号値、０
梯は符号化情報、■は送信バッファ。

翰はスイッチ、（財）は送信バッフ７÷１．（ハ）は送
信バッフ゛ア＄２．ｆ３はセレクタ、（ハ）は送信信号
、（７）は受信バッファ、Ｇ１５ｔｔスイツチ、　１７
１は受信バッフアナ１．囮は受信バッファ＋２．四はセ
レクタ。

Ｃ３υは受信符号化信号、０２ハフレ一ム間復号化回路
。

（至）は復号信号、（ロ）は復号信号を映像フレーム単
位で記憶することのできるフレームメモリ、（至）はフ
レーム遅延をうけた復号信号、は２はＤ／Ａ変換器。

（４３ハ復号ビデオ信号である。

次に動作について説明する。入力ビデオ信号（１）Ｖｉ
Ａ／Ｄ変換器（２）によってディジタル化される。

フレーム間符号化回路（１４１は、既に符号化して局部
復号された信号αＳに対してフレームメモリ（ｌｅＫ工
っでフレーム遅延を与えて形成したフレーム間予測信号
ａＤヲ用いて、前記のディジタル化された信号（３）ヲ
フレ一ム間符号化する。符号化情報αＱは送信バッファ
ｆｉｌｔ−介して送信信号（至）となり、伝送路へ送出
される。送信バッファσ１はダブルバッファ構成であり
、スイッチ（７）、送信バッファ＋ＩＫ４゜送信バッフ
ァ≠２Ｃ！９及びセレクタ（２）よ、り成る。各々のバ
ッファ（す１と今２）は何れも１映像フレ一ム分の符号
化情報全記憶できるだけの容量を持っており、１つのバ
ッファが符号化情報０を書込んでいる間、他方のバッフ
ァは情報を読出して送信しているようにスイッチ（イ）
とセレクタ（至）を制御することによって送信バッファ
α！Ｉは書込みと読出しの両方全行なっているように動
作する。ある映像フレームを符号化してその情報を１つ
のバッファに書込み終わろうとするときｔ　もう１つの
バッファが読出しを終わっていれば両方のバッファの書
込み／読出しを切り換えて次の映像フレームを符号化す
ればよいが、もう１つのバッファが読出の際中であれば
ダブルバッファを切り換えることができない。そこで次
の人力映像フレームを符号化しない。すなわち、駒おと
しを行う。復号化部では、受信バッファ（７）を介した
受信符号化信号Ｇυに対して、既に復号された信号にフ
レームメモリ（ロ）に１つてフレーム遅延金与えて形成
したフレーム間予測信号ｃ！！３ｔ−用いて、フレーム
間復号化回路（至）において復号化を行う。復号信号器
はＤ／Ａ変換器（ハ）によって復号ビデオ信号となる。

受信バッファ（７）はダブルバッファ構成となっており
、スイッチ（イ）、受信バッファ尋１補、受信バッファ
＋２咽及びセレクタ（４１より成る。１つのバッファが
書込みを行っている間、もう１つのバッファが読出しを
行うように制御することで、受信バッファが同時に書込
みと読出し全行なっているように動作サセる。２つのバ
ッファの書込み／読出しは映像フレーム単位で切り換え
る。以上の流れ全第９図に示す。送信バッファ、受信バ
ッファの両ダブルバッファは何れも映像フレーム単位で
切り換える。

ある映像フレームが符号化されて符号化情報が送信バッ
ファに書込まれてから同映像フレームが復号再生される
までの遅延時間はおおよそ１映像フレームの符号化伝送
サイクルにして２サイクル分■所要時間で規定される。

従って、伝送速度が低いときや情報発生量が大きいとき
は送信バッファの読出しに時間がかかるため、遅延時間
が大きくなる危険がある。また、駒おとしの頻繁な発生
によって、符号化される映像フレームの時間間隔が大き
くなる次め・フレーム間相関が小さくなり。

フレーム間符号化の効率が低下する。

〔発明が解決しようとする問題点〕

従来の符号化復号化装＃は以上のように構成されている
ので、符号化処理部が映像信号に同期して実時間動作を
する必要があり、装置規模が大きくなることや遅延時間
が大きくなること、また駒おとじが発生した場合に時間
方向のサブサンプルによる折返しの劣化やフレーム間相
関の低下による符号化効率の低下、情報発生量の増大な
どの問題点があった。

この発明は上記のような問題点全解消するためになされ
たもので、符号化処理速度を伝送容量に見会った速度に
設定することによって装置規模を縮小し、遅延時間を短
縮し・駒おとじが発生し几場合にもフレーム間相関を保
って符号化効率を向上させ、折返し成分全除去できる画
像符号化装置を得ることを目的とする。

〔問題点を解決するための手段〕

この発明に係る画像符号化復号化装置は、符号化器にお
ける前処理部と符号化部との間に映像フレーム単位のバ
ッファを置き、同バッファを用いて映像フレームの時間
積分を行う制御回路を持ち。

伝送情報量を平滑化する几めのバッファの蓄積量に応じ
て前記映像フレーム単位のバッファに対するリードライ
トラ制御する回路を持ち・復号化器における復号化部と
映像出力部との間に映像フレーム単位のバッファ装置い
たものである。

〔作用〕

この発明における映像フレーム単位のバッファの追加は
次の工うに作用する。すなわち、符号化処理速度が伝送
速度に応じて下げられるため３時分割処理を導入して装
置規模を小さくできる。符号化する映像フレームがバッ
ファに取込まれているため、断続的に符号化全行うこと
で小刻みに伝送情報量を平滑化して遅延時間を短縮でき
る。また、この発明における前記映像フレームバッファ
への書込み時の時間積分機能は、駒おとしが発生した場
合にもフレーム間相関を保ち、折返しを除去することで
符号化効率を向上させ・、再生画像品質を改善する作用
を持つ。

〔発明の実施例〕

以下、この発明の一実施例を図について説明する。第１
図はこの発明による符号化部の構成例を示すブロック図
である。図中、（１）は入力ビデオ信号、（２）はＡ／
Ｉ）変換器！（３）はディジタルビデオ信号、　＋４１
ｄ時間積分回路、＋５１Ｖｉ前置フレームメモリ。

（６）ハダブルバツファ構造となっている前置フレーム
メモ１月５）の書込み側のバッファの内容を順次読出し
て前記ディジタルビデオ信号（３）と映像フレーム上の
画素位置を一致させた信号、（７）は時間積分された入
力信号、（８１Ｕスイツチ、（９）は前置フレームメモ
リ＋１．ａｌｌＩは前置フレームメモリ＋２．（１１）
はスイッチ、住２は前置フレームメモリの制御信号。

α３は前置フレームメモリのコントローラ、Ｉはフレー
ム間符号化回路、ａ９は局部復号された信号。

αＱは局部復号値を映像フレーム単位で記憶することの
できるフレームメモリ、α７ｉＨフレーム遅延をうけた
局部復号値、　（Ｉｌは符号化情報１ａ９け送信バッフ
ァ、■はスイッチ、１２υは送信バッファ＋１゜（至）
は送信バックアナ２．（至）はセレクタ、ｃ！４はダブ
ルバッファ構造となっている送信バッファの蓄積量やス
テータスを示す信号、（イ）は送信信号である。

第２図は、第１図における時間積分回路の構成例を示す
ブロック図である。図中、＠は減算器、＠はフレーム間
差分信号、■は重み付け回路、２）は減算器である。第
３図はこの発明による復号化部の構成例を示すブロック
図である。（２）中、（ハ）は送信信号、（７）は受信
バッファ、Ｇυは受信符号化信号。

（至）はフレーム間復号化回路、ｃ！３け復号信号、（
ロ）は復号信号を映像フレーム単位で記憶することので
きるフレームメモリ、（至）はフレーム遅延をうけた復
号信号、（至）は後陣フレームメモリ、＜３っはスイッ
チ、（至）は後置フレームメモリ÷１．（至）は後置フ
レームメモリ÷２．（４ＩＨ後薫フレームメモリ≠３゜
００はセレクタ、（６）［Ｄ／Ａ変換器、（ハ）は復号
ビデオ信号である。また、第４図、第５図、第６図はこ
の発明の実施例の動作を示す説明図である。

次に動作について説明する。入力ビデオ信号（１）Ｖｉ
Ａ／Ｄ変換器（２）によってディジタＭ化される。

時間積分回路（４）は・ダブルバッファ構造となってい
る前置フレームメモ１月５）の書込側のバッファの内容
をｊ＠次読出した信号（６）を用いて、入力信号（３）
の複数フレーム分時間積分を行った信号を前置書込側の
バッファに書込む。時間積分は、入力信号（３）と信号
（６）との差すなわちフレーム間差分＠を求め１重み付
け回路（至）によって値を変換し、さらに入力信号（３
）との差分ｔとったものがフレーム単位で時間積分され
た信号としてバッファに書込まれる。今、入力される第
ｎフレームの信号’１Ｓｎ−第ｎ−１フレームまでを時
間積分してバッファに書込んでちる信号’１Ｓｎ−１９
重み付け回路（至）による変換器に倍という乗算で表わ
すことにすると。

５ｎ＝Ｓｎ　　ｋ　（５ｎ−８ｎ　−１）：　（１ｋ　
’Ｊ　Ｓｎ　十ｋｓｎ−１（０≦に≦１）という演算で
時間積分が表わされる。前置フレームメモ１月５１Ｈ，
，１つのバッファに映像フレームデータを時間積分しな
がら書込んでいる間にもう１つのバッファから映像フレ
ームデータを読出して符号化伝送するようにスイッチ（
８）・前置フレームメモリ４ＰＨ９１，前置フレームメ
モリ＄２（１Ｇ、スイッチαυを動作させる。スイッチ
α１）Ｋよる切り換えによって被符号化映像フレーム信
号と書込み側の時間精分に必要なフレームメモリ読出し
信号（６）とを出力とする。前置フレームメモ１月５）
の読出し側の出力である被符号化映像フレーム信号の読
出しは、制御信号Ｑ３に工っで断続的に行う。これは。

情報発生量を小刻みに平滑化するためであり、後にくわ
しく説明する。１つの映像フレームをすっかり読出した
とき一ダブルバッファを切り換え。

それまで時間積分していた側のバッファの内容を被符号
化映像フレームとして読出す。（第４図参照）すなわち
１時間積分は、ダブルバッファの切り換え、言いかえれ
ば被符号化映像フレームの取込みによって中断されるこ
とになる。連続して時間積分される映像フレーム数は、
符号化伝送中の映像フレームにどれだけ時間がかかるか
に依存する。前記符号化所要時間は該映像フレームにお
ける情報発生量に対応する。情報発生量が大きいという
ことはフレーム間符号化においでは動きが大きいという
ことになる。即ち、動きの激しいシーンになると連続し
て時間積分される映像フレーム数は増す。すなわち１時
間方向にぼけた映像が取込まれる。従って被符号化映像
フレームの間隔があく程１時間積分が長期間にわたるた
め、被符号化映像フレームのフレーム間相関が保たれ、
フレーム間符号化効率が向上する。同時に１時間方向の
サブサ゛ンブルによる折返しを除去する効果や雑音低減
効果があり、結果的に再生画像品質を改善させる。前に
説明しｆｃように・時間積分はダブルバッファの切り換
えによって中断されるので、新たに時間積分を始めると
きは１重み付け回路（至）の出力を零にしてフレームメ
モリの内容金リフレッシュする必要がある。また、前に
説明したパラメーターｋをダブルバッファ切換直後は０
とし１以降、入力される映像フレームシークエ／スに従
って指数関数的に値を上げていくことも有効である。

ダブルバッファ切り換えに：つで符号化を開始する被符
号化映像フレームは時間積分のかかった映像フレームで
あり１フレームメモリに記憶されているため繁符号化処
理速度は任意に選ぶことができるため、低い伝送速度に
見合った処理時間全設定することによって回路を多重化
できる余裕が生じ１装置規模を小さくできる。

フレーム間符号化回路Ｉは、既に符号化して局部復号さ
れた信号住９に対してフレームメモリ（ｌｅによってフ
レーム遅延を与えて形成したフレーム間予測信号側を用
いて、前記の被符号化映像フレーム信号金フンーム間符
号化する。符号化情報αａｈ送信バッファα９を介して
送信信号（至）となり、伝送路へ送出される。

送信バッファｄ９Ｈ蓄積滑やステータスを示す信号（２
）を前置フレームメモリのコントローラαＪに送り１間
接的に符号化を停止／再開させることによって情報発生
量を平滑化する。送信バッファ（ＩＩＶｉダブルバッフ
ァ構造となっている。制御のようす金策５図に示す。今
・前置フレームメモリ＋　１　（９１がある映像フレー
ムを読出し中であるとする。読出されたデータは符号化
され、送信バッファ４ＰＩ２）１に’！−込まれる。同
バッファｆ２））の蓄積量が予め設定されたしきい値Ｔ
ｈＩ　　を越えたとき、前置フレームメモリコントロー
ラｆｉ３は前置フレームメモリ＋　１　＋９１からの読
出し全停止する。そして送信バッファ＋２器の蓄積量が
読出しによって減っていき。

０になったとき、送信バッフ７α傷のダブルバッファを
切り換える。同切り換えによって送信バッフ７→２が空
いているため、前置フレームメモリ＋　１　（９１から
の読出しを再開し、符号化情報０碍を送信バッファ＋２
（２）に書込む。送信バッフアナ１ｅυに記憶されてい
る符号化情報は伝送路へ送出される。また・別の場合に
は、書込み中の送信バッファ＋１ｅ！υの蓄積量がＴｈ
ｌ　　に達する前に、読出し中の送信バッファ寺２＠の
蓄積量がＴｈ２ｉ下回ることがある。このときも先ず前
置フレームメモリナ１（９）からの読出しを停止し、同
バッファ＠の蓄積量がＯになった時点で送信バッファ員
のダブルバッファを切り換える。同切り換えによって前
置フレームメモリ＋　１　［９）からの読出し全再開す
る。

このくり返しに工って、符号化情報を大量に送信バッフ
ァα９にためこむことなく送出するため遅延時間が減少
する。またＣ送信バッファ容量も小さくてすむ。しきい
値Ｔｈｌ　　は送信バッファの片側にためこむ情報量を
規定するもので、遅延時間と伝送速度から決定する。し
きい値Ｔｈ２　　は送信フレーミングに足りない半端な
情報量になつ几場合なので、伝送速度と送信フレーミン
グのフォーマットによって決定する。

復号化部では、受信バッファ（７）を介した受信符号化
信号０υに対して、既に復号された信号にフレームメモ
リ（ロ）によってフレーム遅延を与えて形成し友フレー
ム間予測信号＠金用いて、７レ一ム間復号化回路（至）
において復号化を行う。復号信号（至）は後置フレーム
メモリ（至）に４込まれる。後置フレームメモリ（７）
はトリプルバッファ構造となっており、第６図に示すよ
うに、１つのバッファが画像出力系のフレーム同期に従
って読出しを行っている間、もう１つのバッファが復号
信号器の書込み中でありゃ残るもう１つのバッファは停
止している。第３のバッファは・受信し復号した映像フ
レーム信号の書込みと９画像出力系のプレーム同期に従
う読出しとが全く非同期であり、何れも中断が許されな
い故に必要となる。後置フレームメモリ（至）からの読
出し信号はＤ／Ａ変換器（４３によって復号ビデオ信号
部となる。

以上の制御において・　ある映像フレームが前置フレー
ムメモリ（５）から読出されてから同映像フレームが復
号再生されるまでの時間はおおよそ１映像フレームの符
号化伝送サイクルにして１サイクル分の所要時間で規定
される。従って伝送速度が低くなる程、従来の装置と比
較して遅延時間の短縮効果が大きい。

〔発明の効果〕 以上のように、この発明によれば符号化されるベキ画像
フレームを先ずフレームメモリに時間積分しながら書込
み、しかる後に情報発生量を小刻みに平滑化しながら符
号化伝送するように構成したので、遅延時間が短縮でき
、また、駒おどしが発生しても、折返しがなく・　フレ
ーム間相関を保持した画像フレームを符号化できるので
・高品質の画像が効率よく符号化伝送できるという効果
がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像符号化復号化装
置符号化部の構成を示すブロック図、第２図は第１図に
おける時間積分回路の構成を示すブロック図、第３図は
この発明の一実施例による画像符号化復号化装置復号化
部の構成を示すブロック図、第４因はこの発明の一実施
例による前置フレームメモリの動作を示す説明図、第５
図はこの発明の一実施例による前置フレームメモリド送
信バッファの関係を示す説明図、第６図はこの発明の一
実施例における後置フレームメモリの動作を示す説明図
、第７図は従来の画像符号化復号化装置符号化部の構成
を示すブロック図、第８図は従来の画像符号化復号化装
置復号化部の構成を示すブロック図、第９図は従来の画
像符号化復号化製電の送信バッファと受信バッファの動
作を示す説明図である。 図中、　（ｌｉｔ−１人カビデオ信号、（２）はＡ　／
　Ｄ変換器。 （３）はディジタルビデオ信号、（４）は時間積分回路
。 （５）は前置フレームメモリ、（６）は前置フレームメ
モリ書込み側出力＋（７）は時間積分された信号、＋８
１Ｕスイツチ１９）Ｕ前置フレームメモリナ１．顛は前
置フレームメモリ＄２．　Ｉ：１υはセレクタ、α２は
制御信号Ｉα３ｔｉ前置フレームメモリコントローラ、
（１４はフレーム間符号化回路、　（１５１は局部復号
信号、αｅはフレームメモリ、αηはフレーム間予測信
号、嗜は符号化情報・ａｌは送信バッファ・■はスイッ
チ・Ｑυは送信バッフアナ１．（ハ）は送信バッファ＋
２゜（ハ）はセレクタ、２４は送信バッファステータス
信号。 （至）は送信信号、（ハ）は減算器、＠はフレーム間差
分信号、＠は重み付け回路、四は減算器、（至）は受信
バッファ・０１）ハ受信符号化信号、Ｃ３ａＵフレーム
間復号化回路、（ハ）は復号信号、（ロ）はフレームメ
モリ・（至）はフレーム間予側信号、ＩＡは後置フレー
ムメモリ、＠はスイッチ、（至）は後置フレームメモリ
≠１゜（至）は後置フレームメモリナ２．４Ｇは後置フ
レームメモリ≠３．（４１）はセレクタ、（６）はＤ／
Ａ変換器。 Ｑ３Ｈ復号ビデオ信号、■は送信バッファ４−１．θ１
は送信バッフアナ２．（４ｆ９はスイッチ、０ηは受信
バッフアナ１１４１１６は受信バッフアナ２．（６）は
セレクタである。 なお１図中、同一符号は同一、または相当部分を示す。

Claims (4)

【特許請求の範囲】
1. （１）少くとも１画像フレーム分のデータを蓄えること
   のできる第１及び第２のフレームメモリと、連続して入
   力される画像信号系列を画像フレーム単位で時間積分す
   る時間積分回路と、前記時間積分された画像フレームを
   前記第１または第２のフレームメモリに書込むと同時に
   書込みを行つていない第２または第１のフレームメモリ
   からの読出しを行うよう接続を切り換えるスイッチング
   回路と、前記第１及び第２のフレームメモリに対して書
   込み及び読出しの制御を行うコントローラと、少くとも
   １画像フレーム分のデータを蓄えることのできる第３の
   フレームメモリと、前記第２または第１０フレームメモ
   リから読出した信号を入力信号として、既に符号化した
   画素を局部復号して前記第３のフレームメモリに蓄え、
   フレーム間予測信号を形成し、一定量の画素を単位とし
   て逐次符号化復号化が可能な方式でフレーム間符号化を
   行うフレーム間符号化回路と、前記フレーム間符号化回
   路によつて得られた符号化情報を蓄えることのできる第
   １及び第２のバッファと、前記逐次符号化された符号化
   情報を前記第１または第２のバッファに書込むと同時に
   書込みを行つていない第２または第１のバッファからの
   読出しを行うように接続を切換えるスイッチング回路と
   、受信した符号化信号を逐次蓄えては読出すことのでき
   る第３のバッファと、少くとも、画像フレーム分のデー
   タを蓄えることのできる第４のフレームメモリと、前記
   第３のバッファから読出した信号を入力信号として、既
   に復号した画素を前記第４のフレームメモリに蓄え、フ
   レーム間予測信号を形成し、前記フレーム間符号化装置
   における符号化方式に基づいて逐次フレーム間復号化を
   行うフレーム間復号化回路と、少くとも１画像フレーム
   分のデータを蓄えることのできる第５及び第６及び第７
   のフレームメモリと、前記フレーム間復号化回路より出
   力される復号信号を前記第５または第６または第７のフ
   レームメモリに書込むと同時に、書込みを行つていない
   第７または第６または第５のフレームに記憶されている
   復号画像フレームを画像出力系のフレーム同期に同期し
   て読出すように接続を切り換えるスイッチング回路とを
   備えたことを特徴とする画像符号化復号化装置。
2. （２）複数フレーム期間時間積分された画像フレームを
   交互に書込む第１または第２のフレームメモリにおいて
   、第ｎ番目（ｎは正の整数）までの画像フレームが時間
   積分されている側の画像フレームを読出し、入力画像信
   号系列である第ｎ＋１番目の画像フレームとのフレーム
   間差分を求める減算器と、前記減算器の出力信号に重み
   付けする重み付け回路と、前記重み付けされたフレーム
   間差分を前記第ｎ＋１番目の画像フレームから減算して
   第ｎ＋１番目の画像フレームまで時間積分された画像フ
   レームを得る減算器とを備え、前記第ｎ＋１番目の画像
   フレームまで時間積分された画像を、前記第１または第
   ２のフレームメモリの内、第ｎ番目の画像フレームまで
   時間積分された画像フレームを記憶していた方へ書込む
   よう制御する手段を持つ特許請求範囲第（１）項記載の
   画像符号化復号化装置。
3. （３）複数フレーム期間時間積分された画像フレームを
   書込む第１または第２のフレームメモリが切り換わる際
   に、重み付け回路の重みを０にすることによつて時間積
   分の過程を初期化し、連続して入力される画像フレーム
   シークエンスに従つて除々に重みを大きくしていく手段
   を持つたことを特徴とする特許請求範囲第（２）項記載
   の画像符号化復号化装置。
4. （４）フレーム間符号化回路によつて逐次符号化された
   情報を交互に書込む第１または第２のバッファにおいて
   、書込み側に蓄えられた情報量が予め定められた第１の
   しきい値を上回る程大きくなつたときまたは伝送路へ送
   出するために読出しを行つている側にまだ読出されずに
   残つている情報量が予め定められた第２のしきい値を下
   回る程小さくなつたときに、第１及び第２のフレームメ
   モリに対する制御を行うコントローラを介して、符号化
   を行うために読出しを行つている側の前記フレームメモ
   リからの読出しを停止して前記書込みを行つている側の
   バッファに対する書込みを止め、前記読出しを行つてい
   る側のバッファに残つている情報量が０になつた時点で
   即時第１及び第２のバッファを切り換えることによりバ
   ッファからの読出しを連続して行うと共に、前記フレー
   ムメモリからの読出しと符号化を再開するよう制御する
   ことによつて、発生する情報量の平滑化を行い、一定の
   速度で伝送路に符号化情報を出力する特許請求範囲第（
   ３）項記載の画像符号化復号化装置。