JPH0670300A - データ符号化、復号化処理制御装置 - Google Patents

データ符号化、復号化処理制御装置

Info

Publication number
JPH0670300A
JPH0670300A JP22016292A JP22016292A JPH0670300A JP H0670300 A JPH0670300 A JP H0670300A JP 22016292 A JP22016292 A JP 22016292A JP 22016292 A JP22016292 A JP 22016292A JP H0670300 A JPH0670300 A JP H0670300A
Authority
JP
Japan
Prior art keywords
encoding
frame
side storage
bmax
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP22016292A
Other languages
English (en)
Other versions
JP3024380B2 (ja
Inventor
Koichi Tanaka
浩一 田中
Kenichi Asano
研一 浅野
Shinichi Hattori
伸一 服部
Shinichi Okada
信一 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP22016292A priority Critical patent/JP3024380B2/ja
Publication of JPH0670300A publication Critical patent/JPH0670300A/ja
Application granted granted Critical
Publication of JP3024380B2 publication Critical patent/JP3024380B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 小規模でTBF、およびRBFのオーバーフ
ロー/アンダーフローを防止し、符号化ビット列の伝送
効率低下を防ぐ。 【構成】 複数の情報を含み複数の単位フレームで構成
されたデータを入力し、各情報について符号化処理し、
複数のシンボルからなる符号化データを出力する符号手
段と、符号化データを入力しこのデータを記憶する送信
側記憶手段と、送信側記憶手段から符号化データを入力
し、このデータを送信する送信部と、送信部からの送信
符号化データを伝送路を介し受信する受信部と、受信部
から符号化データを記憶する受信側記憶手段と、受信側
記憶手段に記憶された符号化データを入力し、入力符号
化データの復号化手段と、符号化手段の符号化に関する
情報を検知する検知手段と、検知手段の検知にもとづ
き、符号化手段の符号化を制御する制御手段とで構成す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、例えばテレビ会議や
テレビ電話器等に用いられるデータ符号化、復号化処理
制御に関するものである。
【0002】
【従来の技術】一般に画像の符号化処理技術は、「村上
篤道著 高能率符号化技術」(テレビジョン学会誌 V
ol.42#11P.1198〜)に示されるように、
情報源符号化処理技術と伝送路符号化処理技術に大別で
きる。情報源符号化処理技術では、動画像を静止画像
(以下、フレーム)の連続と考え、フレームを構成する
ディジタル画像データを隣接する複数個毎にまとめたブ
ロックを符号化処理の単位として、これに多様な符号化
処理を組み合わせて適用することで画像が持つ情報量の
高能率圧縮を図る。一方、伝送路符号化処理は、多様な
符号化処理の結果として得られる複数の符号化データを
実際に伝送するときに施され、各々の符号化データをそ
の発生頻度に応じた可変長符号に置換して、これらをシ
リアル多重する。
【0003】以下に、従来の技術の一例として、画像デ
ータを符号化及び復号化する画像伝送装置の動作を説明
する。図9は、上記の論文の内容を簡略化して表現した
一般的な画像伝送装置の構成図であり、図中、1はA/
D変換部、2はフォーマット変換部、3は情報源符号化
部、4は伝送路符号化部、5は送信制御部、6は伝送
路、7は受信制御部、8は伝送路復号部、9は情報源復
号部、10はフォーマット逆変換部、11はD/A変換
部である。
【0004】図9において、アナログテレビジョン信号
は、A/D変換部1でディジタル化され、更にフォーマ
ット変換部2で情報源符号化に適するようにブロック化
される。情報源符号化部3において、ブロック化された
ディジタル画像データは、動き補償や離散コサイン変
換、量子化などの多様な符号化処理が施され、種々の符
号化データに展開される。これら各種の符号化データは
伝送路符号化部4にてエントロピー符号化、多重化さ
れ、送信制御部5の制御により画像符号化ビット列とし
て伝送路6に送出される。このとき、画像符号化ビット
列の送出速度は、伝送路6の通信速度に対応している。
伝送路6の通信速度は一般的に固定である。受信制御部
7では、通信相手からの画像符号化ビット列を伝送路6
から受信し、伝送路復号部8で各種符号化データを分離
・復号する。情報源復号部9では、各種符号化データを
もとに、情報下符号化部3における符号化処理と逆の手
順でブロック化されたディジタル画像データを復号し、
更にフォーマット逆変換部10でデブロッキングを行
い、D/A変換部11を経由してアナログテレビジョン
信号を復元する。以上が一般的な画像伝送装置における
符号化処理の概要である。なお、一般的な画像符号化処
理方式としては、CCITT SGXV Report
R37’Recommendation of th
e H−seriesH.261’(以下、H261と
記載する。)がある。
【0005】次に、伝送路符号化部4および伝送路復号
部8の動作の詳細を以下に説明する。伝送路符号化部4
において、画像符号化ビット列を生成する際に、各種の
符号化データをその発生頻度に応じた可変長符号に置換
し、これらをシリアル多重するので、画像1フレームあ
たりの画像符号化ビット列の符号量は、符号化対象フレ
ームの性質に応じて変動する。特に、上記H261代表
される動き補償予測フレーム間符号化を適用するとき
に、上記の傾向が顕著に現れる。該画像符号化ビット列
の伝送を効率よく行うためには、画像伝送装置の送信側
および受信側で該画像符号化ビット列をバッファリング
することが必須である。ただし、送信側バッファ(TB
F)および受信側バッファ(RBF)における画像符号
化ビット列の蓄積量に比例して、画像伝送装置全系の処
理遅延が増加する。図7は伝送路符号化部周辺、図8は
伝送路復号部周辺の機能ブロック図である。図中、3は
情報源符号化部、4は伝送路符号化部、41,42,4
3は可変長符号変換器、44はシリアル多重器、45は
TBF、46は伝送路符号化制御部、5は送信制御部、
7は受信制御部、8は伝送路復号部、81はRBF、8
2は符号語分離器、83,84,85は可変長符号逆変
換器、86は伝送路復号制御部、9は情報源復号部であ
る。
【0006】図7において、情報源符号化部3は、例え
ば画像符号化方式として上記H261を用いた場合に
は、符号化対象画像データに対して動き補償予測や離散
コサイン変換、スカラ量子化などを施し、符号化データ
としてスカラ量子化後の離散コサイン変換係数、動き補
償情報、量子化特性を出力する。伝送路符号化部4で
は、前記符号化データの各々を可変長符号変換器41,
42,43にて独立に符号語へ置換する。ここで、該符
号語には、発生頻度に応じて符号長を定められたユニー
クな可変長符号を用いる。更に、シリアル多重器44
は、伝送路符号化制御部46の制御に応じて、各符号化
データの可変長符号をブロック単位にシリアル多重す
る。なお、以上によって得られた画像符号化ビット列
は、一旦TBF45に蓄積してから送信制御部5経由で
伝送路に送出される。一方、図8において、受信制御部
7は、伝送路6から受信したビット列内の画像符号化ビ
ット列のみを伝送路復号部8に送出する。伝送路復号部
8では、該画像符号化ビット列を一旦RBF81に蓄積
した後、伝送路復号制御部86の制御に応じて符号語分
離器82が必要な画像符号化ビット列をRBF81から
取り出し、各符号化データ(例えば、スカラ量子化後の
離散コサイン変換係数、動き補償情報、量子化特性)に
対応した符号語を分離して、各々を可変長符号逆変換器
83,84,85に入力する。該可変長符号逆変換器8
3,84,85は、符号語入力を、対応する符号化デー
タに置換して情報源復号部9に出力する。
【0007】ここで、画像符号化ビット列における画像
1フレーム毎の符号量が均等でないため、各フレームの
符号化終了時点でのTBF45の蓄積量は変動する。更
に、前記画像1フレームあたりの符号量の大小によって
は、TBF45にオーバーフローまたはアンダーフロー
が起こり得る。このことは、RBF81についても同様
である。TBF45およびRBF81にオーバーフロー
が発生すると、該バッファに入力すべき画像符号化ビッ
ト列の一部が廃棄されるため、システムの動作破綻とな
る。また、TBF45のアンダーフロー時には、画像符
号化ビット列以外のビット列を伝送路に送出することに
なるので、画像符号化ビット列の伝送効率が低下する。
更に、RBF81のアンダーフロー時には、復号処理が
断続的に行われることに起因して、符号化対象画像のフ
レーム間隔を忠実に再生できず、駒落としが発生する。
【0008】TBF45のオーバーフロー/アンダーフ
ロー対策の一例としては、次の処理がある。すなわち、
伝送路符号化制御部46はTBF45の蓄積量を監視し
て、オーバーフローの寸前には情報源符号化部3に対し
て符号化処理停止を、アンダーフローの寸前には送信制
御部5に対して画像符号化ビット列送信無効を通知する
処理である。符号化処理停止を受けた情報源符号化部3
は即座に符号化処理を停止して、該符号化処理停止が解
除されるのを待つ。また、画像符号化ビット列送信無効
を受けた送信制御部5は、受信側で識別・廃棄可能な
「画像符号化ビット列以外のビット列」を伝送路6に送
出する。ただし、前者は送信画像のフレーム数減少の原
因であり、後者は伝送効率の低下の原因になる。
【0009】伝送路復号部8においては、画像符号化ビ
ット列から画像1フレーム分の各種符号化データを分離
・復号するために必要な時間が不規則に変動する。これ
は、画像符号化ビット列における1フレームあたりの符
号量および画像1フレームあたりに発生するシンボル数
が均等でないことに起因する。このことは、符号化対象
画像のフレーム間隔の忠実な再生を阻害し、駒落とし発
生の原因になる。上記の対策としては、画像符号化ビッ
ト列から各種符号化データを分離・復号した後に該符号
化データを更にバッファリングすることが挙げられる。
しかし、同対策に必要なバッファ容量は、冗長度を廃し
た画像符号化ビット列を蓄積するRBF81に比較して
膨大であり、装置規模が増大する。
【0010】以上の問題点を解決するためには、画像伝
送装置の送信側および受信側における画像符号化ビット
列のバッファリングに何等かの制約が必要となるが、例
えば、上記H261においては、画像符号化ビット列1
フレームあたりの符号量上限と標準疑似復号器のRBF
容量を規定するに止まっており、的確な制約条件は示さ
れていない。
【0011】
【発明が解決しようとする課題】従来の伝送装置におい
ては、符号化ビット列のバッファリングに関して、TB
FおよびRBFのオーバーフローまたはアンダーフロー
等が発生して、符号化ビット列の伝送効率低下や画像伝
送装置の場合、駒落としによる再生画像の視覚特性劣化
の原因になっている。このことは、放送品質画像の固定
レートによるディジタル伝送や記録・蓄積に代表される
「高品質かつ駒落としを許容しない用途」へ画像符号化
を適用するうえでの問題点になっていた。
【0012】この発明は、小規模の装置でTBFおよび
RBFのオーバーフロー/アンダーフローを防止して、
符号化ビット列の伝送効率低下を防ぐことを目的とす
る。
【0013】
【課題を解決するための手段】この発明に係るデータ符
号化、復号化処理制御装置は、データを各情報について
符号化処理し、複数のシンボルからなる符号化データを
出力する符号手段と、多重化された上記符号化データを
記憶する送信側記憶手段と、符号化データを送信する送
信部,と、符号化データを伝送路を介して受信する受信
部と、符号化データを記憶する受信側記憶手段と、符号
化データを復号化する復号化手段と、上記符号化手段の
符号化に関する情報を検知する検知手段と、この検知手
段の検知にもとずいて、上記符号化手段の符号化を制御
する制御手段とを備える。
【0014】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、1シンボルのデータを復号
化する平均符号化時間(t)、上記データの1フレーム
周期(T)、1フレームを均等に分割する任意の小領域
の1フレームあたりの総数(A)、それぞれのパラメー
タ(t)、(T)、(A)にもとずいて、1フレーム内
で均等に分割された任意の小領域単位で生成される最大
シンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段を備える。
【0015】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、送信側記憶手段が、上記符
号化処理手段による符号化処理開始後、1フレーム周期
と同一期間(T)の間上記送信制御手段に対しての符号
化データの出力を中断する場合、符号化手段が入力する
データの1フレーム周期(T)、送信記憶手段が符号化
データを上記送信制御手段に対して出力する速度である
ビットレート(R)、あらかじめ決められたそれぞれの
パラメータ(R)、(T)にもとずいて送信側記憶手段
の最大蓄積容量Bmaxが Bmax≧2RT となるようにメモリ容量を定められてた送信側記憶手段
と、符号化手段によるi番目のフレームの生成符号量
(Ei)、符号化手段によるi番目までのフレームの符
号化終了時における上記送信側記憶手段の蓄積量(B
i)、符号化手段によるi番目までのフレームの符号化
終了時における上記受信側記憶手段の最大記憶容量(B
max)それぞれのパラメータ(Ei)、(Bi)、
(Bmax)にもとずいて、上記送信側記憶手段の蓄積
量Biが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0016】また、上記のように構成された符号化、復
号化処理制御装置は、符号化手段の起動より先に復号化
手段が動作する時、受信部が符号化データを受信する速
度であるビットレート(R)、上記受信側記憶手段が蓄
積開始直後から復号化手段が復号を開始するまでの期間
(L)、復号手段が符号化データを復号化処理する時間
が1フレームの周期と同一の時間(T)、それぞれのパ
ラメータ(R)、(L)、(T)にもとずき、送信側記
憶手段の最大容量Bmax(T)と受信側記憶手段の最
大容量Bmax(R)とが 2RT≦Bmax(T)≦R(L+T) Bmax(R)≧R(L+T)となるように定められた
送信側記憶手段と、受信側記憶手段と、符号化手段が1
シンボルのデータを復号化する平均符号化時間(t)、
データの1フレーム周期(T)、1フレームを均等に分
割する任意の小領域の1フレームあたりの総数(A)、
それぞれのパラメータ(t)、(T)、(A)にもとず
いて、1フレーム内で均等に分割された任意の小領域単
位で生成される最大シンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0017】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、符号化手段の起動より先に
上記復号化手段が動作する時、受信部が符号化データを
受信する速度であるビットレート(R)、上記受信側記
憶手段が蓄積開始直後から復号化手段が復号を開始する
までの期間(L)、復号化手段が符号化データを復号化
処理する時間が1フレームの周期と同一の時間(T)、
それぞれのパラメータ(R)、(L)、(T)にもとず
き、送信側記憶手段の最大容量Bmax(T)と、受信
側記憶手段の最大容量Bmax(R)とを、 2RT<Bmax(T)<R(L+T) Bmax(R)>R(L+T) となるように定められた送信側記憶手段と受信側記憶手
段と、符号化手段によるi番目のフレームの生成符号量
(Ei)、符号化手段によるi番目までのフレームの符
号化終了時における上記送信側記憶手段の蓄積量(B
i)、符号化手段によるi番目までのフレームの符号化
終了時における上記受信側記憶手段の最大記憶容量(B
max)それぞれのパラメータ(Ei)、(Bi)、
(Bmax)にもとずいて、送信側記憶手段の蓄積量B
iが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように符号化手段の符号化を制御する制御手段と
を備える。
【0018】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、復号化手段の起動より先に
符号化手段が動作する時、受信制御部が符号化データを
受信する速度であるビットレート(R)、上記受信側記
憶手段が蓄積開始直後から復号化手段が復号を開始する
までの期間(L+T)、それぞれのパラメータ(R)、
(L+T)にもとずき、送信側記憶手段の最大容量Bm
ax(T)が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧RL+Bmax(T) となるように定められた送信側記憶手段と、受信側記憶
手段と、符号化手段が1シンボルのデータを復号化する
平均符号化時間(t)、データの1フレーム周期
(T)、1フレームを均等に分割する任意の小領域の1
フレームあたりの総数(A)、それぞれのパラメータ
(t)、(T)、(A)にもとずいて、1フレーム内で
均等に分割された任意の小領域単位で生成される最大シ
ンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0019】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、復号化手段の起動より先に
符号化手段が動作する時、受信制御部が符号化データを
受信する速度であるビットレート(R)、上記受信側記
憶手段が蓄積開始直後から復号化手段が復号を開始する
までの期間(L+T)、それぞれのパラメータ(R)、
(L+T)にもとずき、送信側記憶手段の最大容量Bm
ax(T)が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧RL+Bmax(T) となるように定められ、符号化手段によるi番目のフレ
ームの生成符号量(Ei)、符号化手段によるi番目ま
でのフレームの符号化終了時における送信側記憶手段の
蓄積量(Bi)、符号化手段によるi番目までのフレー
ムの符号化終了時における受信側記憶手段の最大記憶容
量(Bmax)それぞれのパラメータ(Ei)、(B
i)、(Bmax)にもとずいて、上記送信側記憶手段
の蓄積量Biが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0020】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、上記受信制御部が符号化デ
ータの各フレームの先頭位置を検出し、受信開始直後か
ら最初に検出されるフレーム先頭位置までの1フレーム
分に満たない符号化データを廃棄する時、上記受信制御
部が符号化データを受信する速度であるビットレート
(R)、上記受信側記憶手段が蓄積開始直後から復号化
手段が復号を開始するまでの期間(L)、上記復号手段
が符号化データを復号化処理する時間が1フレームの周
期と同一の時間(T)それぞれのパラメータ(R)、
(L)、(T)にもとずき、送信側記憶手段の最大容量
Bmax(T)が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧R(L−T)+Bmax(T) となるようにそれぞれ定められた送信側記憶手段と、受
信側記憶手段と、符号化手段が1シンボルのデータを復
号化する平均符号化時間(t)、データの1フレーム周
期(T)、1フレームを均等に分割する任意の小領域の
1フレームあたりの総数(A)、それぞれのパラメータ
(t)、(T)、(A)にもとずいて、1フレーム内で
均等に分割された任意の小領域単位で生成される最大シ
ンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0021】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、受信制御部が符号化データ
の各フレームの先頭位置を検出し、受信開始直後から最
初に検出されるフレーム先頭位置までの1フレーム分に
満たない符号化データを廃棄する時、受信制御部が符号
化データを受信する速度であるビットレート(R)、上
記受信側記憶手段が蓄積開始直後から復号化手段が復号
を開始するまでの期間(L)、復号手段が符号化データ
を復号化処理する時間が1フレームの周期と同一の時間
(T)それぞれのパラメータ(R)、(T)、(L)に
もとずき、送信側記憶手段の最大容量Bmax(T)
が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧R(L−T)+Bmax(T) となるようにそれぞれ定められた送信側記憶手段と受信
側記憶手段と、符号化手段によるi番目のフレームの生
成符号量(Ei)、符号化手段によるi番目までのフレ
ームの符号化終了時における上記送信側記憶手段の蓄積
量(Bi)、符号化手段によるi番目までのフレームの
符号化終了時における上記受信側記憶手段の最大記憶容
量(Bmax)それぞれのパラメータ(Ei)、(B
i)、(Bmax)にもとずいて、上記送信側記憶手段
の蓄積量Biが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0022】
【作用】検知手段が符号化手段の符号化に関する情報を
検知して、この検知手段の検知にもとずいて、制御手段
が符号化手段の符号化を制御するものである。
【0023】
【実施例】以下に、本発明に係るデータ符号化、復号化
処理制御装置の一実施例である画像伝送装置について説
明する。本制御方式は、画像伝送装置の機能ブロックの
うち、主に伝送路符号化部および伝送路復号部に適用さ
れる。以下に、上記の両機能ブロックの動作を説明す
る。図1は伝送路符号化部周辺、図2は伝送路復号部周
辺の機能ブロック図である。図中、3は情報源符号化
部、31は符号量/シンボル数制御部、4は伝送路符号
化部、41,42,43は可変長符号変換器、44はシ
リアル多重器、45はTBF、46は伝送路符号化制御
部、47は符号量/シンボル数計数部、5は送信制御
部、51,71は通信手順制御部、7は受信制御部、7
2はフレーム先頭位置検出部、8は伝送路復号部、81
はRBF、82は符号語分離器、83,84,85は可
変長符号逆変換器、86は伝送路復号制御部、87はタ
イマ、9は情報源復号部である。
【0024】本発明に係る伝送路符号化部4および伝送
路復号部8の動作は従来技術の説明における動作と相違
点のみを以下に説明する。図1において、符号量/シン
ボル数計数部47はシリアル多重器44が出力する画像
符号化ビット列を監視して、符号量およびシンボル数を
リアルタイムで集計して、該集計結果を符号量/シンボ
ル数制御部31に帰還する。符号量/シンボル数制御部
31においては、上記集計結果をもとに、現在符号化中
のフレームに対するの符号量/シンボル数が所定の制約
条件を満たすように、量子化特性を変更する等して、情
報源符号化部3を制御する。特に、シンボル数の制御
は、フレームより細かい小領域単位で行える構成であ
る。併せて、同フレームの符号化終了時には、次フレー
ムに対する符号量/シンボル数の制約条件を求める。通
信手順制御部51は、受信側が備える同機能ブロックと
制御信号を受け渡すことで、画像符号化ビット列の送信
開始条件を整える。図2において、通信手順制御部71
は、例えば、受信側が画像符号化ビット列受信可能にな
るまで画像符号化ビット列送信を禁止するよう制御す
る。フレーム先頭位置検出部72は受信制御部7が受信
した画像符号化ビット列を監視して、同画像符号化ビッ
ト列における先頭位置を伝送路復号制御部86に通知す
る。ところで、画像符号化ビット列から1フレームあた
りの符号語の分離・復号に要する実際の処理時間は、同
フレームの符号量およびシンボル数によって異なるが、
符号化対象画像におけるフレーム間隔を再現するために
は、該処理時間を該符号化対象画像のフレーム周期:T
に補正する必要がある。上記補正のリファレンスとし
て、タイマ87を用いる。例えば、該時間補正の管理を
フレーム単位で行うなら、1フレーム分の符号語の分離
・復号時間がTに満たない場合に該不足時間をタイマ8
7で判別し、その期間中におけるRBF81からの画像
符号化ビット列取り出しを禁止する。ただし、1フレー
ム分の符号語の分離・復号時間は、T以下であることが
前提である。また、以上のようにして分離・復号された
各種の符号化データは、逐次情報源復号部9に送出さ
れ、同機能ブロックにて復号処理される。符号化手段
は、情報源符号化部3と可変長符号変換器41,42,
43とで構成され、送信側記憶手段はTBF45で構成
され、送信制御手段は、送信制御部5と通信手順制御部
とで構成され、受信制御手段は、受信制御部7と通信手
順制御部とで構成され、受信側記憶手段はRBF81で
構成され、復号化手段は情報源復号部9と可変長符号逆
変換器とで構成され、検知手段は符号量/シンボル数計
数部、制御手段は符号量/シンボル数制御部とで構成さ
れている。
【0025】第1の実施例として、画像伝送装置の情報
源符号化部の画像データ処理にて発生する符号化データ
のシンボル数の制約条件を導出し、この制約条件に基づ
いて情報源符号化部の画像データ処理の符号化を制御す
る。伝送路復号部8から、符号語の分離・復号処理時間
の補正を、フレームについて均等に分割した小領域の総
数”A”をシンボル数制御部が入力する。同小領域あた
りの補正目標時間:τ=T/A (T:符号化対象画像
のフレーム周期をシンボル数制御部31が入力する。)
なお、上記の「”A”分割した小領域」は、受信側にお
ける符号語の分離・復号時間補正の管理単位であり、A
=1のときは、該時間補正の管理をフレーム単位で行う
場合に相当する。ところで、符号語1シンボルあたりの
平均復号時間をtとすると、該小領域あたりに発生する
シンボル数の上限:Smaxについてシンボル数制御部
が演算処理する。 Smax=τ/t =T/(A×t) (1) シンボル数制御部は上記演算式(1)より、各小領域あ
たりに発生するシンボル数をSmax以下になるよう
に、情報源符号化部3を制御する。
【0026】次に、第2の実施例としてTBF45の蓄
積容量の変動について考える。ここで、情報源符号化部
3および伝送路符号化部4は符号化対象画像を滞りなく
符号化処理できるものとする。更に、TBF45は符号
化処理の起動以前にフラッシュされ、符号化処理の起動
後から期間:Tのバッファリング遅延を確保した後、固
定ビットレート:Rによる読みだしがスタートする。な
お、Tは符号化対象画像のフレーム周期である。また、
該TBFバッファリング遅延は、符号化処理部におい
て、符号化対象フレームに対する画像符号化ビット列の
発生が同フレーム周期の終了間際に集中する場合を補償
するための遅延である。符号化対象フレームに対する画
像符号化ビット列は、同フレーム周期内でバースト的に
発生する。なお、該画像符号化ビット列が発生する具合
は、画像の特性(絵柄や被写体の動き等)や符号化処理
部の構成によって異なる。図3は、以上を考慮して示し
たTBF蓄積量の時系列変化である(符号化処理起動後
で最初の符号化対象フレームを第1フレームとする)。
図中のハッチング箇所は、TBF蓄積量が取り得る領域
を示す。さて、情報源符号化部の発生符号量に対する制
約条件は、TBF45のオーバーフロー/アンダーフロ
ー防止条件として与えられる。ここで、 ・Ei :第iフレームの符号量(便宜上、E0 =0と
する)(シリアル多重器44から入力) ・Bi:時刻iTにおけるTBF蓄積量(便宜上、Be
0=RTとする)(TBF45から入力) ・Bmax:TBF容量(システム固定のパラメータか
ら算出) とすると、図3よりTBF45のオーバーフロー/アン
ダーフロー防止条件は、 RT≦Bi≦Bmax−RT (2) よって、 Bmax≧2RT 一方、
【0027】
【数1】
【0028】(3)式より Ei =Bi−Bi-1+RT (4) (2)式、(4)式より、 2RT−Bi-1 ≦Ei≦Bmax−Bi-1 以上より、TBF45のオーバーフロー/アンダーフロ
ー防止のためには、 Bmax≧2RT なる設定を行い、 RT≦Bi≦Bmax−RT (5) 2RT−Bi-1 ≦Ei≦Bmax−Bi-1 (6) なる符号量制御を行う。
【0029】以下には、画像伝送装置の送信側において
上記のシンボル数制御および符号量制御が行われたとき
の受信側の動作を記載する。ここで、情報源復号部9
は、画像データ1フレームあたりの復号処理を送信側に
おけるフレーム周期:Tにて滞りなく実行することを想
定する。また、RBF81は受信側起動時にフラッシュ
されており、受信制御部7が回線速度に対応した固定ビ
ットレート:Rで出力するビット列を滞りなく蓄積する
一方、所定のバッファリング遅延を確保した後、伝送路
復号制御部86の制御に応じて画像1フレーム分の画像
符号化ビット列を送信側におけるフレーム周期:T以内
に出力するものとする。なお、RBF81からの画像符
号化ビット列の取り出しは、可変長符号逆変換器の構成
に依存して、該フレーム周期:T内でバースト的に行わ
れる。以上の条件下で、RBF81の蓄積容量の変動を
次の3つの場合について考える。
【0030】(第1の条件)まず、第1の条件について
説明する。画像伝送装置の送信側起動前に同受信側が動
作可能になる場合を想定する。これは、例えば、画像蓄
積系メディアの通常再生時に相当し、画像伝送装置にお
いては、通信手順制御部51,71の制御で実現する。
なお、画像符号化ビット列以外のビット列については、
受信制御部7がこれを検出し、廃棄する。さて、RBF
81に期間:Lなるバッファリング遅延を設定したとき
のRBF蓄積量の時系列変化を図4に示す(受信側起動
後で最初の画像フレームの復号処理開始可能時刻を0と
する)。図中のハッチング箇所は、RBF蓄積量が取り
得る領域を示す。ここで、RBF81のオーバーフロー
/アンダーフロー防止条件から、バッファリングに関す
る新たな制約条件を導出する。 ・Bd1 k :時刻kTにおけるRBF蓄積量(ここで、B
d1 0 =RLである)(RBF81からシンボル数制御部
が入力する) ・Bd1 max :RBF容量:(予めシンボル数制御部に入
力設定また、RBFからシンボル数制御部に入力):シ
ステム固定のパラメータ とすると、
【0031】
【数2】
【0032】(2)式、(7)式より、 R(L+2T)−Bmax≦Bd1 k ≦RL (8) 図4より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd1 k ≦Bd1 max −RT (9) (8)式、(9)式より、新たな制約条件は次のとお
り。 ・2RT≦Bmax≦R(L+T)(ただし、L≧Tである) (10) ・Bd1 max ≧R(L+T) (11)
【0033】(第2の条件)次に、第2の条件について
説明する。画像伝送装置の送信側起動後に同受信側が動
作可能になる場合で、受信開始直後から最初に検出され
るフレーム先頭までの1フレーム分に満たない不完全な
画像符号化ビット列をRBF81の蓄積対象外とする場
合を想定する。これは、通常の画像伝送装置において散
見される状況への対処例であり、復号対象の画像符号化
ビット列のみをRBF81に蓄積することで、トータル
のバッファリング遅延縮小を図るものである。不完全フ
レームの画像符号化ビット列廃棄にあたっては、画像符
号化ビット列におけるフレーム先頭位置をフレーム先頭
位置検出部72にて検知し、結果を伝送路復号制御部8
6に通知して廃棄対象ビット列を識別する。また、画像
符号化ビット列以外のビット列は、受信制御部7が廃棄
する。さて、RBF81に期間:Lなるバッファリング
遅延を設定したときのRBF蓄積量の時系列変化を図5
に示す(受信側起動後で最初の画像フレームの復号処理
開始可能時刻を0とし、送信側における同フレームのシ
リアルナンバをc+1とする)。図中のハッチング箇所
は、RBF蓄積量が取り得る領域を示す。ここで、RB
F81のオーバーフロー/アンダーフロー防止条件か
ら、バッファリングに関する新たな制約条件を導出す
る。 ・Bd2 N1 :時刻L TにおけるRBF蓄積量(ここで、
d2 0 =RLである)(シンボル数制御部がRBF81
から入力する) ・Bd2 max :RBF容量(予めシンボル数制御部に入力
設定):システム固定のパラメータ とすると、
【0034】
【数3】
【0035】(2)式、(12)式より、 R(L+T)+Bc−Bmax≦Bd2 N1 ≦R(L−T)+Bc すなわち、 R(L+2T)+Bmax≦Bd2 N1≦R(L−2T)+Bmax (13) 図5より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd2 N1≦Bd2 max −RT (14) (13)式、(14)式より、新たな制約条件は次のと
おり。 ・2RT≦Bmax≦R(L+T)(ただし、L≧Tである) (15) ・Bd2 max ≧R(L−T)+Bmax (16) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。
【0036】(第3の条件)更に、第3の条件について
説明する。画像伝送装置の送信側起動後に同受信側が動
作可能になる場合で、受信するすべての画像符号化ビッ
ト列をRBF81の蓄積対象とする場合を想定する。こ
れは先の説明と同様に、通常の画像伝送装置において散
見される状況への対処例であり、受信するすべての画像
符号化ビット列をRBF81に蓄積することで、RBF
81の制御を簡略化するものである。なお、不完全フレ
ームの画像符号化ビット列は、符号語分離器82がRB
F81をアクセスする際に即座に廃棄する。また、画像
符号化ビット列以外のビット列は、受信制御部7が廃棄
する。さて、RBF81に期間:Xなるバッファリング
遅延を設定したときのRBF蓄積量の時系列変化を図6
に示す(受信側起動後で最初の完全な画像フレームの復
号処理開始可能時刻を0とし、送信側における同フレー
ムのシリアルナンバをc+1とする)。図中のハッチン
グ箇所は、RBF蓄積量が取り得る領域を示す。ここ
で、RBF81のオーバーフロー/アンダーフロー防止
条件から、バッファリングに関する新たな制約条件を導
出する。 ・Ec pt :廃棄すべき不完全フレーム(送信側における
第cフレーム)符号量 ・Bd3 m :時刻mTにおけるRBF蓄積量(ここで、B
d3 0 =RXである)(シンボル数制御部がRBFから入
力) ・Bd3 max :RBF容量(予めシンボル数制御部に入力
設定):システム固定のパラメータ とすると、
【0037】
【数4】
【0038】ここで、(2)式および(4)式より、 0<(Bc−Ec pt )<Bmax−RT (18) (2)式および(17)式、(18)式より R(X+T)−Ec pt +Bc−Bmax≦Bd3 m≦R(X−T)+Bc−Ec pt すなわち、 R(L+X)−Bmax<Bd3 m<R(X−2T)+Bmax (19) 図6より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd3 m ≦Bd3 max −RT (20) (19)式、(20)式より、 ・2RT≦Bmax≦RX (ただし、X≧2Tである) (21) ・Bd3 max ≧R(X−T)+Bmax (22) ところで、X=L+Tとして、上記結果を整理すると、
新たな制約条件は次のとおり。 ・2RT≦Bmax≦R(L+T)(ただし、L≧Tである) (23) ・Bd3 max≧RL+Bmax (24) ・RBFバッファリング遅延:(L+T) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。同様に、画像符号化応用機器受信側が同送信側起
動後に動作可能となり、かつ不完全フレームの画像符号
化ビット列をRBFの蓄積対象外とするときについても
上記の制約条件はあてはまる。
【0039】以上のように、この発明は画像符号化応用
機器復号側において、フレームを均等に”A”分割して
得られるA個の小領域毎に符号語の分離・復号時間が均
一になるよう補正し、送信側においては、該A個の小領
域あたりに発生するシンボル数:Smax に以下の式
(1)の制約を与えることで、1フレーム分の符号語の
分離・復号時間が一定値:Tになる保証が得られるの
で、駒落としのない画像符号化データ伝送を小容量のバ
ッファで実現できる。 Smax≦T/(A×t) (1) (ただし、T:符号化対象画像データのフレーム周期 t:符号語1シンボルあたりの平均復号時間)
【0040】また、画像符号化応用機器送信側におい
て、画像1フレームあたりの符号量に以下の式(5),
(6)の制約を与えることで、TBFにオーバーフロー
/アンダーフローが発生せず、システムの動作破綻や伝
送効率低下を防止できる。 Bmax≧2RT RT≦Bi≦Bmax−RT (5) 2RT−Bi-1≦Ei ≦Bmax−Bi-1 (6) (ただし、T:符号化対象画像データのフレーム周期 R:回線速度に対応した固定ビットレート Ei :i番目のフレームに対する発生符号量 Bi:同フレーム符号化終了時におけるTBF蓄積量 Bmax:TBF容量)
【0041】また、画像符号化応用機器受信側が同送信
側起動前に動作可能となるとき、TBFおよびRBFの
バッファリング遅延をそれぞれTおよびLとして、TB
F容量とRBF容量の各々に以下の式(10),(1
1)の制約を与えることで、一定フレームレートの画像
符号化データ伝送を、システムの動作破綻や伝送効率低
下を起こすことなく実現できる。 2RT≦Bmax≦R(L+T) (10) Bd1 max ≧R(L+T) (11) (ただし、L≧T Bmax:TBF容量 Bd1 max :RBF容量)
【0042】また、画像符号化応用機器受信側が同送信
側起動後に動作可能となり、かつ不完全フレームの画像
符号化ビット列をRBFの蓄積対象外とするとき、TB
FおよびRBFのバッファリング遅延をそれぞれTおよ
びLとして、TBF容量とRBF容量の各々に以下の制
約を与えることで、一定フレームレートの画像符号化デ
ータ伝送を、システムの動作破綻や伝送効率低下を起こ
すことなく実現できる。なお、以下の式(15),(1
6)の制約条件は、画像符号化応用機器受信側が同送信
側起動前に動作可能となるときについても有効である。 2RT≦Bmax≦R(L+T) (15) Bd2 max ≧R(L−T)+Bmax (16) (ただし、L≧T Bmax:TBF容量 Bd2 max :RBF容量)
【0043】更にまた、画像符号化応用機器受信側が同
送信側起動後に動作可能となり、受信するすべての画像
符号化ビット列をRBFの蓄積対象とするとき、TBF
およびRBFのバッファリング遅延をそれぞれTおよび
L+Tとして、TBF容量とRBF容量の各々に以下の
制約を与えることで、一定フレームレートの画像符号化
データ伝送を、システムの動作破綻や伝送効率低下を起
こすことなく実現できる。なお、以下の制約条件は、画
像符号化応用機器受信側が同送信側起動前に動作可能と
なるときについても有効である。同様に、画像符号化応
用機器受信側が同送信側起動後に動作可能となり、かつ
不完全フレームの画像符号化ビット列をRBFの蓄積対
象外とするときについても以下の式(23),(24)
の制約条件はあてはまる。 2RT≦Bmax≦R(L+T) (23) Bd3 max≧RL+Bmax (24) (ただし、L≧T Bmax:TBF容量 Bd3 max :RBF容量)
【0044】
【発明の効果】以上のようにこの発明は符号化手段で符
号化されたデータに関する情報を検知して、この検知結
果に基づいて符号化手段の符号化処理を制御することに
より、高効率伝送が可能になる。
【図面の簡単な説明】
【図1】本発明を用いた画像伝送装置における伝送路符
号化部周辺の機能ブロック図。
【図2】本発明を用いた画像伝送装置における伝送路復
号部周辺の機能ブロック図。
【図3】本発明にかかるTBF蓄積容量の時系列変化を
示す図。
【図4】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動前に動作
可能となるときについて示す図。
【図5】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、かつ不完全フレームの画像符号化ビット列
をRBFの蓄積対象外とするときについて示す図。
【図6】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、受信するすべての画像符号化ビット列をR
BFの蓄積対象とするときについて示す図。
【図7】従来の画像伝送装置における伝送路符号化部周
辺の機能ブロック図。
【図8】従来の画像伝送装置における伝送路復号部周辺
の機能ブロック図。
【図9】一般的な画像伝送装置の機能ブロック図。
【符号の説明】
3 情報源符号化部 31 符号量/シンボル数制御部 4 伝送路符号化部 41 可変長符号変換器 42 可変長符号変換器 43 可変長符号変換器 44 シリアル多重器 45 TBF 46 伝送路符号化制御部 47 符号量/シンボル数計数部 5 送信制御部 51 通信手順制御部 7 受信制御部 71 通信手順制御部 72 フレーム先頭位置検出部 8 伝送路復号部 81 RBF 82 符号語分離器 83 可変長符号逆変換器 84 可変長符号逆変換器 85 可変長符号逆変換器 86 伝送路復号制御部 87 タイマ 9 情報源復号部 なお、図中同一符号は、同一または相当部分を示す。
【手続補正書】
【提出日】平成5年2月2日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 データ符号化、復号化処理制御装置
【特許請求の範囲】
【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、例えばテレビ会議や
テレビ電話器等に用いられるデータ符号化、復号化処理
制御に関するものである。
【0002】
【従来の技術】一般に画像の符号化処理技術は、「村上
篤道著 高能率符号化技術」(テレビジョン学会誌 V
ol.42#11P.1198〜)に示されるように、
情報源符号化処理技術と伝送路符号化処理技術に大別で
きる。情報源符号化処理技術では、動画像を静止画像
(以下、フレーム)の連続と考え、フレームを構成する
ディジタル画像データを隣接する複数個毎にまとめたブ
ロックを符号化処理の単位として、これに多様な符号化
処理を組み合わせて適用することで画像が持つ情報量の
高能率圧縮を図る。一方、伝送路符号化処理は、多様な
符号化処理の結果として得られる複数の符号化データを
実際に伝送するときに施され、各々の符号化データをそ
の発生頻度に応じた可変長符号に置換して、これらをシ
リアル多重する。
【0003】以下に、従来の技術の一例として、画像デ
ータを符号化及び復号化する画像伝送装置の動作を説明
する。図9は、上記の論文の内容を簡略化して表現した
一般的な画像伝送装置の構成図であり、図中、1はA/
D変換部、2はフォーマット変換部、3は情報源符号化
部、4は伝送路符号化部、5は送信制御部、6は伝送
路、7は受信制御部、8は伝送路復号部、9は情報源復
号部、10はフォーマット逆変換部、11はD/A変換
部である。
【0004】図9において、アナログテレビジョン信号
は、A/D変換部1でディジタル化され、更にフォーマ
ット変換部2で情報源符号化に適するようにブロック化
される。情報源符号化部3において、ブロック化された
ディジタル画像データは、動き補償や離散コサイン変
換、量子化などの多様な符号化処理が施され、種々の符
号化データに展開される。これら各種の符号化データは
伝送路符号化部4にてエントロピー符号化、多重化さ
れ、送信制御部5の制御により画像符号化ビット列とし
て伝送路6に送出される。このとき、画像符号化ビット
列の送出速度は、伝送路6の通信速度に対応している。
伝送路6の通信速度は一般的に固定である。受信制御部
7では、通信相手からの画像符号化ビット列を伝送路6
から受信し、伝送路復号部8で各種符号化データを分離
・復号する。情報源復号部9では、各種符号化データを
もとに、情報下符号化部3における符号化処理と逆の手
順でブロック化されたディジタル画像データを復号し、
更にフォーマット逆変換部10でデブロッキングを行
い、D/A変換部11を経由してアナログテレビジョン
信号を復元する。以上が一般的な画像伝送装置における
符号化処理の概要である。なお、一般的な画像符号化処
理方式としては、CCITT SGXV Report
R37’Recommendation of th
e H−seriesH.261’(以下、H261と
記載する。)がある。
【0005】次に、伝送路符号化部4および伝送路復号
部8の動作の詳細を以下に説明する。伝送路符号化部4
において、画像符号化ビット列を生成する際に、各種の
符号化データをその発生頻度に応じた可変長符号に置換
し、これらをシリアル多重するので、画像1フレームあ
たりの画像符号化ビット列の符号量は、符号化対象フレ
ームの性質に応じて変動する。特に、上記H261代表
される動き補償予測フレーム間符号化を適用するとき
に、上記の傾向が顕著に現れる。該画像符号化ビット列
の伝送を効率よく行うためには、画像伝送装置の送信側
および受信側で該画像符号化ビット列をバッファリング
することが必須である。ただし、送信側バッファ(TB
F)および受信側バッファ(RBF)における画像符号
化ビット列の蓄積量に比例して、画像伝送装置全系の処
理遅延が増加する。図7は伝送路符号化部周辺、図8は
伝送路復号部周辺の機能ブロック図である。図中、3は
情報源符号化部、4は伝送路符号化部、41,42,4
3は可変長符号変換器、44はシリアル多重器、45は
TBF、46は伝送路符号化制御部、5は送信制御部、
7は受信制御部、8は伝送路復号部、81はRBF、8
2は符号語分離器、83,84,85は可変長符号逆変
換器、86は伝送路復号制御部、9は情報源復号部であ
る。
【0006】図7において、情報源符号化部3は、例え
ば画像符号化方式として上記H261を用いた場合に
は、符号化対象画像データに対して動き補償予測や離散
コサイン変換、スカラ量子化などを施し、符号化データ
としてスカラ量子化後の離散コサイン変換係数、動き補
償情報、量子化特性を出力する。伝送路符号化部4で
は、前記符号化データの各々を可変長符号変換器41,
42,43にて独立に符号語へ置換する。ここで、該符
号語には、発生頻度に応じて符号長を定められたユニー
クな可変長符号を用いる。更に、シリアル多重器44
は、伝送路符号化制御部46の制御に応じて、各符号化
データの可変長符号をブッロク単位にシリアル多重す
る。なお、以上によって得られた画像符号化ビット列
は、一旦TBF45に蓄積してから送信制御部5経由で
伝送路に送出される。一方、図8において、受信制御部
7は、伝送路6から受信したビット列内の画像符号化ビ
ット列のみを伝送路復号部8に送出する。伝送路復号部
8では、該画像符号化ビット列を一旦RBF81に蓄積
した後、伝送路復号制御部86の制御に応じて符号語分
離器82が必要な画像符号化ビット列をRBF81から
取り出し、各符号化データ(例えば、スカラ量子化後の
離散コサイン変換係数、動き補償情報、量子化特性)に
対応した符号語を分離して、各々を可変長符号逆変換器
83,84,85に入力する。該可変長符号逆変換器8
3,84,85は、符号語入力を、対応する符号化デー
タに置換して情報源復号部9に出力する。
【0007】ここで、画像符号化ビット列における画像
1フレーム毎の符号量が均等でないため、各フレームの
符号化終了時点でのTBF45の蓄積量は変動する。更
に、前記画像1フレームあたりの符号量の大小によって
は、TBF45にオーバーフローまたはアンダーフロー
が起こり得る。このことは、RBF81についても同様
である。TBF45およびRBF81にオーバーフロー
が発生すると、該バッファに入力すべき画像符号化ビッ
ト列の一部が廃棄されるため、システムの動作破綻とな
る。また、TBF45のアンダーフロー時には、画像符
号化ビット列以外のビット列を伝送路に送出することに
なるので、画像符号化ビット列の伝送効率が低下する。
更に、RBF81のアンダーフロー時には、復号処理が
断続的に行われることに起因して、符号化対象画像のフ
レーム間隔を忠実に再生できず、駒落としが発生する。
【0008】TBF45のオーバーフロー/アンダーフ
ロー対策の一例としては、次の処理がある。すなわち、
伝送路符号化制御部46はTBF45の蓄積量を監視し
て、オーバーフローの寸前には情報源符号化部3に対し
て符号化処理停止を、アンダーフローの寸前には送信制
御部5に対して画像符号化ビット列送信無効を通知する
処理である。符号化処理停止を受けた情報源符号化部3
は即座に符号化処理を停止して、該符号化処理停止が解
除されるのを待つ。また、画像符号化ビット列送信無効
を受けた送信制御部5は、受信側で識別・廃棄可能な
「画像符号化ビット列以外のビット列」を伝送路6に送
出する。ただし、前者は送信画像のフレーム数減少の原
因であり、後者は伝送効率の低下の原因になる。
【0009】伝送路復号部8においては、画像符号化ビ
ット列から画像1フレーム分の各種符号化データを分離
・復号するために必要な時間が不規則に変動する。これ
は、画像符号化ビット列における1フレームあたりの符
号量および画像1フレームあたりに発生するシンボル数
が均等でないことに起因する。このことは、符号化対象
画像のフレーム間隔の忠実な再生を阻害し、駒落とし発
生の原因になる。上記の対策としては、画像符号化ビッ
ト列から各種符号化データを分離・復号した後に該符号
化データを更にバッファリングすることが挙げられる。
しかし、同対策に必要なバッファ容量は、冗長度を廃し
た画像符号化ビット列を蓄積するRBF81に比較して
膨大であり、装置規模が増大する。
【0010】以上の問題点を解決するためには、画像伝
送装置の送信側および受信側における画像符号化ビット
列のバッファリングに何等かの制約が必要となるが、例
えば、上記H261においては、画像符号化ビット列1
フレームあたりの符号量上限と標準疑似復号器のRBF
容量を規定するに止まっており、的確な制約条件は示さ
れていない。
【0011】
【発明が解決しようとする課題】従来の伝送装置におい
ては、符号化ビット列のバッファリングに関して、TB
FおよびRBFのオーバーフローまたはアンダーフロー
等が発生して、符号化ビット列の伝送効率低下や画像伝
送装置の場合、駒落としによる再生画像の視覚特性劣化
の原因になっている。このことは、放送品質画像の固定
レートによるディジタル伝送や記録・蓄積に代表される
「高品質かつ駒落としを許容しない用途」へ画像符号化
を適用するうえでの問題点になっていた。
【0012】この発明は、小規模の装置でTBFおよび
RBFのオーバーフロー/アンダーフローを防止して、
符号化ビット列の伝送効率低下を防ぐことを目的とす
る。
【0013】
【課題を解決するための手段】この発明に係るデータ符
号化、復号化処理制御装置は、データを各情報について
符号化処理し、複数のシンボルからなる符号化データを
出力する符号手段と、多重化された上記符号化データを
記憶する送信側記憶手段と、符号化データを送信する送
信部,と、符号化データを伝送路を介して受信する受信
部と、符号化データを記憶する受信側記憶手段と、符号
化データを復号化する復号化手段と、上記符号化手段の
符号化に関する情報を検知する検知手段と、この検知手
段の検知、にもとづいて上記符号化手段の符号化を制御
する制御手段とを備える。
【0014】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、1シンボルのデータを復号
化する平均復号時間(t)、上記データの1フレーム周
期(T)、1フレームを均等に分割する任意の小領域の
1フレームあたりの総数(A)、それぞれのパラメータ
(t)、(T)、(A)にもとづいて、1フレーム内で
均等に分割された任意の小領域単位で生成される最大シ
ンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段を備える。
【0015】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、送信側記憶手段が、上記符
号化処理手段による符号化処理開始後、1フレーム周期
と同一期間(T)の間上記送信制御手段に対しての符号
化データの出力を禁止する場合、符号化手段が入力する
データの1フレーム周期(T)、送信記憶手段が符号化
データを上記送信制御手段に対して出力する速度である
ビットレート(R)、あらかじめ決められたそれぞれの
パラメータ(R)、(T)にもとづいて送信側記憶手段
の最大蓄積容量Be maxが Be max≧2RT となるようにメモリ容量を定められてた送信側記憶手段
と、符号化手段によるi番目のフレームの生成符号量
(Ei )、符号化手段によるi番目までのフレームの符
号化終了時における上記送信側記憶手段の蓄積量
(Be i)それぞれのパラメータ(Ei )、(Be i)、
(Be max)にもとづいて、上記送信側記憶手段の蓄積量
e iが RT≦Be i≦Be max−RT 又は、i番目のフレームに対する生成符号量Ei が 2RT−Be i-1≦Ei ≦Be max−Be i-1 となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0016】また、上記のように構成された符号化、復
号化処理制御装置は、符号化手段の起動より先に復号化
手段が動作する時、受信部が符号化データを受信する速
度であるビットレート(R)、上記受信側記憶手段が蓄
積開始直後から復号化手段が復号を開始するまでの期間
(L)、復号手段が符号化データを復号化処理する時間
が1フレームの周期と同一の時間(T)、それぞれのパ
ラメータ(R)、(L)、(T)にもとづき、送信側記
憶手段の最大容量Be maxと受信側記憶手段の最大容量B
d maxとが 2RT≦Be max≦R(L+T) Bd max≧R(L+T)となるように定められた送信側記
憶手段と、受信側記憶手段と、符号化手段が1シンボル
のデータを復号化する平均復号時間(t)、データの1
フレーム周期(T)、1フレームを均等に分割する任意
の小領域の1フレームあたりの総数(A)、それぞれの
パラメータ(t)、(T)、(A)にもとづいて、1フ
レーム内で均等に分割された任意の小領域単位で生成さ
れる最大シンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0017】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、符号化手段の起動より先に
上記復号化手段が動作する時、受信部が符号化データを
受信する速度であるビットレート(R)、上記受信側記
憶手段が蓄積開始直後から復号化手段が復号を開始する
までの期間(L)、復号化手段が符号化データを復号化
処理する時間が1フレームの周期と同一の時間(T)、
それぞれのパラメータ(R)、(L)、(T)にもとづ
き、送信側記憶手段の最大容量Be maxと、受信側記憶手
段の最大容量Bd maxとを、 2RT<Be max<R(L+T) Bd max>R(L+T) となるように定められた送信側記憶手段と受信側記憶手
段と、符号化手段によるi番目のフレームの生成符号量
(Ei )、符号化手段によるi番目までのフレームの符
号化終了時における上記送信側記憶手段の蓄積量
(Be i)それぞれのパラメータ(Ei )、(Be i)、
(Be max)にもとづいて、送信側記憶手段の蓄積量Be i
が RT≦Be i≦Be max−RT 又は、i番目のフレームに対する生成符号量Ei が 2RT−Be i-1≦Ei ≦Be max−Be i-1 となるように符号化手段の符号化を制御する制御手段と
を備える。
【0018】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、符号化手段の起動より先に
符号化手段が動作する時、受信制御部が符号化データを
受信する速度であるビットレート(R)、上記受信側記
憶手段が蓄積開始直後から復号化手段が復号を開始する
までの期間(L+T)、それぞれのパラメータ(R)、
(L+T)にもとづき、送信側記憶手段の最大容量Be
maxが、 2RT≦Be max≦R(L+T) 受信側記憶手段の最大容量Bd maxが、 Bd max≧RL+Be max となるように定められた送信側記憶手段と、受信側記憶
手段と、符号化手段が1シンボルのデータを復号化する
平均復号時間(t)、データの1フレーム周期(T)、
1フレームを均等に分割する任意の小領域の1フレーム
あたりの総数(A)、それぞれのパラメータ(t)、
(T)、(A)にもとづいて、1フレーム内で均等に分
割された任意の小領域単位で生成される最大シンボル数
(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0019】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、復号化手段の起動より先に
符号化手段が動作する時、受信制御部が符号化データを
受信する速度であるビットレート(R)、上記受信側記
憶手段が蓄積開始直後から復号化手段が復号を開始する
までの期間(L+T)、それぞれのパラメータ(R)、
(L+T)にもとづき、送信側記憶手段の最大容量Be
maxが、 2RT≦Be max≦R(L+T) 受信側記憶手段の最大容量Bd maxが、 Bd max≧RL+Be max となるように定められ、符号化手段によるi番目のフレ
ームの生成符号量(Ei )、符号化手段によるi番目ま
でのフレームの符号化終了時における送信側記憶手段の
蓄積量(Be i)それぞれのパラメータ(Ei )、
(Be i)、(Be max)にもとづいて、上記送信側記憶手
段の蓄積量Be iが RT≦Be i≦Be max−RT 又は、i番目のフレームに対する生成符号量Ei が 2RT−Be i-1≦Ei ≦Be max−Be i-1 となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0020】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、上記受信制御部が符号化デ
ータの各フレームの先頭位置を検出し、受信開始直後か
ら最初に検出されるフレーム先頭位置までの1フレーム
分に満たない符号化データを廃棄する時、上記受信制御
部が符号化データを受信する速度であるビットレート
(R)、上記受信側記憶手段が蓄積開始直後から復号化
手段が復号を開始するまでの期間(L)、上記復号手段
が符号化データを復号化処理する時間が1フレームの周
期と同一の時間(T)それぞれのパラメータ(R)、
(L)、(T)にもとづき、送信側記憶手段の最大容量
e maxが、 2RT≦Be max≦R(L+T) 受信側記憶手段の最大容量Bd maxが、 Bd max≧R(L−T)+Be max となるようにそれぞれ定められた送信側記憶手段と、受
信側記憶手段と、符号化手段が1シンボルのデータを復
号化する平均復号時間(t)、データの1フレーム周期
(T)、1フレームを均等に分割する任意の小領域の1
フレームあたりの総数(A)、それぞれのパラメータ
(t)、(T)、(A)にもとづいて、1フレーム内で
均等に分割された任意の小領域単位で生成される最大シ
ンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0021】また、上記のように構成されたデータ符号
化、復号化処理制御装置は、受信制御部が符号化データ
の各フレームの先頭位置を検出し、受信開始直後から最
初に検出されるフレーム先頭位置までの1フレーム分に
満たない符号化データを廃棄する時、受信制御部が符号
化データを受信する速度であるビットレート(R)、上
記受信側記憶手段が蓄積開始直後から復号化手段が復号
を開始するまでの期間(L)、復号手段が符号化データ
を復号化処理する時間が1フレームの周期と同一の時間
(T)それぞれのパラメータ(R)、(T)、(L)に
もとづき、送信側記憶手段の最大容量Be maxが、 2RT≦Be max≦R(L+T) 受信側記憶手段の最大容量Bd maxが、 Bd max≧R(L−T)+Be max となるようにそれぞれ定められた送信側記憶手段と受信
側記憶手段と、符号化手段によるi番目のフレームの生
成符号量(Ei )、符号化手段によるi番目までのフレ
ームの符号化終了時における上記送信側記憶手段の蓄積
量(Be i)それぞれのパラメータ(Ei )、(Be i)、
(Be max)にもとづいて、上記送信側記憶手段の蓄積量
e iが RT≦Be i≦Be max−RT 又は、i番目のフレームに対する生成符号量Ei が 2RT−Be i-1≦Ei ≦Be max−Be i-1 となるように上記符号化手段の符号化を制御する制御手
段とを備える。
【0022】
【作用】検知手段が符号化手段の符号化に関する情報を
検知して、この検知手段の検知にもとづいて、制御手段
が符号化手段の符号化を制御するものである。
【0023】
【実施例】以下に、本発明に係るデータ符号化、復号化
処理制御装置の一実施例である画像伝送装置について説
明する。本制御方式は、画像伝送装置の機能ブロックの
うち、主に伝送路符号化部および伝送路復号部に適用さ
れる。以下に、上記の両機能ブロックの動作を説明す
る。図1は伝送路符号化部周辺、図2は伝送路復号部周
辺の機能ブロック図である。図中、3は情報源符号化
部、31は符号量/シンボル数制御部、4は伝送路符号
化部、41,42,43は可変長符号変換器、44はシ
リアル多重器、45はTBF、46は伝送路符号化制御
部、47は符号量/シンボル数計数部、5は送信制御
部、51,71は通信手順制御部、7は受信制御部、7
2はフレーム先頭位置検出部、8は伝送路復号部、81
はRBF、82は符号語分離器、83,84,85は可
変長符号逆変換器、86は伝送路復号制御部、87はタ
イマ、9は情報源復号部である。
【0024】本発明に係る伝送路符号化部4および伝送
路復号部8の動作は従来技術の説明における動作と相違
点のみを以下に説明する。図1において、符号量/シン
ボル数計数部47はシリアル多重器44が出力する画像
符号化ビット列を監視して、符号量およびシンボル数を
リアルタイムで集計して、該集計結果を符号量/シンボ
ル数制御部31に帰還する。符号量/シンボル数制御部
31においては、上記集計結果をもとに、現在符号化中
のフレームに対するの符号量/シンボル数が所定の制約
条件を満たすように、量子化特性を変更する等して、情
報源符号化部3を制御する。特に、シンボル数の制御
は、フレームより細かい小領域単位で行える構成であ
る。併せて、同フレームの符号化終了時には、次フレー
ムに対する符号量/シンボル数の制約条件を求める。通
信手順制御部51は、受信側が備える同機能ブロックと
制御信号を受け渡すことで、画像符号化ビット列の送信
開始条件を整える。図2において、通信手順制御部71
は、例えば、受信側が画像符号化ビット列受信可能にな
るまで画像符号化ビット列送信を禁止するよう制御す
る。フレーム先頭位置検出部72は受信制御部7が受信
した画像符号化ビット列を監視して、同画像符号化ビッ
ト列における先頭位置を伝送路復号制御部86に通知す
る。ところで、画像符号化ビット列から1フレームあた
りの符号語の分離・復号に要する実際の処理時間は、同
フレームの符号量およびシンボル数によって異なるが、
符号化対象画像におけるフレーム間隔を再現するために
は、該処理時間を該符号化対象画像のフレーム周期:T
に補正する必要がある。上記補正のリファレンスとし
て、タイマ87を用いる。例えば、該時間補正の管理を
フレーム単位で行うなら、1フレーム分の符号語の分離
・復号時間がTに満たない場合に該不足時間をタイマ8
7で判別し、その期間中におけるRBF81からの画像
符号化ビット列取り出しを禁止する。ただし、1フレー
ム分の符号語の分離・復号時間は、T以下であることが
前提である。また、以上のようにして分離・復号された
各種の符号化データは、逐次情報源復号部9に送出さ
れ、同機能ブロックにて復号処理される。符号化手段
は、情報源符号化部3と可変長符号変換器41,42,
43とで構成され、送信側記憶手段はTBF45で構成
され、送信制御手段は、送信制御部5と通信手順制御部
とで構成され、受信制御手段は、受信制御部7と通信手
順制御部とで構成され、受信側記憶手段はRBF81で
構成され、復号化手段は情報源復号部9と可変長符号逆
変換器とで構成され、検知手段は符号量/シンボル数計
数部、制御手段は符号量/シンボル数制御部とで構成さ
れている。
【0025】第1の実施例として、画像伝送装置の情報
源符号化部の画像データ処理にて発生する符号化データ
のシンボル数の制約条件を導出し、この制約条件に基づ
いて情報源符号化部の画像データ処理の符号化を制御す
る。伝送路復号部8において、符号語の分離・復号処理
時間の補正を、フレームを均等に”A”分割した小領域
単位で行なうことを想定する。 同小領域あたりの補正目標時間:τ=T/A (T:符号化対象画像のフレーム周期)なお、上記
の「”A”分割した小領域」は、受信側における符号語
の分離・復号時間補正の管理単位であり、A=1のとき
は、該時間補正の管理をフレーム単位で行う場合に相当
する。ところで、符号語1シンボルあたりの平均復号時
間をtとすると、該小領域あたりに発生するシンボル数
の上限:Smaxについてシンボル数制御部が演算処理
する。 Smax=τ/t =T/(A×t) (1) シンボル数制御部は符号語の分離・復号処理時間補正の
単位である小領域のフレームあたりの総数と符号化対象
画像のフレーム周期を入力し、上記演算式(1)より、
各小領域あたりに発生するシンボル数をSmax以下に
なるように、情報源符号化部3を制御する。
【0026】次に、第2の実施例としてTBF45の蓄
積容量の変動について考える。ここで、情報源符号化部
3および伝送路符号化部4は符号化対象画像を滞りなく
符号化処理できるものとする。更に、TBF45は符号
化処理の起動以前にフラッシュされ、符号化処理の起動
後から期間:Tのバッファリング遅延を確保した後、固
定ビットレート:Rによる読みだしがスタートする。な
お、Tは符号化対象画像のフレーム周期である。また、
該TBFバッファリング遅延は、符号化処理部におい
て、符号化対象フレームに対する画像符号化ビット列の
発生が同フレーム周期の終了間際に集中する場合を補償
するための遅延である。符号化対象フレームに対する画
像符号化ビット列は、同フレーム周期内でバースト的に
発生する。なお、該画像符号化ビット列が発生する具合
は、画像の特性(絵柄や被写体の動き等)や符号化処理
部の構成によって異なる。図3は、以上を考慮して示し
たTBF蓄積量の時系列変化である(符号化処理起動後
で最初の符号化対象フレームを第1フレームとする)。
図中のハッチング箇所は、TBF蓄積量が取り得る領域
を示す。さて、情報源符号化部の発生符号量に対する制
約条件は、TBF45のオーバーフロー/アンダーフロ
ー防止条件として与えられる。ここで、 ・Ei :第iフレームの符号量(便宜上、E0 =0と
する)(シリアル多重器44から入力) ・Be i:時刻iTにおけるTBF蓄積量(便宜上、B
e 0=RTとする)(TBF45から入力) ・Be max:TBF容量(システム固定のパラメータか
ら算出) とすると、図3よりTBF45のオーバーフロー/アン
ダーフロー防止条件は、 RT≦Be i≦Be max−RT (2) よって、 Be max≧2RT 一方、
【0027】
【数1】
【0028】(3)式より Ei =Be i−Be i-1+RT (4) (2)式、(4)式より、 2RT−Be i-1 ≦Ei≦Be max−Be i-1 以上より、TBF45のオーバーフロー/アンダーフロ
ー防止のためには、 Be max≧2RT なる設定を行い、 RT≦Be i≦Be max−RT (5) 2RT−Be i-1 ≦Ei≦Be max−Be i-1 (6) なる符号量制御を行う。
【0029】以下には、画像伝送装置の送信側において
上記のシンボル数制御および符号量制御が行われたとき
の受信側の動作を記載する。ここで、情報源復号部9
は、画像データ1フレームあたりの復号処理を送信側に
おけるフレーム周期:Tにて滞りなく実行することを想
定する。また、RBF81は受信側起動時にフラッシュ
されており、受信制御部7が回線速度に対応した固定ビ
ットレート:Rで出力するビット列を滞りなく蓄積する
一方、所定のバッファリング遅延を確保した後、伝送路
復号制御部86の制御に応じて画像1フレーム分の画像
符号化ビット列を送信側におけるフレーム周期:T以内
に出力するものとする。なお、RBF81からの画像符
号化ビット列の取り出しは、可変長符号逆変換器の構成
に依存して、該フレーム周期:T内でバースト的に行わ
れる。以上の条件下で、RBF81の蓄積容量の変動を
次の3つの場合について考える。
【0030】(第1の条件)まず、第1の条件について
説明する。画像伝送装置の送信側起動前に同受信側が動
作可能になる場合を想定する。これは、例えば、画像蓄
積系メディアの通常再生時に相当し、画像伝送装置にお
いては、通信手順制御部51,71の制御で実現する。
なお、画像符号化ビット列以外のビット列については、
受信制御部7がこれを検出し、廃棄する。さて、RBF
81に期間:Lなるバッファリング遅延を設定したとき
のRBF蓄積量の時系列変化を図4に示す(受信側起動
後で最初の画像フレームの復号処理開始可能時刻を0と
する)。図中のハッチング箇所は、RBF蓄積量が取り
得る領域を示す。ここで、RBF81のオーバーフロー
/アンダーフロー防止条件から、バッファリングに関す
る新たな制約条件を導出する。 ・Bd1 k :時刻kTにおけるRBF蓄積量(ここで、B
d1 0 =RLである) ・Bd1 max :RBF容量:システム固定のパラメータ とすると、
【0031】
【数2】
【0032】(2)式、(7)式より、 R(L+2T)−Be max≦Bd1 k ≦RL (8) 図4より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd1 k ≦Bd1 max −RT (9) (8)式、(9)式より、新たな制約条件は次のとお
り。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (10) ・Bd1 max ≧R(L+T) (11)
【0033】(第2の条件)次に、第2の条件について
説明する。画像伝送装置の送信側起動後に同受信側が動
作可能になる場合で、受信開始直後から最初に検出され
るフレーム先頭までの1フレーム分に満たない不完全な
画像符号化ビット列をRBF81の蓄積対象外とする場
合を想定する。これは、通常の画像伝送装置において散
見される状況への対処例であり、復号対象の画像符号化
ビット列のみをRBF81に蓄積することで、トータル
のバッファリング遅延縮小を図るものである。不完全フ
レームの画像符号化ビット列廃棄にあたっては、画像符
号化ビット列におけるフレーム先頭位置をフレーム先頭
位置検出部72にて検知し、結果を伝送路復号制御部8
6に通知して廃棄対象ビット列を識別する。また、画像
符号化ビット列以外のビット列は、受信制御部7が廃棄
する。さて、RBF81に期間:Lなるバッファリング
遅延を設定したときのRBF蓄積量の時系列変化を図5
に示す(受信側起動後で最初の画像フレームの復号処理
開始可能時刻を0とし、送信側における同フレームのシ
リアルナンバをc+1とする)。図中のハッチング箇所
は、RBF蓄積量が取り得る領域を示す。ここで、RB
F81のオーバーフロー/アンダーフロー防止条件か
ら、バッファリングに関する新たな制約条件を導出す
る。 ・Bd2 n :時刻n TにおけるRBF蓄積量(ここで、B
d2 0 =RLである) ・Bd2 max :RBF容量:システム固定のパラメータ とすると、
【0034】
【数3】
【0035】(2)式、(12)式より、 R(L+T)+Be c−Be max≦Bd2 n ≦R(L−T)+Be c すなわち、 R(L+2T)−Be max≦Bd2 n≦R(L−2T)+Be max (13) 図5より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd2 n ≦Bd2 max −RT (14) (13)式、(14)式より、新たな制約条件は次のと
おり。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (15) ・Bd2 max ≧R(L−T)+Be max (16) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。
【0036】(第3の条件)更に、第3の条件について
説明する。画像伝送装置の送信側起動後に同受信側が動
作可能になる場合で、受信するすべての画像符号化ビッ
ト列をRBF81の蓄積対象とする場合を想定する。こ
れは先の説明と同様に、通常の画像伝送装置において散
見される状況への対処例であり、受信するすべての画像
符号化ビット列をRBF81に蓄積することで、RBF
81の制御を簡略化するものである。なお、不完全フレ
ームの画像符号化ビット列は、符号語分離器82がRB
F81をアクセスする際に即座に廃棄する。また、画像
符号化ビット列以外のビット列は、受信制御部7が廃棄
する。さて、RBF81に期間:Xなるバッファリング
遅延を設定したときのRBF蓄積量の時系列変化を図6
に示す(受信側起動後で最初の完全な画像フレームの復
号処理開始可能時刻を0とし、送信側における同フレー
ムのシリアルナンバをc+1とする)。図中のハッチン
グ箇所は、RBF蓄積量が取り得る領域を示す。ここ
で、RBF81のオーバーフロー/アンダーフロー防止
条件から、バッファリングに関する新たな制約条件を導
出する。 ・Ec pt :廃棄すべき不完全フレーム(送信側における
第cフレーム)符号量 ・Bd3 m :時刻mTにおけるRBF蓄積量(ここで、B
d3 0 =RXである) ・Bd3 max :RBF容量:システム固定のパラメータ とすると、
【0037】
【数4】
【0038】ここで、(2)式および(4)式より、 0<(Bc −Ec pt )<Be max−RT (18) (2)式および(17)式、(18)式より R(X+T)−Ec pt +Be c−Be max≦Bd3 m≦R(X−T)+Be c−Ec pt すなわち、 R(L+X)+Be max<Bd3 m<R(X−2T)+Be max (19) 図6より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd3 m ≦Bd3 max −RT (20) (19)式、(20)式より、 ・2RT≦Be max≦RX (ただし、X≧2Tである) (21) ・Bd3 max ≧R(X−T)+Be max (22) ところで、X=L+Tとして、上記結果を整理すると、
新たな制約条件は次のとおり。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (23) ・Bd3 max≧RL+Be max (24) ・RBFバッファリング遅延:(L+T) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。同様に、画像符号化応用機器受信側が同送信側起
動後に動作可能となり、かつ不完全フレームの画像符号
化ビット列をRBFの蓄積対象外とするときについても
上記の制約条件はあてはまる。
【0039】以上のように、この発明は画像符号化応用
機器復号側において、フレームを均等に”A”分割して
得られるA個の小領域毎に符号語の分離・復号時間が均
一になるよう補正し、送信側においては、該A個の小領
域あたりに発生するシンボル数:Smaxに以下の式
(1)の制約を与えることで、1フレーム分の符号語の
分離・復号時間が一定値:Tになる保証が得られるの
で、駒落としのない画像符号化データ伝送を小容量のバ
ッファで実現できる。 Smax≦T/(A×t) (1) (ただし、T:符号化対象画像データのフレーム周期 t:符号語1シンボルあたりの平均復号時間)
【0040】また、画像符号化応用機器送信側におい
て、画像1フレームあたりの符号量に以下の式(5),
(6)の制約を与えることで、TBFにオーバーフロー
/アンダーフローが発生せず、システムの動作破綻や伝
送効率低下を防止できる。 Be max≧2RT RT≦Be i≦Be max−RT (5) 2RT−Be i-1≦Ei ≦Be max−Be i-1 (6) (ただし、T:符号化対象画像データのフレーム周期 R:回線速度に対応した固定ビットレート Ei :i番目のフレームに対する発生符号量 Be i:同フレーム符号化終了時におけるTBF蓄積量 Be max:TBF容量)
【0041】また、画像符号化応用機器受信側が同送信
側起動前に動作可能となるとき、TBFおよびRBFの
バッファリング遅延をそれぞれTおよびLとして、TB
F容量とRBF容量の各々に以下の式(10),(1
1)の制約を与えることで、一定フレームレートの画像
符号化データ伝送を、システムの動作破綻や伝送効率低
下を起こすことなく実現できる。 2RT≦Be max≦R(L+T) (10) Bd1 max ≧R(L+T) (11) (ただし、L≧T Be max:TBF容量 Bd1 max :RBF容量)
【0042】また、画像符号化応用機器受信側が同送信
側起動後に動作可能となり、かつ不完全フレームの画像
符号化ビット列をRBFの蓄積対象外とするとき、TB
FおよびRBFのバッファリング遅延をそれぞれTおよ
びLとして、TBF容量とRBF容量の各々に以下の制
約を与えることで、一定フレームレートの画像符号化デ
ータ伝送を、システムの動作破綻や伝送効率低下を起こ
すことなく実現できる。なお、以下の式(15),(1
6)の制約条件は、画像符号化応用機器受信側が同送信
側起動前に動作可能となるときについても有効である。 2RT≦Be max≦R(L+T) (15) Bd2 max ≧R(L−T)+Be max (16) (ただし、L≧T Be max:TBF容量 Bd2 max :RBF容量)
【0043】更にまた、画像符号化応用機器受信側が同
送信側起動後に動作可能となり、受信するすべての画像
符号化ビット列をRBFの蓄積対象とするとき、TBF
およびRBFのバッファリング遅延をそれぞれTおよび
L+Tとして、TBF容量とRBF容量の各々に以下の
制約を与えることで、一定フレームレートの画像符号化
データ伝送を、システムの動作破綻や伝送効率低下を起
こすことなく実現できる。なお、以下の制約条件は、画
像符号化応用機器受信側が同送信側起動前に動作可能と
なるときについても有効である。同様に、画像符号化応
用機器受信側が同送信側起動後に動作可能となり、かつ
不完全フレームの画像符号化ビット列をRBFの蓄積対
象外とするときについても以下の式(23),(24)
の制約条件はあてはまる。 2RT≦Be max≦R(L+T) (23) Bd3 max≧RL+Be max (24) (ただし、L≧T Be max:TBF容量 Bd3 max :RBF容量)
【0044】
【発明の効果】以上のようにこの発明は符号化手段で符
号化されたデータに関する情報を検知して、この検知結
果に基づいて符号化手段の符号化処理を制御することに
より、高効率伝送が可能になる。
【図面の簡単な説明】
【図1】本発明を用いた画像伝送装置における伝送路符
号化部周辺の機能ブロック図。
【図2】本発明を用いた画像伝送装置における伝送路復
号部周辺の機能ブロック図。
【図3】本発明にかかるTBF蓄積容量の時系列変化を
示す図。
【図4】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動前に動作
可能となるときについて示す図。
【図5】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、かつ不完全フレームの画像符号化ビット列
をRBFの蓄積対象外とするときについて示す図。
【図6】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、受信するすべての画像符号化ビット列をR
BFの蓄積対象とするときについて示す図。
【図7】従来の画像伝送装置における伝送路符号化部周
辺の機能ブロック図。
【図8】従来の画像伝送装置における伝送路復号部周辺
の機能ブロック図。
【図9】一般的な画像伝送装置の機能ブロック図。
【符号の説明】 3 情報源符号化部 4 伝送路符号化部 5 送信制御部 7 受信制御部 8 伝送路復号部 9 情報源復号部 31 符号量/シンボル数制御部 41 可変長符号変換器 42 可変長符号変換器 43 可変長符号変換器 44 シリアル多重器 45 TBF 46 伝送路符号化制御部 47 符号量/シンボル数計数部 51 通信手順制御部 71 通信手順制御部 72 フレーム先頭位置検出部 81 RBF 82 符号語分離器 83 可変長符号逆変換器 84 可変長符号逆変換器 85 可変長符号逆変換器 86 伝送路復号制御部 87 タイマ なお、図中同一符号は、同一または相当部分を示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 信一 鎌倉市大船五丁目1番1号 三菱電機株式 会社通信システム研究所内

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 複数の情報を含み複数の単位フレームで
    構成されたデータを入力し、各情報について符号化処理
    し、複数のシンボルからなる符号化データを出力する符
    号手段3,41,42,43と、上記符号化データを入
    力しこの符号化データを記憶する送信側記憶手段45
    と、この送信側記憶手段から符号化データを入力して、
    この符号化データを送信する送信部5,51と、前記送
    信部から送信された符号化データを受信する受信部7
    と、この受信部から符号化データを記憶する受信側記憶
    手段81と、上記受信側記憶手段に記憶された符号化デ
    ータを入力して、入力した符号化データを復号化する復
    号化手段9,83,84,85と、上記符号化手段の符
    号化に関する情報を検知する検知手段47と、この検知
    手段の検知にもとずいて、上記符号化手段の符号化を制
    御する制御手段31とを備えたことを特徴とするデータ
    符号化、復号化処理制御装置。
  2. 【請求項2】 上記制御手段は、上記符号化手段が1シ
    ンボルのデータを復号化する平均符号化時間(t)、 上記データの1フレーム周期(T)、 1フレームを均等に分割する任意の小領域の1フレーム
    あたりの総数(Aそれぞれのパラメータ(t)、
    (T)、(A)にもとずいて、1フレーム内で均等に分
    割された任意の小領域単位で生成される最大シンボル数
    (Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
  3. 【請求項3】 上記記憶手段は、 上記送信側記憶手段が、上記符号化処理手段による符号
    化処理開始後、1フレーム周期と同一期間(T)の間上
    記送信制御手段に対しての符号化データの出力を中断す
    る場合、 上記符号化手段が入力するデータの1フレーム周期
    (T)、 上記送信記憶手段が符号化データを上記送信制御手段に
    対して出力する速度であるビットレート(R)、 あらかじめ決められたそれぞれのパラメータ(R)、
    (T)にもとずいて送信側記憶手段の最大蓄積容量Bm
    axが Bmax≧2RT となるようにメモリ容量を定められて、上記制御手段
    は、 上記符号化手段によるi番目のフレームの生成符号量
    (Ei)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記送信側記憶手段の蓄積量(Bi)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記受信側記憶手段の最大記憶容量(Bm
    ax)それぞれのパラメータ(Ei)、(Bi)、(B
    max)にもとずいて、上記送信側記憶手段の蓄積量B
    iが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
  4. 【請求項4】 送信側記憶手段と受信側記憶手段とは、 符号化手段の起動より先に上記復号化手段が動作する
    時、 上記受信部が符号化データを受信する速度であるビット
    レート(R)、 上記受信側記憶手段が蓄積開始直後から復号化手段が復
    号を開始するまでの期間(L)、 上記復号手段が符号化データを復号化処理する時間が1
    フレームの周期と同一の時間(T)、 それぞれのパラメータ(R)、(L)、(T)にもとず
    き、 送信側記憶手段の最大容量Bmax(T)と受信側記憶
    手段の最大容量Bmax(R)とが 2RT≦Bmax(T)≦R(L+T) Bmax(R)≧R(L+T)となるように定められ
    て、 上記制御手段は、上記符号化手段が1シンボルのデータ
    を復号化する平均符号化時間(t)、 上記データの1フレーム周期(T)、 1フレームを均等に分割する任意の小領域の1フレーム
    あたりの総数(A)、 それぞれのパラメータ(t)、(T)、(A)にもとず
    いて、1フレーム内で均等に分割された任意の小領域単
    位で生成される最大シンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
  5. 【請求項5】 送信側記憶手段と受信側記憶手段とは、 符号化手段の起動より先に上記復号化手段が動作する
    時、 上記受信部が符号化データを受信する速度であるビット
    レート(R)、 上記受信側記憶手段が蓄積開始直後から復号化手段が復
    号を開始するまでの期間(L)、 上記復号化手段が符号化データを復号化処理する時間が
    1フレームの周期と同一の時間(T)、 それぞれのパラメータにもとずき、 送信側記憶手段の最大容量Bmax(T)と、 受信側記憶手段の最大容量Bmax(R)とを、 2RT<Bmax(T)<R(L+T) Bmax(R)>R(L+T) となるように定められて、上記制御手段は、 上記符号化手段によるi番目のフレームの生成符号量
    (Ei)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記送信側記憶手段の蓄積量(Bi)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記受信側記憶手段の最大記憶容量(Bm
    ax)それぞれのパラメータ(Ei)、(Bi)、(B
    max)にもとずいて、 上記送信側記憶手段の蓄積量Biが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
  6. 【請求項6】 送信側記憶手段と受信側記憶手段とは、 上記復号化手段の起動より先に上記符号化手段が動作す
    る時、上記受信制御部が上記符号化データを受信する速
    度であるビットレート(R)、 上記受信側記憶手段が蓄積開始直後から復号化手段が復
    号を開始するまでの期間(L+T)、 それぞれのパラメータ(R)、(L+T)にもとずき、 送信側記憶手段の最大容量Bmax(T)が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧RL+Bmax(T) となるように定められ、上記制御手段は、 上記符号化手段が1シンボルのデータを復号化する平均
    符号化時間(t)、 上記データの1フレーム周期(T)、 1フレームを均等に分割する任意の小領域の1フレーム
    あたりの総数(A)、 それぞれのパラメータ(t)、(T)、(A)にもとず
    いて、1フレーム内で均等に分割された任意の小領域単
    位で生成される最大シンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
  7. 【請求項7】 送信側記憶手段と受信側記憶手段とは、 上記復号化手段の起動より先に上記符号化手段が動作す
    る時、上記受信制御部が符号化データを受信する速度で
    あるビットレート(R)、 上記受信側記憶手段が蓄積開始直後から復号化手段が復
    号を開始するまでの期間(L+T)、 それぞれのパラメータ(R)、(L+T)にもとずき、 送信側記憶手段の最大容量Bmax(T)が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧RL+Bmax(T) となるように定められ、上記制御手段は、 上記符号化手段によるi番目のフレームの生成符号量
    (Ei)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記送信側記憶手段の蓄積量(Bi)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記受信側記憶手段の最大記憶容量(Bm
    ax)それぞれのパラメータ(Ei)、(Bi)、(B
    max)にもとずいて、 上記送信側記憶手段の蓄積量Biが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
  8. 【請求項8】 上記送信側記憶手段と上記受信側記憶手
    段とは、 上記受信制御部が符号化データの各フレームの先頭位置
    を検出し、受信開始直後から最初に検出されるフレーム
    先頭位置までの1フレーム分に満たない符号化データを
    廃棄する時、 上記受信制御部が符号化データを受信する速度であるビ
    ットレート(R)、 上記受信側記憶手段が蓄積開始直後から復号化手段が復
    号を開始するまでの期間(L)、 上記復号手段が符号化データを復号化処理する時間が1
    フレームの周期と同一の時間(T)それぞれのパラメー
    タにもとずき、送信側記憶手段の最大容量Bmax
    (T)が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧R(L−T)+Bmax(T) となるようにそれぞれ定めて、 上記制御手段は、上記符号化手段が1シンボルのデータ
    を復号化する平均符号化時間(t)、 上記データの1フレーム周期(T)、 1フレームを均等に分割する任意の小領域の1フレーム
    あたりの総数(A)、 それぞれのパラメータ(t)、(T)、(A)にもとず
    いて、1フレーム内で均等に分割された任意の小領域単
    位で生成される最大シンボル数(Smax)が Smax≦T/(A×t) となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
  9. 【請求項9】 上記送信側記憶手段と上記受信側記憶手
    段とは、 上記受信制御部が符号化データの各フレームの先頭位置
    を検出し、受信開始直後から最初に検出されるフレーム
    先頭位置までの1フレーム分に満たない符号化データを
    廃棄する時、 上記受信制御部が符号化データを受信する速度であるビ
    ットレート(R)、 上記受信側記憶手段が蓄積開始直後から復号化手段が復
    号を開始するまでの期間(L)、 上記復号手段が符号化データを復号化処理する時間が1
    フレームの周期と同一の時間(T)それぞれのパラメー
    タにもとずき、送信側記憶手段の最大容量Bmax
    (T)が、 2RT≦Bmax(T)≦R(L+T) 受信側記憶手段の最大容量Bmax(R)が、 Bmax(R)≧R(L−T)+Bmax(T) となるようにそれぞれ定めて、上記制御手段は、 上記符号化手段によるi番目のフレームの生成符号量
    (Ei)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記送信側記憶手段の蓄積量(Bi)、 上記符号化手段によるi番目までのフレームの符号化終
    了時における上記受信記憶手段の最大記憶容量(Bma
    x)それぞれのパラメータ(Ei)、(Bi)、(Bm
    ax)にもとずいて、 上記送信側記憶手段の蓄積量Biが RT≦Bi≦Bmax−RT 又は、i番目のフレームに対する生成符号量Eiが 2RT−Bi−1≦Ei≦Bmax−Bi−1 となるように上記符号化手段の符号化を制御することを
    特徴とする請求項第1項のデータ符号化、復号化処理制
    御装置。
JP22016292A 1992-08-19 1992-08-19 画像符号化制御方式 Expired - Fee Related JP3024380B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22016292A JP3024380B2 (ja) 1992-08-19 1992-08-19 画像符号化制御方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22016292A JP3024380B2 (ja) 1992-08-19 1992-08-19 画像符号化制御方式

Publications (2)

Publication Number Publication Date
JPH0670300A true JPH0670300A (ja) 1994-03-11
JP3024380B2 JP3024380B2 (ja) 2000-03-21

Family

ID=16746861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22016292A Expired - Fee Related JP3024380B2 (ja) 1992-08-19 1992-08-19 画像符号化制御方式

Country Status (1)

Country Link
JP (1) JP3024380B2 (ja)

Also Published As

Publication number Publication date
JP3024380B2 (ja) 2000-03-21

Similar Documents

Publication Publication Date Title
JP2986039B2 (ja) 多重チャネル画像圧縮システム用の統計的マルチプレクサ
US5764298A (en) Digital data transcoder with relaxed internal decoder/coder interface frame jitter requirements
CA2108338A1 (en) Adaptive Video Encoder for Two-Layer Encoding of Video Signals on ATM (Asynchronous Transfer Mode) Networks
CN101742289B (zh) 视频码流压缩方法、系统及装置
JPH08265332A (ja) データ転送方法とその装置
JPH11313048A (ja) マルチメディア通信方法及び通信装置
EP1379091A1 (en) Video encoding and decoding apparatus and method for a communication terminal
JPH0984019A (ja) 画像データ蓄積装置
JP2003324733A (ja) 動画像送受信システムおよび動画像送受信方法
EP0622959A1 (en) Digital video communication apparatus
JPH0670300A (ja) データ符号化、復号化処理制御装置
JPH07250103A (ja) 時系列情報の通信システム
KR100916312B1 (ko) 적응적 가중 오류 정정 부호화 및 다중 표현열 부호화를사용한 비디오 전송 장치 및 그 방법
JPH0322735A (ja) 映像信号のパケット伝送装置
JPH1141608A (ja) 画像伝送装置および画像符号化方法および画像符号化装置
JP2936627B2 (ja) 廃築補償機能を備えた画像復号化方式
WO1997038532A1 (en) Buffer control in a coded data transmission system
JPH08191434A (ja) 動画/音声符号化データ多重化方法及び動画/音声符号化データ多重化装置
JPH0289472A (ja) 画像符号化伝送装置
JPH0865278A (ja) マルチメディア通信装置
EP1571769B1 (en) Encoding/transmission device and encoding/transmission method
JPH11317946A (ja) 画像通信方法、画像通信システム、および、画像通信プログラムを記録した記録媒体
JPH0275247A (ja) 可変レート画像階層符号化装置
JP2001292448A (ja) 映像エンコーダ装置、映像データ変換装置及び映像データ変換システム
JP3592289B2 (ja) 画像蓄積方法及び蓄積画像再生方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees