JPH07312753A - 符号化制御方法 - Google Patents

Abstract

(57)【要約】 【目的】 通信速度の変化に対して動きの再現性と空間
的な解像度が視覚特性上最適に保たれる符号化制御方法
を提供することである。 【構成】 第ｎフレームの次の符号化フレームの符号化
率を符号化する際に、第ｎフレームの符号化を開始した
時点から次のフレームの符号化を開始するまでの間の時
間Ｔｎに実際に伝送されたビット数ｂｎと、通信回線の
標準の通信速度Ｌ×Ｐで時間Ｔｎに伝送できるビット数
Ｌ×Ｐ×Ｔｎとの差を、当該次の符号化フレームの発生
符号量Ｒに加算して、当該次の符号化フレームの符号化
率Ｓ’＝Ｌ／（Ｒ×Ｐ×Ｔｎ−ｂｎ）を演算し、この演
算された符号化率に基づいて、画品質トレードオフ関数
１０１ａを１０１ｂに補正し、目的関数１０２との交点
から、画像符号化装置の最適な動作点を求めるようにし
ている。これによって、第ｎフレームを符号化した時点
から次の符号化フレームの符号化を開始するまでの間に
発生した通信速度の低下は、当該次の符号化フレームの
符号化時において、視覚特性上最適なバランスで時間的
な歪みおよび空間的な歪みに配分されて吸収される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、符号化制御方法に関
し、より特定的には、テレビ会議、テレビ電話等に用い
られる画像の符号化、復号化装置に関するものである。

【０００２】

【従来の技術】従来、６４Ｋｂｐｓの低レートで動画像
通信を行なうための画像圧縮符号化方式としてＣＣＩＴ
Ｔ勧告Ｈ．２６１がある。図８は、Ｈ．２６１で勧告さ
れている画像符号化方式を実現する送信側装置の構成を
示すブロック図である。図８において、この送信側装置
は、前処理装置１と、符号化装置２と、平滑化バッファ
３とを備えている。

【０００３】前処理装置１は、ＮＴＳＣ信号をＹＣ分離
しＡ／Ｄ変換するＡ／Ｄ変換部１１と、ＮＴＳＣ信号を
中間フォーマットであるＣＩＦ信号（Ｃｏｍｍｏｎ Ｉ
ｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）に変換するＮ
ＴＳＣ／ＣＩＦ変換部１２と、前処理フィルタ１３とを
含む。中間フォーマットは地域によるテレビジョン方式
の違いを解決し、すべてのコーディック間で相手を意識
することなく通信できるように決めた共通のフォーマッ
トである。

【０００４】符号化装置２は、符号化部２２と、符号化
部２２を制御する符号化制御部２１とで構成される。符
号化部２２は、１６×１６画素の範囲で動き補償可能で
フレーム間の誤差を算出する動き補償フレーム間予測部
２２１と、その予測誤差信号を８×８のブロック単位で
直交変換（ＤＣＴ）して空間座標データを周波数座標デ
ータに変換する直交変換部２２２と、直交変換した変換
係数を直線量子化する量子化部２２３と、量子化した変
換係数をハフマン符号化する第１の可変長符号化部２２
４と、動き補償に用いた動きベクトルをハフマン符号化
する第２の可変長符号化部２２５と、第１の可変長符号
化部２２４で符号化された主情報と第２の可変長符号化
部２２５で符号化されたサイド情報とを多重化して伝送
フレームを構成する多重化部２２６とを含む。多重化部
２２６の出力は、平滑化バッファ３を介して伝送路４に
送出される。

【０００５】視覚的に良好な画品質を得るためには、高
い符号化効率のみならず入力画像に対する符号化パラメ
ータを決定する符号化制御部２１の符号化制御特性が、
人間の視覚特性に適合している必要がある。動画像信号
を数１０Ｋｂｐｓまで圧縮符号化するにはなんらかの空
間的、時間的歪みを許容せざるを得ない。動画像信号が
持つ情報量は、時間的に大きく変化していることから、
動画像を一定速度の伝送路に適合するように符号化し、
かつ良好な再生画品質を保つためには、符号化パラメー
タを制御する符号化制御アルゴリズムが重要な要素とな
る。すなわち、限られた情報量の中で、動きの再現性
と、空間的な解像度，雑音とのバランスが視覚特性上最
適に保たれるような符号化制御方式が望ましい。

【０００６】ここで、空間的な解像度は量子化部２２３
の量子化精度で決まり、量子化精度が高い程、時刻ｔに
おける入力画像を符号化した際の発生符号量Ｒ（ｔ）は
増大する。発生した情報は平滑化バッファ３に蓄積され
る。平滑化バッファ３からは、１フレーム時間あたりＬ
ビットの符号が伝送路４へ送出されるため、平滑化バッ
ファ３の滞留量をＢ（ｔ）とすると、時刻ｔの画像が符
号化されたときは、Ｂ（ｔ＋１）＝Ｂ（ｔ）＋Ｒ（ｔ）
−Ｌとなり、時刻ｔの入力画像がコマ落としされたとき
は、Ｂ（ｔ＋１）＝Ｂ（ｔ）−Ｌとなる。ここで、時刻
ｔ＋１の入力画像を符号化するかコマ落としするかは、
Ｂ（ｔ）＞Ｌのときコマ落としし、Ｂ（ｔ）≦Ｌのとき
符号化すると決めている。また、Ｒ（ｔ）の符号量を伝
送するためには、１フレーム時間の｛Ｒ（ｔ）／Ｌ｝倍
の時間を要するので、時刻ｔ前後での入力フレーム符号
化率Ｓ（ｔ）は、Ｓ（ｔ）＝Ｌ／Ｒ（ｔ）と表わせる。

【０００７】入力画像を符号化する際、量子化精度によ
り復号画像は変化し、量子化精度を高めれば符号化率が
減少し、符号化率を高めれば量子化精度を下げてＳ／Ｎ
比を落とさねばならない。この関係を画品質トレードオ
フ関数Ｓｓ＝Ｇ（Ｄｓ）と呼ぶ。画品質トレードオフ関
数の一例を図９に示す。なお、図９において、横軸はＳ
／Ｎ比を表し、縦軸は符号化率を表している。画品質ト
レードオフ関数１０１は、入力フレームが大きな動きや
細かいパターン等を含むとき右下に移動し、動きが少な
いとき左上に移動する。一方、前述した符号化率と量子
化精度の組が視覚的に最適となる点１０３が、それぞれ
の入力画像に対する画品質トレードオフ関数上に１点ず
つ存在する。この点を結んだ線が目的関数Ｓｏ＝Ｏ（Ｄ
ｏ）であり、図９に曲線１０２として示す。

【０００８】画品質トレードオフ関数を正確に求めるた
めには、量子化精度を変化させつつ、そのフレームを何
度も実際に符号化し、その都度の符号化率を測定する必
要がある。しかし、処理時間の観点からこのような処理
は非現実的である。加藤らの「動画像符号化方式におけ
る時空間歪み最適配分型符号化制御アルゴリズム」電子
情報通信学会論文誌 Ｂ Ｖｏｌ．Ｊ７１−Ｂ Ｎｏ．
８ Ｐ．９４５−９５４ １９８８年８月では、現符号
化フレームから画品質トレードオフ関数を決定する２つ
の方法を提案している。

【０００９】まず、上記文献に記載された第１の方法に
ついて説明する。動き補償フレーム予測およびＤＣＴを
終えた段階で、現入力フレームの予測誤差信号ＤＣＴ係
数、動きベクトルが得られる。このとき、１フレーム分
のＤＣＴ係数ヒストグラムおよび動きベクトル符号量か
ら、発生符号量Ｒ（ｑ）と、Ｓ／Ｎ比Ｄ（ｑ）とが、量
子化精度ｑの関数として求められる。従って、符号化率
Ｓ（ｑ）＝Ｌ／Ｒ（ｑ）と、Ｓ／Ｎ比Ｄ（ｑ）との関係
である画品質トレードオフ関数Ｓｓ＝Ｇ（Ｄｓ）が精度
よく定まる。図１０は、上記文献に記載されている画品
質トレードオフ関数の例を示しており、異なる入力フレ
ームに対して異なる曲線となる。

【００１０】次に、上記文献に記載された第２の方法に
ついて説明する。第２の方法は、幾つかの符号化率Ｓ
（ｑ）およびＳ／Ｎ比Ｄ（ｑ）の候補を予め定めてお
き、その中から直前の符号化フレームの符号化結果と適
合する特性を選定し、その選定結果に基づいて現符号化
フレームの画品質トレードオフ関数を算出する方法であ
る。図１１は、符号化率Ｓｓ（ｑ）を本方法により推定
する方法を示している。図１１中の曲線に付した数字１
〜６は符号化率対量子化ステップサイズ特性候補の番号
を表し、点Ｃは前符号化フレームの符号化率と量子化ス
テップサイズを表している。図１１の例では、番号３の
特性が最も点Ｃに近く、番号３の特性を時刻ｔの符号化
率Ｓｓ（ｑ）と推定している。ＳＮ比Ｄｓ（ｑ）も同様
の方法で推定される。

【００１１】一方、他の従来技術として、高能率符号化
された動画像データをＰＨＰや携帯電話等のディジタル
無線回線網で伝送する試みがなされている。Ｎ．ＭＡＣ
ＤＯＮＡＬＤらの「ＣＯＲＤＬＥＳＳ ＶＩＤＥＯ」Ｆ
ｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈ
ｏｐ ｏｎ Ｍｏｂｉｌｅ ＭｕｌｔｉｍｅｄｉａＣｏ
ｍｍｕｎｉｃａｔｉｏｎｓ Ｂ．３．１−１ Ｄｅｃｅ
ｍｂｅｒ ７−１０，１９９３では、ヨーロッパのディ
ジタルコードレス電話であるＤｉｇｉｔａｌＥｕｒｏｐ
ｅａｎ Ｃｏｒｄｌｅｓｓ Ｔｅｌｅｃｏｍｍｕｎｉｃ
ａｔｉｏｎｓ（ＤＥＣＴ）によりＩＴＵ勧告Ｈ．２６１
で符号化された動画像データを伝送する実験を報告して
いる。この文献によると、高能率圧縮された動画像デー
タは伝送誤りに大変弱く、伝送誤りの訂正が必須とな
る。ところで、ディジタルコードレス回線網は、伝送誤
り率が１％程度に劣化することもあり、また歩行速度以
下で使用する場合にはスローフェージングにより数１０
ｍｓにおよぶバーストエラーが発生することもある。こ
れに対してこの文献では、伝送データにチェックビット
を付加して伝送し、受信側で誤りを訂正するフォーワー
ドエラーコレクション（ＦＥＣ）だけではこのバースト
エラーによる誤りを訂正することは不可能であると指摘
し、データ列の並べ換え（インタリーブ）とＦＥＣを組
み合わせてバーストエラーをランダム化して誤り訂正を
行う手法を試みている。

【００１２】しかしながら、数１０ｍｓのバーストエラ
ーをランダム化するためには、数１００ｍｓ分のデータ
のビット列の並べ換えが必要であり、そのためには数１
００ｍｓに及ぶ伝送遅延を伴う。テレビ電話などのよう
に双方向にリアルタイムなビデオデータの伝送を行う場
合、伝送遅延はスムーズな会話の妨げとなるため、この
手法にも限界がある。そこで、上記文献では、受信側で
送信情報の誤りの有無を検出し、その検出結果を確認信
号として送信側に返送し、確認信号の状況に応じて送信
側から受信側に送信情報を再送する自動再送制御（ＡＲ
Ｑ）の手順が最も望ましいと結論付けている。

【００１３】

【発明が解決しようとする課題】送信側と受信側とで自
動再送制御を行う場合、伝送エラーが発生すると送信済
みのデータを再度送信するため、再送回数に応じて通信
速度が低下する。つまり、伝送路の伝送品質に応じて伝
送速度が変化する。従来考えられている時空間歪み最適
配分型符号化制御アルゴリズムでは、平滑化バッファか
らは単位時間あたりＬビットの一定符号量が伝送路へ送
出されると仮定して符号化率を算出しているため、通信
速度の変動は符号化アルゴリズムには反映されない。し
かしながら、通信速度が低下している場合、平滑化バッ
ファの減りは通信速度が低下しない場合に比べて遅くな
るため、平滑化バッファはオーバーフローを起こし、す
べて時間軸の歪み（コマ落とし）となって現れる。伝送
速度の低下による映像品質の歪みも、動きの再現性の劣
化と空間的な解像度の劣化とに適度に配分できれば、伝
送路の伝送品質に応じて通信速度が変化する無線による
動画像の伝送に最適な符号化制御が得られるであろう。

【００１４】それゆえに、本発明の目的は、伝送路の伝
送品質に応じて通信速度が変化する環境においても、動
きの再現性と空間的な解像度、雑音とのバランスが視覚
特性上最適に保たれるような高効率な符号化制御方法を
提供することである。

【００１５】

【課題を解決するための手段】請求項１に係る発明は、
単位時間当たりＰフレームの動画像データを高能率圧縮
符号化して低ビットレートの通信回線を介して伝送する
際に、符号化率に応じたコマ落としによる時間的歪みと
量子化精度による空間的歪みとのバランスをとるため
に、視覚特性上最適な動作点が予め決められている画像
符号化装置の符号化動作を制御するための方法であっ
て、第ｎフレームの符号化を開始した時点から次のフレ
ームの符号化を開始するまでの間の時間Ｔｎにおいて、
実際に伝送されたビット数ｂｎを検出する第１のステッ
プと、第１のステップで検出したビット数ｂｎと、通信
回線の標準の通信速度Ｌ×Ｐ（Ｌは１フレーム期間に伝
送できるビット数）で時間Ｔｎに伝送できるビット数Ｌ
×Ｐ×Ｔｎとの差を、第ｎフレームの次の符号化フレー
ムの発生符号量に加算して、当該次の符号化フレームの
符号化率を演算する第２のステップと、第２のステップ
で演算された符号化率に基づいて、第ｎフレームの次の
符号化フレームを符号化する際の画像符号化装置の最適
な動作点を補正する第３のステップとを備えている。

【００１６】請求項２に係る発明は、請求項１の発明に
おいて、画像符号化装置は、高能率圧縮符号化された動
画像データを自動再送制御の手順で送信側から受信側に
伝送する画像伝送システムに用いられており、画像伝送
システムでは、画像符号化装置は、受信側装置に対して
フレーム単位で送出する送信情報に誤り検出のための冗
長ビットを付加して伝送し、受信側装置は、冗長ビット
に基づいて送信情報の誤りの有無を検出し、その検出結
果を確認信号として画像符号化装置に返送し、画像符号
化装置は、確認信号の状況に応じて、受信側装置に送信
情報を再送するように構成されており、第１のステップ
は、所定時間内に確認信号により送達確認がとれた伝送
ビット数を実際に伝送されたビット数ｂｎとして検出す
ることを特徴とする。

【００１７】請求項３に係る発明は、単位時間当たりＰ
フレームの動画像データを高能率圧縮符号化して低ビッ
トレートの通信回線を介して伝送する際に、符号化率に
応じたコマ落としによる時間的歪みと量子化精度による
空間的歪みとのバランスをとるために、視覚特性上最適
な動作点が予め決められている画像符号化装置の符号化
動作を制御するための方法であって、第ｎフレームの符
号化を開始した時点から次の符号化を開始するまでの平
均の通信速度を演算する第１のステップと、第１のステ
ップで演算された平均の通信速度を、第ｎフレームの発
生ビット数で除算することにより、第ｎフレームの実質
的な符号化率を演算する第２のステップと、第２のステ
ップで演算された実質的な符号化率に基づいて、第ｎフ
レームの次の符号化フレームを符号化する際の画像符号
化装置の最適な動作点を補正する第３のステップとを備
えている。

【００１８】請求項４に係る発明は、請求項３の発明に
おいて、画像符号化装置は、高能率圧縮符号化された動
画像データを自動再送制御の手順で送信側から受信側に
伝送する画像伝送システムに用いられており、画像伝送
システムでは、画像符号化装置は、受信側装置に対して
フレーム単位で送出する送信情報に誤り検出のための冗
長ビットを付加して伝送し、受信側装置は、冗長ビット
に基づいて送信情報の誤りの有無を検出し、その検出結
果を確認信号として画像符号化装置に返送し、画像符号
化装置は、確認信号の状況に応じて、受信側装置に送信
情報を再送するように構成されており、第２のステップ
は、所定時間内に確認信号により送達確認がとれた伝送
ビット数を当該所定時間で除算し、その除算値を平均の
通信速度として用いることを特徴とする。

【００１９】

【作用】請求項１に係る発明においては、第ｎフレーム
の次の符号化フレームの符号化率を符号化する際に、第
ｎフレームの符号化を開始した時点から次のフレームの
符号化を開始するまでの間の時間Ｔｎに実際に伝送され
たビット数ｂｎと、通信回線の標準の通信速度Ｌ×Ｐで
時間Ｔｎに伝送できるビット数Ｌ×Ｐ×Ｔｎとの差を、
当該次の符号化フレームの発生符号量に加算して、当該
次の符号化フレームの符号化率を演算し、この演算され
た符号化率に基づいて、画像符号化装置の最適な動作点
を補正するようにしている。これによって、第ｎフレー
ムを符号化した時点から次の符号化フレームの符号化を
開始するまでの間に発生した通信速度の低下は、当該次
の符号化フレームの符号化時において、視覚特性上最適
なバランスで時間的な歪みおよび空間的な歪みに配分さ
れて吸収される。

【００２０】請求項２に係る発明においては、いわゆる
自動再送制御を行う画像伝送システムにおいて、所定時
間内に確認信号により送達確認がとれた伝送ビット数を
実際に伝送されたビット数ｂｎとして検出するようにし
ている。

【００２１】請求項３に係る発明においては、第ｎフレ
ームの次の符号化フレームの符号化率を符号化する際
に、第ｎフレームの符号化を開始した時点から次の符号
化を開始するまでの平均の通信速度を、第ｎフレームの
発生ビット数で除算して、第ｎフレームの実質的な符号
化率を演算し、この演算された実質的な符号化率に基づ
いて、画像符号化装置の最適な動作点を補正するように
している。これによって、第ｎフレームを符号化した時
点から次の符号化フレームの符号化を開始するまでの間
に発生した通信速度の低下は、当該次の符号化フレーム
の符号化時において、視覚特性上最適なバランスで時間
的および空間的な歪みに配分されて吸収される。

【００２２】請求項４に係る発明においては、いわゆる
自動再送制御を行う画像伝送システムにおいて、所定時
間内に確認信号により送達確認がとれた伝送ビット数を
当該所定時間で除算し、その除算結果を平均の通信速度
として用いるようにしている。

【００２３】

【実施例】図１は、後述する２つの実施例に共通して用
いることが可能な送信側装置の構成を示すブロック図で
ある。図１において、この送信側装置は、前処理装置１
と、符号化装置２と、平滑化バッファ３と、伝送制御部
５とを備えている。

【００２４】前処理装置１は、図８に示す前処理装置１
と同様の構成であり、Ａ／Ｄ変換部１１と、ＮＴＳＣ／
ＣＩＦ変換部１２と、前処理フィルタ１３とを含む。符
号化装置２は、符号化部２２と、符号化制御部２１０と
で構成される。符号化部２２は、図８に示す符号化部２
２と同様の構成であり、動き補償フレーム間予測部２２
１と、直交変換部２２２と、量子化部２２３と、第１お
よび第２の可変長符号化部２２４および２２５と、多重
化部２２６とを含む。符号化制御部２１０は、本発明の
特徴となる伝送制御アルゴリズムを実行する。多重化部
２２６の出力は、平滑化バッファ３および伝送制御部５
を介して伝送路４に送出される。伝送制御部５は、受信
側装置（図示せず）から与えられる確認信号をカウント
することにより、送達確認ビット数（受信側装置へ伝送
誤りなく到達した信号のビット数）ｂｎを検出し、符号
化制御部２１０に出力する。より詳細に説明すると、符
号化装置２は、受信側装置に対してフレーム単位で送出
する送信情報に誤り検出のための冗長ビットを付加して
伝送する。受信側装置では、冗長ビットに基づいて送信
情報の誤りの有無を検出し、その検出結果を確認信号と
して符号化装置２に返送する。符号化装置２は、上記確
認信号の状況に応じて、受信側装置に送信情報を再送す
る自動再送制御を実行する。伝送制御部５は、所定時間
内に確認信号により送達確認がとれた伝送ビット数を誤
りなく実際に伝送されたビット数ｂｎとして検出する。

【００２５】（第１の実施例）以下、本発明の第１の実
施例ついて図面を参照しながら説明する。図２は、本発
明の第１の実施例に係る符号化制御方法の原理を説明す
るためのグラフである。図２において、曲線１０１ａ
は、単位時間当たりの通信速度が一定のＬ×Ｐ（ｂｉｔ
／ｓ）のときの画品質トレードオフ関数Ｓｓ＝Ｇａ（Ｄ
ｓ）を示しており、符号化率Ｓ（ｑ）＝Ｌ／Ｒ（ｑ）
と、Ｓ／Ｎ比Ｄ（ｑ）とに基づいて算出される（ただ
し、Ｐは１秒当たりに符号化装置２に入力されるフレー
ム数である）。なお、画品質トレードオフ関数の算出方
法の詳細は、本明細書の従来技術の欄および、そこに記
された従来技術の文献を参照されたい。曲線１０２は、
目的関数Ｓｏ＝Ｏ（Ｄｏ）であり、視覚的に良いバラン
スとなる符号化率とＳＮ比の組の集合として予め決めら
れているものとする。点１０３ａは、視覚的に最適な動
作点であり、画品質トレードオフ関数１０１ａと目的関
数１０２との交点として求められる。

【００２６】曲線１０１ｂは、通信速度が変動した場合
に本実施例により補正した画品質トレードオフ関数Ｓｓ
＝Ｇｂ（Ｄｓ）であり、符号化率Ｓ（ｑ）＝Ｌ／（Ｒ
（ｑ）＋Ｌ×Ｐ×Ｔｎ−ｂｎ）と、Ｓ／Ｎ比Ｄ（ｑ）と
に基づいて算出される。ここで、Ｔｎは第ｎフレームの
符号化を開始した時点から次の符号化を開始するまでの
時間であり、ｂｎはその間に実際に誤りなく伝送された
ビット数である。つまり、（Ｌ×Ｐ×Ｔｎ−ｂｎ）は、
第ｎフレームの符号化を開始した時点から次の符号化を
開始するまでの時間に本来伝送されるはずであったが通
信速度の低下により伝送されなかったビット数を表して
いる。本実施例では、この未伝送ビット数（Ｌ×Ｐ×Ｔ
ｎ−ｂｎ）を、第ｎフレームの次の符号化フレームの発
生ビット数に加算して符号化率を算出することにより、
通信速度の低下分を次の符号化フレームを上げることで
吸収しようとするものである。従って、結果的に見れ
ば、画品質トレードオフ関数１０１ｂと目的関数１０２
との交点である視覚的に最適な動作点１０３ｂは、点１
０３ａに対して通信速度の低下分を動きの再現性の劣化
△ＳとＳ／Ｎ比の劣化△Ｄとに最適に配分した点とな
る。

【００２７】図３は、本発明の第１の実施例のタイミン
グ図である。図３（ａ）は入力映像フレームを示してお
り、ＮＴＳＣの場合、１秒間に約３０枚入力される。図
３（ｂ）は符号化処理時間を表しており、１フレーム目
を符号化した際の符号化率に応じて後続の２フレーム目
および３フレーム目はコマ落としを行い、４フレーム目
を次に符号化している。図３（ｃ）は無線伝送の様子を
表しており、１フレーム目の符号化データの伝送中に伝
送エラーが発生した場合を示している。図３（ｄ）は受
信側で符号化データを復号して表示した表示映像を表し
ている。

【００２８】図３において、１フレーム目の符号化を開
始してから４フレーム目の符号化を開始するまでの時間
はＴ１であり、その間に誤りなく伝送できたビット数は
ｂ１である。そのため、４フレーム目を符号化する際に
は、符号化率をＳ４（ｑ）＝Ｌ／（Ｒ４（ｑ）＋Ｌ×Ｐ
×Ｔ１−ｂ１）とし、Ｓ／Ｎ比は変わらずＤ４（ｑ）と
して画品質トレードオフ関数を求め、目的関数との交点
を算出する。

【００２９】図４は、上記第１の実施例を実施する場合
に、図２の符号化装置２で実行される動作を示すフロー
チャートである。図４において、符号化装置２に画像信
号が入力されると（ステップＳ１０１）、符号化制御部
２１０は動き補償フレーム予測部２２１および直交変換
部２２２を起動する（ステップＳ１０２およびＳ１０
３）。次に、符号化制御部２１０は、発生符号量Ｒ
（ｑ）と、Ｓ／Ｎ比Ｄ（ｑ）とを算出する（ステップＳ
１０４）。次に、符号化制御部２１０は、ステップＳ１
０４で求めたＲ（ｑ）に基づいて、量子化精度ｑに対す
る符号化率Ｓｓ（ｑ）＝Ｌ／（Ｒ（ｑ）＋Ｌ×Ｐ×Ｔｎ
−ｂｎ）を算出する（ステップＳ１０５）。このとき、
符号化制御部２１０は、伝送制御部５から前符号化フレ
ーム伝送時における送達確認ビット数ｂｎを入力する。
次に、符号化制御部２１０は、ステップＳ１０４で求め
たＳ／Ｎ比Ｄ（ｑ）と、ステップＳ１０５で求めた符号
化率Ｓｓ（ｑ）＝Ｌ／（Ｒ（ｑ）＋Ｌ×Ｐ×Ｔｎ−ｂ
ｎ）とに基づいて、画品質トレードオフ関数Ｓｓ＝Ｇ
（Ｄｓ）を算出する（ステップＳ１０６）。次に、符号
化制御部２１０は、画品質トレードオフ関数Ｓｓと目的
関数Ｓｏ＝Ｏ（Ｄｏ）との交点となるｑ，Ｓｓ（ｑ）を
算出する（ステップＳ１０７）。次に、符号化制御部２
１０は、量子化部２２３を起動し、１フレーム分の画像
信号を量子化精度ｑで量子化する（ステップＳ１０
８）。次に、符号化制御部２１０は、第１および第２の
可変長符号化部２２４および２２５を起動し、量子化さ
れた画像データを符号化する（ステップＳ１０９）。次
に、符号化制御部２１０は、ステップＳ１０５で求めた
符号化率Ｓｓに応じて、次符号化フレームまでのコマ飛
ばし時間Ｔｎを算出し（ステップＳ１１０）、再びステ
ップＳ１０２の動作に戻る。

【００３０】一方、第１および第２の可変長符号化部２
２４および２２５によって符号化された信号は、平滑化
バッファ３に蓄積された後（ステップＳ１１１）、伝送
制御部５を介して伝送路４に送出される（ステップＳ１
１２）。なお、伝送制御部５は、このとき伝送路４に送
出された信号の送達送信確認ビット数ｂｎを検出し、前
述のステップＳ１０５での演算のために符号化制御部２
１０に入力する。

【００３１】以上のように、第１の実施例によれば、現
符号化フレームの情報を用いて現フレームの符号化の時
空間の歪みを最適に配分する符号化に対して、第ｎフレ
ームの次の符号化では、第ｎフレームを符号化した時点
から次のフレームを符号化開始するまでの間の通信速度
の低下が反映された平滑化バッファの空き容量に対して
時空間の歪みが最適に配分される。なお、ここでは従来
の技術に記した文献にある時空間歪み最適配分法に本発
明を適用した場合を説明しているが、本発明はこの手法
に限定されるものではなく、符号化率を用いて時空間の
歪みの配分を行う他の手法に対しても適用可能である。

【００３２】（第２の実施例）以下、本発明の第２の実
施例ついて図面を参照しながら説明する。図５は、本発
明の第２の実施例に係る符号化制御方法の原理を説明す
るためのグラフである。こでは、前符号化フレームの符
号化結果を用いて画品質トレードオフ曲線を求める方式
に本発明を適用する方法を述べる。

【００３３】ここで、伝送エラーにより前フレームの符
号化を開始した時点から次の符号化を開始するまでの間
に通信速度が低下したとすると、図３では、前フレーム
の符号化結果である点Ｃを、Ｙ座標すなわち符号化率を
Ｓ＝Ｌ／Ｒ１からＳ’＝（ｂ１／Ｔ１×Ｐ）／Ｒ１＝ｂ
１／（Ｒ１×Ｔ１×Ｐ）に補正した点Ｃ’に置き換え、
当該点Ｃ’に最も近い特性として番号４の特性を選ぶこ
とにより、画品質トレードオフ曲線を補正するようにし
ている。すなわち、第Ｎフレームの符号化率として、第
ｎフレームの符号化を開始した時点から次の符号化を開
始するまでの平均の通信速度（ｂｎ／Ｔｎ×Ｐ）を、第
ｎフレームの発生ビット数Ｒｎで除した値を用いて求め
るようにしている。

【００３４】図６は、本発明の第２の実施例のタイミン
グ図である。図６（ａ）は入力映像フレームを示してお
り、ＮＴＳＣの場合、１秒間に約３０枚入力される。図
６（ｂ）は符号化処理時間を表しており、１フレーム目
を符号化した際の符号化率に応じて後続の２フレーム目
および３フレーム目はコマ落としを行い、４フレーム目
を次に符号化している。図６（ｃ）は無線伝送の様子を
表しており、１フレーム目の符号化データの伝送中に伝
送エラーが発生した場合を示している。図６（ｄ）は受
信側で符号化データを復号して表示した表示映像を表し
ている。

【００３５】図６において、１フレーム目を符号化開始
してから４フレーム目を符号化開始するまでの時間はＴ
１であり、その間に伝送できたビット数はｂ１であるた
め、伝送エラーも考慮した１フレーム目の実質的な符号
化率が変化する。そこで、第４フレーム目を符号化する
際には、第１フレームの動作点ＣのＹ座標である符号化
率を実質的な符号化率Ｓ１＝ｂ１／（Ｒ１×Ｔ１×Ｐ）
とし、Ｘ座標である量子化精度は変わらずｑとした動作
点Ｃ’に最も近い特性を選ぶことにより、画品質トレー
ドオフ曲線を補正する。そして、この補正された画品質
トレードオフ関数と、目的関数との交点を算出して４フ
レーム目の符号化を行う。

【００３６】図７は、上記第２の実施例を実施する場合
に、図２の符号化装置２で実行される動作を示すフロー
チャートである。図７において、符号化装置２に第１回
目のフレームの画像信号が入力されると（ステップＳ２
０１）、符号化制御部２１０は、動き補償フレーム予測
部２２１および直交変換部２２２を起動した後（ステッ
プＳ２０２およびＳ２０３）、入力された画像信号のフ
レームが第１回目のものであると判断する（ステップＳ
２０４）。この場合、参照する前の符号化フレームの符
号化率が存在しないので、符号化制御部２１０は、デフ
ォルトで決められた、すなわち予め了解事項として決め
られた量子化精度ｑで、第１回目のフレームの画像信号
を量子化する（ステップＳ２０５）。このとき、符号化
制御部２１０は、内部メモリ（図示せず）に、量子化精
度ｑを記憶しておく。次に、符号化制御部２１０は、第
１および第２の可変長符号化部２２４および２２５を起
動し、量子化された画像データを符号化する（ステップ
Ｓ２０６）。次に、符号化制御部２０７は、第１回目の
フレームの画像信号についての符号化率ＳｓとＳ／Ｎ比
とを算出し、内部メモリに記憶しておく。第１および第
２の可変長符号化部２２４および２２５によって符号化
された画像信号は、平滑化バッファ３に蓄積された後
（ステップＳ２０８）、伝送制御部５を介して伝送路４
に送出される（ステップＳ２０９）。なお、伝送制御部
５は、このとき伝送路４に送出された信号の送達確認ビ
ット数ｂｎを検出する。

【００３７】上記ステップＳ２０７の後、符号化制御部
２１０は、当該ステップＳ２０７で求めた符号化率Ｓｓ
に応じて、次符号化フレームまでのコマ飛ばし時間Ｔｎ
を算出する（ステップＳ２１０）。次に、符号化制御部
２１０は、上記ステップＳ２０９で求めた送達確認ビッ
ト数ｂｎに基づいて、第１回目のフレームの実質的な符
号化率Ｓｓを、式Ｓｓ＝ｂｎ／（Ｒｎ×Ｔｎ×Ｐ）に従
って、再度計算し直す（ステップＳ２１１）。このとき
計算された実質的な符号化率は、符号化制御部２１０の
内部メモリに記憶される。その後、符号化制御部２１０
は、再びステップＳ２０２の動作に戻る。

【００３８】次に、符号化装置２に第２回目以降のフレ
ームの画像信号が入力されると（ステップＳ２０１）、
符号化制御部２１０は、動き補償フレーム予測部２２１
および直交変換部２２２を起動した後（ステップＳ２０
２およびＳ２０３）、入力された画像信号のフレームが
第２回目以降のものであると判断する（ステップＳ２０
４）。次に、符号化制御部２１０は、図５に示すような
複数の符号化率−量子化特性の候補の中から所定の候補
を選択する（ステップＳ２１２）。このとき、符号化制
御部２１０は、前回の符号化時の動作点ＣのＹ座標であ
る符号化率を、上記ステップＳ２１１で計算された実質
的な符号化率に置き換えて補正後の動作点Ｃ’を求め、
この補正後の動作点Ｃ’に最も近い符号化率−量子化特
性の候補を選択する。次に、符号化制御部２１０は、予
め内部メモリに設定記憶された複数のＳ／Ｎ比−量子化
特性の候補の中から所定の候補を選択する（ステップＳ
２１３）。このとき、符号化制御部２１０は、前述のス
テップＳ２０５で使用した量子化精度ｑおよびステップ
Ｓ２０７で算出したＳ／Ｎ比に基づいて前回の符号化時
の動作点を求め、この動作点に最も近いＳ／Ｎ比−量子
化特性の候補を選択する。次に、符号化制御部２１０
は、上記ステップＳ２１３で選択した符号化率−量子化
特性の候補と上記ステップＳ２１４で選択したＳ／Ｎ比
−量子化特性の候補とに基づいて画品質トレードオフ関
数Ｓｓを求め、この画品質トレードオフ関数Ｓｓと目的
関数Ｓｏ＝Ｏ（Ｄｏ）との交点となるｑ，Ｓｓ（ｑ）を
算出する（ステップＳ２１４）。次に、符号化制御部２
１０は、量子化部２２３を起動し、ステップＳ２１４で
求めた量子化精度ｑでそのフレームの画像信号を量子化
する（ステップＳ２０５）。以後、第１回目のフレーム
の場合と同様に、ステップＳ２０６〜Ｓ２１１の動作が
行われる。

【００３９】以上のように、第２の実施例によれば、前
符号化フレームの情報を用いて現フレームの符号化の時
空間の歪みを最適に配分する符号化に対して、第Ｎフレ
ームの次の符号化では、第Ｎフレームを符号化した時点
から次のフレームを符号化開始するまでの間の通信速度
の低下が反映された平滑化バッファの空き容量に対して
時空間の歪みが最適に配分される。なお、ここでは従来
の技術に記した文献にある時空間歪み最適配分法に本発
明を適用した場合を説明しているが、本発明はこの手法
に限定されるものではなく、符号化率を用いて時空間の
歪みの配分を行う他の手法に対しても適用可能である。

【００４０】

【発明の効果】以上のように、本発明によれば、伝送路
の伝送品質に応じて通信速度が変化する環境において
も、動きの再現性と空間的な解像度、雑音とのバランス
を、常に視覚特性上最適な状態に保つことのできる高効
率な符号化制御方法を得ることができる。

【図面の簡単な説明】

【図１】本発明の２つの実施例に共通して用いることが
可能な送信側装置の構成を示すブロック図である。

【図２】本発明の第１の実施例に係る符号化制御方法の
原理を説明するための図である。

【図３】本発明の第１の実施例のタイミング図である。

【図４】本発明の第１の実施例を実施する場合に、図２
の符号化装置２で実行される動作を示すフローチャート
である。

【図５】本発明の第２の実施例に係る符号化制御方法の
原理を説明するための図である。

【図６】本発明の第２の実施例のタイミング図である。

【図７】本発明の第２の実施例を実施する場合に、図２
の符号化装置２で実行される動作を示すフローチャート
である。

【図８】Ｈ．２６１で勧告されている画像符号化方式を
実現する従来の送信側装置の構成を示すブロック図であ
る。

【図９】従来における時空間歪み最適配分型符号化制御
の原理を説明するための図である。

【図１０】従来における画品質トレードオフ関数の一例
を示すグラフである。

【図１１】従来における符号化率の推定方法を説明する
ための図である。

【符号の説明】

１…前処理部 １１…Ａ／Ｄ変換部 １２…ＮＴＳＣ／ＣＩＦ変換部 １３…前処理フィルタ１３ ２…符号化装置２ ２２…符号化部２２ ２１０…符号化制御部２１０ ２２１…動き補償フレーム間予測部２２１ ２２２…直交変換部 ２２３…量子化部２２３ ２２４…第１の可変長符号化部 ２２５…第２の可変長符号化部 ２２６…多重化部２２６ １０１ａ…画品質トレードオフ関数 １０１ｂ…補正した画品質トレードオフ関数 １０２…目的関数 １０３ａ…視覚的に最適な動作点 １０３ｂ…通信速度の低下に対して視覚的に最適な動作
点

Claims (4)

【特許請求の範囲】
1. 【請求項１】 単位時間当たりＰフレームの動画像デー
   タを高能率圧縮符号化して低ビットレートの通信回線を
   介して伝送する際に、符号化率に応じたコマ落としによ
   る時間的歪みと量子化精度による空間的歪みとのバラン
   スをとるために、視覚特性上最適な動作点が予め決めら
   れている画像符号化装置の符号化動作を制御するための
   方法であって、 第ｎフレームの符号化を開始した時点から次のフレーム
   の符号化を開始するまでの間の時間Ｔｎにおいて、実際
   に伝送されたビット数ｂｎを検出する第１のステップ
   と、 前記第１のステップで検出したビット数ｂｎと、前記通
   信回線の標準の通信速度Ｌ×Ｐ（Ｌは１フレーム期間に
   伝送できるビット数）で時間Ｔｎに伝送できるビット数
   Ｌ×Ｐ×Ｔｎとの差を、第ｎフレームの次の符号化フレ
   ームの発生符号量に加算して、当該次の符号化フレーム
   の符号化率を演算する第２のステップと、 前記第２のステップで演算された符号化率に基づいて、
   第ｎフレームの次の符号化フレームを符号化する際の前
   記画像符号化装置の最適な動作点を補正する第３のステ
   ップとを備える、符号化制御方法。
2. 【請求項２】 前記画像符号化装置は、高能率圧縮符号
   化された動画像データを自動再送制御の手順で送信側か
   ら受信側に伝送する画像伝送システムに用いられてお
   り、 前記画像伝送システムでは、 前記画像符号化装置は、受信側装置に対してフレーム単
   位で送出する送信情報に誤り検出のための冗長ビットを
   付加して伝送し、 前記受信側装置は、前記冗長ビットに基づいて前記送信
   情報の誤りの有無を検出し、その検出結果を確認信号と
   して前記画像符号化装置に返送し、 前記画像符号化装置は、前記確認信号の状況に応じて、
   前記受信側装置に送信情報を再送するように構成されて
   おり、 前記第１のステップは、所定時間内に前記確認信号によ
   り送達確認がとれた伝送ビット数を実際に伝送されたビ
   ット数ｂｎとして検出することを特徴とする、請求項１
   に記載の符号化制御方法。
3. 【請求項３】 単位時間当たりＰフレームの動画像デー
   タを高能率圧縮符号化して低ビットレートの通信回線を
   介して伝送する際に、符号化率に応じたコマ落としによ
   る時間的歪みと量子化精度による空間的歪みとのバラン
   スをとるために、視覚特性上最適な動作点が予め決めら
   れている画像符号化装置の符号化動作を制御するための
   方法であって、 第ｎフレームの符号化を開始した時点から次の符号化を
   開始するまでの平均の通信速度を演算する第１のステッ
   プと、 前記第１のステップで演算された平均の通信速度を、第
   ｎフレームの発生ビット数で除算することにより、第ｎ
   フレームの実質的な符号化率を演算する第２のステップ
   と、 前記第２のステップで演算された実質的な符号化率に基
   づいて、第ｎフレームの次の符号化フレームを符号化す
   る際の前記画像符号化装置の最適な動作点を補正する第
   ３のステップとを備える、符号化制御方法。
4. 【請求項４】 前記画像符号化装置は、高能率圧縮符号
   化された動画像データを自動再送制御の手順で送信側か
   ら受信側に伝送する画像伝送システムに用いられてお
   り、 前記画像伝送システムでは、 前記画像符号化装置は、受信側装置に対してフレーム単
   位で送出する送信情報に誤り検出のための冗長ビットを
   付加して伝送し、 前記受信側装置は、前記冗長ビットに基づいて前記送信
   情報の誤りの有無を検出し、その検出結果を確認信号と
   して前記画像符号化装置に返送し、 前記画像符号化装置は、前記確認信号の状況に応じて、
   前記受信側装置に送信情報を再送するように構成されて
   おり、 前記第２のステップは、所定時間内に前記確認信号によ
   り送達確認がとれた伝送ビット数を当該所定時間で除算
   し、その除算値を前記平均の通信速度として用いること
   を特徴とする、請求項３に記載の符号化制御方法。