JPH0690441A - 最適フレームレート決定方法 - Google Patents

Abstract

(57)【要約】 【目的】 動き補償フレーム間予測による映像信号符号
化において、映像信号の符号化速度に応じて最適フレー
ムが得られるようにする。 【構成】 映像信号は前処理部１０を通り、ソース符号
化部２０に入る。ソース符号化部２０では、動き補償フ
レーム間予測部２５で映像の動きの大きさ、方向に適応
した予測が行われる。この予測信号と原信号の差分信号
が離散コサイン変換部２１を通り、量子化部２２で量子
化される。量子化信号と各種属性信号は符号化部３０で
符号化され、伝送バッファ部４０、伝送路符号化部５０
と送られる。制御部１００は、予め映像品質が最高とな
る時の映像信号の符号化速度とフレームレートの関係が
１次関数で与えられ、映像信号の符号化速度に応じてフ
レームレートを制御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は最適フレームレート決定
方法に係り、詳しくは、動き補償フレーム間予測を利用
した映像符号化法における最適フレームレート決定方法
に関する。

【０００２】

【従来の技術】図１に、動き補償フレーム間予測方式を
適用した高圧縮映像符号化装置の一般的構成のブロック
図を示す。図１において、１０は前処理部、２０はソー
ス符号化部、３０はビデオマルチプレックス符号化部、
４０は伝送バッファ部、５０は伝送路符号化部１００は
符号化制御部である。ソース符号化部２０は離散コサイ
ン変換部２１、量子化２２、逆量子化部２３、逆離散コ
サイン変換部２４、動き補償フレーム間予測部２５から
なる。また、ビデオマルチプレックス符号化部３０は可
変長符号化部３１、３２、多重化部３３からなる。

【０００３】映像信号（テレビジョン信号）は前処理部
１０に入力され、時間・空間ファイルにより世界共通の
ビデオフォーマットに変換するとともに雑音除去が行わ
れる。ソース符号化部２０では、入力映像信号の冗長度
を除いて符号化するため、まず、動き補償フレーム間予
測部２５において、映像の動きの大きさ、方向に適応し
た予測が行なわれる。この予測信号と原入力映像信号の
差分信号を、離散コサイン変換部２１において８画素×
８ライン／ブロックの大きさで２次元離散コサイン変換
し、その信号を量子化部２２において一定の誤差の範囲
内で量子化する。この量子化された信号は、逆量子化部
２３、逆離散コサイン変換部２４を通り、動き補償フレ
ーム間予測部２５において次のフレームの映像信号を予
測するために使われる。

【０００４】ビデオマルチプレックス符号化部３０で
は、量子化部２２で量子化された信号からなる主情報
と、動き補償フレーム間予測部２５から出力される各ブ
ロック毎の各種属性信号（フレーム間／内予測、動き補
償のＯＮ／ＯＦＦ情報等）のサイド情報とを、各々可変
長符号化部３１、３２において、発生頻度の高い符号語
に短い語長を割り当て、頻度の低い符号語に長い符号語
を与えることにより、効率よく符号化した後、多重化部
３３において、定められたデータ構造の符号化列に多重
化する。

【０００５】多重化部３３から出力される符号化列は時
間的に変動するため、伝送バッファ部４０に一旦蓄積さ
れ、回線の伝送速度に応じて、一定速度で伝送路符号化
部５０に送られる。この際、伝送バッファ部４０に蓄積
されている符号量情報が符号化制御部１００に送られ、
符号化制御部１００は、この情報に基づいてバッファが
オーバーフローしないように、ソース符号化部２０、ビ
デオマルチプレックス符号化部３０などを制御し、量子
化ステップ幅やフレームレートなどを調整する。伝送路
符号化部５０では、伝送チャネルのフォーマットに従っ
て、マルチメディア信号（映像、声音、データ、制御）
を１つのヒット列に多重符号化する。

【０００６】このような高圧縮映像符号化装置を用いた
映像通信において、映像信号の符号化速度が決定された
場合、映像１フレーム当たりの画質（空間解像度）と映
像の動きの滑らかさに関与するフレームレート（時間解
像度）にはトレードオフの関係があるため、主観的に映
像品質が最も良くなるフレームレート（以降、「最適フ
レームレート」と記す）が存在する。また、映像信号の
符号化速度が変化すると、最適フレームレートも変化す
る。

【０００７】従来、最適フレームレートの決め方とし
て、例えば滝嶋らの“低レート動画像符号化における最
適フレームレートの検討”（電子情報通信学会技術研究
報告、Ｖol.９１，Ｎo.２２０（ＯＳ９１ １７−２
８)．pp.４５−５２，１９９１）に記載のように、低レ
ート符号化映像品質をレートひずみ理論や相関係数で規
定されるモデルで表現し、符号化ひずみとフレームレー
トの関係を表わす関数を理論的に導き出し、特定の条件
下ではひずみ極小を与えるフレームレートが存在するこ
とを実証した例がある。

【０００８】

【発明が解決しようとする課題】上記従来技術のモデル
から求まるフレームレートの時の主観品質は必ずしも最
適にならないという欠点がある。さらに、ひずみ極小値
を求めるための回路が雑複となるため、装置規模が大き
くなる。また演算時間に要する時間が長くなるため、遅
延時間が大きくなり、主観品質を低下させるという欠点
がある。

【０００９】本発明の目的は、動き補償フレーム間予測
を利用した映像符号化法において、映像信号の符号化速
度に応じて最適フレームレートが設定でき、さらに、処
理に伴う遅延時間が短く、簡単な回路で実現する方法を
提供することにある。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するために、映像品質が最高となる、映像信号の符号化
速度とフレームレートの関係を１次関数で与え、映像通
信で映像信号の符号化速度が決定された場合に、該１次
関数により映像信号の符号化速度に応じて最適フレーム
レートを決めることを最も主要な特徴とする。

【００１１】

【作用】１次関数は、映像信号通信の符号化速度を入力
すると最適フレームレートが求められるように、予め主
観品質評価試験によって求めておく。そして、映像信号
の符号化速度に応じて、最適フレームレートが得られる
ように、該１次関数によってフレームレートを制御す
る。

【００１２】

【実施例】以下、本発明の一実施例について図面により
説明する。

【００１３】本発明において１次関数を用いるために
は、まず、主観品質評価実験により映像信号の符号化速
度と最適フレームレートの関係を求める必要がある。こ
れは、次のようにして実施した。映像信号の符号化速度
が一定の条件のもとで、フレームレート（時間解像度）
をパラメータとして空間解像度を変化した複数の映像を
主観品質評価試験により一対比較評価し、映像品質が最
も良いと感じられる最適フレームレートを求めた。同様
にして、異なる条件の符号化速度の場合についても主観
品質評価試験を行ない、最適フレームレートを求めた。

【００１４】図２に、主観品質評価実験により得られ
た、映像信号の符号化速度と最適フレームレートの関係
を示す。映像信号の符号化速度をｒ、最適フレームレー
トをｆ_optとすると、両者の関係式は、 ｆ_opt＝（６.９５）＋（１.５４×１０）^-2×ｒ の１次関数で表わせる。但し、ｆ＞_opt３０の場合は、
ｆ＝_opt３０とする。

【００１５】映像信号の符号化速度に応じて、図２の結
果に基づいてフレームレートを設定することにより、そ
の符号化速度において最適な品質を達成することが可能
となる。ここで、映像信号の符号化速度と最適フレーム
レートの関係が１次関数で表わせることから、回路の作
成が容易で、装置規模が大きくならず、短時間で演算処
理をすることが出来る。

【００１６】実際に図１のような高圧縮映像符号化装置
を用いて映像通信する場合には、送信側、受信側装置の
映像信号の符号化速度の違いを、映像信号の符号化速度
が低い符号化装置の方に合わせる場合、あるいは通信中
に映像信号の符号化速度を変化する場合に、図２の結果
に基づいて、以下のようにしてフレームレートを設定す
ることになる。

【００１７】国際電信電話諮問委員会（ＣＣＩＴＴ）
Ｈ．２４２勧告では、異なる映像通信端末が接続される
場合の通信手順を規定している。この通信手順では、Ｉ
ＳＤＮのチャネルが呼設定された後、前記委員会Ｈ．２
２１勧告のフレーム構成（ここで、Ｈ．２２１勧告のフ
レーム構成については、本発明の処理には直接関係しな
いので詳細な説明は省略する）を用い、音声符号化モー
ド、映像符号化モード、転送レート、データレートの選
択のための能力符号ならびにコマンド符号が定義され、
さらに端末・端末間制御のためにも用いられているＢＡ
Ｓ（Ｂｉｔｒａｔｅ Ａｌｌｏｃａｔｉｏｎ Ｓｉｇｎ
ａｌ）コードをやり取りすることで、相手端末と共通に
持つ機能を定めるネゴシエーション手順を定めている。

【００１８】図３に、その通信手順を示す。ＩＳＤＮの
チャネルが呼設定された後、 （１）受信側の符号化装置の能力を送信側に表示する。 （２）送信側は自分の送信能力と受信側の受信能力を比
較し、音声符号化モード、映像符号化モード、転送レー
ト、データレートの共通最大機能を決定する。 （３）送信側は、その通信で使用するモードに切り替え
る。 （４）送信側は、受信側にそのモード切り替えを指示す
る。 （５）受信側は、送信側の能力に応じて、共通最大機能
にモードを切り替える。

【００１９】以上の手順が完了後、通信が開始される。
ここで、この通信手順に使われるＢＡＳコードを利用し
て、図２に基づき、映像信号の符号化速度に応じた最適
フレームレートの設定を行なう。

【００２０】また、図３において（６）では、通信中に
一方の符号化装置が、映像信号の符号化速度を変化した
場合、モードを切り替えた情報はＢＡＳコードにより相
手側に送られるため、その情報を用いて前記（１）〜
（５）の手順を繰り返し、もしその条件に変更可能なら
ば、再び図２に基づいて、その条件のもとでの最適フレ
ームレートに設定することが可能となる。変更後は相手
側にモード切り替えの指示を出すことになる。（６）の
処理は送信側、受信側のどちら側からでも同様に行なわ
れる。

【００２１】図４に本発明の一実施例のブロック図を示
す。これは、図１に示したような構成の高圧縮映像符号
化装置においては、例えば符号化制御部１００の中に具
備されることになる。

【００２２】映像通信時に常に相手側装置に送られるＢ
ＡＳコードを入力端子１０１に入力し、機能変更要求検
知部１０２で、ＢＡＳコードが変化したか否かを識別す
る。変化していない場合にはそのまま通信を継続する。
ＢＡＳコードが変化した場合には、共通最大機能決定部
１０３において、声音符号化モード、映像符号化モー
ド、転送レート、データレートが送受信側の符号化装置
で変更可能か否かを判別し、変更不可能ならば、今まで
の通信で使用した共通最大機能で通信を継続するため、
出力端子１０４より同じモードの指示信号を相手側に送
信する。もし変更可能ならば、出力端末４よりモード切
り替え指示信号を相手側に送信する。更に、モードが切
り替わった場合には、その通信で割り当てられる映像信
号の符号化速度の値をフレームレート決定部１０５に与
える。フレーム決定部１０５では、図２により決められ
た映像信号の符号化速度と最適フレームレートの関係か
ら、与えられた映像信号の符号化速度に対応する最適フ
レームレートを求め、その値を出力端子１０６から出力
する。この信号を用いて映像符号化装置のフレームレー
トを設定する。

【００２３】送信側の映像信号の符号化速度の方が受信
側の符号化速度より大きい場合には、送信側は受信側の
映像信号の符号化速度に合わせてフレームレートを図２
で得られた値に設定し、逆に受信側の映像信号の符号化
速度の方が送信側よりも大きい場合には、送信側の映像
の符号化速度における最適フレームレートに設定するこ
とになる。

【００２４】次に本発明の応用例について説明する。多
地点間通信などのように、単に一対一の画面での通信で
はなく、モニタ一画面に複数のウインドウを開いて、人
物像を複数表示できるようなシステムにおいては、通信
先の数、データ通信の有無により、一つのウインドウの
人物像に割り当てられる映像信号の符号化速度は大きく
変化することが予想される。この場合においても、図２
で得られた結果に基づいてフレームレートを制御するこ
とにより、与えられた条件の中で最適な映像品質を提供
することが可能となる。

【００２５】

【発明の効果】以上説明したように、本発明によれば、
動き補償フレーム間予測方式を採用する高圧縮映像符号
化装置において、映像信号の符号化速度が決定された場
合、映像信号の符号化速度に応じて、予め決められた１
次関数によって最適フレームレートを設定することがで
きる利点がある。また、映像信号の符号化速度と最適フ
レームレートの関係が１次関数で表わせることから、回
路の作成が容易で、装置規模が大きくならず、短時間で
演算処理をすることができる利点がある。

【図面の簡単な説明】

【図１】本発明で対象とする映像符号化装置の一般的構
成のブロック図である。

【図２】映像信号の符号化速度と最適フレームレートの
関係を示した図である。

【図３】異なる通信端末が接続される場合の通信手順を
示した図である。

【図４】本発明の一実施例のブロック図である。

【符号の説明】

１０ 前処理部 ２０ ソース符号化部 ３０ ビデオマルチプレックス符号化部 ４０ 伝送バッファ部 ５０ 伝送路符号化部 １００ 符号化制御部 １０２ 機能変更要求検知部 １０３ 共通最大機能決定部 １０５ フレームレート決定部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力映像信号の１フレームを複数の画素
   から成る複数個のブロックに分割し、その個々のブロッ
   クについて画像の動きベクトルを推定して、該画像の動
   きを補償したフレーム間予測信号を発生し、前記映像信
   号と前記予測信号との差分信号を、複数の画素から成る
   ブロック毎に２次元離散コサイン変換し、その信号を量
   子化、符号化すると共に、単位時間内での符号発生量が
   一定となるように、量子化のステップ幅と符号化対象と
   するフレームレートを変化せしめるフレーム間予測映像
   符号化法において、 映像品質が最適となる、映像信号の符号化速度とフレー
   ムレートの関係を１次関係で与え、映像信号の符号化速
   度に応じ、前記１次関係にもとづいてフレームレートを
   決定することを特徴とする最適フレームレート決定方
   法。