JPS63116581A - 動画像信号符号化制御器 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像信号符号化制御器に関し、さらに詳しく
は符号化する前の情報を利用した動画像信号符号化制御
器に関する。

（従来の技術） 動画像信号の符号化制御器の代表的な例としては、符号
化する前の信号を主に利用し、さらに符号化後の信号を
使って符号化制御する装置が挙げられる。この従来例と
して情報量推定による符号化制御器（昭和６１年度電子
通信学会通信部門全国大会、５２２、ｐｉ−２０１ｓ　
　ｒ情報量推定をベースとするビデオ符号化制御方式の
一提案」に記載されている制御方式に基づく符号化制御
器）について述へる。

情報量推定による符号化制御器を用いた符号化装置は第
７図に示すような構成である。あらかじめ画像データを
ブロック分割して各ブロックをいくつかのクラスに分類
し、各クラスごとに情報量と符号化歪みの関数を求めて
おく。符号化制御器４０３において、符号器４０１内部
の符号化する前の信号５４（たとえば、フレーム間予測
誤差の直交変換係数信号）に対して各クラスの発生頻度
を求め、さらに発生頻度回数分ずつ各クラスの情報量と
符号化歪みの関数を加えることによって、（）−〕 符号化フレーム全体の情報量と符号化歪みの関数を求め
る。この情報量と符号化歪みの関数から発生情報量を推
定し、符号化歪みを求める。たとえば、ある符号化フレ
ームにおける情報量と符号化歪みの関数が第８図のｆ、
のように求まったとすると、伝送速度を与えたときの符
号化時に発生させられる情報量Ｉになるように、与える
べき符号化歪みをｄｌと決定する。また同様に情報量と
符号化歪みの関数が第８図のｆ２あるいはｆ３のように
求まったときは与えるべき符号化歪みをｄ２あるいはｄ
３と決定する。決定された符号化歪みを表す制御パラメ
ータ５５によって量子化特性を選択し符号化を行う。さ
らに、伝送すべき信号５２（たとえば、符号化歪みｄｌ
を選んだときの制御パラメータと量子化された信号を圧
縮符号化した信号）をバッファメモリ４０２に人力し、
バッファメモリに蓄えられる情報の占有量５６により情
報量の微小な変動を補正し、符号器４０１を安定に動作
させる。

（ｊ） （発明が解決しようとする問題点） 符号化時に発生する情報量は与える符号化歪みの程度に
よフても変化するが、入力される動画像の絵柄の複雑さ
や動きの大きさや面積によって大きく変化する。従来例
において、符号化時に発生する情報量が一定に保てるよ
うに、すなわち符号化フレーム間隔を一定に保つように
符号化歪みを与えるとき、たとえば人力される動画像の
動きが大きくなってくると画像の品質として好ましくな
い結果となることが多い。このようなときはやむをえず
符号化フレーム間隔を広くしてでも画像の品質を保つこ
とが重要となってくる。また、逆に高品質を保つため符
号化フレーム間隔を広く取ると動画像としての動きが失
われてしまうことが多い。したがフて、どのような動画
像を対象に符号化するかによって動きを優先する場合や
解像度を優先する場合など、各種の符号化フレーム間隔
と符号化歪み（解像度）の組合せが必要である。

本発明は動画像の動きの部分の統計量を考慮して、符号
化装置の用途に応じて符号化フレーム間（’４） 隔と符号化歪み（または解像度）の関係が任意に決定で
きる符号化制御器の提供にある。

（問題点を解決するための手段） 本発明によると、動画像信号の符号化において、実際に
、符号化する前に今から符号化する信号の統計量を測定
してシーン分析を行う手段と、前記シーン分析の結果に
応じて、あらかじめ設定した符号化フレーム間隔と符号
化歪みの間係に基づき符号化パラメータを決定する手段
と、前記符号化パラメータに基づき符号化制御を行う手
段を有することを特徴とする動画像信号符号化制御器が
得られる。

（作用） 本発明によると、まず、今から符号化するフレームの画
像がどんなシーンであるかを分析する。

たとえば、符号化する信号がフレーム間予測誤差信号で
ある場合について説明する。第３図において、前回にｉ
番目のフレームを符号化し、このとき符号化フレーム間
隔ＤＩが得られたとすると、今から符号化するフレーム
はｉ＋Ｄ１番目のフレ（ぶつ −ムとなる。このとき、符号化する信号はｉ＋Ｄ１番目
のフレームと符号器内に蓄えられているｉ番目のフレー
ムとの誤差信号である。この誤差信号の統計的性質、た
とえば分散値の大きさや絶対値和の大きさなどを調へる
ことによって、画像の絵柄がどの程度複雑で動きがどの
程度あるかを知ることができる。ここで説明を簡単にす
るため、絵柄の複雑さや動きの大きさの要因を含んだ表
現を絵柄の状態と呼ぶことにする。ｉ＋Ｄ１番目のフレ
ームにおける符号化する信号の絵柄の状態が分かったと
き、絵柄の状態に合った符号化歪みを与えてｉ＋Ｄ１番
目のフレームの符号化を行う。また同時に次の符号化を
行うまでの符号化フレーム間隔Ｄ２が与えられる。

次に符号化歪みと符号化フレーム間隔の決め方について
説明する。第４図（ａ）において、たとえば絵柄の状態
が破線ｍで表されるとき、符号化歪みｋを与えたときの
符号化フレーム間１ｉＤを求めることができる。このよ
うに絵柄の状態によって符号化フレーム間隔と符号化歪
み（あるいは解像（乙２） 度）の関係を設定し、目標曲線ｇ（実線）で表すことが
できる。したがって、絵柄の状態が分ったとき、目標曲
線ｇ（実線）と絵柄の状態ｍ（破線のうちの一つ）との
交点Ｐから符号化フレーム間隔りと符号化歪みｋ（ある
いは解像度）を同時に与えることができるという特徴が
ある。

さらに、どんな動画像を対象に符号化制御するかによっ
て目標曲線が設定できる。たとえば、第４図（ｂ）にお
いて、曲線ｇ１は符号化歪み（解像度）をできる限り一
定に保つように符号化制御する。曲線ｇ２は符号化フレ
ーム間隔（発生する情報量）をできる限り一定に保つよ
うに符号化制御する。また、曲線ｇ３は符号化フレーム
間隔と符号化歪みを一定の割合で変化させて符号化制御
する。曲線ｇ４は解像度を比較的に優先して符号化制御
する。曲線ｇ５は動きを比較的に優先して符号化制御す
る。またさらに、曲線ｇ６およびｇ７は曲線ｇ４および
ｇ５それぞれに対しである歪み以上にならないように上
限を設けて好ましい画像品質が得られるように符号化制
御する。その他種（’７） 々の目標曲線が設定できるという特徴がある。

（実施例） 第１図と第２図を参照して本発明の実施例について詳細
に説明する。なお、本実施例においては各信号はディジ
タル信号である。

まず、符号器の後にバッファメモリを配置した符号化装
置に本発明を適用した実施例について説明する。第１図
はその実施例を示すブロック図である。

第１図において、動画像信号１はタイミング信号１３に
よってフレームメモリ１０１に書込まれたり、その内容
を読み出されたりする。タイミング信号１３については
後で詳しく述べる。動画像信号１がフレームメモリ１０
１に書込まれている間、セレクタスイッチ１０６はタイ
ミング信号１３によってＷ側に倒されており、動画像信
号１がそのまま動画像信号２となる。この動画像信号２
が符号器１０２に入力される。このとき、符号器１０２
内部の符号化する前の信号５（たとえば、符号器が直交
変換を含む予測符号器であればその（ｇ） 予測誤差の直交変換係数信号あるいは直交変換係数の予
測誤差信号）を符号化せずに符号化制御器１０３のシー
ン分析回路２０１に入力する。シーン分析回路２０１に
おいては符号化する前の信号５から統計量を測定し、今
から符号化するフレームがどのようなシニンかを調べる
。たとえば符号器がフレーム間直交変換予測符号器であ
れば、−定領域（たとえば１フレームの画像領域）につ
いて予測誤差の各直交変換係数ごとの分散を測定して、
この分散分布により直交変換係数がどの周波数領域まで
広がっているか分散値が大きいかを知る手がかりとなる
直交変換係数の偏りの状態、すなわち絵柄の状態（絵柄
の複雑さや動きの大きさなどの要因）を表す信号７を出
力し、符号化パラメータ決定回路２０２に入力する。符
号化パラメータ決定回路２０２では、あらかじめ絵柄の
状態（第４図（ａ）の破線）によって符号化歪みを与え
たときの符号化フレーム間隔を求めて目標曲線ｇ（第４
図（ａ）の実線）を決めておき、たとえば、人力された
信号７が絵柄の状態ｍ（第４図（ａ）のく？） 破線のうちの一つ）を表しているとすると、目標曲線ｇ
と絵柄の状態ｍとの交点Ｐから符号化フレーム間隔りと
符号化歪みｋ・が同時に求まり、符号化歪みｋを与える
符号化パラメータ６を出力する。

このときフレームメモリ１０１への書込みは終了し、セ
レクタスイッチ１０６はタイミング信号１３によってｒ
側に倒され、フレームメモリ１０１より読み出される信
号が画像信号２になる。この画像信号２は符号化パラメ
ータ６に応じて選択した、たとえば量子化特性を用いて
量子化され、量子化された信号と符号化パラメータおよ
びその他の伝送すべき情報を圧縮符号化した信号３をバ
ッファメモリ１０４に入力し、出力信号４は与えられた
一定の伝送速度で読み出される。

ここで、符号化のタイミングについて詳細に説明する。

符号化パラメータ６を決定したときに与えられる符号化
フレーム間隔りは実際に符号化して次の符号化を行うま
でのフレーム間隔に近い値であり、少くとも誤差は含ん
でいる。この誤差はバッファメモリ１０４からの信号１
１によって補（ｔｏ） 正する。

バッファメモリ１０４に蓄えられている情報量が伝送路
へ一定の速度で読み出されることによって減少し、定め
た闇値以下の情報量になったとき情報なしの状態を表し
、符号化によってバッファメモリ１０４に蓄えられてい
る情報量が定めた閾値より大きい情報量になったとき、
情報ありの状態を表す信号１１をバッファメモリ１０４
より出力する。この信号１１（説明を簡単にするため、
情報あり／なし信号１１と呼ぶ）は第５図（ａ）に示す
波形であり、情報なしの状態になってから次の情報なし
の状態になるまでの期間はほぼ与えた符号化歪みｋによ
る符号化フレーム間隔りになる。

情報あり／なし信号１１はタイミング制御回路２０３に
入力され、情報あり／なし信号１１が情報なしを表して
いるとき、次に符号化するフレームの画像信号１を入力
して符号化制御器１０３を動作させるタイミング信号１
３（第５図（ｂ）に示す波形）をフレームメモリ１０１
とセレクタスイッチ１０６およびシーン分析回路２０１
に供給する。

（Ｉ　１　） さらにタイミング信号１３より１フレーム遅れてタイミ
ング信号１２（第５図（ｃ）に示す波形）を符号器１０
２に供給し、符号器１０２を動作させる。

次に、符号器の前に入力バッファメモリを配置した符号
化装置に本発明を適用した実施例について説明する。第
２図はその実施例を示すブロック図である。

第２図において、入力バッファメモリ１０５に蓄えられ
ている前符号化フレームの動画像情報が符号化によって
読み出されて定めた閾値以下に減少したとき、はじめて
次の新しい動画像信号１が書込まれる。このとき人力バ
ッファメモリ１０５から蓄えられている動画像情報の減
り具合を表す信号１４が出力される。信号１４について
は後で詳しく述べる。１フレ一ム分の動画像信号１が入
力バッファメモリ１０５に書込まれている間、セレクタ
スイッチ１０６はタイミング信号１３によってＷ側に倒
されており、動画像信号１がそのまま動画像信号２とな
る。この動画像信号２が符号（／り 器１０２に入力される。このとき、符号器１０２内部の
符号化する前の信号５（たとえば、符号器が直交変換を
含む予測符号器であればその予測誤差の変換係数信号あ
るいは直交変換係数の予測誤差信号）を符号化せずに符
号化制御器１０３のシーン分析回路２０１に入力する。

シーン分析回路２０１においては符号化する前の信号５
から統計量を測定する。たとえば符号器がフレーム間直
交変換予測符号器であれば、一定額域（たとえば１フレ
ームの画像領域）について予測誤差の各直交変換係数ご
との分散を測定して、この分散分布により直交変換係数
がどの周波数領域まで広がっているか分散値が大きいか
を知る手がかりとなる直交変換係数の偏りの状態すなわ
ち絵柄の状態（絵柄の複雑さや動きの大きさなどの要因
を含む）を表す信号７を出力し、符号化パラメータ決定
回路２０２に入力される。符号化パラメータ決定回路２
０２では、あらかじめ絵柄の状態（第４図（ａ）の破線
）によって符号化歪みを与えたときの符号化フレーム間
隔を求めて目標曲線ｇ（第４図（ａ）礪 の実線）を決めておき、たとえば、入力された信号７が
絵柄の状態ｍ（第４図（ａ）の破線のうちの一つ）を表
しているとすると、目標曲線ｇと絵柄の状態ｍとの交点
Ｐから符号化フレーム間隔りと符号化歪みｋが同時に求
まり、符号化歪みｋを与える符号化パラメータ６を出力
する。このとき人力バッファメモリ１０１５への書込み
は終了し、セレクタスイッチ１０６はタイミング信号１
３によってｒ側に倒され、次に符号器１０２の符号化速
度によって入力バッファメモリ１０５から読み出される
信号が画像信号２となる。この画像信号２は符号化パラ
メータ６に応じて選択した、たとえば量子化特性を用い
て量子化され、量子化された信号と符号化パラメータお
よびその他の伝送すべき情報を圧縮符号化した信号３が
伝送路へ出力される。ただし、符号器１０２は伝送路へ
の出力速度を一定に保つため、容量の小さいバッファメ
モリを含んでいる。

ここで、符号化のタイミングについて詳細に説明する。

符号化パラメータ６を決定したときに与（Ｉ’ｄ） えられる符号化フレーム間隔りは実際に符号化して次の
符号化を行うまでのフレーム間隔に近い値であり、少な
くとも誤差は含んでいる。この誤差は入力バッファメモ
リ１０５からの信号１４によって補正する。

入力バッファメモリ１０５に蓄えられている動画像情報
が符号化の速度で読み出されることによって減少し、定
めた闇値以下のデータ量になったときデータなしの状態
を表し、動画像信号の入力によって入力バッファメモリ
１０５に蓄えられる動画像情報が定めた闇値より大きい
データ量になったときデータありの状態を表す信号１４
を入力バッファメモリ１０５より出力する。この信号１
４（説明を簡単にするため、データあり／なし信号１４
と呼ぶ）は第６図（ａ）に示す波形であり、データなし
の状態になってから次のデータなしの状態になるまでの
期間はほぼ与えた符号化歪みｋによる符号化フレーム間
隔りになる。データあり／なし信号１４はタイミング制
御回路２０３に入力される。データあり／なし信号１４
がデータなしの状態を表しているとき、次に符号化する
フレームの画像信号１を入力すると同時に符号化制御器
１０３を動作させるタイミング信号１３（第６図（ｂ）
に示す波形）をセレクタスイッチ１０６とシーン分析回
路２０１に供給する。さらにタイミング信号１３と逆極
性のタイミング信号１２（第６図（ｃ）に示す波形）を
符号器１０２に供給し、符号器１０２を動作させる。

以上の第１図と第２図の実施例の説明で述べたシーン分
析において、直交変換係数の偏りの状態（絵柄の状態）
を知る手段として各直交変換係数ごとに分散を測定した
が、多くの演算時間と演算量を伴うため分散の代りに直
交変換係数の偏りの状態と関係付けられる他の統計量を
測定してもよい。たとえば、演算時間が少ない二乗和（
電力）あるいはその平均値を測定して直交変換係数の偏
りの状態を知る手がかりとする。演算量の少ない絶対値
和あるいはその平均値を測定して直交変換係数の偏りの
状態を知る手がかりとする。簡単のため有意係数の数を
測定してもよい。また、種々の統計量を組合せて測定し
てもよい。たとえば、二乗和（電力）と有意係数の数、
あるいは絶対値和と有意係数の数を測定することによっ
て直交変換係数の偏りの状態を知る手がかりとする。な
お、以上の説明では符号器が直交変換を含む予測符号器
の場合について述べたが、符号器がフレーム間予測符号
器や動き補償フレーム間予測符号器などの予測符号器の
場合のシーン分析においても同様に、−尾領域（たとえ
ば１フレームの画像領域）における予測誤差信号につい
て以上までに挙げた統計量を測定して、その測定値の大
きさによって絵柄の状態を知る手がかりとする。

（発明の効果） 従来の符号化制御器では符号化フレーム間隔を一定に保
ちながら符号化歪みを決定するため、動きが大きくなっ
てきた場合には好ましい画質が得られないことがある。

本発明によると、符号化フレーム間隔と符号化歪みの関
係を絵柄の状態によって設定でき、第４図（ｂ）の曲線
ｇ２を選ぶと従来の符号化制御器に近い制御となり、曲
線ｇ６あるいはｇ７を選ぶと動きが大きくなってきた場
合には少なくとも従来の符号化制御器よりも好ましい画
質を得ることができるという効果がある。

【図面の簡単な説明】

第１図と第２図は本発明による一実施例を説明するため
のブロック図、第３図は符号化フレームと符号化フレー
ム間隔を説明するための図、第４図（ａ）、（ｂ）は本
発明の符号化パラメータの決定方法を説明するための図
、第５図（ａ）、（ｂ）、（ｃ）は第１図の本発明によ
る一実施例を説明するための波形図、第６図（ａ）、（
ｂ）、（ｃ）は第２図の本発明による一実施例を説明す
るための波形図、第７図は従来の符号化制御方式による
実施例を説明するためのブロック図、第８図は従来の符
号化制御方式を説明するための図である。 図において、１・・・動画像信号、２・・・符号化され
る動画像信号、３・・・符号化後の信号、４・・・伝送
路出力信号、５・・・符号化前の信号、６・・・符号化
バラ（１わ メータ、７・・・絵柄の状態を表す信号、１１・・・情
報あり／なし信号、１２・・・符号器の動作タイミング
信号、１３・・・符号化制御器の動作タイミング信号、
１４・・・データあり／なし信号、１０１・・・フレー
ムメモｌハ１０２・・・符号器、１０３・・・符号化制
御器、１０４・・・バッファメモリ、１０５・・・入力
バッファメモリ、１０６・・・セレクタスイッチ、２０
１・・・シーン分析回路、２０２・・・符号化パラメー
タ決定回路、２０３・・・タイミング制御回路、５１・
・・動画像信号、５２・・・符号化後の信号、５３・・
・伝送路出力信号、５４・・・符号化前の信号、５５・
・・符号化パラメータ、５６・・・バッファメモリの占
有量、４０１・・・符号器、４０２・・・バッファメモ
リ、４０３・・・符号化制御器である。 （ｌす

Claims (1)

【特許請求の範囲】
1. 動画像信号の符号化において、実際に、符号化する前に
   今から符号化する信号の統計量を測定してシーン分析を
   行う手段と、前記シーン分析の結果に応じて、あらかじ
   め設定した符号化フレーム間隔と符号化歪みの関係に基
   づき符号化パラメータを決定する手段と、前記符号化パ
   ラメータに基づき符号化制御を行う手段を有することを
   特徴とする動画像信号符号化制御器。