JPH09307908A

JPH09307908A - 符号化制御器

Info

Publication number: JPH09307908A
Application number: JP12132096A
Authority: JP
Inventors: Masato Yamazaki; 真人山崎
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1996-05-16
Filing date: 1996-05-16
Publication date: 1997-11-28

Abstract

(57)【要約】【課題】動きの激しい画像を符号化する際に駒落とし
をすることなくバッファ占有量を一定に保つ。【解決手段】操作情報検出器210 はビデオカメラから
の操作情報、特に焦点距離の変化情報を検出して視野角
の変化を求める。占有率算出器220 は視野角の変化から
現フレームでの新規撮像領域を求め、その領域の１フレ
ームに占める占有率を算出する。ステップサイズ設定器
230 は、占有率算出器220 の算出結果とバッファの残有
量からステップサイズを決定し、量子化器にステップサ
イズを設定する。これにより、あらかじめ画像の符号化
量の変化が予想でき、ステップサイズを変化させてバッ
ファへの蓄積量を制御して、動きの激しい画像に対して
も駒落としすることなくスムーズな画像の符号データを
伝送できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化装置におけ
る符号化制御器に係り、特に、たとえば、テレビ電話や
動画像信号蓄積装置等に用いて好適な符号化装置におけ
る符号化制御器に関するものである。

【０００２】

【従来の技術】たとえば、テレビ電話や動画像信号蓄積
装置等においては、動画像信号の処理を行なう際に、信
号を柔軟性に富むディジタルデータにて取り扱う。この
場合、動画像データをディジタルデータとして直接表現
すると、そのデータ量は膨大な量になる。そこで、通信
の効率化や記録媒体の節約等のために、動画像データを
所定のデータに符号化して通信、あるいは記録すること
が一般に行なわれる。

【０００３】たとえば、安田浩著による「マルチメディ
ア符号化の国際標準（丸善株式会社発行、第84頁〜第10
2 頁）」には、動画像信号を符号化する方式として、64
kbit/sから2Mbit/s までの伝送路に適用される「ｐｘ64
kbit/sオーディオビジュアル・サービス用ビデオ符号化
方式」が記載されている。

【０００４】その符号化アルゴリズムは、まず、動きベ
クトルを用いて動き補償フレーム間予測を行ない、次
に、その予測誤差を8X8 のブロックサイズでDCT (discr
ete cosine transform) などの直交変換を施した後に、
量子化および可変長符号化するハイブリッド方式であ
る。しかし、ここで発生する符号量は必ずしも一定では
ないので、固定速度の伝送路に送ることができない。そ
こで、伝送路に出力する前にバッファによる平滑化が必
要になる。通常。このバッファがオーバーフローする
と、復号側での再生は不可能になるため、上記で述べた
量子化ステップをコントロールしたり、符号化するフレ
ームを駒落とししたりして、バッファの占有量を一定に
保つような符号化制御が行なわれていた。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術では、入力する画像信号は符号装置によっ
て符号化を行なわないと、その符号量を把握することが
できなかった。このため符号化データを一度バッファに
格納してから、そのバッファ残量を検出した後に量子化
ステップを決定しなければならなかった。このような、
制御手法であるとカメラ操作によって入力する画像が著
しく変動する画像が入力すると、最初のフレームの符号
化データでバッファの残量が少なくなり、量子化ステッ
プサイズをコントロールするだけでは伝送量に対処でき
なくなり、フレームを駒落としなければならなくなる。

【０００６】このように、カメラ操作によって動きの激
しい映像を符号化しているにもかかわらず、符号化した
映像を復号器側で符号した映像はフレームの駒落としが
行なわれると、不自然な映像が写しだされることになる
という問題があった。

【０００７】本発明はこのような従来技術の欠点を解消
して、動きの激しい画像でも符号器側にて駒落としする
ことなく動画像信号を伝送することができ、復号側にて
スムーズな画像を再生可能な符号化装置における符号化
制御器を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は上述の課題を解
決するために、動画像信号を所定の符号化方式にて符号
化する際に、量子化ステップを制御して動画像信号の符
号量を制御する符号化装置における符号化制御器であっ
て、動画像信号を出力する撮像装置から該装置の撮像状
態を表わす操作情報を検出する操作情報検出手段と、操
作情報検出手段の検出結果に基づいて動画像信号の現フ
レームにおける新規に撮像された領域を検出して、新規
撮像領域が現フレームに占める割合を算出する占有率算
出手段と、占有率算出手段の算出結果に基づいて量子化
ステップのステップサイズを設定するステップサイズ設
定手段とを含むことを特徴とする。

【０００９】この場合、操作情報検出手段は、撮像装置
にて撮像している被写体像の焦点距離を操作情報として
検出して、その焦点距離に基づいて撮像装置の視野角を
算出する視野角算出手段を含むと有利である。

【００１０】また、占有率算出手段は、操作情報検出手
段の視野角算出手段にて算出された撮像装置の視野角の
算出結果を受けて動画像信号の前フレームでの視野角に
基づく映像画面と現フレームでの視野角に基づく映像画
面の大きさを比較して、現フレームにて前フレームから
新規に撮像された領域を検出する撮像領域算出手段を含
むとよい。

【００１１】さらに、符号化装置は符号化して量子化し
た動画像信号を所定の容量のバッファを介して出力し、
ステップサイズ設定手段は、占有率算出手段の算出結果
および前記バッファの残量に基づいて量子化ステップを
判定する判定手段を含むと有利である。

【００１２】また、符号化装置は動画像信号を所定のブ
ロックに分割して、それぞれのブロック毎に符号化およ
び量子化を行ない、本符号化制御器は、それぞれのブロ
ック毎に量子化ステップを設定するとよい。

【００１３】

【発明の実施の形態】次に添付図面を参照して本発明に
よる符号化制御器の実施例を詳細に説明する。

【００１４】図１には本発明による符号化装置における
符号化制御器の一実施例が示されおり、図２には本発明
による符号化制御器が適用された、たとえばテレビ電話
システムなどの符号化装置10の要部が示されている。本
実施例による符号化装置10はビデオカメラなどの撮像装
置からビデオ信号を受けて、動き補償フレーム間予測を
行ない、8x8 のブロック毎にDCT (discrete cosine tra
nsform) などの直交変換を施した後に量子化および可変
長符号化した信号をバッファに蓄積して、所定量の符号
レートで伝送路に出力する符号化装置である。特に、本
実施例では、バッファに蓄積する符号量を画像にかかわ
らず一定に保持するために、カメラにて新規に撮像した
領域を検出して、その新規撮像領域がフレームに占める
占有率を算出し、その占有率とバッファの残有量から量
子化ステップを制御する符号化制御器100 を含むもので
ある。

【００１５】詳細には、本実施例において、符号化装置
10にビデオ信号を供給するビデオカメラは、焦点距離を
変化可能な複数のレンズを含む光学系と、光学系からの
被写体像を結像するCCD (charge-coupled device) など
の撮像系と、これら光学系および撮像系を制御する制御
系とを含み、撮像系にて撮像された動画像信号が順次符
号化装置10に供給される。また、本実施例では、制御系
にて光学系および撮像系を制御する際の撮像状態を示す
操作情報が符号化制御器100 に供給される。

【００１６】符号化装置10は、図２に示すように符号化
制御器100 と、変換器110 と、量子化器120 と、逆量子
化器130 と、逆変換器140 と、動き補償用画像メモリ15
0 と、ループ内フィルタ160 と、２つのスイッチ170,18
0 と、減算器190 と、加算器200 とを含む。変換器110
は、スイッチ170 を介して供給される直接のビデオ入力
または減算器190 からのフレーム間差分を受けたビデオ
入力を所定の画素数、たとえば、8x8 画素のブロック毎
に分割して、それぞれのブロック毎にたとえばDCT など
の直交変換を施す変換器である。直交変換された信号
は、それぞれ量子化器120 に供給される。

【００１７】量子化器120 は、直交変換されたそれぞれ
の符号を符号化制御器100 の制御の下に所定のステップ
サイズにて量子化する回路であり、たとえば図７に示す
ようにそれぞれの符号データを２〜64段階のステップサ
イズにて変化可能に量子化する回路である。

【００１８】逆量子化器130 と逆変換器140 とは、動き
補償フレーム間予測のための逆変換回路であり、変換器
110 および量子化器120 にて直交変換および量子化され
た信号をそれぞれ逆変換して加算器200 を介して画像メ
モリ150 に供給する。この際逆量子化器130 は量子化器
120 のステップサイズと同様の値にて逆量子化を実行す
る。

【００１９】画像メモリ150 は、逆変換された信号と、
ビデオ入力からの現フレームの信号を受けて、これらか
ら動きベクトルＶを求めて出力する動き補償回路であ
る。動き補償が施された信号は、ループ内フィルタ160
を介して減算器190 に供給される。ループ内フィルタ16
0 は、符号化に際して発生する雑音が画像メモリ150 に
累積されて再生画面を乱し、または予測効率を下げるこ
とを防止するための帯域制限フィルタであり、動き補償
フレーム間予測を行なうか否かによって適応的に切り替
えられる。

【００２０】減算器190 は、ループ内フィルタ150 を介
して供給される予測信号とビデオ入力との差分をとって
フレーム間予測符号化信号をスイッチ170 を介して変換
器110 に供給する回路である。スイッチ170 は、符号化
制御器100 に制御されてフレーム内符号化の際には直接
ビデオ入力を変換器110 に供給し、フレーム間符号化の
際には減算器190 からの差分信号を変換器110 に供給す
るスイッチング回路である。

【００２１】スイッチ180 は、フレーム間符号化または
動き補償符号化の際の符号化された信号を加算器200 に
供給するスイッチング回路である。加算器200 はフレー
ム間予測または動き補償予測された信号を逆変換した信
号と加算して画像メモリ150に供給する回路である。画
像メモリ150 ではフレーム間予測または動き補償予測の
いずれか優れた方を判定してそれぞれの出力とする。

【００２２】一方、本実施例による符号化制御器100
は、スイッチ170 を制御してフレーム内符号化および動
き補償を含むフレーム間符号化を切り替えるとともに、
量子化器120 に量子化の際のステップサイズを設定する
主制御回路であり、フレーム間符号化またはフレーム内
符号化の識別信号ｐおよびバッファへの伝送および非伝
送識別フラグｔならびに量子化特性指定qzを制御信号と
して出力する。特に、本実施例では、量子化の場合のス
テップサイズを決定する際に、ビデオカメラからの操作
情報を検出して、これに基づいて現フレームにおける新
規に撮像した領域を検出し、その占有率を算出して、こ
れとバッファの残有量とから量子化の際のステップサイ
ズを決定する。

【００２３】たとえば、本実施例による符号化制御器10
0 は、図１に示すように操作情報検出器210 と、新規撮
像領域の占有率算出器220 と、ステップサイズ設定器23
0 とを含む。操作情報検出器210 は、ビデオカメラ10か
らの焦点距離情報に基づいて現フレームにおけるビデオ
カメラの視野角を算出する視野角算出回路を含み、算出
した視野角情報を占有率算出器220 に供給する。

【００２４】視野角算出回路での視野角の算出方法とし
ては、たとえば図３に示すように、レンズＬから被写体
までの距離をｂ、レンズＬから結像面までの距離をａ、
焦点距離をｆとすると、これらには次式(1) の関係が成
立する。

【００２５】

【数１】1/a ＋1/b ＝1/f ・・・・(1) また、結合画面の横幅をD1、被写体の横幅をD2、視野角
をθ、倍率をｍとし、b>>f>>D の関係が成立すると、次
式(2) から式(3) のような関係式が導かれる。

【００２６】

【数２】 m ＝D1/D2 ＝(D1)/(2b・tanθ/2) ・・・・(2)

【００２７】

【数３】tan θ/2＝(D1/2b)・(1/m)=(D1/2b)・(b/f-1) ≒(D1/2b)・(b/f)=(D1/2f)・(b/f) ＝D1/2f ・・・・(3) したがって、上式(3) から視野角θは、次式(4) に示す
ようになる。

【００２８】

【数４】θ＝2・tan^-1(D1/2f)≒D/f ・・・(4) これにより、水平視野角の概略値をラジアン単位にて示
すと次式(5) に示す結果となる。

【００２９】

【数５】水平視野角＝(180/ π) ×θ≒180・D1/ π・f ・・・(5) このようにして本実施例による操作情報検出器210 の視
野角算出回路にて、結合画面横幅D1と焦点距離ｆとの操
作情報にて視野角θを算出する。

【００３０】一方、占有率算出器220 は、操作情報検出
器210 からの視野角情報を受けて、ビデオカメラにて撮
像した前フレームの画像から新たに撮像された現フレー
ムでの撮像領域を検出する回路であり、たとえば、図４
〜図６に示すように前フレームと現フレームの視野角の
変化から新規撮像領域を算出する新規撮像領域算出回路
を含む。

【００３１】たとえば、図４に示すようにカメラ20から
の距離Ｄの位置の中心ｄでの被写体Ｓを考えた場合、前
フレームでの視野角が２αの場合に撮像される被写体の
水平方向の長さを2・L1とすると、これらの関係は次式
(6) にて表わされる。

【００３２】

【数６】L1/D=tanα ・・・(6) また、ビデオカメラ20での撮像画面の水平方向の長さは
図５に示すように画面2・W の長さと等しい2・l1の長さと
なる。

【００３３】次に現フレームにて視野角が２βに変化す
ると、撮像される被写体の水平方向長さが図４に示すよ
うに、たとえば2・L2になり、これらの関係は次式(7) の
ようになる。

【００３４】

【数７】L2/D=tanβ ・・・(7) この場合、現フレームにて図６に示すように、前フレー
ムにて撮像されていた領域SSの水平方向の長さは、画面
2・W に対して2・l1' の長さとなる。これより、次式(8)
の関係式が成立する。

【００３５】

【数８】Ｗ：l1'=L2：L1 ・・・(8) したがって、本実施例の占有率算出器220 の算出回路で
は、上式(6) 〜(8) から次式(9) を変形して式(10)に示
すように、前フレームでの撮像領域SSの水平方向の長さ
l1' を前フレームの視野角αおよび現フレームの視野角
βから求める。

【００３６】

【数９】 l1'/W=L1/L2 = tanα/tanβ ・・・(9)

【００３７】

【数１０】l1'=W・(tanα/tanβ) ・・・(10) 同様に、本実施例の新規撮像領域検出器220 の算出回路
では、前フレームの視野角αおよび現フレームの視野角
βから前フレームでの撮像領域SSの垂直方向の長さを算
出して、図６に斜線にて示す現フレームでの前フレーム
からの新規撮像領域を求めて、領域SSが１フレームに占
める割合を算出してステップサイズ設定器230 に供給す
る。

【００３８】ステップサイズ設定器230 は、占有率算出
器220 からの算出結果を受けて、これとバッファの残有
量とから量子化器120 のステップサイズを決定し、これ
を量子化器120 に設定する。詳細には、占有率算出器22
0 からの占有率Ａを受けるとたとえば、次式(11)に従っ
て量子化ステップサイズＱを算出する。

【００３９】

【数１１】Q=(INT[Q'x(4A+1)/2])x2 ・・・(11) ここで、INT[ ] は括弧内の値を整数化する関数を表わ
す。また、Q'は、たとえば伝送路の回線レートをｐｘ64
bit/s とし、その時のバッファサイズをｐｘ6.4kbit と
したとき、図７に示すようなバッファ残量に対する量子
化ステップサイズである。たとえば、バッファ残量がpx
3kbit の場合、図７の関係から量子化ステップQ'として
34という値が導出され、占有率Ａが0.1 の場合、上式(1
1)から量子化器120 にて用いられる量子化ステップＱが
48という値に決定される。

【００４０】以上のような構成において、本実施例にお
ける符号化制御方法を上記符号化装置10の動作とともに
説明する。まず、ビデオカメラにて被写体の撮像が開始
されると、その際の撮像状態を示すビデオカメラからの
レンズの焦点距離情報がビデオカメラの制御系から符号
化制御器100 の操作情報検出器210 に操作情報として順
次供給される。この際、ビデオカメラの撮像系からは順
次、フレーム毎にビデオ信号が符号化装置のビデオ入力
に供給される。

【００４１】次に、操作情報としてカメラの焦点距離を
受けた符号化制御器100 の操作情報検出器210 では、あ
らかじめ設定されていたカメラの結合画面の大きさ等の
情報から現在のカメラの視野角を視野角算出回路にて順
次計算する。詳しくは、カメラでの結像画面の横幅D1と
焦点距離ｆとから上述した式(5) にて水平視野角をラジ
アン単位にて求めて、同様に画面の縦幅と焦点距離とか
ら垂直視野角を求めて、これら視野角情報を占有率算出
器220 に順次供給する。

【００４２】次に、操作情報検出器210 から視野角情報
を受けた占有率算出器220 では、上述した(10)式にて前
フレームと現フレームとの間の現フレームに撮像されて
いて前フレームに撮像されていない領域を前フレームの
視野角αおよび現フレームの視野角βないし結像画面の
横幅および縦幅から順次、演算して、現フレームにおけ
る新規撮像領域の占有率Ａを求めて、ステップサイズ設
定器230 に出力する。これにより、ステップサイズ設定
器230 では、バッファの残有量と占有率Ａから量子化ス
テップサイズＱを上記(11)式にて求めて、量子化器120
に設定する。

【００４３】この際、符号化制御器100 からは新規撮像
領域のブロックについてはスイッチ170 をフレーム内符
号に切り替え、ビデオ入力からの直接の信号が変換器11
0 に供給される。また、前フレームにて撮像されていた
領域についてはフレーム間差分信号がスイッチ170 を介
して変換器110 に供給される。これに応じて、変換器11
0 ではビデオ入力からの直接の信号またはフレーム間差
分信号をDCT 変換して量子化器120 に出力する。

【００４４】変換器110 からの符号を受けた量子化器12
0 では順次、変換された符号化データを符号化制御器10
0 にて設定された量子化ステップQ にて量子化して、順
次バッファに供給する。一方、フレーム間符号化の場合
には量子化された符号化データは、逆量子化器130 にて
逆量子化され、さらに逆変換器140 にて逆直交変換され
て加算器200 を介して画像メモリ150 に供給される。

【００４５】次に、画像メモリ150 では逆変換された信
号とビデオ入力からの信号とを比較して、フレーム間符
号化または動き補償符号化のいずれを行なうかを決定し
て、動き補償を行なう場合には、動きベクトルＶを出力
する。フレーム間符号化の場合には、ループ内フィルタ
160 を介して減算器170 に送り、減算器170 にて差分が
とられた信号がスイッチ170 を介して変換器110 に供給
される。これにより、フレーム間符号化された信号が変
換器110 にて直交変換され、さらに量子化器120 にて量
子化されて上記と同様にバッファに蓄積される。

【００４６】バッファに所定の量の符号化データが蓄積
されると、符号化制御器110 から伝送フラグが出力さ
れ、これに従ってバッファから符号化データが読み出さ
れて伝送路に順次所定の伝送レートにて出力される。

【００４７】以上のように本実施例の符号化制御器およ
び符号化制御方法によれば、ビデオカメラからの焦点距
離の変化からビデオ信号の前フレームと現フレームの視
野角の変化を求めて、現フレームでの前フレームに撮像
されていない新規撮像領域を求めて、これから１フレー
ムに占める新規撮像領域の占有率を算出し、その情報に
基づいて量子化の際のステップサイズを設定しているの
で、あらかじめ符号化するフレームの急激な符号量増加
を予想することができ、量子化ステップサイズを変化さ
せることにより、バッファの占有量を一定に保持するこ
とができる。この結果、画像が急激に変化する場合でも
フレームの駒落としを行なう必要がなく動きの激しい映
像に対しても動きのスムーズな映像の符号データを復号
側に伝送することができる。

【００４８】なお、上記実施例では符号化装置をテレビ
電話システムに適用した場合を例に挙げて説明したが、
本発明ではこれに限るものではなく、たとえば、動画像
データを蓄積する画像データベースシステムなどの符号
化方式に適用してもよい。

【００４９】

【発明の効果】このように本発明の符号化制御器によれ
ば、撮像装置からの操作情報に基づいて新規に撮像され
た領域を検出し、その領域の１フレームに占める割合を
算出して、量子化の際のステップサイズを設定している
ので、符号化の際のフレームの符号量の増加をあらかじ
め予想することができ、これに応じて量子化ステップサ
イズを変化させることにより伝送路への符号化データの
送出量を一定に保持することができる。特に、所定の容
量のバッファを用いる場合フレームの駒落としを行なう
ことなく、スムーズな動きの映像を復号側に供給するこ
とができる優れた効果を奏する。

【図面の簡単な説明】

【図１】本発明による符号化装置における符号化制御器
の一実施例を示すブロック図である。

【図２】図１による符号化制御器が適用された符号化装
置の要部の構成を示すブロック図である。

【図３】図１による符号化制御器にて新規撮像領域を検
出する際の焦点距離と視野角との関係を示す図である。

【図４】図１による符号化制御器にて新規撮像領域を検
出するための視野角と被写体との関係を示す図である。

【図５】図１による符号化制御器にて新規撮像領域を検
出する際の前フレームの撮像画面を示す図である。

【図６】図１による符号化制御器にて新規撮像領域を検
出する際の現フレームの撮像画面を示す図である。

【図７】図１による符号化制御器にて量子化ステップサ
イズを設定する際のバッファ残量との関係を示す図であ
る。

【符号の説明】

10 符号化装置 100 符号化制御器 210 操作情報検出器 220 占有率算出器 230 ステップサイズ設定器

Claims

【特許請求の範囲】

【請求項１】動画像信号を所定の符号化方式にて符号
化する際に、量子化ステップを制御して動画像信号の符
号量を制御する符号化装置における符号化制御器であっ
て、該制御器は、動画像信号を出力する撮像装置から該装置の撮像状態を
表わす操作情報を検出する操作情報検出手段と、該操作情報検出手段の検出結果に基づいて動画像信号の
現フレームにおける新規に撮像された領域を検出して、
該新規撮像領域が現フレームに占める割合を算出する占
有率算出手段と、該占有率算出手段の算出結果に基づいて量子化ステップ
のステップサイズを設定するステップサイズ設定手段と
を含むことを特徴とする符号化装置における符号化制御
器。
【請求項２】請求項１に記載の符号化制御器におい
て、前記操作情報検出手段は、撮像装置にて撮像してい
る被写体像の焦点距離を操作情報として検出して、該焦
点距離に基づいて撮像装置の視野角を算出する視野角算
出手段を含むことを特徴とする符号化装置における符号
化制御器。
【請求項３】請求項２に記載の符号化制御器におい
て、前記占有率算出手段は、前記操作情報検出手段の視
野角算出手段にて算出された撮像装置の視野角の算出結
果を受けて動画像信号の前フレームでの視野角に基づく
映像画面と現フレームでの視野角に基づく映像画面の大
きさを比較して、現フレームにて前フレームから新規に
撮像された領域を検出する撮像領域算出手段を含むこと
を特徴とする符号化制御器。
【請求項４】請求項１に記載の符号化制御器におい
て、前記符号化装置は符号化して量子化した動画像信号
を所定の容量のバッファを介して出力し、前記ステップ
サイズ設定手段は、前記占有率算出手段の算出結果およ
び前記バッファの残量に基づいて量子化ステップを判定
する判定手段を含むことを特徴とする符号化装置におけ
る符号化制御器。
【請求項５】請求項１に記載の符号化制御器におい
て、前記符号化装置は動画像信号を所定のブロックに分
割して、それぞれのブロック毎に符号化および量子化を
行ない、該符号化制御器は、それぞれのブロック毎に量
子化ステップを設定することを特徴とする符号化装置に
おける符号化制御器。