JPH07255057A - 動画像ブロック判定回路 - Google Patents

Abstract

(57)【要約】 【目的】 ＴＶ会議やＴＶ電話等における動画像の低ビ
ットレートのフレーム間符号化回路の前段に用いられて
動画像ブロックの有効／無効の判定により符号化を行う
か否かを判定する動画像ブロック判定回路に関し、連続
した複数フレーム間で誤差が累積しないようにする。 【構成】 フレーム間符号化回路３０のフレームメモリ
７からの１符号化前のフレームの復号信号と現フレーム
の入力信号とのブロック差分（変化分）が閾値より大き
い場合は、１符号化前のフレームの入力信号と現フレー
ムの入力信号との差分の大きさにより無効と判定して
も、これにかかわらずに該ブロックを有効と判定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像ブロック判定回路
に関し、特にＴＶ会議やＴＶ電話等における動画像の低
ビットレートのフレーム間符号化回路の前段に用いられ
て動画像ブロックの有効／無効の判定により符号化を行
うか否かを判定する動画像ブロック判定回路に関するも
のである。

【０００２】通信メディアを対象とした動画像符号化標
準化であるＨ．２６１や超低ビットレートをターゲット
として現在標準化が進められているＨ．２６ｐにおいて
は１つのフレームはマクロブロックに分割されて、符号
化が行われる。

【０００３】図７には周知の一般的な動画像圧縮符号化
回路が示されており、入力動画像信号をフレーム間予測
で差分（変化分）情報のみを符号化回路３０で符号化し
て送る。そして、可変長符号化回路３１などで更に圧縮
して伝送路に送り出す。

【０００４】しかしながら、実際には、背景の微妙な動
きや量子化など演算中の誤差などの原因により背景部分
でも雑音が生じて差分情報が発生している。この発生情
報量は、動画像の圧縮率が大きい時には、視覚的に問題
があるのはもとより、情報量の有効性という面でも大き
な問題である。

【０００５】そこで、差分情報は１フレームをいくつか
に分割した、ブロック単位に符号化するとき、画像の静
止部分などでブロック内で全く差分が発生しない場合に
は、そのブロックは無効となり、無効ブロックが続く間
は、その部分には殆ど情報量が無いことになる（例え
ば、ＴＶ会議などの画像の背景などでは情報は殆ど発生
しないことになる）ため差分情報は送る必要はない。

【０００６】従って、このような動画像ブロックの有効
／無効を判定する回路がフレーム間符号化回路の前段に
必要となる。

【０００７】

【従来の技術】上記のように、ＴＶ会議などの動画像で
は、あまり重要でない背景の発生情報量を出来るだけ抑
えるために、図８に示すようにフレーム間符号化回路３
０の前段に動画像ブロックの有効／無効を判定する動画
像ブロック判定回路１が設けられている。

【０００８】この動画像ブロック判定回路１には、入力
信号における前フレームの動画像ブロックを保持するた
めのフレームメモリ２が接続されており、動画像ブロッ
ク判定回路１では、フレームメモリ２からの前フレーム
の動画像ブロックと現在のフレームの動画像ブロックと
の差分情報を演算する。

【０００９】また、フレーム間符号化回路３０は、減算
部３と制御部４と符号化部５と加算部６とフレームメモ
リ７とで構成されており、減算部３では入力信号とフレ
ームメモリ７からの前フレームの各動画像ブロックの差
分を演算して制御部４に送られる。

【００１０】制御部４では、動画像ブロック判定回路１
での判定結果が有効であるとき、即ち動画像ブロックに
一定の変化が認められる場合（閾値を越えている場合）
には符号化が必要であるため、その判定結果により減算
部３からの差分情報を通過させて符号化部５へ送り符号
化を行って可変長符号化回路（図示せず）等を経て伝送
路へ送り出される。

【００１１】また、制御部４は、動画像ブロック判定回
路１では動画像ブロックの変化が認められない場合に
は、その判定結果を受けて減算部３からの差分情報をク
リアして符号化部５へ送らないようにする。

【００１２】また、符号化部５での符号化結果は復号化
された後に加算部６に送られ、フレームメモリ７からの
前フレームの動画像ブロックと加算されて予測された動
画像ブロックとしてフレームメモリ７に格納される。

【００１３】

【発明が解決しようとする課題】このようにして、ブロ
ックを強制的に無効にする方法は、符号化効率の面で効
果がある。また，この１符号化フレーム前の入力信号と
現フレームの入力信号との変化分を用いた有効／無効判
定回路は、１符号化フレーム前の復号信号との変化分を
用いて判定するよりも、変化分を計算する時に符号化時
の演算誤差などによる雑音がないという点で優れてい
る。

【００１４】このような動画像ブロック判定回路は入力
動画像ブロックの変化分で判定しているので、図９(a)
に示すように入力動画像ブロックの画素値が上下してい
る状態では、その復号信号の画素値には特別な影響は無
いが、同図(b) に示すように、入力動画像の僅かな変
化、つまり１符号化フレーム間毎では変化分が閾値以下
であるが、この変化分が何フレーム分も徐々に続くよう
な場合には、符号化している内に復号信号の画素値は図
示のようにその何フレームか前の復号値から誤差が累積
して変化分を判定するための上記の閾値よりも大きくな
るという可能性がある点で問題である。

【００１５】従って本発明は、動画像の１フレームを複
数の小ブロックに分割し、その小ブロック毎にフレーム
メモリからの１符号化前のフレームの入力信号と現フレ
ームの入力信号との差分の大きさにより、該ブロックの
有効／無効の判定を行って該差分をフレーム間符号化回
路で符号化するか否かを判定する動画像ブロック判定回
路において、連続した複数フレーム間で誤差が累積しな
いようにすることを目的とする。

【００１６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る動画像ブロック判定回路は、図１に原
理的に示すように、フレーム間符号化回路３０のフレー
ムメモリ７からの１符号化前のフレームの復号信号と現
フレームの入力信号とのブロック差分（変化分）が閾値
より大きい場合は、１符号化前のフレームの入力信号と
現フレームの入力信号との差分の大きさにより無効と判
定しても、これにかかわらずに該ブロックを有効と判定
することを特徴としたものである。

【００１７】この場合、該ブロック及びその周辺ブロッ
クにおける、１符号化前のフレームの復号信号と現フレ
ームの入力信号との差分が閾値より大きい場合は、上記
判定にかかわらずブロックを有効と判定してもよい。

【００１８】また、フレーム間の差分として画素値の差
分の絶対値和、または画素値の差分の二乗和を用いるこ
とができる。

【００１９】さらに、フレーム間の差分として、１符号
化前の復号画像と現フレームの入力画像による該ブロッ
クの動きベクトルの大きさを用いることもできる。

【００２０】さらには、フレーム間の差分として、ブロ
ックの連続無効回数を数えるブロック単位のカウンタを
設け、このカウンタの大きさにより該差分の大きさの判
定を変えることも可能である。

【００２１】

【作用】図１に示した本発明に係る動画像ブロック判定
回路１では、動画像ブロックにおける入力画像とフレー
ムメモリ２からの前フレームの動画像ブロックの変化分
により、有効／無効の判定を行った後、更にフレームメ
モリ７からの１符号化フレ─ム前の復号信号と現フレー
ムの入力信号の変化分により、無効と判定されたブロッ
クでも有効と判定するという方法をとる。これにより、
入力画像のわずかづつの変化にも対応できる。

【００２２】即ち、動画像ブロック判定回路１では、従
来の場合（図８参照）のように無効ブロックと判定した
場合でも更に１符号化フレーム前の復号信号と現フレー
ムの入力信号との変化分を計算し、該変化分が或る閾値
よりも大きい時には、有効ブロックと判定してフレーム
間符号化回路３０での制御部４をスルーとしてフレーム
間符号化を行うことにより、差分を早く収束させること
ができ、入力信号間の変化分による有効／無効判定が原
因で起こる画面上のはりつき現象などを無くすことがで
きる。

【００２３】また、上記の如く、フレーム間の変化分と
して動きベクトルの情報等も用いることもできる。

【００２４】

【実施例】

（１）図２は図１に示した本発明に係る動画像ブロック
判定回路１をフレーム間符号化回路３０と組み合わせた
ときの実施例（１）を示したもので、まず、全体につい
て説明する。

【００２５】この実施例では、フレーム間符号化回路３
０は、図１に示した構成の内、符号化部５を符号化器５
ａと復号器５ｂとで構成し、さらに、入力信号とフレー
ムメモリ７からの前フレームの復号信号とから動画像ブ
ロック毎の動きベクトルを検出する動きベクトル検出部
８と、この動きベクトルに従って前フレームの復号信号
を遅延させて減算器３に与える可変遅延部９とを設けて
いる。

【００２６】なお、可変長符号化回路３１は図７にも示
したフレーム間符号化回路３０による符号化結果を更に
伝送路に合わせた圧縮を行うためのものであり、信号多
重化回路３２では動きベクトル検出部８で検出された動
きベクトルを可変長符号化回路３１での符号化出力に多
重化するものである。

【００２７】この実施例全体の動作においては、動画像
ブロック判定回路１において処理する動画像ブロックが
有効と判定されている間は、現フレームの入力信号と、
１符号化フレーム前の復号画像であるフレームメモリ７
からの出力に対し、動きベクトル検出部８で動き補償に
より動きベクトル検出を行った後、予測値と入力信号の
差分を減算器３で取り、予測誤差を求める。

【００２８】そして、この予測誤差は制御部４を素通り
して符号化器５ａで、予測誤差に対して離散コサイン変
換や量子化を行った後、符号化結果を出力する。符号化
結果は、可変長符号化回路３１を介して、可変長符号化
されたデ─タが送信される。

【００２９】また、符号化データは送信側で復号器５ｂ
により局所復号され、この局所復号された結果は加算器
６で可変遅延部９を介して与えられるフレームメモリ７
からの予測値と加算され、復号画像としてフレームメモ
リ７に更新される。

【００３０】ここで、動画像ブロック判定回路１の実施
例が図３に示されており、この実施例では、動画像ブロ
ック毎に現フレームの入力信号とフレームメモリ２（図
１参照）からの前フレームの入力信号の差分を演算する
減算器１１と、この減算器１１の出力データの絶対値を
取る絶対値演算部１２と、この絶対値を積算する積算器
１３と、この積算値を閾値Ｔｈ１と比較して閾値より大
きいとき（有効ブロックのとき）のみＯＮとなるＯＮ／
ＯＦＦ信号で出力する閾値判定部１４と、動画像ブロッ
ク毎に現フレームの入力信号とフレームメモリ７（図１
参照）からの前フレームの復号信号との差分を演算する
減算器１５と、この減算器１５の出力データの絶対値を
取る絶対値演算部１６と、この絶対値を積算する積算器
１７と、この積算値を閾値Ｔｈ２と比較して閾値Ｔｈ２
より大きいときには閾値判定部１４での判定結果が無効
（ＯＦＦ）でも有効と判定して制御部４（図１参照）に
対して制御信号を出力する閾値判定部１８とで構成され
ている。

【００３１】この実施例の動作においては、減算器１１
と絶対値演算部１２と積算器１３と閾値判定部１４とに
よる構成で図８に示した従来の動画像ブロック判定回路
１の動作を呈しており、動画像ブロックにおける入力画
像とフレームメモリ２からの前フレームの動画像ブロッ
クの変化分により閾値判定部１４で閾値Ｔｈ１を越えた
か否かの判定が行われ、有効／無効の判定結果（ＯＮ／
ＯＦＦ）が閾値判定部１８に与えられる。

【００３２】一方、更にフレームメモリ７からの１符号
化フレ─ム前の復号信号と現フレームの入力信号の変化
分を減算器１５で求め、この絶対値を絶対値演算部１６
でとって積算器１７で積算した後、この積算値を閾値判
定部１８に送る。

【００３３】判定部１８では、閾値判定部１４において
無効（ＯＦＦ）と判定されたブロックでも、１符号化フ
レ─ム前の復号信号と現フレームの入力信号（輝度信号
または色差信号）の変化分が閾値Ｔｈ２を越えていれば
有効（ＯＮ）と判定し、制御信号を制御部４に送る。

【００３４】なお、ブロック内の画素値の差分の二乗和
や、ブロック内の画素値の差分の最大値などの内の、ど
れか１つ以上をそのブロックの変化分とすることもでき
る。また、演算処理量が膨大になるのを防ぐため、変化
分は輝度信号に対してのみ行ってもよい。

【００３５】また、判定を行う時に、処理するブロック
だけでなくその周囲のブロックの変化分を用いて、その
ブロックの有効／無効を判断してもよい。この場合も基
本的には同様の回路を用いることができる。

【００３６】（２）図４は図１に示した本発明に係る動
画像ブロック判定回路１をフレーム間符号化回路３０と
組み合わせたときの実施例（２）を示したもので、図２
と異なっている点は、動きベクトル検出部８において動
画像ブロックの動き補償により求めた動きベクトルの性
質も有効／無効の判定に用いる点である。

【００３７】図５に、この場合の有効／無効動画像ブロ
ック判定回路１の一例が示されており、ここでは、図３
の動画像ブロック判定回路１に加えて絶対値演算部１９
と積算器２０とを新たに用い、動きベクトルの大きさ、
例えば動きベクトルのｘ成分の絶対値とｙ成分の絶対値
の和を一つのパラメータとし、該パラメータが別の閾値
Ｔｈ３を越えたならば、そのブロックが有効の指示を出
するものである。

【００３８】したがって、この実施例では、動きベクト
ルを判定の一パラメータに加えたので隣接したブロック
との関係も加味されることとなり、現フレームの入力信
号と前フレームの復号信号との差分が閾値を越えておら
ず無効ブロックと判定されるものであっても、動画像の
動きが閾値を越えているときには有効ブロックとするも
のである。

【００３９】図６には別の有効／無効動画像ブロック判
定回路１の実施例が示されており、図５と異なっている
点は、閾値判定部１８における閾値を変更するための閾
値変更部２１と、閾値判定部１８からの制御信号を受け
てカウントし、そのカウント結果により閾値変更部２１
を変更するカウンタ２２とで構成されている。

【００４０】この実施例では、動画像ブロックが、現在
何回連続して無効になっているかをカウンタ２２でカウ
ントし、このカウント値が大きい程、そのブロックは長
い間差分情報が送られていないことになる。よって、こ
の値が大きければ、閾値変更部２１が閾値判定部１８に
設定されている閾値Ｔｈ２，Ｔｈ３を変更して無効に選
ばれているブロックを有効に選ばれ易くするものであ
る。

【００４１】

【発明の効果】以上述べたように、本発明に係る動画像
ブロック判定回路によれば、フレーム間符号化回路３０
のフレームメモリ７からの１符号化前のフレームの復号
信号と現フレームの入力信号とのブロック差分（変化
分）が閾値より大きい場合は、１符号化前のフレームの
入力信号と現フレームの入力信号との差分の大きさによ
り無効と判定しても、これにかかわらずに該ブロックを
有効と判定するように構成したので、動画像の高能率圧
縮符号化におけるＴＶ電話などの背景部分を含む画像に
おいて、背景部分では符号化情報量の発生を抑えたま
ま、画像の僅かな動きにも対応することが出来る。

【図面の簡単な説明】

【図１】本発明に係る動画像ブロック判定回路を含む符
号化回路全体の構成を原理的に示したブロック図であ
る。

【図２】本発明に係る動画像ブロック判定回路を含む符
号化回路全体の構成の実施例（１）を示したブロック図
である。

【図３】図２の実施例（１）に用いる動画像ブロック判
定回路の実施例（１）の構成を示したブロック図であ
る。

【図４】本発明に係る動画像ブロック判定回路を含む符
号化回路全体の構成の実施例（２）を示したブロック図
である。

【図５】図４の実施例（２）に用いる動画像ブロック判
定回路の実施例（２）の構成を示したブロック図であ
る。

【図６】図４の実施例（２）に用いる動画像ブロック判
定回路の実施例（３）の構成を示したブロック図であ
る。

【図７】従来から一般的な符号化回路を概略的に示した
ブロック図である。

【図８】従来の有効／無効動画像ブロック判定回路の一
例を示したブロック図である。

【図９】従来例の問題点を指摘するためのグラフ図であ
る。

【符号の説明】

１ 動画像ブロック判定回路 ２，７ フレームメモリ ３０ フレーム間符号化回路 ８ 動きベクトル検出部 図中、同一符号は同一又は相当部分を示す。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 動画像の１フレームを複数の小ブロック
   に分割し、その小ブロック毎にフレームメモリ（２）か
   らの１符号化前のフレームの入力信号と現フレームの入
   力信号との差分の大きさにより、該ブロックの有効／無
   効の判定を行って該差分をフレーム間符号化回路（３
   ０）で符号化するか否かを判定する動画像ブロック判定
   回路（１）において、 該フレーム間符号化回路（３０）のフレームメモリ
   （７）からの１符号化前のフレームの復号信号と現フレ
   ームの入力信号とのブロック差分が閾値より大きい場合
   は、上記判定にかかわらず該ブロックを有効と判定する
   ことを特徴とした動画像ブロック判定回路。
2. 【請求項２】 該ブロック及びその周辺ブロックにおけ
   る、１符号化前のフレームの復号信号と現フレームの入
   力信号との差分が閾値より大きい場合は、上記判定にか
   かわらずブロックを有効と判定することを特徴とした請
   求項１に記載の動画像ブロック判定回路。
3. 【請求項３】 フレーム間の差分として画素値の差分の
   絶対値和を用いることを特徴とした請求項１又は２に記
   載の動画像ブロック判定回路。
4. 【請求項４】 フレーム間の差分として画素値の差分の
   二乗和を用いることを特徴とした請求項１又は２に記載
   の動画像ブロック判定回路。
5. 【請求項５】 フレーム間の差分として、１符号化前の
   復号画像と現フレームの入力画像による該ブロックの動
   きベクトルの大きさを用いることを特徴とした請求項１
   又は２に記載の動画像ブロック判定回路。
6. 【請求項６】 フレーム間の差分として、ブロックの連
   続無効回数を数えるブロック単位のカウンタを設け、こ
   のカウンタの大きさにより該差分の大きさの判定を変え
   ることを特徴とした請求項１又は２に記載の動画像ブロ
   ック判定回路。