JPH05260518A - 動画像前処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、画素ブロックにおける映像信号の
変化が動領域において生じたものか静止領域において生
じたものかを正しく判定し得るようにすることを目的と
している。 【構成】 画素ブロックにおける映像信号の変化がいず
れの領域に生じたものかを、輝度信号の変化率が指定許
容範囲内に収まったかどうかにより予備判定し、さらに
判定式にて設定される許容範囲内に収まったかどうかに
より最終判定するよう構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像前処理として、
フレームの各画素ブロックを動領域と静止領域とに分離
し、静止領域のフレーム間差分を無くした信号を出力す
る動画像前処理方法に関するものである。

【０００２】

【従来の技術】ＣＣＩＴＴにより動画像符号化方式が国
際標準化された現在、前・後処理や符号化制御により、
限られた伝送容量の中でいかに高品質な映像通信を実現
するかが重要な問題となっている。

【０００３】映像の高能率符号化では、高圧縮率を達成
するためにフレーム間予測方式が用いられている。この
フレーム間予測方式では、フレーム間の差分信号を符号
化しているが、この差分信号は映像信号の変化が生じて
いる画素に対して非零の値をとり、映像信号の変化が生
じていない画素に対して零の値をとる。一般に映像信号
の変化が生じている画素は動領域に属し、映像信号の変
化が生じていない画素は静止領域に属しているが、照明
光の強度の変化や物体の影、反射光の影響等によって静
止領域においても映像信号の変化が生じることがある。

【０００４】静止領域における映像信号の変化は差分信
号の増大を招くだけでなく、処理画にフリッカ、ちらつ
き等の現象を発生させる。この静止領域における映像信
号の変化の取り扱いについては、その変化が微小である
ことから、微小な変化は静止領域における映像信号の変
化とみなし無視する第１の方法、あるいはより小さな変
化に抑制する第２の方法等の処理を行い、照明光の強度
の変化や物体の影、反射光の影響等を取り除く試みが行
われている。

【０００５】さらに、映像信号を構成する３種類のコン
ポーネント信号から作られるパラメータの中の、静止領
域に属する画素ブロックにおいては保存され、動領域に
属する画素ブックにおいては保存されないパラメータを
利用する第３の方法がある。例えば、照明光の光の強度
のみが変化する場合、映像信号を構成する３種類のコン
ポーネント信号から選び出した任意の２種類の信号レベ
ルの比は、静止領域においてつねに保存され一定の値を
とる。具体的には、この映像信号を構成する３種類のコ
ンポーネント信号としてＹ，Ｃｂ，Ｃｒを選ぶと、この
３信号はＲ，Ｇ，Ｂ３原色信号を用いて、 Ｙ＝ ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ Ｃｂ＝−０．２９９×Ｒ−０．５８７×Ｇ＋０．８８６×Ｂ Ｃｒ＝ ０．７０１×Ｒ−０．５８７×Ｇ−０．１１４×Ｂ と表すことができる。照明光の強度が変化して輝度がα
倍になったとすると、そのときのＲ，Ｇ，Ｂ３信号はも
とのＲ，Ｇ，Ｂ３信号のα倍の信号レベルをもってい
る。したがって、そのときの３種類のコンポーネント信
号をＹ′，Ｃｂ′，Ｃｒ′とすると、これらの信号レベ
ルも同時にα倍され、 Ｙ′＝α×Ｙ Ｃｂ′＝α×Ｃｂ Ｃｒ′＝α×Ｃｒ と変化する。しかしながら、この３種類のコンポーネン
ト信号から選び出した任意の２種類の信号レベルの比
は、 Ｃｂ′／Ｃｒ′＝（α×Ｃｂ）／（α×Ｃｒ）＝Ｃｂ／Ｃｒ （１） Ｃｒ′／Ｙ′ ＝（α×Ｃｒ）／（α×Ｙ ）＝Ｃｒ／Ｙ （２） Ｙ′／Ｃｂ′＝（α×Ｙ ）／（α×Ｃｂ）＝ Ｙ／Ｃｂ （３） となり、照明光の強度が変化する前からの値を保存して
いる。

【０００６】この静止領域においては保存されるが、動
領域においては保存されないパラメータを用いて、画素
ブロックが静止領域に属するか、あるいは動領域に属す
るかの判定が可能になる。上に示したように照明光の強
度が変化する場合には、各画素ブロックにおけるＣｂ／
Ｃｒ，Ｃｒ／Ｙ，Ｙ／Ｃｂといった２種類の信号レベル
の単純な比を動静領域判定回路の判定式に使うことがで
き、静止領域と判定した画素ブロックにおける映像信号
の変化を無視する第３の方法が試みられている。

【０００７】

【発明が解決しようとする課題】しかし映像信号の微小
な変化を無視する第１の方法では動領域の変化をも無視
してしまうことがあるため、本来なら動いているはずの
部分が画面上にはりついたように見えるといった新たな
欠点が生じる。

【０００８】微小な変化をより小さな変化に抑制する第
２の方法では静止領域における映像信号の変化を完全に
取り除いているわけではないので、減少したとはいえ依
然として処理画にフリッカ、ちらつき等の現象が現れる
という欠点がある。

【０００９】２種類の信号レベルの比を用いる第３の方
法では、映像信号がディジタル信号処理されたときの量
子化誤差によって、式（１），（２），（３）の等号が
成立せず、さらに一般的な室内におけるカメラ入力信号
では、３種類のコンポーネント信号Ｙ，Ｃｂ，Ｃｒのう
ち、色情報を担うＣｂ，Ｃｒ信号は絶対値の小さな領域
に分布する傾向にあり、式（１），（２），（３）にお
ける量子化誤差の影響は深刻になり、正確な動静領域判
定ができない欠点がある。

【００１０】本発明は、画素ブロックにおける映像信号
の変化が動領域において生じたものか静止領域において
生じたものかを正しく判定し得るようにすることを目的
としている。

【００１１】

【課題を解決するための手段】本発明においては、画素
ブロックにおける映像信号の変化が動領域に属している
ために生じたものであるか、あるいは静止領域に属して
いながら照明光の強度の変化や物体の影、反射光の影響
等によって生じたものであるかを、輝度信号の変化率が
指定許容範囲内に収まったかどうかにより予備判定し、
さらに各コンポーネント信号比の変化量がＡ−Ｄ変換時
に生じる量子化誤差を吸収する機能を備えた判定式にて
設定される許容範囲内に収まったかどうかにより最終判
定し、注目する画素ブロックを動領域と判定した場合に
前記画素ブロックにおける信号レベルを記憶更新し、注
目する画素ブロックを静止領域と判定した場合に前記画
素ブロックにおける信号レベルを記憶更新せず、静止領
域におけるフレーム間差分を無くした信号を出力するこ
とにある。

【００１２】

【作用】このようにすることにより、静止領域について
は差分信号そのものを零とでき、静止領域は変化せず動
領域のみが変化した画素ブロックごとの各コンポーネン
ト信号をフレームの信号として出力することができる。
この結果として動領域をより高精細に符号化したり、符
号化フレーム数の増加を図ったりすることが可能にな
る。以下図面に基づいて詳細に説明する。

【００１３】

【実施例】図１ないし図４はフレーム間で静止領域に属
する画素ブロックにおけるディジタル信号処理されたコ
ンポーネント信号比の関係を示している。この関係を利
用して、Ａ−Ｄ変換時に生じる量子化誤差を吸収し、画
素ブロックの動静領域判定を行う。当該関係は図１ない
し図４に示す４通りの場合が存在し得る。

【００１４】即ち、図１の場合には、「照明強度変化
前」の場合の最小値（図示左−以下同じ）が「照明強度
変化後」の場合の最小値よりも小で、かつ「照明強度変
化前」の場合の最大値が「照明強度変化後」の場合の最
大値よりも小であるケースに対応している。

【００１５】図２の場合には、「照明強度変化前」の場
合の最小値が「照明強度変化後」の場合の最小値よりも
小で、かつ「照明強度変化前」の場合の最大値が「照明
強度変化後」の場合の最大値よりも大であるケースに対
応している。

【００１６】図３の場合には、「照明強度変化前」の場
合の最小値が「照明強度変化後」の場合の最小値よりも
大で、かつ「照明強度変化前」の場合の最大値が「照明
強度変化後」の場合の最大値よりも小であるケースに対
応している。

【００１７】図４の場合には、「照明強度変化前」の場
合の最小値が「照明強度変化後」の場合の最小値よりも
大で、かつ「照明強度変化前」の場合の最大値が「照明
強度変化後」の場合の最大値よりも大であるケースに対
応している。

【００１８】図５は動静領域判定処理のフローチャート
の一例である。図５において、２段階の条件を満足した
画素ブロックを静止領域と判定し、それ以外の画素ブロ
ックを動領域と判定する。

【００１９】図６は本発明の一実施例を示す回路ブロッ
ク図である。図６において１１は判定回路、１２は書き
込み制御回路、１３は記憶回路、１４は読み出し制御回
路である。

【００２０】図７は本発明の適用可能な画素ブロック例
を示す。図７において、太線、細線、破線の四角形はそ
れぞれ映像信号を構成する３種類のコンポーネント信号
Ｙ，Ｃｂ，Ｃｒのサンプルを表し、各信号のサンプリン
グレートが２１はＣＣＩＲ勧告６０１で定められた４：
４：４、２２は４：２：２、２３はＣＣＩＴＴ勧告Ｈ．
２６１で定められたＣＩＦ，ＱＣＩＦ規格を含む４：
１：１の場合である。

【００２１】映像信号を構成する３種類のコンポーネン
ト信号Ｙ，Ｃｂ，Ｃｒが、フレーム間でＹ′，Ｃｂ′，
Ｃｒ′に変化したとする。図５に示す如く、まず、色差
信号に比べると大きな絶対値をもつ輝度信号Ｙ、および
Ｙ′、そして最大許容変化率βを用いて、 ｜Ｙ−Ｙ′｜ ＜ β×Ｙ （４） なる、輝度信号の変化率により静止領域に属する画素ブ
ロック候補の絞り込み判定を行う（ステップ１）。これ
により、画素ブロックにおけるＣｂ，Ｃｒ信号が絶対値
の小さな領域に分布している場合、具体的には画素ブロ
ックが黒から白、あるいは白から黒といった無彩色近傍
で変化する場合、その画素ブロックは静止領域に属さな
いと判定することが可能になる。

【００２２】３種類のコンポーネント信号Ｙ_A ，Ｃ
ｂ_A ，Ｃｒ_A が、量子化ステップの幅δのＡ−Ｄ変換器
により、それぞれＹ_D ，Ｃｂ_D ，Ｃｒ_D に変換される場
合、Ｙ_AとＹ_D 、Ｃｂ_A とＣｂ_D 、Ｃｒ_A とＣｒ_D の間
には、 Ｙ_D −δ／２ ≦ Ｙ_A ＜ Ｙ_D ＋δ／２ Ｃｂ_D −δ／２ ≦ Ｃｂ_A ＜ Ｃｂ_D ＋δ／２ Ｃｒ_D −δ／２ ≦ Ｃｒ_A ＜ Ｃｒ_D ＋δ／２ という関係が存在する。したがって、３種類のコンポー
ネント信号の値がいずれも非零のとき、任意の２種類の
信号レベルの比の間には、

【００２３】

【数１】

【００２４】という関係が存在し、各コンポーネント信
号がアナログ信号のときには確定していた２種類の信号
レベルの比は、ディジタル信号処理を経ることにより幅
をもって分布する。照明光の強度が変化して輝度がα倍
になったときの各コンポーネント信号Ｙ_A ′，Ｃ
ｂ_A ′，Ｃｒ_A ′が、量子化ステップの幅δのＡ−Ｄ変
換器によって、それぞれＹ_D ′，Ｃｂ_D ′，Ｃｒ_D ′に
変換される場合、Ｙ_A ′とＹ_D′、Ｃｂ_A ′とＣ
ｂ_D ′、Ｃｒ_A ′とＣｒ_D ′の間にも、同様に

【００２５】

【数２】

【００２６】という関係が存在する。ところで、静止領
域に属する画素ブロックにおいては、照明光の強度が変
化した際にも、 Ｃｂ_A ／Ｃｒ_A ＝ Ｃｂ_A ′／Ｃｒ_A ′ Ｃｒ_A ／ Ｙ_A ＝ Ｃｒ_A ′／ Ｙ_A ′ Ｙ_A ／Ｃｂ_A ＝ Ｙ_A ′／Ｃｂ_A ′ となる。式（５）と（８）、およびアナログ信号レベル
の比は照明強度の変化前後で変化しないことから、図１
ないし図４に示す４種類の関係のいずれかが成立する。
これを数式化すれば、図１ないし図４のいずれの場合に
おいても、次式が成り立つ。

【００２７】

【数３】

【００２８】同様に式（６）と（９）、（７）と（１
０）から

【００２９】

【数４】

【００３０】

【数５】

【００３１】という関係が成立する。したがって、量子
化ステップの幅δのＡ−Ｄ変換器によりディジタル信号
処理されている場合には、式（１１），（１２），（１
３）の動静領域判定回路の静止画素ブロック判定式に使
うことができる。

【００３２】判定回路前段では式（４）を判定式とし、
それを満足しない画素ブロックは動領域に属していると
判定する。式（４）を満足する画素ブロックは静止領域
候補とみなし、さらに後段の処理にまわされる。後段で
は各コンポーネント信号のレベルに応じて、式（１
１），（１２），（１３）の判定式が使い分けられる。
具体的には、フレーム間において３信号が非零の値を保
持するときは、式（１１），（１２），（１３）のう
ち、任意の２つの式を判定式とし、それを満足しない画
素ブロックは動領域とみなす（ステップ２、ステップ
３）。

【００３３】判定式を満足する画素ブロックについては
図１ないし図４のいずれかの関係が成立しているが、さ
らに信号比分布の照明強度変化前後での重なり積分をと
り、積分値が小さい場合には当該画素ブロックを動領域
とみなし、積分値が大きい場合には当該画素ブロックを
静止領域とみなす。積分値の大小判定は、別個に設定し
た基準値をもとにして行う（ステップ４）。

【００３４】フレーム間において２信号のみ非零の値を
保持するときは、式（１１），（１２），（１３）のう
ち、その２信号を要素としてもつ１つの式を判定式と
し、それを満足しない画素ブロックは動領域とみなす。
判定式を満足する画素ブロックについては図１ないし図
４のいずれかの関係が成立しているが、さらに信号比分
布の照明強度変化前後での重なり積分をとり、積分値が
小さい場合には当該画素ブロックを動領域とみなし、積
分値が大きい場合には当該画素ブロックを静止領域とみ
なす。

【００３５】積分値の大小判定は、別個に設定した基準
値をもとにして行う。輝度信号のみ非零の値を保持する
ときは例外的に式（１１），（１２），（１３）による
判定は行わず、当該画素ブロックは動領域に属すると無
条件に判定するか、あるいは前段の判定結果を最終判定
とする。図５に示す動静領域判定処理のフローチャート
の一例では、前段で輝度信号Ｙの変化率から静止領域に
属する画素ブロックの候補を絞り込み、後段で色差信号
Ｃｂ，Ｃｒの比の変化量から動領域・静止領域の判定を
行う場合を示している。

【００３６】図６に示す判定回路１１では、前述の動静
領域判定をしている。図６に示す書き込み制御回路１２
は、注目する画素ブロックを動領域と判定した場合はそ
の画素ブロックにおける各コンポーネント信号のレベル
を記憶回路１３に書き込み、静止領域と判定した場合は
その画素ブロックにおける各コンポーネント信号のレベ
ルは変化しなかったものとみなし記憶内容を書き換えな
い。この結果、静止領域の差分信号を零とすることが可
能になる。

【００３７】図６に示す読み出し制御回路１４は、記憶
回路１３に蓄積された各コンポーネント信号を動静領域
判定のために判定回路１１に読み出すとともに、静止領
域は変化せず動領域のみが変化した画素ブロックごとの
各コンポーネント信号をフレームの信号に再構成して出
力する。

【００３８】説明の便宜上、図６ではフレーム内の各画
素にＹ，Ｃｂ，Ｃｒの３信号の値が存在する、すなわち
図７の２１に示すＣＣＩＲ勧告６０１で定められた４：
４：４ディジタル規格での適用を前提としているが、本
発明は図７の２２に示す４：２：２ディジタル規格や、
図７の２３に示すＣＣＩＴＴ勧告Ｈ．２６１で定められ
たＣＩＦやＱＣＩＦ規格を含む４：１：１規格にも適用
可能である。

【００３９】例えば、２２に示す４：２：２ディジタル
規格では画素ブロック当り２つのＹ信号、１つのＣｂ信
号、１つのＣｒ信号が存在するが、動静領域判定回路の
判定式に用いる２信号として同一画素ブロックにおける
Ｃｂ，Ｃｒ２信号を選べば、その画素ブロックの動静領
域判定が可能になる。

【００４０】実際に、照明光の強度の変化などの外部雑
音がない画像を原画として、動静領域判定の実験を行っ
た。原画にとりあげたのは、シーンチェンジを含まず、
全画素ブロックに占める静止画素ブロックの割合が７５
％ほどの、人間の顔動画像３０フレームである。照明強
度の変化が発生すると、本来静止領域であった画素ブロ
ックにおいても映像信号の変化が生じ全画素ブロックに
占める静止画素ブロックの割合は１０％以下にまで減少
する。この場合でも、本発明の方法を利用することによ
り、全画素ブロックにしめる静止画素ブロックの割合を
７０％まで回復することができた。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
照明光の強度の変化や物体の影、反射光の影響等によっ
て静止領域においても映像信号の変化を生じ、フレーム
間差分信号の増大を招く場合にも、本発明によって静止
領域を回復増加させ、フレーム間差分信号を回復減少さ
せることができる。

【００４２】静止領域の増加、すなわちフレーム間差分
信号の減少は、前処理より後段にある符号化器、伝送路
に対して有益な効果をもたらす。適応的に制御される符
号化器にとって差分信号の減少は符号化される信号の減
少を意味し、余った符号化処理能力を用いて動領域をよ
り高精細に符号化したり、符号化フレーム数の増加を図
ったりすることが可能になる。

【００４３】また映像信号そのものに静止領域の変化が
含まれなくなるので、動領域をより高精細に符号化しフ
レーム数を増加させたデータを、今まで静止領域の変化
を伝送していたデータ領域にかわって伝送することが可
能になる。

【００４４】なお、本発明の二次的な効果として、領域
分割や輪郭抽出があげられる。従来の領域分割法では輝
度信号のフレーム間差分値を判定の基準としていたが、
本発明で提案した画素ブロックが動静どちらの領域に属
するかといった画素ブロックの動きを判定基準に加える
ことで、より高精度な領域分割が可能になる。さらに、
異なる領域に属していながら隣接している画素ブロック
をトレースすることにより、輪郭抽出も可能になる。

【図面の簡単な説明】

【図１】フレーム間で静止領域に属する画素ブロックに
おけるディジタル信号処理されたコンポーネント信号比
の関係の一例を示す。

【図２】フレーム間で静止領域に属する画素ブロックに
おけるディジタル信号処理されたコンポーネント信号比
の関係の一例を示す。

【図３】フレーム間で静止領域に属する画素ブロックに
おけるディジタル信号処理されたコンポーネント信号比
の関係の一例を示す。

【図４】フレーム間で静止領域に属する画素ブロックに
おけるディジタル信号処理されたコンポーネント信号比
の関係の一例を示す。

【図５】動静領域判定処理のフローチャートの一例を示
す。

【図６】本発明の一実施例ブロック図を示す。

【図７】本発明の適用可能な画素ブロックの例を示す。

【符号の説明】

１１ 判定回路 １２ 書き込み制御回路 １３ 記憶回路 １４ 読み出し制御回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ディジタルカラー動画像を構成する各コ
   ンポーネント信号のサンプルが少なくとも１つずつ含ま
   れる最小画素ブロックの各々に対して、 前記画素ブロックにおける輝度信号のフレーム間での変
   化率が、指定許容範囲内に収まったかどうかにより、静
   止領域に属する画素ブロック候補を絞る前段と、 前記画素ブロックにおける各コンポーネント信号比のフ
   レーム間での変化量が、Ａ−Ｄ変換時に生じる量子化誤
   差を吸収する機能を備えた判定式にて設定される許容範
   囲内に収まったかどうかにより、静止領域に属する画素
   ブロックを判定する後段を備え、 前記画素ブロックの動領域・静止領域の判定を行う第１
   のステップと、 前記第１のステップにおいて動領域と判定された前記画
   素ブロックにおける各コンポーネント信号のレベルを記
   憶更新させ、静止領域と判定された前記画素ブロックに
   おける各コンポーネント信号のレベルを記憶更新させな
   い第２のステップと、 前記第２のステップにより記憶させた前記画素ブロック
   ごとの各コンポーネント信号をフレームの信号として動
   画像符号化装置に出力する第３のステップと、 を経ることを特徴とする動画像前処理方法。