JPH0552115B2 - - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、背景画像を用いた動画像の符号化
方式に関する。

［従来の技術］ カラー動画の圧縮記録に用いられる高能率符号
化方式は、画像の１画素当たりの平均ビツト数低
減に有効であり、とりわけ画像単位であるフレー
ム間のDPCM（差分パルス符号変調）を用いた予
測符号化方式は、フレーム間相関が高いためにフ
レーム差分信号が小さいテレビジヨン信号の処理
に好適であるとされている。同予測符号化方式
は、Ｘ−Y2次元画像平面内の画素に関する画像
データから、１フレーム前のデータを用いて予測
した予測値を差し引き、その差分を予測誤差デー
タとして符号化することで圧縮する方式である。

しかして、予測誤差データはほぼラプラス分布
で近似できることから、第３図に示す従来の圧縮
画像データ記録・再生システム１では、記録系に
用いる符号器２内の量子化回路３として、対数圧
縮による非線形量子化回路を用いている。符号器
２は、入力画像データをその予測値との差分をと
る減算器４を介して量子化回路３に供給する。量
子化回路３にてレベル値からレベル番号に変換さ
れた予測誤差データは、一つは符号変換回路５に
て不等長符号に変換され、CD−ROM６に記録さ
れる一方、局部復号器７を介して減算器４に帰還
される。この局部復号器７は、量子化の逆処理す
なわちレベル番号をレベル値に逆変換する逆量子
化回路８の出力を予測器９を介して減算器４に供
給する一方、予測器９の入力側に設けた加算器１
０に正帰還する。

ところで、予測器９は、本例の場合、フレーム
間予測回路９ａとフレーム内予測回路９ｂ及び背
景予測回路９ｃを並列接続し、切り替えスイツチ
９ｄにより予測回路９ａ，９ｂ，９ｃのいずれか
を選択的に減算器４に接続する構成としてある。
これは、シーンチエンジ（場面転換）や激しい動
きがあつた場合に、前のフレームの画像信号と現
フレームの画像信号とが相関をもたないために、
フレーム間予測符号化を施すよりも、フレーム内
相関を用いるフレーム内予測符号化や背景画像と
の相関を用いる背景予測符号化を行う方が符号化
効率が良いという理由によるものである。本例の
場合、予測誤差データの電力比較又はオペレータ
の判断によるシーンチエンジンチエンジ情報等に
従つて予測モード制御回路１１が作動し、切り替
えスイツチ９ｄを切り替えるよう構成してある。
通常、シーンチエンジ後に初めてCD−ROM６に
記録される予測誤差データＥ(1)′は、予測器９に
対しフレーム内予測モードが設定されることで、 Ｅ(1)′＝Ｆ［Ｖ(1)］ となる。ただし、ダツシユ符号は、フレーム内予
測によるものであることを示しており、Ｆはフレ
ーム内予測符号化のための符号化関数である。そ
して第１フレームに続く第２フレームからは予測
器９に対しフレーム間予測モード又は背景予測モ
ードが設定される。フレーム間予測モードを適用
した第フレームの画像については、 Ｅ(i)＝Ｖ(i)−Ｖ(i) ＝Ｖ(i)−Ｖ（−１） なる演算により得られた予測誤差データＥ(i)が、
CD−ROM６に記録される。ただし、Ｖ(i)はＶ(i)
の予測値すなわち１フレーム前の画像データＶ
（−１）である。

なお、背景予測回路９ｃには、動く被写体の背
後から現れてくる画像データを記憶させておくの
が望ましいが、間照明条件の変化等により途中で
背景データが変化する場合を考慮し、本例の場
合、画像工学研究会資料IE83−100「フレーム間
予測における背景予測アルゴリズム」に報告され
ているように、フレーム差分を用いて動領域と静
止領域に分割した画面に対し、動領域では背景デ
ータをそのまま保持するが、静止領域では背景デ
ータを徐々に真の値に近付ける構成をとり、背景
部分に時折生ずる変化に対応して、常にその時点
での背景を抽出できるようにしてある。従つて、
予測モード制御回路１１が、背景予測回路９ｃに
よる予測がもつとも予測誤差データの電力を抑え
ることができると判断した場合、背景予測モード
が選択されることになる。

一方、CD−ROM６から読み出された予測誤差
データＥ(i)或はＥ(i)′を復号する復号器１２は、
不等長符号化により符号変換された予測誤差デー
タを逆変換し、等長符号に戻す符号逆変換回路１
３と、符号逆変換回路１３の出力を逆量子化する
逆量子化回路１４と、逆量子化回路１４の出力予
測誤差データから画像データＶ(i)を形成する加算
器１５及び予測器１６からなる。逆量子化回路１
４の出力は、加算器１５を経て出力される一方、
予測器１６を介して加算器１５に正帰還され、予
測誤差データとその復号出力の巡回加算によつ
て、画像データＶ(i)が再生される。予測器１６に
は、予測誤差データの生成過程で用いられた予測
モードに合わせて予測モードを切り替える予測モ
ード制御回路１７が接続してある。

なお、復号器１２において復号される画像デー
タＶ(i)は、ｉ＝１にあつては、 Ｖ(i)＝Ｇ［Ｅ(i)′］ として生成され、１≧２にあつては、予測値Ｖ(i)
に予測誤差データＥ(i)を加算することで、 Ｖ(i)＝Ｖ(i)＋Ｅ(i) として生成される。ただし、Ｇはフレーム内復号
化関数を表す。

［発明が解決しようとする問題点］ 上記従来の圧縮画像データ記録・再生システム
１は、背景予測に関しては、背景予測回路９ｃが
実時間で背景データを生成する構成であるため、
たとえ映像信号を時間軸方向に長時間平均したも
のを背景データとしても、あくまで現時点を中心
に過去のデータを総合したなかから背景データを
抽出するわけであり、従つて結果的に必ずしも最
良の背景データが得られるとは限らない等の問題
点があつた。

［問題点を解決するための手段］ この発明は、上記問題点を解決したものであ
り、シーンチエンジと次なるシーンチエンジの間
の一連の動画像について、その状態が一定期間以
上持続する部分を背景と定め、この背景だけを抽
出した画像を前記一連の画像に前置し、これを先
頭画像として該一連の動画像に予測符号化を適用
することを特徴とするものである。

［作用］ この発明は、シーンチエンジと次なるシーンチ
エンジの間の一連の動画像について、画像信号レ
ベルが不変であるとみなすことができ、しかもそ
の状態が一定期間以上持続する部分から、背景画
像を抽出し、これを先頭画像として一連の動画像
に予測符号化を適用することにより、通常は実時
間でしか入手できない背景データを、シーンチエ
ンジ間の一連の画像全体を見渡した上で、最良の
ものが選択できるようにする。

［実施例］ 以下、この発明の実施例について、第１，２図
を参照して説明する。第１図は、この発明の背景
画像を用いた動画像の符号化方式を適用した圧縮
画像データ記録・再生システムの一実施例を示す
システム構成図、第２図は、第１図に示した背景
画データ生成回路の動作を説明するためのフロー
チヤートである。

第１図中、圧縮画像データ記録・再生システム
２１は、符号器２の前段に、シーンチエンジ間の
一連の動画像から背景データを生成する背景デー
タ生成回路２２を接続しておき、符号器２による
符号化に先立ち、シーンチエンジ間の一連の画像
全体を見渡して背景データを生成する構成をと
る。背景データ生成回路２２は、画面を構成する
画素ごとに、背景データを第２図に示したフロー
チヤートに従つて抽出する。

すなわち、画像の最小構成単位である個々の画
素Ｘごとに、第ｉフレームでの信号レベルをXi
とし、シーンチエンジとシーンチエンジの間の一
連の動画像（以下、１シーケンスと呼ぶ）の先頭
フレームから末尾フレームまでの背景レベルＡ
を、上記フローチヤートに従つて計算する。

まず、１シーケンスのなかにいくつか含まれる
平坦領域をステツプ（101）から（107）までの過
程ですべて検出し、それらの平坦領域のそれぞれ
のレベルAkと長さNkとを計算する。この場合、
ステツプ（101）では、平坦領域の先頭フレーム
Nsと末尾フレームNe、平坦領域の個数Nkと平
坦領域のレベルAkの各初期値を与え、時間の経
過とともにステツプ（103）に示した判断とステ
ツプ（104）に示した処理を実行し、平坦領域の
末尾フレームNeを検出する。すなわち末尾フレ
ームNeの次のフレームNe＋１の同画素の信号レ
ベルと平坦領域の平均値Akとのレベル差が、あ
らかじめ定められた許容値ε₁以下であるならば、
末尾フレームNeは更新され、平均値Akも計算し
直される。また、そうでないならば、平坦領域が
そこで終わつたものとみなされる。ステツプ
（105）と（106）では、平坦領域が１フレームの
みで構成されている場合、すなわちNs＝Neとな
る場合を除き、検出された平坦領域の長さNkを
求め、平坦領域の個数Ｋを更新する。その後、ス
テツプ（107）において、NsとNeを更新し、平
均値Akの初期値を与えたのち、次の平坦領域を
検出するため、ステツプ（103）に戻る。ただし、
ステツプ（103）に戻る前には、そのシーンスが
完了したかどうかを、ステツプ（102）において
判定し、もしそうであれば、平坦部に関するすべ
てのデータが得られたものとして、ステツプ
（108）以下において、平坦部のなかから一定の条
件に合致するデータを選択することになる。

ステツプ（108）では、平坦部ごとに持続時間
を重み付けした加重平均と加重二乗平均A²及
び分散ρ²を求め、続くステツプ（109）において、
分散σ²があらかじめ設定した許容値ε₂以下である
かどうか判断する。そして、判断が肯定された場
合は、ステツプ（110）において、平坦部の平均
値をＡに決定するが、判断が否定された場合は、
ステツプ（111）において、グループ内でデータ
のかい離度が最大の平坦部データAjを抽出し、
これをグループ外に除外する。そして、再びステ
ツプ（108）以下に示した選択処理にかけること
になる。

こうして、背景データ生成回路２２は、フレー
ムの各画素ごとに、映像信号レベルは不変である
とみなすことのできる期間が一定時間を越える部
分を背景と定め、収集された背景データのなかか
ら、一定の条件を満たすものだけを選択すること
ができる。そして、ステツプ（111）までに選別
された背景データは、フレーム内予測符号化によ
り圧縮し、１シーケンスの先頭部分に書き込んで
おく。そして、１シーケンスの先頭フレームで
は、フレーム内予測符号化だけではなく、背景予
測符号化も用いるようにする。なお、１シーケン
スの先頭部分に背景データを書き込んだ圧縮画像
データを再生する場合、復号器１２側では、１シ
ーケンスの先頭において背景データを復号して
も、それを出力せず、予測器１６内の背景予測回
路（図示せず）に書き込むに留どめ、そのシーケ
ンスにおける背景予測にのみ用いる。

このように、圧縮画像データ記録・再生システ
ム２１は、シーンチエンジと次なるシーンチエン
ジの間の一連の動画像について、その状態が一定
期間以上持続する部分から、背景画像を抽出し、
これを先頭画像として一連の動画像に予測符号化
を適用することにより、通常は実時間でしか入手
できない背景データを、シーンチエンジ間の一連
の画像全体を見渡した上で、最良のものを選択す
ることができ、さらに符号器２による予測符号化
に先立つて生成した背景データは、シーンチエン
ジの冒頭部分に記録されるため、CD−ROM６に
記録する予測誤差データの肥大化を防ぎ、高能率
の予測符号化を可能とし得、しかも復号器１２側
では、復号に先立ち、これから復号せんとする動
画像に関する最良の背景データを、最初から入手
することができる。

なお、上記実施例において、圧縮画像データ記
録媒体としては、CD−ROM６に限定されず、他
の例えばビデオテープ等であつてもよい。

また、以上の説明において、画像単位間の相関
を利用した予測符号化方式として、フレーム間差
分符号化を例にとつたが、動き補償フレーム間予
測などの他の方式を用いることも可能であり、ま
たこれらの符号化過程で生ずる予測誤差データに
対し、直交変換符号化やベクトル量子化を行うこ
とも可能である。

［発明の効果］ 以上説明したように、この発明は、シーンチエ
ンジと次なるシーンチエンジの間の一連の動画像
について、その状態が一定期間以上持続する部分
から、背景画像を抽出し、これを先頭画像として
一連の動画像に予測符号化を適用することによ
り、通常は実時間でしか入手できない背景データ
を、シーンチエンジ間の一連の画像全体を見渡し
た上で、最良のものを選択することができ、さら
に符号器による予測符号化に先立つて生成した背
景データは、シーンチエンジの冒頭部分に記録さ
れるため、記録媒体に記録する予測誤差データの
肥大化を防ぎ、高能率の予測符号化を可能とし
得、しかも復号器側では、復号に先立ち、これか
ら復号せんとする動画像に関する最良の背景デー
タを、最初から入手することができる等の優れた
効果を奏する。

【図面の簡単な説明】

第１図は、この発明の背景画像を用いた動画像
の符号化方式を適用した圧縮画像データ記録・再
生システムの一実施例を示すシステム構成図、第
２図は、第１図に示した背景データ生成回路の動
作を説明するためのフローチヤート、第３図は、
従来の圧縮画像データ記録・再生システムの一例
を示すシステム構成図である。 ２１……圧縮画像データ記録・再生回路、２２
……背景データ生成回路。

Claims (1)

【特許請求の範囲】
1. １ シーンチヤンジと次なるシーンチエンジの間
   の一連の動画像について、映像信号レベルが不変
   であるとみなすことのできる期間が一定時間を越
   える部分を背景と定め、この背景だけを抽出した
   画像を前記一連の動画像に前置し、これを先頭画
   像とした該一連の動画像に予測符号化を適用する
   ことを特徴とする背景画像を用いた動画像の符号
   化方式。