JPH1051786A - シーンチェンジ検出方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】 シーンチェンジを検出するために用いられる
メモリの容量が少なくて済むシーンチェンジ検出方法及
びその装置を得る。 【解決手段】 原画像を符号化、続いて復号化して復号
画像を生成する（ステップ１０１〜１０３）。次に、次
の原画像における所定の複数の領域に含まれる画素の値
と、メモリに記憶されている復号画像における所定の複
数の領域に含まれる画素の値とから複数の差分値を生成
して累算する（ステップ１０５）。この累算した差分値
と予め定められた値との大小比較によりシーンチェンジ
が生じているか否かを検出する。従って、上記メモリの
容量は、復号画像における所定の領域に含まれる画素の
値を少なくとも記憶するだけの容量で済む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、シーンチェンジ
（動画における一連のフレームの画像において、急に場
面が変化した画像）を検出するシーンチェンジ検出方法
及びその装置に関し、特にシーンチェンジの検出の際に
用いる、動画像を記憶しておくメモリの容量を削減する
シーンチェンジ検出方法及びその装置に関する。

【０００２】

【従来の技術】ＭＰＥＧ２エンコーダ等の動画像符号化
装置においては、シーンチェンジが生じている場合では
フレーム間予測を用いず、フレーム内符号化を行う等、
符号化処理において通常とは異なる処理をする必要があ
る。

【０００３】そのためには動画像圧縮装置に対してシー
ンチェンジが、どのフレーム間で生じているかを認識さ
せなければならない。このシーンチェンジ部分を検出す
る装置がシーンチェンジ検出装置である。

【０００４】図５は、ＭＰＥＧ２エンコーダに用いる動
画像圧縮装置における従来のシーンチェンジ検出装置を
示す。図５において、１ａは原画像のデータ（原画像デ
ータ）を受ける入力端、２１は原画像データの入力先を
切り換えるスイッチ、２２，２３はそれぞれ１フレーム
分の原画像データを蓄えておくフレームメモリ、２４は
フレームメモリ２２に蓄えられている原画像データとフ
レームメモリ２３に蓄えられている原画像データとの差
分を算出する減算器、２５は減算器２４が算出した複数
の差分値を累算する差分データ累算器、２６はＭＰＥＧ
２エンコーダ、２７はフレームメモリ２２に蓄えられて
いる原画像データとフレームメモリ２３に蓄えられてい
る原画像データとを選択してＭＰＥＧ２エンコーダに出
力するスイッチである。

【０００５】次に動作について説明する。ある時点では
１フレーム分の原画像データがフレームメモリ２２に蓄
積され、次の１フレーム分の原画像データがフレーム２
３に蓄積され、その次の１フレーム分の原画像データが
フレーム２２に蓄積される。このように、ＭＰＥＧ２エ
ンコーダ２６で処理するフレームの原画像データはフレ
ームメモリ２２，２３に交互に蓄積される。この２つの
フレームメモリ２２，２３に蓄積されている原画像デー
タを減算器２４に送る。減算器２４は送られた２つの原
画像データ中の画素の値（画素値）の複数の差分値を算
出する。次に、差分値累算器２５は、複数の差分値を受
けて、その差分値を累算する。そして、差分累算器２５
は、この累算した差分値が予め定められた値以上の場
合、ＭＰＥＧ２エンコーダ２６に対してシーンチェンジ
が生じていることを示す検出情報を送る。

【０００６】

【発明が解決しようとする課題】従来のシーンチェンジ
検出装置は以上の構成であるため、２フレーム分の原画
像データを蓄積するために、フレームメモリ２２，２３
からなる容量の大きいメモリを必要とする問題点があ
り、原画像データの容量によっては、さらに外付けのメ
モリを追加しなければならない。

【０００７】本発明は、以上の問題点を解決するために
なされたものであり、シーンチェンジを検出するために
用いられるメモリの容量が少なくて済むシーンチェンジ
検出方法及びその装置を得ることを目的とする。

【０００８】

【課題を解決するための手段】本発明の請求項１に係る
課題解決手段は、画像を入力するステップと、前記入力
された画像を符号化して符号化データを生成するステッ
プと、前記符号化データを復号して、復号画像として画
像を再構成するステップと、次の画像を入力するステッ
プと、前記復号画像を構成する画素のうちの所定の複数
の領域にそれぞれに含まれる第１の画素の値と、前記入
力された次の画像を構成する画素のうちの所定の複数の
領域にそれぞれ含まれる第２の画素の値との複数の差分
値を生成するステップと、前記複数の差分値を累算する
ステップと、前記累算した差分値と、予め定められた値
との大小を比較することによりシーンチェンジか否かを
検出するステップとを備える。

【０００９】本発明の請求項２に係る課題解決手段にお
いて、前記第１及び第２の画素は、同じ位置の画素であ
る。

【００１０】本発明の請求項３に係る課題解決手段にお
いて、前記差分値を生成するステップ及び前記累算する
ステップは、動画の符号化を行う動画圧縮装置中に構成
されている、動きベクトルを生成する動き検出部によっ
て処理される。

【００１１】本発明の請求項４に係る課題解決手段にお
いて、前記符号化データを生成するステップは、前記複
数の領域毎を量子化して、前記符号化データを生成し、
前記差分値を生成するステップは、前記量子化の値が予
め定められた値より小さい前記領域に含まれる第１の画
素に基づいて、生成された前記差分値を選択するステッ
プをさらに含み、前記累算するステップにおける当該差
分値は、前記選択された差分値である。

【００１２】本発明の請求項５に係る課題解決手段にお
いて、前記差分値を生成するステップは、前記復号画像
における前記複数の領域の全ての前記量子化の値が前記
予め定められた値より小さいか否か判断する判断ステッ
プと、前記判断ステップにおいて、前記複数の領域の全
ての前記量子化の値が予め定められた値より大きい場
合、前記複数の領域のうちの一部の領域の前記量子化の
値を前記予め定められた値より小さい値に設定するステ
ップとをさらに含む。

【００１３】本発明の請求項６に係る課題解決手段は、
入力された画像を符号化して符号化データを生成する符
号化部と、前記符号化データを受けて、前記符号化デー
タを復号して、復号画像として画像を再構成する画像再
構成部と、前記復号画像を構成する画素のうちの少なく
とも所定の複数の領域に含まれる第１の画素の値を記憶
しておく記憶部と、前記記憶部に記憶されている第１の
画素の値と、前記入力された画像を構成する画素のうち
の所定の複数の領域に含まれる第２の画素の値とを受
け、前記第１の画素の値と、前記第２の画素の値との複
数の差分値を生成する減算部と、前記複数の差分値を累
算した値と、予め定められた値との大小を比較すること
によりシーンチェンジか否かを検出するシーンチェンジ
検出部とを備える。

【００１４】本発明の請求項７に係る課題解決手段にお
いて、前記符号部，前記画像再構成部，前記記憶部を備
えた、動画の符号化を行う動画圧縮装置内に、前記減算
部及び前記シーンチェンジ検出部をさらに備える。

【００１５】本発明の請求項８に係る課題解決手段にお
いて、前記減算部は、前記動画圧縮装置内の動きベクト
ルを検出する動き検出部である。

【００１６】

【発明の実施の形態】

実施の形態１．図１は本発明の実施の形態１におけるシ
ーンチェンジ検出装置を組み込んだＭＰＥＧ２エンコー
ダを示すブロック図である。図１において、１は原画像
のデータ（原画像データ）を受ける入力端、２は動きベ
クトルを生成する動き検出部、３は画像データを記憶す
る記憶部であるフレームメモリ、４は予測符号化のため
の参照画像データを生成する参照画像生成部、５は原画
像データと参照画像データとの差分をとる減算器、６は
ＤＣＴ演算を行うＤＣＴ演算部、７は量子化を行う量子
化部、８は量子化データを出力する出力端、９は量子化
部７の逆の処理（逆量子化）を行う逆量子化部、１０は
ＤＣＴ演算部６の逆の処理（逆ＤＣＴ演算）を行う逆Ｄ
ＣＴ演算部、１１はフレームメモリ３に記憶されている
画像データと、入力端１に入力された原画像データとの
差分値を生成する減算部である減算器、１２ａはシーン
チェンジか否かを検出するシーンチェンジ検出部、１３
はシーンチェンジが生じていることを示す検出情報が印
加されるノードである。

【００１７】次に構成について説明する。動き検出部
２，フレームメモリ３，参照画像生成部４，減算器５，
ＤＣＴ演算部６，量子化部７，逆量子化部９，逆ＤＣＴ
演算部１０からなる構成はＭＰＥＧ２エンコーダと同じ
構成である。本実施の形態におけるＭＰＥＧ２エンコー
ダには、上記構成に加え、減算器１１とシーンチェンジ
検出部１２ａとが追加されている。減算器１１の入力に
は入力端１とフレームメモリ３とが接続されている。シ
ーンチェンジ検出部１２ａの入力には減算器１１の出力
が接続されている。参照画像生成部４，減算器５，ＤＣ
Ｔ演算部６及び量子化部７より符号化部を構成する。逆
量子化部９及び逆ＤＣＴ演算部１０より画像再構成部を
構成する。

【００１８】次に図１に示すＭＰＥＧ２エンコーダの動
作について説明する。図２は、図１に示すＭＰＥＧ２エ
ンコーダの動作を示すフローチャートである。

【００１９】まず、ステップ１０１を参照して、入力端
１にある時点における１フレーム分の原画像データを入
力する。なお、原画像は多数の画素によって構成されて
いる。

【００２０】次に、ステップ１０２を参照して、入力さ
れた原画像データを符号化して符号化データを生成す
る。以下、符号化データを生成する処理を説明する。フ
レームメモリ３には、後述する復号画像（再構成画像）
の復号画像データが蓄積されている。復号画像データに
は、復号画像の画素の値が含まれている。動き検出部２
は、上記原画像データと上記復号画像データとを受け
て、原画像データの絵柄と同じ、復号画像データ中の絵
柄を検出して、その絵柄の動きを検出して、動きベクト
ルを生成する。次に、参照画像生成部４は、動きベクト
ルに対応する場所の画素のデータを、フレームメモリ３
が蓄積している復号画像データから取り出す。そして、
その取出した画素のデータに基づいて、符号化に用いる
参照画像のデータ（参照画像データ）を生成する。次
に、減算器５は、上記原画像データと上記参照画像デー
タとを受けて、原画像データと参照画像データとの差分
を算出した画像データを生成する。

【００２１】次に、ＤＣＴ演算部６は、減算器５が生成
した画像データを受けて、このデータに対してＤＣＴ演
算を行ったデータを生成する。ＤＣＴ演算の詳細は、減
算器５が生成した画像データは、複数の画素からなる複
数の画素ブロック（マイクロブロック等）を含む。この
複数の画素ブロック毎にＤＣＴ演算を行う。

【００２２】次に、量子化部７は、ＤＣＴ演算部６が生
成したデータを受けて、このデータに対して量子化を行
ったデータ（符号化データ）を生成し、量子化データと
して出力端８に出力する。量子化は、ＤＣＴ演算部６が
行われた上記画素ブロックに含まれる係数をある除数で
割り、余りを丸める。この商が量子化の値である。この
量子化データは、原画像データが圧縮されたデータであ
る。以上が符号化データを生成する処理である。

【００２３】次に、ステップ１０３を参照して、符号化
データを復号して復号画像として画像を再構成する。以
下、画像を再構成する処理を説明する。量子化データが
出力されると同時に、逆量子化部９は量子化部７が生成
したデータを受けて、このデータに対して逆量子化を行
ったデータを生成する。次に、逆ＤＣＴ演算部１０は、
逆量子化部９が生成したデータを受けて、このデータに
対して逆ＤＣＴ演算を行った逆ＤＣＴ演算データを生成
する。次に、逆ＤＣＴ演算データに上述の参照画像デー
タを、フレームメモリ３と逆ＤＣＴ演算部との間に介在
する加算器（図示しない）によって加算する。この逆Ｄ
ＣＴ演算データと参照画像データとを加算したデータが
上記復号画像データである。この復号画像データから元
の原画像と同様の画像（復号画像）が得られる。復号画
像も、原画像と同様に、多数の画素によって構成され
る。フレームメモリ３は、逆ＤＣＴ演算部１０が生成し
た復号画像データを蓄積する。以上が画像を再構成する
処理である。

【００２４】次に、ステップ１０４を参照して、入力端
１に次の１フレーム分の原画像データを入力する。

【００２５】次に、ステップ１０５を参照して、減算器
１１は、フレームメモリ３に蓄積されている復号画像デ
ータと、入力端１に与えられている次の１フレーム分の
原画像データとを受けて、復号画像を構成する画素のう
ち所定の領域に含まれる画素の値と、次の原画像を構成
する画素のうちの所定の領域に含まれる画素の値との累
算した差分値を生成する。

【００２６】所定の領域とは、画像上の画素からなる領
域である。さらに、その領域とは、上述の画素ブロック
そのものである必要はなく、画素ブロックの一部の画素
からなる領域あってもよい。また、画素の値とは、例え
ば、画素に割り当てられている輝度信号（Ｙ）の値や色
差信号（Ｃｂ，Ｃｒ）の値である。また、復号画像を構
成する画素のうち所定の領域の画素の位置と、ステップ
１０４において入力された次の原画像を構成する画素の
うちの所定の領域の画素の位置とは同じ位置（座標）で
ある。

【００２７】さらにステップ１０５を詳細に説明する。
ステップ１０５はステップ１０５ａとステップ１０５ｂ
とからなる。ステップ１０５ａにおいて、減算器１１
は、上述のように、フレームメモリ３に蓄積されている
復号画像データと、入力端１に与えられている原画像デ
ータとを受けて、復号画像を構成する画素のうち所定の
複数の領域に含まれる画素（第１の画素）の値と、ステ
ップ１０４において入力された次の原画像を構成する画
素のうちの所定の複数の領域に含まれる画素（第２の画
素）の値との差分値を算出する。そして、位置が同じ画
素同士の第１の画素の値と第２の画素の値との差分値を
複数算出する。次に、ステップ１０５ｅにおいて、シー
ンチェンジ検出部１２ａは、減算器１１が算出した複数
の差分値を受けて、その複数の差分値を累算する。以上
がステップ１０５の詳細である。

【００２８】次に、ステップ１０６を参照して、シーン
チェンジ検出部１２ａは、累算した差分値と予め定めら
れた値との大小を比較することによりフレーム間にシー
ンチェンジが生じているか否かを検出する。累算した差
分値が予め定められた値以上の場合、シーンチェンジが
生じていることを示す検出情報をノード１３に出力し、
検出情報はＭＰＥＧ２エンコーダ自身に伝えられる。

【００２９】本実施の形態の効果は、シーンチェンジを
検出するための図５に示すようなフレームメモリ２２，
２３からなる容量の大きいメモリが必要ない。

【００３０】実施の形態２．図３は本発明の実施の形態
２におけるシーンチェンジ検出装置を組み込んだＭＰＥ
Ｇ２エンコーダを示すブロック図である。図３におい
て、１２ｂはシーンチェンジ検出部、その他の符号は図
１中の符号に対応している。

【００３１】次に、構成について説明する。図３に示す
ＭＰＥＧ２エンコーダの構成は図１に示すＭＰＥＧ２エ
ンコーダの構成と主として同様である。異なる部分は、
シーンチェンジ検出部１２ｂは、動き検出部２が生成す
るデータを受け、図１に示す減算器１１が削除されてい
ることである。

【００３２】次に動作について説明する。動き検出部２
が上述の動きベクトル以外に、復号画像における所定の
領域に含まれる画素の値と、ステップ１０４において入
力された次の原画像における所定の領域に含まれる画素
の値との累算した差分値（差分絶対値和）等も生成して
出力する。即ち、動き検出部２はステップ１０５の処理
を行う。シーンチェンジ検出部１２ｂは、動き検出部２
が累算した差分値を受けて、この累算値が予め定められ
た値以上の場合、シーンチェンジが生じていることを示
す検出情報をノード１３に出力し、検出情報はＭＰＥＧ
２エンコーダ自身に伝えられる。その他の動作は図１に
示すＭＰＥＧ２エンコーダと同様である。

【００３３】本実施の形態の効果は、実施の形態１の効
果に加え、動き検出部２の出力を用いるため、減算器１
１が削除できる。

【００３４】実施の形態３．図４は、実施の形態３にお
ける、図１に示すＭＰＥＧ２エンコーダの動作を示すフ
ローチャートである。図４に示すフローチャートは図２
に示すフローチャートのステップ１０５の内容をさらに
詳細に説明するものである。図４中の１０５，１０５
ａ，１０５ｅは図１中のそれぞれに対応している。

【００３５】図２のフローチャートにおけるステップ１
０２では、実施の形態１で説明したように、量子化に基
づいて符号化するが、その量子化の値が低い画素の領域
ほど、その領域における復号画像が、その復号画像の元
の原画像と精度良く一致する。本実施の形態では、この
性質を用いて、シーンチェンジの検出の精度を向上させ
る手法について以下説明する。

【００３６】まず、ステップ１０５ａの後、ステップ１
０５ｂ（判断ステップ）において、復号画像における所
定の複数の領域全ての量子化の値が、予め定められた値
（閾値）より大きいか否かを判断する。量子化の値は、
符号化データの中に格納されており、例えばこの符号化
データから量子化の値を参照する。復号画像における所
定の複数の領域全ての量子化の値が、上述の閾値より大
きければ、ステップ１０５ｃにおいて、復号画像におけ
る所定の複数の領域のうち、少なくとも一部の領域の量
子化の値を上述の閾値より強制的に小さくする。その一
部の領域は、予め定められている領域でもよいし、全て
の所定の領域のうち、量子化の値が比較的小さい領域で
もよい。これらステップ１０５ｂ，ステップ１０５ｃの
処理を経ることにより、復号画像における所定の複数の
領域のうちの、一部の領域の量子化の値が、上述の閾値
より小さくなる。

【００３７】次に、ステップ１０５ｄを参照して、量子
化の値が上述の閾値より小さい領域に含まれる画素に基
づいて、生成された差分値を選択して、ステップ１０５
ｅにおける処理に与える。

【００３８】本実施の形態の効果は、実施の形態１に加
え、シーンチェンジの検出の精度が向上する。また、実
施の形態１では、復号画像における所定の画素が多数の
場合、その多数の画素に対応して、多数の差分値を累算
しなければならず、その累算にかかる時間が比較的長く
なるが、本実施の形態では、復号画像における所定の画
素が多数の場合でも、その多数の所定の画素の中から少
数の画素を選択でき、その少数の画素に対応して、少数
の差分値を累算するため、シーンチェンジの検出の処理
の時間が短くなる。

【００３９】

【発明の効果】本発明請求項１によると、画像全体の多
数の画素の値の差分値を用いるのではなく、一部の画素
の値の差分値を用いることにより、差分値の生成にかか
る時間が短くなり、シーンチェンジの検出の処理の時間
も短くなる。また、画像全体の多数の画素ではなく、一
部の画素を用いることにより、シーンチェンジの検出に
必要なハードウエアが少なくて済む。さらに、複数の領
域の画素の差分値の累算することにより、画像の広い範
囲において、急に場面が変化する程度を考慮することが
できるという効果を奏す。

【００４０】本発明請求項２によると、異なる位置の画
素を用いるのではなく、同じ位置の画素を用いることに
より、処理が簡単になるという効果を奏す。

【００４１】本発明請求項３によると、動画圧縮装置中
の動き検出部を用いることにより、シーンチェンジ検出
装置の構成が簡単になるという効果を奏す。

【００４２】本発明請求項４によると、量子化の値が小
さい領域に含まれる第１の画素に基づいて、生成された
差分値のみを用いることにより、シーンチェンジの検出
の精度が向上し、さらにシーンチェンジの検出の処理の
時間が短くなるという効果を奏す。

【００４３】本発明請求項５によると、全ての領域の量
子化の値が大きい場合でも、一部の領域の量子化の値を
小さくすることにより、シーンチェンジの検出の処理の
時間が短くなるという効果を奏す。

【００４４】本発明請求項６によると、所定の領域に含
まれる第１の画素の値を記憶するだけで済むため、記憶
部の容量うち、シーンチェンジ検出のために用いる容量
が少なくて済むという効果を奏す。

【００４５】本発明請求項７によると、シーンチェンジ
検出装置を動画圧縮装置に適用することができるという
効果を奏す。

【００４６】本発明請求項８によると、シーンチェンジ
検出装置の構成を簡単にすることができるという効果を
奏す。

【図面の簡単な説明】

【図１】 本発明の実施の形態１におけるシーンチェン
ジ検出装置を組み込んだＭＰＥＧ２エンコーダを示すブ
ロック図である。

【図２】 本発明の実施の形態１におけるシーンチェン
ジ検出方法を示すフローチャートである。

【図３】 本発明の実施の形態２におけるシーンチェン
ジ検出装置を組み込んだＭＰＥＧ２エンコーダを示すブ
ロック図である。

【図４】 本発明の実施の形態３におけるシーンチェン
ジ検出方法を示すフローチャートである。

【図５】 従来のシーンチェンジ検出装置を示すブロッ
ク図である。

【符号の説明】

１ 入力端、５ 減算器、８ 出力端、１１ 減算器、
１３ ノード。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像を入力するステップと、 前記入力された画像を符号化して符号化データを生成す
   るステップと、 前記符号化データを復号して、復号画像として画像を再
   構成するステップと、 次の画像を入力するステップと、 前記復号画像を構成する画素のうちの所定の複数の領域
   にそれぞれに含まれる第１の画素の値と、前記入力され
   た次の画像を構成する画素のうちの所定の複数の領域に
   それぞれ含まれる第２の画素の値との複数の差分値を生
   成するステップと、 前記複数の差分値を累算するステップと、 前記累算した差分値と、予め定められた値との大小を比
   較することによりシーンチェンジか否かを検出するステ
   ップと、を備えたシーンチェンジ検出方法。
2. 【請求項２】 前記第１及び第２の画素は、同じ位置の
   画素である請求項１記載のシーンチェンジ検出方法。
3. 【請求項３】 前記差分値を生成するステップ及び前記
   累算するステップは、動画の符号化を行う動画圧縮装置
   中に構成されている、動きベクトルを生成する動き検出
   部によって処理される請求項１記載のシーンチェンジ検
   出方法。
4. 【請求項４】 前記符号化データを生成するステップ
   は、 前記複数の領域毎を量子化して、前記符号化データを生
   成し、 前記差分値を生成するステップは、 前記量子化の値が予め定められた値より小さい前記領域
   に含まれる第１の画素に基づいて、生成された前記差分
   値を選択するステップをさらに含み、 前記累算するステップにおける当該差分値は、前記選択
   された差分値である請求項１記載のシーンチェンジ検出
   方法。
5. 【請求項５】 前記差分値を生成するステップは、 前記復号画像における前記複数の領域の全ての前記量子
   化の値が前記予め定められた値より小さいか否か判断す
   る判断ステップと、 前記判断ステップにおいて、前記複数の領域の全ての前
   記量子化の値が予め定められた値より大きい場合、前記
   複数の領域のうちの一部の領域の前記量子化の値を前記
   予め定められた値より小さい値に設定するステップと、 をさらに含む請求項４記載のシーンチェンジ検出方法。
6. 【請求項６】 入力された画像を符号化して符号化デー
   タを生成する符号化部と、 前記符号化データを受けて、前記符号化データを復号し
   て、復号画像として画像を再構成する画像再構成部と、 前記復号画像を構成する画素のうちの少なくとも所定の
   複数の領域に含まれる第１の画素の値を記憶しておく記
   憶部と、 前記記憶部に記憶されている第１の画素の値と、前記入
   力された画像を構成する画素のうちの所定の複数の領域
   に含まれる第２の画素の値とを受け、前記第１の画素の
   値と、前記第２の画素の値との複数の差分値を生成する
   減算部と、 前記複数の差分値を累算した値と、予め定められた値と
   の大小を比較することによりシーンチェンジか否かを検
   出するシーンチェンジ検出部と、を備えたシーンチェン
   ジ検出装置。
7. 【請求項７】 前記符号部，前記画像再構成部，前記記
   憶部を備えた、動画の符号化を行う動画圧縮装置内に、
   前記減算部及び前記シーンチェンジ検出部をさらに備え
   た請求項６記載のシーンチェンジ検出装置。
8. 【請求項８】 前記減算部は、前記動画圧縮装置内の動
   きベクトルを検出する動き検出部である請求項７記載の
   シーンチェンジ検出装置。