JPH10108191A

JPH10108191A - 映像信号処理装置

Info

Publication number: JPH10108191A
Application number: JP27409396A
Authority: JP
Inventors: Takuya Kitamura; 卓也北村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-09-25
Filing date: 1996-09-25
Publication date: 1998-04-24
Anticipated expiration: 2016-09-25
Also published as: JP3871076B2

Abstract

(57)【要約】【課題】例えばＭＰＥＧにより映像信号を伝送する場合
に適用して、確実にシーンチェンジ等を検出することが
できるようにする。【解決手段】直流レベル又は動き補償して得られる差分
データの総和を曲線近似し、その結果得られる誤差値よ
り、シーンチェンジのフレーム等を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号処理装置
に関し、例えばＭＰＥＧ（Moving Picture Experts Gro
up）により映像信号を伝送する場合に適用することがで
きる。本発明は、直流レベル又は動き補償して得られる
差分データの総和を曲線近似して得られる誤差値より、
シーンチェンジのフレーム等を検出することにより、確
実にシーンチェンジ等を検出することができるようにす
る。

【０００２】

【従来の技術】従来、映像信号の伝送においては、ＭＰ
ＥＧ方式により映像信号のデータ量を低減して効率良く
伝送するようになされている。

【０００３】すなわちＭＰＥＧ方式のエンコーダにおい
ては、連続するフレームをＧＯＰ（Group Of Pictures
）単位で区切り、少なくとも１のフレームをＩピクチ
ャーに割り当て、残りをＰピクチャー又はＢピクチャー
に割り当てる。

【０００４】ここでエンコーダは、Ｉピクチャーについ
ては、連続する映像信号をマクロブロック単位で分割
し、連続するマクロブロック毎に、ディスクリートコサ
イン変換処理、量子化処理、可変長符号化処理する。こ
れによりエンコーダは、Ｉピクチャーをフレーム内符号
化処理する。

【０００５】またエンコーダは、Ｐピクチャーについて
は、Ｐピクチャー又はＩピクチャーを予測フレームに設
定して、マクロブロック毎に動き補償し、その結果得ら
れる予測誤差（差分データ）をディスクリートコサイン
変換処理、量子化処理、可変長符号化処理する。これに
よりエンコーダは、Ｐピクチャーをフレーム間符号処理
する。

【０００６】さらにエンコーダは、Ｂピクチャーについ
ては、適応的にフレーム間符号化処理する。すなわちエ
ンコーダは、前フレーム予測による場合は、直前のＰピ
クチャー又はＩピクチャーを予測フレームに設定し、後
フレーム予測による場合は、直後のＰピクチャー又はＩ
ピクチャーを予測フレームに設定する。また双方向予測
による場合は、前後のＰピクチャー又はＩピクチャーを
平均値化して予測フレームを設定する。エンコーダは、
この予測フレームを基準にしてマクロブロック毎に動き
補償し、動き補償して得られる予測誤差を、ディスクリ
ートコサイン変換処理、量子化処理、可変長符号化処理
する。

【０００７】このようにして符号化するにつき、映像信
号は、一般にフレーム相関が大きい特徴があり、これに
よりＰピクチャー及びＢピクチャーについては、フレー
ム間符号化処理により効率良く符号化処理することがで
きる。これによりこの種の映像信号の伝送においては、
限られた周波数帯域を有効に利用して、効率良く映像信
号を伝送できるようになされている。

【０００８】

【発明が解決しようとする課題】ところで映像信号は、
場面が切り換わるシーンチェンジ、ストロボ発光等によ
り被写体の明るさが急激に上昇するフラッシュにおい
て、連続するフレーム間で連続性が乱れ、相関が急激に
低下する。すなわちこのような場合、予測効率が低下す
る。

【０００９】この場合に、ＭＰＥＧでは、大きな予測誤
差を短時間で伝送することが困難なことにより、このシ
ーンチェンジした直後のフレーム、フラッシュの発生し
たフレームがＰピクチャーに設定されると、数フレーム
間、復号した画像の画質が劣化することになる。

【００１０】この欠点を解消する１つの方法として、シ
ーンチェンジ、フラッシュに対応するようにＩピクチャ
ーを設定する方法が考えられる。このためにはシーンチ
ェンジ等を確実に検出することが必要になる。

【００１１】本発明は以上の点を考慮してなされたもの
で、確実にシーンチェンジ等を検出することができる映
像信号処理装置を提案しようとするものである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、映像信号の各フレームの直流レベ
ルを検出し、この直流レベルを曲線近似して得られる誤
差値より、映像信号のシーンチェンジのフレーム、フラ
ッシュのフレーム、フラッシュから復帰したフレームを
検出する。

【００１３】また映像信号を動き補償して得られる差分
データの総和を各フレームで検出し、この総和を曲線近
似して得られる誤差値より、映像信号のシーンチェンジ
のフレーム、フラッシュのフレーム、フラッシュから復
帰したフレームを検出する。

【００１４】直流レベル又は映像信号を動き補償して得
られる差分データの総和を曲線近似して得られる誤差値
においては、連続するフレーム間で連続性が保持されて
いる場合、小さな値が得られる。これに対して、連続す
るフレーム間で連続性が乱れている場合、誤差値におい
ては、値が大きくなる。これによりこの誤差値を基準に
してシーンチェンジ等を確実に検出することができる。

【００１５】

【発明の実施の形態】以下、適宜図面を参照しながら本
発明の実施の形態を詳述する。

【００１６】図２は、本発明の実施の形態に係るエンコ
ーダを示すブロック図である。このエンコーダ１では、
光ディスクの編集作業に適用される。このエンコーダ１
は、ディジタルビデオ信号ＤＶ１を事前に処理してＩピ
クチャーを設定した後（以下事前の処理と呼ぶ）、その
後、この事前の処理による設定に従って改めてディジタ
ルビデオ信号ＤＶ１を符号化処理する。従ってこのエン
コーダ１には、事前の処理において、符号化対象でなる
一連のディジタルビデオ信号ＤＶ１が入力された後、符
号化処理においてこのディジタルビデオ信号ＤＶ１が改
めて入力される。

【００１７】すなわちエンコーダ１において、並び替え
回路３は、複数フレーム分の容量を有するメモリ回路で
構成され、符号化制御回路４により制御されて動作を切
り換える。この並び替え回路３は、事前の処理におい
て、順次入力されるディジタルビデオ信号ＤＶ１を３フ
レーム単位で区切り、各区切りの先頭フレームを選択的
に出力する。これにより並び替え回路３は、図３に示す
ように、ディジタルビデオ信号ＤＶ１の第１、第４、第
７、……のフレームが順次連続してなるディジタルビデ
オ信号ＤＶ３を出力する（図３（Ａ）及び（Ｃ１））。

【００１８】これに対して符号化処理において、並び替
え回路３は、事前の処理により設定されたピクチャーの
配列に従って、ディジタルビデオ信号ＤＶ１のフレーム
を並び替えて出力する（図３（Ａ）及び（Ｂ））。すな
わちこの場合は、事前の処理において選択した第１、第
４、第７、……のフレームをＩピクチャー又はＰピクチ
ャーに設定し、残りをＢピクチャーに設定するように、
ディジタルビデオ信号ＤＶ１のフレームを並び替えて出
力する。すなわち、この場合並び替え回路３は、ディジ
タルビデオ信号ＤＶ１を３フレーム単位で区切り、それ
ぞれ各区切りの先頭フレームが直前の区切りの先頭に配
置されるように、ディジタルビデオ信号ＤＶ１のフレー
ムを並び替えて出力する。

【００１９】マクロブロック（ＭＢ）化回路５は、メモ
リ回路で構成され、事前の処理及び符号化処理におい
て、この並び替え回路３より出力されるディジタルビデ
オ信号ＤＶ２又はＤＶ３を入力し、ＭＰＥＧについて規
定されたマクロブロックの順序で、このディジタルビデ
オ信号ＤＶ２又はＤＶ３を構成する輝度データ、色差デ
ータの配列を入れ換えて出力する。

【００２０】動き検出回路６は、符号化制御回路４によ
り制御されて、事前の処理においては、マクロブロック
化回路５より出力されるディジタルビデオ信号ＤＶ３に
ついて、順次連続するフレーム間で、直前のフレームを
予測フレームに設定した動きベクトルを検出する（図３
（Ｃ１））。なおこの図３においては、予測フレームと
の関係により動きベクトルを矢印により示す。

【００２１】これに対して符号化処理において、動き検
出回路６は、この事前の処理により設定されたピクチャ
ーの配列に従って、予測フレームを設定し、この予測フ
レームを基準にしてマクロブロック化回路５の出力デー
タより動きベクトルを検出する（図３（Ｃ２））。

【００２２】この動き検出において、動き検出回路６
は、ブロックマッチングの手法を適用して、所定の動き
ベクトル検出範囲で動きベクトルを検出する。すなわち
動き検出回路６は、予測フレーム上でマクロブロックを
変位させたとして、重なり合う予測フレームとマクロブ
ロック間の各画像データでそれぞれ差分データを検出
し、この差分データの累積値ＭＥの最も小さな変位位置
より動きベクトルを検出する。

【００２３】動き検出回路６は、事前の処理において、
検出した動きベクトルにおける累積値ＭＥ（検出した動
きベクトルにより動き補償して得られる差分データの累
積値に一致する）をシーンチェンジ、フラッシュ検出回
路７に出力する。

【００２４】これに対して符号化処理において、動き検
出回路６は、検出した動きベクトルＶをＦＩＦＯ８に出
力する。ＦＩＦＯ８は、この動きベクトルＶを所定のタ
イミングで動き補償回路９に出力する。すなわち動き検
出回路６は、Ｐピクチャーに設定するフレームについて
は、直前のＰピクチャー又はＩピクチャーを予測フレー
ムに設定して動きベクトルを検出する。

【００２５】これに対して動き検出回路６は、Ｂピクチ
ャーについては、直前の２つのＰピクチャー又はＩピク
チャーを予測フレームに設定した前フレーム予測又は後
フレーム予測により２種類の動きベクトルを検出する。
また動き検出回路６は、直前の２つのＰピクチャー又は
Ｉピクチャーの平均値を予測フレームに設定して動きベ
クトルを検出する。さらに動き検出回路６は、これら検
出した動きベクトルから、符号化制御回路４により制御
されて最適な動きベクトルを選択して出力する。

【００２６】かくするにつき動き検出回路６は、事前の
処理において、符号化処理ではＰピクチャー及びＩピク
チャーに設定されるフレームを全てＰピクチャーに設定
して、このＰピクチャーだけで順次動きベクトルＶ及び
累積値ＭＥを検出することになる。

【００２７】動き補償回路９は、予測フレームを保持す
るフレームメモリと、このメモリのアドレスを制御する
メモリ制御回路とで構成され、符号化制御回路４の制御
により、事前の処理においては動作を停止する。これに
対して符号化処理において、動き補償回路９は、加算回
路１０から出力されるＩピクチャー、Ｐピクチャーの画
像データを保持し、ＦＩＦＯ８より出力される動きベク
トルＶに応じて保持した画像データを順次出力する。す
なわち符号化制御回路４よりフレーム間符号化の処理が
指定されると、ＦＩＦＯ８より出力される動きベクトル
Ｖに応じて、予測フレームの画像データを動きベクトル
Ｖに応じて変位したタイミングにより出力する。

【００２８】このときＢピクチャーについては、前フレ
ーム又は後フレームを選択して、又は前フレーム及び後
フレームを平均値化して予測フレームを生成する。これ
に対してフレーム内符号化の処理が指定されると、画像
データの出力を中止する。

【００２９】減算回路１１は、符号化制御回路４により
制御されて事前の処理においては動作を停止する。これ
に対して符号化処理において、減算回路１１は、ＦＩＦ
Ｏ１２を介して、マクロブロック化回路５の出力データ
と、動き補償回路９の出力データを入力し、差分データ
を出力する。このときフレーム内符号化の処理が指定さ
れると、動き補償回路９から画像データの出力が中止さ
れることにより、減算回路１１は、この場合マクロブロ
ック化回路５の出力データをそのままディスクリートコ
サイン変換回路（ＤＣＴ）１４に出力する。

【００３０】ディスクリートコサイン変換回路１４は、
事前の処理においては動作を停止する。これに対して符
号化処理において、順次入力される入力データをディス
クリートコサイン変換処理して出力する。量子化回路１
５は、符号化制御回路４により制御されて、事前の処理
で動作を停止し、符号化処理においては、ディスクリー
トコサイン変換回路１４の出力データを量子化して出力
する。

【００３１】逆量子化回路１６は、符号化処理におい
て、量子化回路１５とは逆の特性により、この量子化回
路１５の出力データを量子化し、これにより量子化回路
１５の入力データを再現する。逆ディスクリートコサイ
ン変換回路（ＤＣＴ）１８は、逆量子化回路１６の出力
データを逆ディスクリートコサイン変換処理し、ディス
クリートコサイン変換回路１４の入力データを再現す
る。

【００３２】加算回路１０は、符号化制御回路４により
制御されて、符号化処理において、所定期間の間、動き
補償回路９の出力データと逆ディスクリートコサイン変
換回路１８の出力データとを加算して出力する。これに
より加算回路１０は、このエンコーダ１において必要と
される予測フレームの画像データを生成して、動き補償
回路９に出力する。

【００３３】可変長符号化回路（ＶＬＣ）１９は、量子
化回路１５の出力データを可変長符号化処理して出力
し、バッファ回路２０は、この出力データを保持して一
定の転送速度により出力する。このときバッファ回路２
０は、符号化制御回路４より出力されるヘッダ等のデー
タを付加して、保持したデータを出力する。

【００３４】符号化制御回路４は、このエンコーダ１全
体の動作を制御し、事前の処理においては、並べ替え回
路３、マクロブロック化回路５、動き検出回路６のみ動
作を立ち上げる。これによりエンコーダ１では、ディジ
タルビデオ信号ＤＶ１のＩピクチャー又はＰピクチャー
に設定するフレーム間で、順次、動きベクトルＶ及び累
積値ＭＥを検出する。

【００３５】これに対して符号化処理においては、この
事前の処理により設定されたピクチャー配列により、動
き補償回路９等の動作を制御し、またバッファ回路２０
にヘッダ等を設定する。これによりエンコーダ１では、
ＭＰＥＧに規定されたフォーマットによりディジタルビ
デオ信号ＤＶ１を符号化して出力するようになされてい
る。

【００３６】図４に示すようにシーンチェンジ、フラッ
シュ検出回路７は、累積加算器２２を有するマイクロコ
ンピュータにより構成され、事前の処理において、フレ
ーム毎に、累積加算器２２によりディジタルビデオ信号
ＤＶ３（ＤＶ１）の平均輝度レベルを検出する。

【００３７】すなわち累積加算器２２において、加算回
路２３は、マクロブロック化回路５より出力されるディ
ジタルビデオ信号ＤＶ３より、輝度データを選択的に入
力し、レジスタ２４の出力データと加算して出力する。
レジスタ２４は、この加算回路２３の出力データを保持
して出力し、クリア信号ＣＬＲによりフレーム周期で保
持した内容をクリアする。これにより累積加算器２２
は、次式の演算処理を実行して、ディジタルビデオ信号
ＤＶ３（ＤＶ１）の輝度データをフレーム単位で累積加
算し、各フレームにおける輝度レベルの直流レベルＤＣ
_sumを検出して出力する。

【００３８】

【数１】なおここでｆ_curr(x,y) は、１つのマクロブロック（ｘ
_s≦ｘ≦ｘ_e，ｙ_s≦ｙ≦ｙ_e）における画像データの
輝度レベルを示す。

【００３９】中央処理ユニット（ＣＰＵ）２６は、ラン
ダムアクセスメモリ（ＲＡＭ）２７にワークエリアを確
保してリードオンリメモリ（ＲＯＭ）２８に格納された
処理プログラムを実行し、符号化制御回路４にＩピクチ
ャーの設定を指示する。

【００４０】すなわち中央処理ユニット２６は、ディジ
タルビデオ信号ＤＶ３の各フレーム毎に、次式の演算処
理を実行することにより、ディジタルビデオ信号ＤＶ１
のＩピクチャー又はＰピクチャーに設定するフレームに
ついて、動き検出回路６から出力される累積値ＭＥを各
フレームで累積加算し、これにより動き補償した際の差
分データを一画面分累積した累積値ＭＥ_resid（以下Ｍ
Ｅ残差と呼ぶ）を検出する。

【００４１】

【数２】なおここでは動きベクトルを（mv_x，mv_y) とし、ｆ
_ref(x＋mv_x，y ＋mv_y) は、動きベクトルにより変位
させた予測フレームの画像データの値を示す。

【００４２】ここで図５に示すように、時点ｔ１のフレ
ームでシーンチェンジが発生すると、ディジタルビデオ
信号の連続性が失われることにより、ＭＥ残差ＭＥ
_residは、ピーク状に増大する。これに対して直流レベ
ルＤＣ_sumは、シーンチェンジの前後の映像に応じた値
になる。

【００４３】これに対して図６に示すように、時点ｔ２
でフラッシュが発生すると、ＭＥ残差ＭＥ_residは、時
点ｔ２のフレームと続くフレームとでピーク状に増大
し、このピークの前後では、ほぼ等しい値となる。これ
に対して直流レベルＤＣ_sumは、時点ｔ２のフレームで
ピーク状に増大し、このピークの前後では、ほぼ等しい
値となる。なおこのＭＥ残差ＭＥ_resid及び直流レベル
ＤＣ_sumの特徴を図７にまとめて示す。

【００４４】中央処理ユニット２６は、このようなＭＥ
残差ＭＥ_resid及び直流レベルＤＣ_sumの特徴を有効に
利用して、図１及び図１０に示す処理手順を実行し、シ
ーンチェンジのフレーム及びフラッシュから復帰したフ
レームを検出する。また中央処理ユニット２６は、この
検出結果に基づいて、ディジタルビデオ信号ＤＶ１のＢ
ピクチャー間のフレームを、Ｉピクチャー、Ｐピクチャ
ーに設定する。

【００４５】すなわち中央処理ユニット２６は、事前の
処理において、順次検出されるＭＥ残差ＭＥ_resid及び
直流レベルＤＣ_sumを一旦ワークエリアに格納して保持
し、ディジタルビデオ信号ＤＶ３についてこのＭＥ残差
ＭＥ_resid及び直流レベルＤＣ_sumの検出を完了する
と、ステップＳＰ１からステップＳＰ２に移り、ここで
フラッシュ等の状態を示すフラグｐｒｅｖを値０にセッ
トする。

【００４６】続いて中央処理ユニット２６は、ステップ
ＳＰ３に移り、判定対象のフレームを特定する変数ｃｕ
ｒｒに、最後のフレーム番号から所定の数値Ｎｕｍ−１
を減じた数字をセットする。ここで最後のフレーム番号
は、この事前の処理対象となったディジタルビデオ信号
ＤＶ３のフレーム数であり、数値Ｎｕｍは、この処理に
おいて最小自乗法が適用される判定区間（サンプリング
数）である。これにより中央処理ユニット２６は、ディ
ジタルビデオ信号ＤＶ３の末尾のフレームより、このサ
ンプリング数だけ逆上ったフレームを処理対象のフレー
ムに設定し、順次この処理手順を繰り返すことにより、
時間軸を逆に辿ってシーンチェンジ等を検出する。

【００４７】続いて中央処理ユニット２６は、ステップ
ＳＰ４に移り、ここで変数ｃｕｒｒにより特定されるフ
レームについて、ＭＥ残差の最小自乗誤差を検出する。
すなわち中央処理ユニット２６は、数値Ｎｕｍで指定さ
れる判定区間を対象としてＭＥ残差ＭＥ_residを次式に
より二次曲線に近似する。ここでｘは、この判定区間の
ＭＥ残差ＭＥ_residに順次対応するフレームの番号でな
る。

【数３】

【００４８】中央処理ユニット２６は、この（３）式の
近似式より、次式

【数４】の演算処理を実行し、この判定区間における定数ａ、
ｂ、ｃを計算する。なおここでこの中央処理ユニット
は、変数ｃｕｒｒにより特定されるフレームを先頭にし
て、このフレームから末尾側Ｎｕｍフレームを、この演
算処理の判定区間に設定する。また次式によりＡを計算
する。

【数５】

【００４９】さらに中央処理ユニット２６は、計算した
定数ａ、ｂ、ｃを用いて、次式の演算処理を実行し、こ
れにより変数ｃｕｒｒにより特定されるフレームについ
て、ＭＥ残差ＭＥ_residの最小自乗誤差ｆを計算する。

【数６】

【００５０】続いて中央処理ユニット２６は、ステップ
ＳＰ５に移り、ここで変数ｃｕｒｒにより特定されるフ
レームについて、直流レベルＤＣ_sumの最小自乗誤差を
検出する。すなわち中央処理ユニット２６は、数値Ｎｕ
ｍによる判定区間の直流レベルＤＣ_sumを次式により二
次曲線に近似する。

【数７】

【００５１】中央処理ユニット２６は、この（７）式の
近似式より、次式

【数８】の演算処理を実行し、この判定区間における定数ａ、
ｂ、ｃを計算する。このとき中央処理ユニット２６は、
ＭＥ残差ＭＥ_residによる最小自乗誤差を検出する場合
に比して、判定区間を先頭側に１フレームだけずらして
一連の演算処理を実行する。また上述の（５）式により
値Ａを算出する。

【００５２】さらに中央処理ユニット２６は、計算した
定数ａ、ｂ、ｃを用いて、次式の演算処理を実行し、こ
れにより変数ｃｕｒｒにより特定されるフレームについ
て、直流レベルＤＣ_sumの最小自乗誤差ｆを計算する。

【数９】

【００５３】このようにしてＭＥ残差ＭＥ_resid及び直
流レベルＤＣ_sumの最小自乗誤差ｆをそれぞれ計算する
と、中央処理ユニット２６は、ステップＳＰ６に移り、
ＭＥ残差ＭＥ_resid及び直流レベルＤＣ_sumの最小自乗
誤差ｆが共に所定の基準値ＴＨme及びＴＨdc以下か否か
判断する。

【００５４】ここで図８に示すように、判定区間を５サ
ンプリングに設定した場合、ＭＥ残差ＭＥ_residの最小
自乗誤差ｆmeは、この判定区間が末尾側より、シーンチ
ェンジのフレーム（時点ｔ１）に差しかかると急激に値
が増大する。またこの判定区間がシーンチェンジのフレ
ーム（時点ｔ１）を通り過ぎるまで大きな値に保持され
る。

【００５５】これに対して直流レベルＤＣ_sumの最小自
乗誤差ｆdcは、ＭＥ残差ＭＥ_residの最小自乗誤差ｆme
から、１フレームだけ判定区間が先頭フレーム側に移動
したタイミングで立ち上がり、ＭＥ残差ＭＥ_residの最
小自乗誤差ｆmeと同時に立ち下がる。

【００５６】また図９に示すように、フラッシュの場
合、ＭＥ残差ＭＥ_residの最小自乗誤差ｆmeは、この判
定区間が末尾側より、フラッシュ（時点ｔ２）から復帰
したフレームに差しかかると急激に値が増大し、またこ
の判定区間がフラッシュのフレームを通り過ぎるまで大
きな値に保持される。

【００５７】これに対して直流レベルＤＣ_sumの最小自
乗誤差ｆdcは、ＭＥ残差ＭＥ_residの最小自乗誤差ｆme
に比して、１フレームだけこの判定区間が先頭フレーム
側に移動したタイミングで立ち上がり、ＭＥ残差ＭＥ
_residの最小自乗誤差ｆmeと同時に立ち下がる。

【００５８】これによりＭＥ残差ＭＥ_residの最小自乗
誤差ｆmeについて注目すると、先頭側より見て、そのフ
レームは値が大きく、続くフレームでは値の小さなフレ
ームが、シーンチェンジ及びフレームから復帰したフレ
ームと判断することができる。また直流レベルＤＣ_sum
の最小自乗誤差ｆdcについて注目すると、先頭側より見
て、そのフレームの直前は値が大きく、そのフレーム以
降では値の小さなフレームが、シーンチェンジ及びフレ
ームから復帰したフレームと判断することができる。

【００５９】これを逆方向の末尾側から見たとき、ＭＥ
残差ＭＥ_residの最小自乗誤差ｆmeについては、値が大
きく立ち上がったフレームがシーンチェンジ及びフレー
ムから復帰したフレームになり、直流レベルＤＣ_sumの
最小自乗誤差ｆdcについては、値が大きく立ち上がった
フレームの手前のフレームがシーンチェンジ及びフレー
ムから復帰したフレームになる。

【００６０】フレーム間予測により符号化する場合、こ
のようにシーンチェンジ及びフレームから復帰したフレ
ームをフレーム間符号化処理に設定すると画質劣化が長
引くことになる。このようなフレームは、シーンチェン
ジか、フラッシュから復帰したフレームかを区別するこ
となく、フレーム内符号化処理して、すなわちＩピクチ
ャーに設定して復号画像の画質劣化を向上することがで
きる。

【００６１】これにより中央処理ユニット２６は、この
ように末尾側から見て、ＭＥ残差ＭＥ_residの最小自乗
誤差ｆmeが大きく立ち上がったフレーム、直流レベルＤ
Ｃ_sumの最小自乗誤差ｆdcが大きく立ち上がったフレー
ムの直前のフレームを検出し、シーンチェンジとフラッ
シュから復帰したフレームとを纏めて検出する。さらに
検出したフレーム間でシーンチェンジとフラッシュとで
区別することなくＩピクチャーを設定し、その分処理を
簡略化する。

【００６２】すなわち中央処理ユニット２６は、ステッ
プＳＰ６において、肯定結果が得られると、ステップＳ
Ｐ７に移り（図１０）、ここでフラッシュ等の状態を示
すフラグｐｒｅｖを改めて値０にセットする。続いて中
央処理ユニット２６は、ステップＳＰ８に移り、判定対
象のフレームを特定する変数ｃｕｒｒが値１か否か判断
することにより、先頭フレームまで処理を完了したか否
か判断し、ここで否定結果が得られると、ステップＳＰ
９において変数ｃｕｒｒを値１だけ減算した後、ステッ
プＳＰ４に戻る。

【００６３】これにより中央処理ユニット２６は、フレ
ーム間で連続性が保持されている場合、ステップＳＰ４
−ＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−ＳＰ９−ＳＰ４の
処理手順を繰り返す。

【００６４】このようにして処理を繰り返している際
に、シーンチェンジ又はフラッシュから復帰したフレー
ムが判定対象のフレームになると、ステップＳＰ６にお
いて否定結果が得られ、中央処理ユニット２６は、ステ
ップＳＰ１０に移る。ここで中央処理ユニット２６は、
フラッシュ等の状態を示すフラグｐｒｅｖが値１にセッ
トされているか否か判断する。

【００６５】ここで直前までフレーム間の連続性が保持
されている場合、否定結果が得られることにより、中央
処理ユニット２６は、ステップＳＰ１１に移り、ここで
判定対象のフレーム番号をフラッシュ等を示す識別フラ
グｐｒｉｏｒと共にワークエリアに記録する。中央処理
ユニット２６は、この識別フラグｐｒｉｏｒ及び対応す
るフレーム番号の記録により、Ｉピクチャーの設定候補
をリスト化する。

【００６６】続いて中央処理ユニット２６は、ステップ
ＳＰ１２に移り、フラッシュ等の状態を示すフラグｐｒ
ｅｖを値１にセットした後、ステップＳＰ８に戻る。こ
れにより中央処理ユニット２６は、続いて先頭側のフレ
ームを判定する場合、ステップＳＰ６において否定結果
が得られ、続くステップＳＰ１０においてもＭＥ残差Ｍ
Ｅ_residの最小自乗誤差ｆme又は直流レベルＤＣ_sumの
最小自乗誤差ｆdcが大きく立ち上がっていることにより
否定結果が得られることになる。

【００６７】この場合中央処理ユニット２６は、ステッ
プＳＰ１０から直接ステップＳＰ１２に移り、最小自乗
誤差の判定区間がシーンチェンジ、フラッシュのフレー
ムを通過するまで、ステップＳＰ４−ＳＰ５−ＳＰ６−
ＳＰ１０−ＳＰ１２−ＳＰ８−ＳＰ９−ＳＰ４の処理手
順を繰り返す。また最小自乗誤差の判定区間がシーンチ
ェンジ、フラッシュのフレームを通過すると、ステップ
ＳＰ６において肯定結果が得られることにより、再びス
テップＳＰ６において否定結果が得られるまでの期間の
間、ステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８
−ＳＰ９−ＳＰ４の処理手順を繰り返す。

【００６８】このようにして処理を繰り返して、ディジ
タルビデオ信号ＤＶ３の先頭フレームになると、中央処
理ユニット２６は、ステップＳＰ８において肯定結果が
得られることにより、ステップＳＰ１３に移ってこの処
理手順を終了する。

【００６９】かくして中央処理ユニット２６は、この処
理により検出したシーンチェンジ及びフラッシュから復
帰したフレームをワークエリアに記録して、リストを作
成する。

【００７０】ところでこのようにして検出したフレーム
をＩピクチャーに設定する場合、単に検出されたフレー
ムだけをＩピクチャーに設定すると、Ｉピクチャー間の
間隔が極端に長くなり、途中からの再生が困難になる。
このため中央処理ユニット２６は、図１１に示す処理手
順を実行し、この作成したリストに従って、Ｉピクチャ
ーを適切に設定する。

【００７１】すなわち中央処理ユニット２６は、ステッ
プＳＰ２０からステップＳＰ２１に移り、ここで予め設
定された全てのチャプターについて、先頭フレームをＩ
ピクチャーに設定する。続いて中央処理ユニット２６
は、ステップＳＰ２２に移り、上述の処理手順により作
成したリストが空か否か判断する。

【００７２】ここでこのリストにシーンチェンジのフレ
ーム等が記録されている場合、否定結果が得られること
により、中央処理ユニット２６は、ステップＳＰ２３に
移り、このリストから要素を１つ取り出す。すなわち中
央処理ユニット２６は、このリストより先の処理手順に
より検出したフレーム番号を取り出して、取り出したフ
レーム番号をこのリストより削除する。

【００７３】続いて中央処理ユニット２６は、ステップ
ＳＰ２４に移り、ここでこのフレーム番号のフレームを
Ｉピクチャーにセットした後、ステップＳＰ２２に戻
る。これにより中央処理ユニット２６は、ステップＳＰ
２２−ＳＰ２３−ＳＰ２４−ＳＰ２２の処理手順を繰り
返し、リストに登録されたシーンチェンジのフレーム及
びフラッシュから復帰したフレームを全てＩピクチャー
に設定する。

【００７４】このようにしてリストに登録されたシーン
チェンジのフレーム及びフラッシュから復帰したフレー
ムを全てＩピクチャーに設定すると、中央処理ユニット
２６は、ステップＳＰ２２において肯定結果が得られる
ことにより、ステップＳＰ２５に移る。

【００７５】ここで中央処理ユニット２６は、事前に設
定された最大ＧＯＰ（ＭＡＸＧＯＰ）の長さを越える
ＧＯＰが存在するか否か判断する。なおこの場合には、
Ｉピクチャーから次のＩピクチャーまでを１つのＧＯＰ
として取り扱う。ここで肯定結果が得られると、中央処
理ユニット２６は、ステップＳＰ２６に移り、この最大
ＧＯＰの長さを越えるＧＯＰの１つを処理対象に設定す
る。

【００７６】続いて中央処理ユニット２６は、ステップ
ＳＰ２７において、この処理対象に設定したＧＯＰの長
さ（フレーム数）を検出し、この検出した長さを基準に
して、最大ＧＯＰの長さを越えない範囲で、処理対象に
設定したＧＯＰを順次均等に区分する。これにより中央
処理ユニット２６は、このＧＯＰに設定すべきＩピクチ
ャーの個数ｎを計算する。

【００７７】続いて中央処理ユニット２６は、ステップ
ＳＰ２８に移り、このＧＯＰの各区分した先頭フレーム
をＩピクチャーに設定し、これによりこのＧＯＰにｎ個
のＩピクチャーを設定した後、ステップＳＰ２５に戻
る。これにより中央処理ユニット２６は、順次ステップ
ＳＰ２５−ＳＰ２６−ＳＰ２７−ＳＰ２８−ＳＰ２５の
処理手順を繰り返し、全てのＧＯＰを最大ＧＯＰ以下の
長さに設定する。さらにこの設定が完了すると、ステッ
プＳＰ２８において否定結果が得られることにより、ス
テップＳＰ２５からステップＳＰ２９に移り、この処理
手順を終了する。

【００７８】これにより符号化制御回路４は、この処理
手順により設定されたＩピクチャー以外の、Ｂピクチャ
ー間のフレームについては、Ｐピクチャーに設定して符
号化処理を実行する（図３（Ｄ１）及び（Ｄ２））。

【００７９】以上の構成において、順次入力されるディ
ジタルビデオ信号ＤＶ１は、事前の処理において、並び
替え回路３により３フレーム単位で区切られ、この各３
フレームの先頭フレームだけが選択されて続くマクロブ
ロック化回路５に入力され、ここでＭＰＥＧについて規
定されたマクロブロックの順序で、輝度データ、色差デ
ータの配列が入れ換られて出力される。

【００８０】このうちの輝度データは、シーンチェン
ジ、フラッシュ検出回路（図４）の累積加算器２２にお
いて、フレーム単位で累積加算され、各フレームの直流
レベルＤＣsum が検出され、この検出された直流レベル
ＤＣsum が、中央処理ユニット２６に入力される。

【００８１】またこのマクロブロック化回路５の出力デ
ータは、動き検出回路６において、連続するフレーム間
で動きベクトルが検出され、動きベクトルの検出に使用
される動き補償して残る差分データの累積値ＭＥが、中
央処理ユニット２６に入力され、この累積値ＭＥが１フ
レーム単位で累積されてＭＥ残差ＭＥresid が検出され
る。これにより中央処理ユニット２６において、ＭＥ残
差ＭＥresid 及び直流レベルＤＣsum の変化を基準にし
てシーンチェンジ等が検出される。

【００８２】すなわち中央処理ユニット２６において
（図１）、このＭＥ残差ＭＥresid 及び直流レベルＤＣ
sum は、ディジタルビデオ信号ＤＶ１の末尾側より、所
定の判定区間が順次先頭側に移動されながら、この判定
区間で二次関数により曲線近似され、この曲線近似にお
ける最小自乗誤差が順次検出される。

【００８３】このときＭＥ残差ＭＥresid においては、
判定対象のフレームが先頭フレームになるように判定区
間が設定されて最小自乗誤差が順次検出され、直流レベ
ルＤＣsum においては、判定対象のフレームより１フレ
ーム先頭側のフレームが先頭フレームになるように判定
区間が設定されて最小自乗誤差が順次検出される。

【００８４】これにより末尾側より順次フレームを辿っ
て、ＭＥ残差ＭＥresid の最小自乗誤差が立ち上がった
フレームが、シーンチェンジのフレーム又はフラッシュ
から復帰したフレームとして検出されるのに対し、ＭＥ
残差ＭＥresid の最小自乗誤差が立ち上がるフレームの
直前フレームがシーンチェンジのフレーム又はフラッシ
ュから復帰したフレームとして検出される。

【００８５】この検出されたフレームは、リスト化され
て中央処理ユニット２６に保持され、ディジタルビデオ
信号ＤＶ３の全フレームについて、シーンチェンジ等の
検出処理が完了すると、このリストによりＩピクチャー
の設定処理が実行される（図１１）。

【００８６】この処理において、ディジタルビデオ信号
ＤＶ１は、予め設定された全てのチャプターの先頭フレ
ームがＩピクチャーに設定された後、リスト化されたシ
ーンチェンジ等のフレームがＩピクチャーに設定され
る。続いてディジタルビデオ信号ＤＶ１は、最大ＧＯＰ
の長さを越えないように、Ｉピクチャーが等間隔で設定
されて各ＧＯＰが分割され、これによりＩピクチャーの
設定処理が完了する。

【００８７】このようにしてＩピクチャーが設定される
と、ディジタルビデオ信号ＤＶ１より３フレーム間隔で
抽出した残りのフレームがＰピクチャーに設定され、残
るフレームがＢピクチャーに設定される。

【００８８】このようにしてピクチャーの配列が設定さ
れると、ディジタルビデオ信号ＤＶ１は、改めてこのエ
ンコーダ１に供給され、このピクチャー配列に従って符
号化処理されて出力される。

【００８９】以上の構成によれば、事前の処理におい
て、末尾側のフレームから辿って、ＭＥ残差ＭＥresid
及び直流レベルＤＣsum を曲線近似して最小自乗誤差を
検出したことにより、この最小自乗誤差に基づいて、シ
ーンチェンジ及びフラッシュによるＭＥ残差ＭＥresid
及び直流レベルＤＣsum の変化を確実に検出することが
できる。従ってこの最小自乗誤差を立ち上がりよりシー
ンチェンジのフレーム及びフラッシュから復帰したフレ
ームを検出して、確実にシーンチェンジのフレーム及び
フラッシュから復帰したフレームを検出することができ
る。

【００９０】さらにこのときこの最小自乗誤差検出用の
判定区間をＭＥ残差ＭＥresid と直流レベルＤＣsum と
で１フレームずらして設定したことにより、ＭＥ残差Ｍ
Ｅresid と直流レベルＤＣsum とで同様の処理により最
小自乗誤差を検出し、また検出した最小自乗誤差を同じ
ように判定してシーンチェンジのフレーム及びフラッシ
ュから復帰したフレームを検出することができ、これに
より簡易にシーンチェンジ等を検出することができる。

【００９１】このとき末尾側のフレームから辿って、シ
ーンチェンジのフレーム及びフラッシュから復帰したフ
レームを検出することにより、Ｉフレームに設定する必
要のないフラッシュのフレームを無視して、シーンチェ
ンジのフレーム及びフラッシュから復帰したフレームを
何ら区別することなく確実に検出することができる。従
ってこの検出したフレームをＩピクチャーに設定して、
その分全体の処理を簡略化することができる。

【００９２】さらにＰピクチャー又はＩピクチャーに設
定するフレームについてだけフラッシュ等を検出したこ
とにより、その分短時間でフラッシュ等を検出すること
ができる。

【００９３】さらに全チャプターの先頭フレームをＩピ
クチャーに設定した後、シーンチェンジ等のフレームを
Ｉピクチャーに設定し、続いて最大ＧＯＰの長さを越え
ないように、Ｉピクチャーを設定したことにより、この
ようにして検出したシーンチェンジのフレーム等をＩピ
クチャーに設定する際に、必要個数以上にＩピクチャー
を設定することなく、かつ最大ＧＯＰを満足するように
Ｉピクチャーを設定することができる。これにより適切
にＩピクチャーを設定することができる。

【００９４】なお上述の実施の形態においては、二次曲
線に近似して最小自乗誤差を検出する場合について述べ
たが、本発明はこれに限らず、必要に応じて種々の曲線
に近似して最小自乗誤差を検出する場合に広く適用する
ことができる。

【００９５】また上述の実施の形態においては、末尾よ
り辿って最小自乗誤差を検出する場合について述べた
が、本発明はこれに限らず、シーンチェンジ及びフラッ
シュを検出する場合は、先頭側より辿って、最小自乗誤
差の立ち上がりを検出することによりシーンチェンジ及
びフラッシュを区別することなく検出することができ
る。

【００９６】また上述の実施の形態においては、最小自
乗誤差の立ち上がりを検出する場合について述べたが、
本発明はこれに限らず、最小自乗誤差の立ち下がりよ
り、シーンチェンジ等を検出しても良い。なおこの場合
末尾側より辿って最小自乗誤差を検出しても良く、先頭
側より辿って最小自乗誤差を検出しても良い。またＭＥ
残差等の変化を併せて判断して、シーンチェンジ、フラ
ッシュ、フラッシュからの復帰を個別に検出することも
できる。

【００９７】また上述の実施の形態においては、直流レ
ベル及びＭＥ残差の最小自乗誤差よりシーンチェンジの
フレーム等を検出する場合について述べたが、本発明は
これに限らず、必要に応じて直流レベルの最小自乗誤差
だけシーンチェンジ等を検出しても良く、さらにはＭＥ
残差の最小自乗誤差だけでシーンチェンジのフレーム等
を検出してもよい。

【００９８】さらに上述の実施の形態においては、最小
自乗誤差を基準にして検出したシーンチェンジ等に対し
てピクチャーを設定する場合について述べたが、本発明
はこれに限らず、単なるピクチャーの設定に関しては、
他の検出手法によりシーンチェンジ等を検出してもよ
い。

【００９９】また上述の実施の形態においては、事前の
処理において、判定対象のフレームだけを抽出してＭＥ
残差、直流レベルを検出する場合について述べたが、本
発明はこれに限らず、併せて他のフレームについてＭＥ
残差、直流レベルを検出する場合、さらにはシーンチェ
ンジ等を検出してもよい。

【０１００】さらに上述の実施の形態においては、動き
ベクトルの検出に使用した累積値ＭＥを利用してＭＥ残
差ＭＥresid を検出する場合について述べたが、本発明
はこれに限らず、専用の演算処理回路を構成してもよ
い。

【０１０１】また上述の実施の形態においては、ＭＰＥ
Ｇによりディジタルビデオ信号を符号化する場合につい
て述べたが、本発明はこれに限らず、例えばディスクリ
ートコサイン変換処理に代えてハー変換処理を適用する
場合等、種々の予測符号化に広く適用することができ
る。

【０１０２】また上述の実施の形態においては、ディジ
タルビデオ信号を符号化する際にシーンチェンジ等を検
出する場合について述べたが、本発明はこれに限らず、
シーンチェンジ等の検出結果によりディジタルビデオ信
号の周波数特性を補正する場合等、種々の映像信号処理
装置に広く適用することができる。

【０１０３】

【発明の効果】上述のように本発明によれば、直流レベ
ル又は動き補償して得られる差分データの総和を曲線近
似して得られる誤差値より、シーンチェンジのフレーム
等を検出することにより、確実にシーンチェンジ等を検
出することができる

【図面の簡単な説明】

【図１】本発明の実施の形態に係るエンコーダにおける
シーンチェンジ等の検出の説明に供するフローチャート
である。

【図２】図１のエンコーダの全体構成を示すブロック図
である。

【図３】ディジタルビデオ信号の処理の説明に供するタ
イムチャートである。

【図４】シーンチェンジ、フラッシュ検出回路を示すブ
ロック図である。

【図５】シーンチェンジの説明に供する特性曲線図であ
る。

【図６】フラッシュの説明に供する特性曲線図である。

【図７】シーンチェンジ、フラッシュの特徴を示す図表
である。

【図８】シーンチェンジにおける最小自乗誤差を示す特
性曲線図である。

【図９】フラッシュにおける最小自乗誤差を示す特性曲
線図である。

【図１０】図１の続きの処理手順を示すフローチャート
である。

【図１１】Ｉピクチャーの設定処理を示すフローチャー
トである。

【符号の説明】

１……エンコーダ、４……符号化制御回路、６……動き
検出回路、７……シーンチェンジ、フラッシュ検出回
路、２２……累積加算器、２６……中央処理ユニット

Claims

【特許請求の範囲】

【請求項１】映像信号の各フレームの直流レベルを検出
し、前記直流レベルを曲線近似して得られる誤差値よ
り、前記映像信号のシーンチェンジのフレーム、フラッ
シュのフレーム又はフラッシュから復帰したフレームを
検出することを特徴とする映像信号処理装置。
【請求項２】前記映像信号を動き補償して得られる差分
データの総和を各フレームで検出し、前記総和を曲線近
似して得られる誤差値より、前記映像信号のシーンチェ
ンジのフレーム、フラッシュのフレーム又はフラッシュ
から復帰したフレームを検出することを特徴とする映像
信号処理装置。
【請求項３】前記映像信号の末尾側のフレームより前記
誤差値を検出することを特徴とする請求項１に記載の映
像信号処理装置。
【請求項４】前記映像信号の末尾側のフレームより前記
誤差値を検出することを特徴とする請求項２に記載の映
像信号処理装置。
【請求項５】前記フレームの検出結果に基づいて、前記
映像信号のシーンチェンジのフレーム及びフラッシュか
ら復帰したフレームにフレーム内符号化処理を割り当て
ることを特徴とする請求項３に記載の映像信号処理装
置。
【請求項６】前記フレームの検出結果に基づいて、前記
映像信号のシーンチェンジのフレーム及びフラッシュか
ら復帰したフレームにフレーム内符号化処理を割り当て
ることを特徴とする請求項４に記載の映像信号処理装
置。
【請求項７】フレーム間符号化処理とフレーム内符号化
処理とを順次切り換えて、映像信号を符号化処理する映
像信号処理装置において、事前の設定処理におけるフレーム間符号化処理とフレー
ム内符号化処理の設定に従って、前記映像信号を符号化
処理し、前記事前の設定処理において、予め検出されたフレーム、シーンチェンジのフレーム、
フラッシュから復帰したフレームをフレーム内符号化処
理に設定した後、フレーム内符号化処理のフレーム間の間隔が所定値以下
になるように、フレーム内符号化処理のフレームを設定
し、残りのフレームをフレーム間符号化処理に設定すること
を特徴とする映像信号処理装置。