JPH1023421A - 動画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】従来、シーンチェンジ検出を行う際に、圧縮さ
れた動画像を一端復号するために、処理が遅いという問
題がある。また、従来のシーンチェンジ検出法のうち圧
縮動画像を復号せずに高速処理する手法においては、動
きの大きい映像や同じ色合いのシーンが続く映像の場合
に正確に判定することができない問題がある。 【解決手段】動き補償を用いて動画像圧縮された動画像
データに対し、フレームのデータごとにデータの種類別
に符号量をカウントし、この種類別の符号量に所定の演
算を施して二つのフレーム間の相関を表す特徴量を算出
し、しきい値との比較によりシーンチェンジを高速に検
出する。さらに、正確なシーンチェンジの検出が行える
ように、動き補償で用いられる動きベクトルのデータ量
をフレームごと、予測モードごとにカウントし、この符
号量から所定の演算により上記特徴量を算出し、しきい
値と比較することにより動きベクトルのばらつきが加味
された検出を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像が連続して
撮影された区間のつなぎ目に当たるシーンチェンジ点を
自動検出する動画像処理方法に関する。

【０００２】

【従来の技術】従来、動画像からシーンチェンジを検出
する処理手法としては、特開昭６４ー６８０８４のよう
な方法がある。すなわち、二つのフレームもしくはフィ
ールド画像の、同じ位置の画素ごとに輝度の差分の絶対
値（もしくは差分の平方）をもとめ、フレーム全体での
総和を二つのフレームもしくはフィールドの差異とす
る。そして、この差異があるしきい値以上であるとき
に、二つのフレームもしくはフィールド間にシーンチェ
ンジが存在すると判定する。このような手法では、大き
な動く物体が映っているシーンやカメラを回して撮影さ
れたシーンでは、連続して撮影されたにも関わらず二つ
の画像間の差異が大きくなり、シーンチェンジを誤検出
してしまう。

【０００３】このような欠点を解決する方法として、特
開平３ー２１４３６４に記載されているように、フレー
ムごとに輝度、もしくは色のヒストグラムを作成し、二
つのフレーム間のヒストグラムの差異をもって二つのフ
レーム間の差異と定義し、この差異があるしきい値を上
回るようなら二つのフレーム間にシーンチェンジが存在
していると判定するものがある。このような方法では、
動きの激しいシーンでもシーンチェンジの判定が誤りに
くいという利点がある。しかしながら、特開昭６４ー６
８０８４の場合と同様に、画素ごとの演算を必要とする
ため、圧縮された動画像データに対して適用するときに
は、一度画像を復号する必要があるため、処理時間が遅
いという問題点がある。

【０００４】圧縮された動画像を復号することなく、高
速にシーンチェンジを検出する方法として、特開平４−
２１９８７８に記載されているように、圧縮された動画
像のフレームごとの符号量を算出し、この符号量がしき
い値を上回るときにシーンチェンジが存在すると判定す
る方法がある。このような方法では、動きの激しいシー
ンで誤検出をしたり、同じ様な色合いのシーンが続く場
合にはシーンチェンジを見逃してしまうことがある。

【０００５】

【発明が解決しようとする課題】すでに述べたように、
従来のシーンチェンジ検出を行う動画像処理方法におい
ては、圧縮された動画像を一端復号してからシーンチェ
ンジの判定を行うための演算を行うため、処理に大変時
間がかかっているという問題点があった。また、圧縮さ
れた動画像を復号することなく高速に処理することので
きるシーンチェンジ検出手法においては、動きの大きい
映像や同じ色合いのシーンが続く映像の場合に正確に判
定することができないという問題があった。

【０００６】本発明は、前記のごとき課題を解決し、圧
縮された動画像に対して復号を行うことなく、高速に、
しかも正確にシーンチェンジの判定を行う動画像処理方
法を提供することを目的としている。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、動き補償を用いて圧縮されてなる動画像データの各
フレームの種類別の符号量を求め、求めた前記符号量に
所定の演算を施し、任意のフレーム間の相関値を算出
し、算出した前記相関値と所定のしきい値とを比較し、
比較した前記相関値のうち前記動画像データのシーンの
変更点となる相関値を有する動画像データのフレーム間
の位置を求めることを特徴とする。

【０００８】また、動き補償を用いて動画像を圧縮する
際に、圧縮された各フレームの種類別の符号量を求め、
求めた前記符号量に所定の演算を施し、任意のフレーム
間の相関値を算出し、算出した前記相関値と所定のしき
い値とを比較し、比較した前記相関値のうち前記動画像
データのシーンの変更点となる相関値を有する動画像デ
ータのフレーム間の位置を求めることを特徴とする。

【０００９】つまり、本発明では、動き補償を用いて動
画像圧縮が施された動画像データに対し、フレームのデ
ータごとに、データの種類別に符号量をカウントし、こ
の種類別の符号量に所定の演算を施して二つのフレーム
間の相関を表す特徴量を算出し、この特徴量としきい値
との比較によりシーンチェンジを検出する。

【００１０】また、本発明の動画像処理方法では、動き
補償を用いて動画像を圧縮符号化する際に、圧縮後のフ
レームのデータごとに、データの種類別に符号量をカウ
ントし、この種類別の符号量に所定の演算を施して二つ
のフレーム間の相関を表す特徴量を算出し、この特徴量
としきい値との比較によりシーンチェンジを検出する。

【００１１】さらに、本発明の動画像処理方法では、と
くに動きの激しいシーンや同じ色合いの続くシーンにお
いて正確なシーンチェンジの検出が行えるように、動き
補償で用いられる動きベクトルのデータ量をフレームご
と、予測モードごとにカウントし、この符号量から所定
の演算により上記特徴量を算出し、しきい値との比較に
よりシーンチェンジの検出を行う。

【００１２】

【発明の実施の形態】以下、本発明の実施例を図を用い
て説明していく。はじめに、動画像の圧縮符号化の方式
について説明する。動き補償は、動画像の時間方向の冗
長度削減のために用いられるもので、符号化しようとす
る画像をすでに符号化が終了している画像（今後、参照
画像と呼ぶ）を用いて表現する手法である。通常は符号
化対象の画像をいくつかのブロックに分割し、それぞれ
のブロックが動きベクトルだけ位置のずれた参照画像中
の同じ大きさのブロックで表す。参照画像から構成され
た画像は予測画像と呼ばれる。参照画像は、符号化しよ
うとする画像より時間的に過去の画像（前方予測）か未
来の画像（後方予測）か、もしくは両者の合成画像であ
る。

【００１３】動き補償だけでは品質の良い符号化ができ
ないため、空間方向の冗長度を削減する直行変換（フー
リエ変換、ＤＣＴ（離散コサイン変換）など）も併せて
用いられることが多い。動き補償との併用は、予測画像
と符号化しようとしている画像との差分画像に直行変換
を施すという形で行われる。符号化効率が上がらない場
合には、動き補償を用いず、そのまま直行変換を施すこ
とがあり、通常このような判断はブロックごとに行われ
る。以上のような動き補償と直行変換のハイブリッド符
号化では、どの画像が参照画像か、また、動き補償を使
っているかどうかなどの情報を表す予測モードデータ、
動きベクトルデータ、直行変換の係数などのデータが符
号化されて圧縮画像データとなる。それぞれのデータは
出現頻度を考慮して可変長符号化すると圧縮効率が上が
る。

【００１４】図１は本発明の一実施例を表すブロック図
である。この図の構成を持つ動画像処理方法では、動き
補償ＤＣＴ符号化により圧縮符号化された動画像データ
を復号して表示する機能、および、圧縮された動画像デ
ータからシーンチェンジを検出してシーンチェンジの表
示、もしくは記録を行う機能を備える。まず、それぞれ
のブロックの働きを説明することにする。図１と図５を
参照して説明する。

【００１５】可変長符号復号手段１０１は、圧縮された
動画像データ中の可変長符号を復号する。可変長符号は
データの内容により複数の種類のものが用いられるのが
普通であり、可変長符号復号手段１０１は、データの順
番やそれまでに復号したデータからどの種類の符号が用
いられているかを判断し、復号する。このとき、後にシ
ーンチェンジを判定するため、必要に応じてデータの種
類ごとに復号前の符号量をカウントする。ここでいうデ
ータの種類とは、具体的にはＤＣＴ係数、動きベクトル
データ、予測モードデータなどである。参照・符号化画
像間特徴量計算手段１０２は、復号しようとしている画
像と、その画像を符号化する際の動き補償の参照画像と
の間の相関を表す特徴量を求める。これは、復号対象の
画像データ中のデータの種類ごとに計数された符号量を
基に計算される。

【００１６】動きベクトル復号手段１０３について述べ
る。動きベクトルは隣接したブロック間で類似したベク
トルになることが多いため、可変長符号化の際には圧縮
効率向上のために隣接したブロックの動きベクトルとの
差分ベクトルが符号化されることがある。このとき動き
ベクトル復号手段１０３は、先に復号された動きベクト
ルを動きベクトル記憶手段１０４に記憶しておき、可変
長符号復号手段１０１の出力である差分動きベクトルと
併せて動きベクトルが復元される。

【００１７】逆量子化手段１０５は、圧縮符号化の際に
量子化されたＤＣＴ係数を、用いられた量子化スケール
に応じて逆量子化する。参照・符号化画像間特徴量記憶
手段１０６は、参照・符号化画像間特徴量計算手段１０
２で計算された過去の参照・符号化画像間特徴量を記憶
しておく。シーンチェンジ判定手段１０７は、参照・符
号化画像間特徴量計算手段１０２の出力である参照・符
号化画像間特徴量と参照・符号化画像間特徴量記憶手段
１０６に記憶してある過去の参照・符号化画像間特徴量
とから、任意のフレーム間にシーンチェンジがあったか
どうかを判定する。また、シーンチェンジデータを記憶
する必要のあるときにはシーンチェンジデータ記憶手段
１０８に記憶される。

【００１８】逆ＤＣＴ手段１０９は、ＤＣＴ係数からも
とのデータである画素値を復元する。予測画像生成手段
１１０は、動きベクトル復号手段１０３からの動きベク
トルデータ、可変長符号復号手段１０１からの予測モー
ドデータ、そしてすでに復号が終了している参照画像と
から予測画像を復元する。画像合成手段１１２は、予測
画像生成手段１１０の出力である予測画像と逆ＤＣＴ手
段１０９から出力された差分画像とを合成する。動き補
償が用いられていない場合には、画像合成手段１１２
は、逆ＤＣＴ手段１０９の出力画像だけからなる画像を
生成する。

【００１９】表示手段１１３は、画像合成手段１１２の
出力画像を表示する。また、必要に応じてシーンチェン
ジが生じたことを示す情報を表示する。次にシーンチェ
ンジを検出する処理について説明する。参照・符号化画
像間特徴量計算手段１０２には、現在復号しようとして
いる画像の符号量がデータ別に可変長符号復号手段１０
１から入力される。復号しようとしている画像が動き補
償を用いて符号化が行われている場合には、データ別の
符号量は復号中の画像と参照画像との相関を反映したも
のとなる。例えば、両画像が大変よく似通っている場合
には、予測画像が精度良く構成されるため、差分画像は
ほとんど情報量がなくなる。従って、ＤＣＴ成分に費や
される符号量は少なくなる。また、画像中のほとんどの
ブロックが動き補償を用いて符号化されるため、ブロッ
クのデータ中にはほとんど必ず動きベクトルデータが含
まれる。さらに、時間当たりに割り当てられた画像全体
の符号量に余裕ができるため、高い周波数成分まで符号
量が割り当てられ、品質の高い符号化が行われる。

【００２０】一方、復号中の画像と参照画像との間にシ
ーンチェンジがある場合には、両画像は全く異なった画
像となってしまうのがほとんどである。この場合には予
測画像は復号中の画像とかけ離れた画像となってしま
い、差分画像の符号化に多くの符号量が割り当てられる
こととなり、ＤＣＴ係数の符号量が多くなる。また、高
周波成分まで符号化することが難しくなり、粗い量子化
により低周波成分に偏ったＤＣＴ係数ばかりになる。さ
らに、動き補償による符号化では符号化効率が悪くな
り、動き補償を用いないでＤＣＴによる符号化だけが行
われ、結果として動きベクトルデータを含まないブロッ
クが多く存在する。これらの性質を利用し、シーンチェ
ンジを検出する。

【００２１】今、復号しようとしている画像のフレーム
番号をｉ、その参照画像のフレーム番号をｊとする。ど
のフレームが参照画像となっているかは、可変長符号復
号手段１０１から出力される予測モードデータから求め
ることができる。動き補償および直行変換のために画像
はブロックに分割されているが、１フレーム中のブロッ
クの数をＫとし、それぞれのブロックに番号ｋ（１≦ｋ
≦Ｋ）を割り振るものとする。参照・符号化画像間特徴
量計算手段１０２では、まず可変長符号復号手段１０１
から出力されるブロックｋのデータ中の種類別の符号量
から、フレーム画像ｉとその参照画像ｊとの間の参照・
符号化画像間ブロック特徴量Ｘｉ，ｊ，ｋを計算する。
Ｘｉ，ｊ，ｋは例えば動き補償を行った際の予測画像と
符号化対象の画像とのずれを反映するブロックごとのＤ
ＣＴ係数全体の符号量が用いられる。もしくは、ブロッ
クごとのＤＣＴ係数のＤＣ成分のみの符号量などとして
もよい。また、後にＸｉ，ｊ，ｋとして動きベクトルデ
ータの符号量を利用した場合を第三の実施例として説明
する。参照・符号化画像間特徴量計算手段１０２ではブ
ロックごとの特徴量Ｘｉ，ｊ，ｋを平均化し、参照・符
号化画像間特徴量Ｙｉ，ｊを計算する。すなわち

【００２２】

【数１】 により求められる。ブロックｋが同時に別のフレーム
ｊ’を参照画像としている場合には、Ｘｉ，ｊ’，ｋも
算出し、Ｙｉ，ｊ’を計算する。シーンチェンジ判定手
段１０７では、まず参照・符号化間画像特徴量から任意
の２フレーム間の相関を表す特徴量Ｚｉ，ｊを算出す
る。Ｚｉ，ｊはフレームｉとフレームｊとの間にシーン
チェンジがあったかどうかを判定するのに使うため、通
常は連続する２フレーム間の画像特徴量を用いる。Ｙか
ら任意の２フレーム間の特徴量Ｚｉ，ｉ＋１への変換法
は、例えば、以下の方法で行われる。フレームｉが後方
予測を行うことが許されているフレームで、フレームｉ
＋１が前方予測を行うことが許されているフレームであ
るときには、

【００２３】

【数２】 として特徴量を求める。ここで、ｌ、ｌ’はそれぞれフ
レームｉの後方予測の参照画像、フレームｉ＋１の前方
予測の参照画像のフレーム番号である。図３は画像間の
予測構造の例を示したものである。３０１はフレームｍ
を参照画像としてフレームｍ＋１が符号化されているこ
とを示している。また、３０４はフレームｍ＋１がフレ
ームｍ＋３を参照画像としていることを示している。Ｚ
ｍ＋１，ｍ＋２を求める際には、フレームｍ＋１が後方
予測可能、フレームｍ＋２が前方予測可能であるので、
この方法が使われる。このように、任意の２フレーム間
の画像特徴量を計算するには複数のＹが必要となる。そ
のため、必要なＹが全て参照・符号化画像間特徴量計算
手段１０２から出力されるまで、過去のＹは参照・符号
化画像間特徴量記憶手段１０６に記憶されている。次
に、フレームｉが後方予測を行うことが許されておら
ず、フレームｉ＋１が前方予測を許されている場合に
は、

【００２４】

【数３】 とする。図３ではフレームｍの後方予測が許されていな
いので、Ｚｍ，ｍ＋１を求めるときがこの場合に相当す
る。

【００２５】以上の方法で計算されたＺｉ，ｉ＋１はフ
レームｉと前方フレームとの相関、およびフレームｉ＋
１と後方フレームとの相関を平均化したものであるた
め、フレームｉとｉ＋１との間の相関を示す特徴量とし
て取り扱うことができる。ＹからＺｉ，ｉ＋１の算出方
法としては、より広い範囲で平均化する方法もあり、こ
れは実施例４で説明する。

【００２６】次に、シーンチェンジ判定手段１０７では
特徴量Ｚとしきい値との比較によりシーンチェンジが生
じているかどうかを判定する。このときの最も簡単な方
法は、Ｚｉ，ｉ＋１が固定しきい値Ｔを下回ったとき、
もしくは上回ったときにフレームｉとフレームｉ＋１と
の間にシーンチェンジがあったと判定するものである。
この方法は、検出精度を向上させるために改良すること
ができる。

【００２７】例えば、Ｚにフィルタリングを施すことに
より、ノイズの影響を低減し、検出性能の向上が見込め
る。このフィルタリングには、例えばメジアンフィル
タ、微分フィルタなどを用いる。さらに、しきい値も固
定ではなく動的に制御することも有効である。例えば、
暗いシーンなど、画像全体の輝度のばらつきが小さい場
合には、画像特徴量Ｚの変化は小さくなる傾向にあるこ
とから、画像の輝度値によりしきい値を制御することに
より、検出能力を向上させることができる。また、変化
の激しい画像ではＺの時間方向のばらつきが大きくなる
ため、Ｚの標準偏差によりしきい値を変化させることも
有効である。

【００２８】以上の処理によりシーンチェンジがあった
と判定されると、シーンチェンジがあった旨の情報が必
要に応じてシーンチェンジデータ記憶手段１０８に記憶
される。もしくは、表示手段１１３にシーンチェンジが
あった旨の表示を行う。シーンチェンジデータは、動画
像の編集や表示の際に利用される。すなわち、動画像の
編集をシーンチェンジにより区切られるショットごとに
行うことにより操作性を向上させたり、動画像の内容を
一覧する際に、ショットから一つの代表フレームを選ん
で表示させることにより一覧性を向上させるために利用
される。

【００２９】なお、図１で説明される構成は必ずしもハ
ードウェアにより構成される必要はない。計算機とソフ
トウェアにより全く同一の処理を行う動画像処理方法を
構成してもかまわない。

【００３０】次に、図２を用いて第２の実施例を説明す
る。図２により構成される動画像処理方法では、動き補
償ＤＣＴ符号化により動画像を圧縮する機能、および、
圧縮時に動画像データからシーンチェンジを検出してシ
ーンチェンジデータを出力する機能を持つ。それぞれの
ブロックの働きを以下で説明することにする。

【００３１】動き検出手段２０１は、動き補償に使われ
る動きベクトルを検出する。動き検出手段２０１は、符
号化対象の画像中のブロックと、参照画像中の同じ大き
さのブロックとを比較し、評価値を計算する。評価値は
符号化効率を反映したものが用いられ、簡単なものとし
てはピクセルごとの輝度値の絶対値差分の総和が使われ
る。動きベクトルとしては、評価値を最小にする参照画
像内のブロックと符号化対象画像のブロックとの位置の
ずれが採用される。動き検出手段２０１ではこのような
動きベクトルの探索を符号化対象画像内の全てのブロッ
クについて、また、全ての参照画像について探索する。

【００３２】差分画像生成手段２０２は、予測画像生成
手段２０３で生成される予測画像と符号化対象となって
いる画像との差分画像を生成する。動き補償を用いた符
号化が行われない画像については、原画像がそのまま差
分画像となる。ＤＣＴ手段２０５では差分画像生成手段
２０２から出力された差分画像に対しＤＣＴ変換を施
し、ＤＣＴ係数を計算する。量子化手段２０８では符号
化レートやそれまでの画像の符号量を考慮して量子化ス
ケールを決定し、それに基づいてＤＣＴ係数を量子化す
る。

【００３３】逆量子化手段２１０は、量子化手段２０８
により量子化されたＤＣＴ係数を逆量子化する。さらに
逆ＤＣＴ手段２１１によりＤＣＴ係数は差分画像の画素
値に復号される。予測画像生成手段２０３は、すでに復
号されて画像記憶手段２０６に記憶されている画像と動
き検出手段２０１により検出された動きベクトルとから
動き補償を用いて予測画像を構成する。構成された予測
画像は逆量子化手段２１０から出力される差分画像と画
像合成手段２０９で合成され、画像記憶手段２０６に記
憶される。ここで、逆量子化手段２１０、逆ＤＣＴ手段
２１１、画像合成手段２０９、画像記憶手段２０６によ
り変換、合成、記憶される画像は全ての画像というわけ
ではなく、参照画像として使われる画像だけでよい。

【００３４】予測モード判定手段２０４は圧縮符号化の
際に、動き補償を用いた予測モードを用いるか用いない
か、また、用いるならばどういった予測モードが効率が
よいかを判定する。判定された予測モードデータや動き
ベクトルデータは可変長符号化手段２１４により可変長
符号化される。同様に可変長符号化手段２１４では量子
化手段２０８の出力である量子化されたＤＣＴ係数も可
変長符号化し、適切な順序で出力することにより、符号
化データを生成する。

【００３５】参照・符号化画像間特徴量計算手段２０７
は図１における参照・符号化画像間特徴量計算手段１０
２と同一の働きをするものである。同様に、参照・符号
化画像間特徴量記憶手段２１２と参照・符号化画像間特
徴量記憶手段１０６、シーンチェンジ判定手段２１３と
シーンチェンジ判定手段１０７も同一の動作を行うもの
である。可変長符号化手段２１４から出力された予測モ
ード及び種類別にカウントされた符号量を基に、参照・
符号化画像間特徴量計算手段２０７、参照・符号化画像
間特徴量記憶手段２１２、シーンチェンジ判定手段２１
３で第一の実施例と同一の処理が行われ、シーンチェン
ジがあるときにはシーンチェンジ判定手段２１３からシ
ーンチェンジデータが出力される。

【００３６】次に第三の実施例として参照・符号化画像
間ブロック特徴量Ｘの算出に動きベクトル符号量を利用
した場合について詳細に説明する。図４は本実施例の処
理の手順を説明した流れ図である。

【００３７】第一の実施例で説明したとおり、動きベク
トルは符号化効率を上げるため、隣接したブロックの動
きベクトルとの差分ベクトルを可変長符号により圧縮す
ることがある。この可変長符号化では、出現確率を考慮
し、小さな差分ベクトルに少ない符号量を割り当てるよ
うに決められる。このような場合について考えると、動
きベクトルが揃っている場合には動きベクトルの符号量
は少なくなり、逆に動きベクトルがばらついているとき
にはその符号量は多くなる傾向がある。

【００３８】連続したカメラショットで撮影された画像
間で動き補償が行われる場合には、二つの画像の間に対
応関係が存在するため、揃った動きベクトルが検出され
ることが多い。一方、シーンチェンジを挟んだ画像間で
動き補償が行われると、画像間に対応関係が存在しない
ため、動き補償が使われずに符号化が行われるため動き
ベクトルが符号化されないか、動き補償が使われても動
きベクトルのばらつきは大きくなり、その符号量は多く
なる。従って、フレームｉの参照フレームをｊとし、ブ
ロックｋに含まれる動きベクトルの符号量をＬｉ，ｊ，
ｋ、参照・符号化画像間ブロック特徴量をＸｉ，ｊ，ｋ
としたとき、

【００３９】

【数４】 と計算し、Ｚがあるしきい値を上回るときにシーンチェ
ンジありと判定することにより、ベクトルのばらつきと
動き補償の有無の両方の性質を加味した正確な判定が可
能になる。ここで、Ｃは定数で、動きベクトルの符号量
の最大値以上の値に設定するのが望ましい。ここでのＣ
の役割は、動き補償が用いられていないときのペナルテ
ィを動きベクトルのばらつきの尺度に対応させることで
ある。

【００４０】また、別のＸの計算方法として、動きベク
トルの符号量の逆数、１／Ｌｉ，ｊ，ｋを使ってもよ
い。先ほどと同様の理由により動きベクトルのばらつき
が小さいときには動きベクトルの符号量の逆数は大な値
となり、逆にばらつきが大きいと小さな値となる。動き
補償が用いられていない場合には、Ｌｉ，ｊ，ｋ＝∞と
して符号量の逆数に０を割り当てる。すなわち、

【００４１】

【数５】 とする。そして、シーンチェンジ判定手段１０７やシー
ンチェンジ判定手段２１３ではＺがしきい値を下回った
ときにシーンチェンジありと判定する。

【００４２】以上では、動きベクトルの符号量の逆数を
使ったが、それ以外の符号量の単調減少関数を使っても
シーンチェンジの検出を行うことができる。次に、第四
の実施例として参照・符号化画像間特徴量Ｙから任意の
画像間の特徴量Ｚを計算する際の、第一の実施例とは別
の方法について説明する。第一の実施例では、連続する
フレームｉとフレームｉ＋１との間の画像特徴量Ｚｉ，
ｉ＋１を計算する際に、二つ、もしくは一つのＹを使っ
ていた。しかし、この場合の問題点として、参照画像と
被参照画像が時間的に近い場合には動き補償による符号
化が効率よく行えるのに対し、時間的に離れた画像間で
は動き補償による符号化は効率があまりよくないといっ
たようにＹの間にばらつきが生じてしまうことがある。
さらに、各フレームに許された予測モード（例えば、前
方予想だけを許す、前方と後方予測の両方を許すといっ
たモード）の構造により、Ｚがばらついてしまうという
問題もある。本実施例ではこの点を改善する方法につい
て説明する。

【００４３】図３からわかるとおり、連続するフレーム
ｍとフレームｍ＋１をまたがった動き補償は３０１、３
０２、３０３の三通り許されている。従って、これらの
三つの参照関係から計算されるＹを平均化することによ
ってＹのばらつきも平均化し、その結果Ｚｍ，ｍ＋１を
安定に求めることができる。すなわち、

【００４４】

【数６】 により計算する。また、連続したフレームｍ＋１とｍ＋
２の間では３０２、３０３、３０４のやはり三通りの動
き補償が許されている。従って、

【００４５】

【数７】 により安定したＺを求めることができる。結局、Ｚｉ，
ｉ＋１を計算する際に、フレームｉとｉ＋１の間をまた
がった動き補償について求めたＹの集合をＹ（ｉ，ｉ＋
１）、Ｙ（ｉ，ｉ＋１）Ｙ（ｉ，ｉ＋１）その数を｜Ｙ
（ｉ，ｉ＋１）｜と表記すると、

【００４６】

【数８】 とする。

【００４７】なお、本願発明の実施例の手順のプログラ
ムを、予めＦＤやＣＤ−ＲＯＭ等の記録媒体に記録し、
この記憶媒体から処理を行うワークステーション，パソ
コン等の機器に本願発明のプログラムを読み込み、実施
してもよい。例えば、図６に示したフローチャートをプ
ログラム化した例が考えられる。

【００４８】

【発明の効果】以上、説明したように、本発明の動画像
処理方法においては、動き補償を用いて圧縮された動画
像データからフレームごとにデータ種類別の符号量をカ
ウントして、これに所定の演算を施してシーンチェンジ
の検出を行えるので、動画像データを復号することがな
くため、高速で処理が行える。

【００４９】また、本発明の動画像処理方法では、動き
補償で用いられる動きベクトルの符号量をフレームご
と、予測モードごとにカウントしてシーンチェンジ検出
に利用しているため、動きベクトルを周囲の動きベクト
ルとの差分ベクトルとして可変長符号化している場合に
は、シーンチェンジ検出の際にフレーム内の動きベクト
ルのばらつきを考慮した検出が可能となり、その結果、
動きの激しいシーンや同じような色合いの続くシーンに
おいても正確な検出が可能になる。

【００５０】さらに、本発明の動画像処理方法では、利
用可能な予測モードがフレームごとに異なっているとい
う条件の下でも、フレームごとの特徴量を平均化するこ
とにより条件の違いを分散させることができるため、動
画像全体にわたって正確なシーンチェンジ検出が可能に
なる。

【図面の簡単な説明】

【図１】 本発明の第一の実施例の一構成例を表すブロ
ック図である。

【図２】 本発明の第二の実施例の一構成例を表すブロ
ック図である。

【図３】 フレームと利用可能な予測モードの関係の説
明図。

【図４】 本発明の第四の実施例における処理手順の説
明図。

【図５】 本発明の第一の実施例の処理の流れを表すフ
ローチャートである。

【図６】 本発明の第四の実施例の処理の流れを表すフ
ローチャートである。

【符号の説明】

１０１・・・可変長符号復号手段 １０２・・・参照・符号化画像間特徴量計算手段 １０３・・・動きベクトル復号手段 １０４・・・動きベクトル記憶手段 １０５・・・逆量子化手段 １０６・・・参照・符号化画像間特徴量記憶手段 １０７・・・シーンチェンジ判定手段 １０８・・・シーンチェンジデータ記憶手段 １０９・・・逆ＤＣＴ手段 １１０・・・予測画像生成手段 １１１・・・画像記憶手段 １１２・・・画像合成手段 １１３・・・表示手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】動き補償を用いて圧縮されてなる動画像デ
   ータの各フレームの種類別の符号量を求め、 求めた前記符号量に所定の演算を施し、任意のフレーム
   間の相関値を算出し、 算出した前記相関値と所定のしきい値とを比較し、 比較した前記相関値のうち前記動画像データのシーンの
   変更点となる相関値を有する動画像データのフレーム間
   の位置を求めることを特徴とする動画像処理方法。
2. 【請求項２】動き補償を用いて動画像を圧縮する際に、
   圧縮された各フレームの種類別の符号量を求め、 求めた前記符号量に所定の演算を施し、任意のフレーム
   間の相関値を算出し、 算出した前記相関値と所定のしきい値とを比較し、 比較した前記相関値のうち前記動画像データのシーンの
   変更点となる相関値を有する動画像データのフレーム間
   の位置を求めることを特徴とする動画像処理方法。
3. 【請求項３】前記フレームの種類別の符号量として、動
   きベクトルデータの符号量を計数することによって、前
   記動画像データのシーンの変更点となる相関値を有する
   動画像データのフレーム間の位置を求めることを特徴と
   する請求項１または請求項２記載の動画像処理方法。
4. 【請求項４】前記フレーム間の相関値を算出する際に、
   フレームをまたいだ動き補償を行って圧縮符号化されて
   いる一部の、または全てのフレームの種類別の符号量に
   所定の演算を施すことを特徴とする請求項１または請求
   項２記載の動画像処理方法。