JP3333956B2 - カット点検出方法および装置 - Google Patents
カット点検出方法および装置Info
- Publication number
- JP3333956B2 JP3333956B2 JP13861396A JP13861396A JP3333956B2 JP 3333956 B2 JP3333956 B2 JP 3333956B2 JP 13861396 A JP13861396 A JP 13861396A JP 13861396 A JP13861396 A JP 13861396A JP 3333956 B2 JP3333956 B2 JP 3333956B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- cut point
- prediction
- change amount
- motion prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、圧縮符号化映像デ
ータからカット点を検出する方法および装置に関する。
ータからカット点を検出する方法および装置に関する。
【０００２】
【従来の技術】映像データはデータ量が膨大であり、そ
の内容を知るためには映像を時間順に全て見ていくしか
なかった。映像がある基準に基づいて分割されていれ
ば、映像を飛ばし見したり、内容を大雑把に把握するた
めに役立つ。
の内容を知るためには映像を時間順に全て見ていくしか
なかった。映像がある基準に基づいて分割されていれ
ば、映像を飛ばし見したり、内容を大雑把に把握するた
めに役立つ。
【０００３】映像を時間順に見ていったとき、ショット
の切り替わった時点をカット点と呼ぶ。カット点前後で
は画像の内容が急激に変化するので、「時間順に隣り合
う画像間の差を計算し、差が大きいところをカット点と
みなす」という方法で、カット点を検出することができ
る。この方法の例として、例えば、連続する画像フレー
ムの位置（ｘ，ｙ）の輝度、色等の物理量が変化した画
素数から連続するフレームの変化を算出し、カット点を
検出する「動画のカット自動分割方法」（特開平５−３
７８５３）等があげられる。画像の内容が急激に変化す
る一般的なカット点を安定に検出し、フレーム単位のシ
ーンチェンジだけでなく、フラッシュ等のノイズを誤っ
てカット点として検出することを防ぐことが課題であっ
た。フラッシュが発生すると、２フレームに渡って高い
変化量が示される。その変化量の値はほとんど一致して
いる。そこで、連続する２フレームに渡って変化量が高
い値を示した場合は、フラッシュであると判定し、カッ
ト点として検出しない等の処理を行う「突出検出フィル
タを用いた映像カット点検出法」（大辻、外村、信学論
（Ｄ−II），Ｊ７７−Ｄ−II，３，ｐｐ．５１９・５２
８）等の方法が提案されている。しかしながら、これら
のカット点検出方法は、アナログ映像信号をデジタル化
した非圧縮映像データを対象としたものであった。
の切り替わった時点をカット点と呼ぶ。カット点前後で
は画像の内容が急激に変化するので、「時間順に隣り合
う画像間の差を計算し、差が大きいところをカット点と
みなす」という方法で、カット点を検出することができ
る。この方法の例として、例えば、連続する画像フレー
ムの位置（ｘ，ｙ）の輝度、色等の物理量が変化した画
素数から連続するフレームの変化を算出し、カット点を
検出する「動画のカット自動分割方法」（特開平５−３
７８５３）等があげられる。画像の内容が急激に変化す
る一般的なカット点を安定に検出し、フレーム単位のシ
ーンチェンジだけでなく、フラッシュ等のノイズを誤っ
てカット点として検出することを防ぐことが課題であっ
た。フラッシュが発生すると、２フレームに渡って高い
変化量が示される。その変化量の値はほとんど一致して
いる。そこで、連続する２フレームに渡って変化量が高
い値を示した場合は、フラッシュであると判定し、カッ
ト点として検出しない等の処理を行う「突出検出フィル
タを用いた映像カット点検出法」（大辻、外村、信学論
（Ｄ−II），Ｊ７７−Ｄ−II，３，ｐｐ．５１９・５２
８）等の方法が提案されている。しかしながら、これら
のカット点検出方法は、アナログ映像信号をデジタル化
した非圧縮映像データを対象としたものであった。
【０００４】ＭＰＥＧ方式を始めとする圧縮符号化映像
からカット点を検出するために、データを一度復号して
非圧縮ディジタル映像を復元し、従来技術を用いてカッ
ト点を検出することは可能である。しかし、復号処理は
計算時間のかかる処理である。そこで、復号処理を行わ
ずに、ＭＰＥＧ映像からカット点を検出する「動画像管
理装置」（特開平４−２０７８７６）等が提案されてい
る。これは、Ｐピクチャ中のブロック内符号化ブロック
の個数を利用してカット点を検出する技術である。カッ
ト点が存在すると画面間予測が外れるので、ブロック内
符号化ブロックの個数が急増するという性質を利用して
いる。オリジナルの映像に含まれるカメラの動きや被写
体の動きは、予測時の類似領域の位置のずれである動き
ベクトルとして記録され、カメラや被写体の動きがあっ
ても予測が外れることは少ない。したがって、ブロック
内符号化ブロックを基に算出した変化量は、カメラの動
きや被写体の動きが反映しないため、カメラや被写体の
動きを誤ってカット点として検出することが少ない。
からカット点を検出するために、データを一度復号して
非圧縮ディジタル映像を復元し、従来技術を用いてカッ
ト点を検出することは可能である。しかし、復号処理は
計算時間のかかる処理である。そこで、復号処理を行わ
ずに、ＭＰＥＧ映像からカット点を検出する「動画像管
理装置」（特開平４−２０７８７６）等が提案されてい
る。これは、Ｐピクチャ中のブロック内符号化ブロック
の個数を利用してカット点を検出する技術である。カッ
ト点が存在すると画面間予測が外れるので、ブロック内
符号化ブロックの個数が急増するという性質を利用して
いる。オリジナルの映像に含まれるカメラの動きや被写
体の動きは、予測時の類似領域の位置のずれである動き
ベクトルとして記録され、カメラや被写体の動きがあっ
ても予測が外れることは少ない。したがって、ブロック
内符号化ブロックを基に算出した変化量は、カメラの動
きや被写体の動きが反映しないため、カメラや被写体の
動きを誤ってカット点として検出することが少ない。
【０００５】しかし、フラッシュがたかれた場合、フレ
ーム間予測を行っている符号化映像では、２フレームに
渡ってほぼ対応する位置に動き予測が外れ、ブロック内
符号化ブロックが出現し、その個数が急増するが、各フ
レームのそれぞれの個数は一致していない。個数が一致
していないので、フラッシュの影響を除去するため、従
来方法の突出検出フィルタを応用しても、有効ではな
く、フラッシュの影響を完全に除去することができな
い。これは、フラッシュがたかれたときに発生する物体
の影領域が関係している。
ーム間予測を行っている符号化映像では、２フレームに
渡ってほぼ対応する位置に動き予測が外れ、ブロック内
符号化ブロックが出現し、その個数が急増するが、各フ
レームのそれぞれの個数は一致していない。個数が一致
していないので、フラッシュの影響を除去するため、従
来方法の突出検出フィルタを応用しても、有効ではな
く、フラッシュの影響を完全に除去することができな
い。これは、フラッシュがたかれたときに発生する物体
の影領域が関係している。
【０００６】これを図８によって説明する。図８（１）
は原画像列を示している。２番目のフレームではフラッ
シュが被写体にたかれたために、被写体の明度は急激に
上昇するが、被写体による影の部分４０も発生する。図
８（２）は図８（１）の原画像列上のブロック内符号化
ブロックを示している。被写体にフラッシュがたかれた
フレームでは、明度が急激に上昇した領域は、動き予測
が外れブロック内符号化ブロックとなるが、影の部分４
０は、フラッシュがたかれる以前と変化がないため、予
測が当たったブロック（フレーム間予測符号化ブロッ
ク）４１となる。フラッシュがたかれたフレームの次の
フレーム（３番目のフレーム）では、全体の明度が元に
戻り急激に下がるため、フラッシュがたかれたフレーム
で予測が外れた領域のほとんどは再度予測が外れ、ブロ
ック内符号化ブロックとして符号化される。ブロック内
符号化ブロックが出現する位置は、フラッシュがたかれ
たフレームと次のフレーム上でほぼ一致しており、連続
するフレームの対応する位置にブロック内符号化ブロッ
クが出現している。しかし、被写体の影４０となってい
た部分の周辺の領域は、影の領域とほぼ明度が変らない
ため、影領域からの予測が当たり、ブロック間予測符号
化ブロック４２となる。すなわち、影領域の周辺領域
は、２フレームの対応する位置に異なる種類のブロック
が出現し、フラッシュがたかれたフレームの直後のフレ
ームにおけるブロック内符号化ブロックの個数は、フラ
ッシュがたかれたフレームよりも少なくなり、図８
（３）に示すように、被写体の影４０となっていた部分
の周辺の領域がフラッシュによる誤差４５として残る。
実際には、図８に示す例よりも画像の内容が複雑であ
り、多くの領域で影が発生する。ブロック内符号化ブロ
ックの個数を一致させ、ノイズを除去し、カット点を強
調する突出検出フィルタ等の従来方法が動作するように
する処理が必要となる。
は原画像列を示している。２番目のフレームではフラッ
シュが被写体にたかれたために、被写体の明度は急激に
上昇するが、被写体による影の部分４０も発生する。図
８（２）は図８（１）の原画像列上のブロック内符号化
ブロックを示している。被写体にフラッシュがたかれた
フレームでは、明度が急激に上昇した領域は、動き予測
が外れブロック内符号化ブロックとなるが、影の部分４
０は、フラッシュがたかれる以前と変化がないため、予
測が当たったブロック（フレーム間予測符号化ブロッ
ク）４１となる。フラッシュがたかれたフレームの次の
フレーム（３番目のフレーム）では、全体の明度が元に
戻り急激に下がるため、フラッシュがたかれたフレーム
で予測が外れた領域のほとんどは再度予測が外れ、ブロ
ック内符号化ブロックとして符号化される。ブロック内
符号化ブロックが出現する位置は、フラッシュがたかれ
たフレームと次のフレーム上でほぼ一致しており、連続
するフレームの対応する位置にブロック内符号化ブロッ
クが出現している。しかし、被写体の影４０となってい
た部分の周辺の領域は、影の領域とほぼ明度が変らない
ため、影領域からの予測が当たり、ブロック間予測符号
化ブロック４２となる。すなわち、影領域の周辺領域
は、２フレームの対応する位置に異なる種類のブロック
が出現し、フラッシュがたかれたフレームの直後のフレ
ームにおけるブロック内符号化ブロックの個数は、フラ
ッシュがたかれたフレームよりも少なくなり、図８
（３）に示すように、被写体の影４０となっていた部分
の周辺の領域がフラッシュによる誤差４５として残る。
実際には、図８に示す例よりも画像の内容が複雑であ
り、多くの領域で影が発生する。ブロック内符号化ブロ
ックの個数を一致させ、ノイズを除去し、カット点を強
調する突出検出フィルタ等の従来方法が動作するように
する処理が必要となる。
【０００７】
【発明が解決しようとする課題】上述した従来技術は、
フレームまたはフィールド間予測符号化が外れた領域を
変化量として算出する際に、フラッシュの影響を除去で
きずカット点として誤って検出してしまうという問題点
がある。
フレームまたはフィールド間予測符号化が外れた領域を
変化量として算出する際に、フラッシュの影響を除去で
きずカット点として誤って検出してしまうという問題点
がある。
【０００８】本発明の目的は、前記した従来技術の問題
点を解決し、圧縮符号化映像から復号化処理を行わず高
速に、かつ、フラッシュ光をカット点として誤検出せ
ず、カット点のみを正確に検出するカット点検出方法お
よび装置を提供することにある。
点を解決し、圧縮符号化映像から復号化処理を行わず高
速に、かつ、フラッシュ光をカット点として誤検出せ
ず、カット点のみを正確に検出するカット点検出方法お
よび装置を提供することにある。
【０００９】
【課題を解決するための手段】本発明のカット点検出方
法は、フレーム間またはフィールド間予測符号化方式を
含む圧縮符号化方式によって圧縮された画像データ列か
ら変化量DP t を算出し、その変化量DP t を基にカット点を
検出するカット点検出方法であって、フレーム間または
フィールド間順方向予測符号化方式で圧縮された画像デ
ータ列Ｐt に含まれる符号化情報を基に、フレーム間ま
たはフィールド間予測を行った際に動き予測が当たらな
かった領域において、動き予測が当たった領域との境界
から、動き予測の影響が及ぶ範囲に含まれるブロックを
動き予測が当たったブロックに変更し、動き予測が当た
らなかった領域を縮小する空間演算を施し、その結果得
られた縮小領域Ｘ t （ｉ，ｊ）に動き予測が当たらなか
ったブロックが存在するとき、隣接する前後のＰピクチ
ャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，ｊ）の対応するブロッ
クが、両方とも動き予測が当たったブロックのときのみ
有効なブロック、他の場合は無効なブロックとし、有効
ブロック数の全画面に占める割合を画像列Ｐ t の変化量
ＤＰ t として算出するＰピクチャ変化量算出段階と、前
記Ｐピクチャ変化量算出段階によって算出された変化量
ＤＰt が所定の閾値を上回っているとき、カット点が存
在すると判定するカット点判定段階とを有する。本発明
の他のカット点検出方法は、フレーム間またはフィール
ド間予測符号化方式を含む圧縮符号化方式によって圧縮
された画像データ列から変化量DP t を算出し、その変化
量DP t を基にカット点を検出するカット点検出方法であ
って、フレーム間またはフィールド間順方向予測符号化
方式で圧縮された画像データ列Ｐt に含まれる符号化情
報を基に、フレーム間またはフィールド間予測を行った
際に動き予測が当たらなかった領域において、動き予測
が当たった領域との境界から、動き予測の影響が及ぶ範
囲に含まれるブロックを動き予測が当たったブロックに
変更し、動き予測が当たらなかった領域を縮小する空間
演算を施し、その結果得られた縮小領域Ｘ t （ｉ，ｊ）
中の動き予測が当たらなかったブロックの個数ＮＸ
t と、隣接する前後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ
t+1 （ｉ，ｊ）中の動き予測が当たらなかったブロック
の個数の大きい方ｍａｘ｛ＮＰ t-1 ，Ｎ Ｐ t+1 ｝との差分
ＤＮ t ＝ＮＸ t −ｍａｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝が１フレー
ムの全ブロック数に占める割合を画像データ列Ｐ t の変
化量ＤＰ t として算出するＰピクチャ変化量算出段階
と、前記Ｐピクチャ変化量算出段階によって算出された
変化量ＤＰt が所定の閾値を上回っているとき、カット
点が存在すると判定するカット点判定段階とを有する。
法は、フレーム間またはフィールド間予測符号化方式を
含む圧縮符号化方式によって圧縮された画像データ列か
ら変化量DP t を算出し、その変化量DP t を基にカット点を
検出するカット点検出方法であって、フレーム間または
フィールド間順方向予測符号化方式で圧縮された画像デ
ータ列Ｐt に含まれる符号化情報を基に、フレーム間ま
たはフィールド間予測を行った際に動き予測が当たらな
かった領域において、動き予測が当たった領域との境界
から、動き予測の影響が及ぶ範囲に含まれるブロックを
動き予測が当たったブロックに変更し、動き予測が当た
らなかった領域を縮小する空間演算を施し、その結果得
られた縮小領域Ｘ t （ｉ，ｊ）に動き予測が当たらなか
ったブロックが存在するとき、隣接する前後のＰピクチ
ャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，ｊ）の対応するブロッ
クが、両方とも動き予測が当たったブロックのときのみ
有効なブロック、他の場合は無効なブロックとし、有効
ブロック数の全画面に占める割合を画像列Ｐ t の変化量
ＤＰ t として算出するＰピクチャ変化量算出段階と、前
記Ｐピクチャ変化量算出段階によって算出された変化量
ＤＰt が所定の閾値を上回っているとき、カット点が存
在すると判定するカット点判定段階とを有する。本発明
の他のカット点検出方法は、フレーム間またはフィール
ド間予測符号化方式を含む圧縮符号化方式によって圧縮
された画像データ列から変化量DP t を算出し、その変化
量DP t を基にカット点を検出するカット点検出方法であ
って、フレーム間またはフィールド間順方向予測符号化
方式で圧縮された画像データ列Ｐt に含まれる符号化情
報を基に、フレーム間またはフィールド間予測を行った
際に動き予測が当たらなかった領域において、動き予測
が当たった領域との境界から、動き予測の影響が及ぶ範
囲に含まれるブロックを動き予測が当たったブロックに
変更し、動き予測が当たらなかった領域を縮小する空間
演算を施し、その結果得られた縮小領域Ｘ t （ｉ，ｊ）
中の動き予測が当たらなかったブロックの個数ＮＸ
t と、隣接する前後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ
t+1 （ｉ，ｊ）中の動き予測が当たらなかったブロック
の個数の大きい方ｍａｘ｛ＮＰ t-1 ，Ｎ Ｐ t+1 ｝との差分
ＤＮ t ＝ＮＸ t −ｍａｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝が１フレー
ムの全ブロック数に占める割合を画像データ列Ｐ t の変
化量ＤＰ t として算出するＰピクチャ変化量算出段階
と、前記Ｐピクチャ変化量算出段階によって算出された
変化量ＤＰt が所定の閾値を上回っているとき、カット
点が存在すると判定するカット点判定段階とを有する。
【００１０】本発明は、フレーム間またはフィールド間
予測符号化方式で圧縮された画像データ列に含まれる符
号化情報から、動き予測の外れた領域に対し、動き予測
が当たった領域との境界から動き予測の影響が及ぶ範囲
に応じた幅だけ領域を縮小し、画像列の変化量を算出
し、変化量が閾値よりも大きい値を示すとき、カット点
が存在しているとしている。変化量を算出する際には、
フラッシュ等のノイズを相殺し、カット点のみを強調す
るような演算方法によって変化量を算出する手法が望ま
しい。
予測符号化方式で圧縮された画像データ列に含まれる符
号化情報から、動き予測の外れた領域に対し、動き予測
が当たった領域との境界から動き予測の影響が及ぶ範囲
に応じた幅だけ領域を縮小し、画像列の変化量を算出
し、変化量が閾値よりも大きい値を示すとき、カット点
が存在しているとしている。変化量を算出する際には、
フラッシュ等のノイズを相殺し、カット点のみを強調す
るような演算方法によって変化量を算出する手法が望ま
しい。
【００１１】このように、従来の空間演算において悪影
響を及ぼしそうな領域を予め除去しておくことで、フラ
ッシュの影響を排除できる。
響を及ぼしそうな領域を予め除去しておくことで、フラ
ッシュの影響を排除できる。
【００１２】本発明の実施態様によれば、前記Ｐピクチ
ャ変化量算出段階は、入力された圧縮符号化画像データ
列を解析し、該圧縮符号化画像データ列に含まれる動き
ベクトルの値から、動き予測の影響が及ぶ範囲を推定す
る段階を含む。
ャ変化量算出段階は、入力された圧縮符号化画像データ
列を解析し、該圧縮符号化画像データ列に含まれる動き
ベクトルの値から、動き予測の影響が及ぶ範囲を推定す
る段階を含む。
【００１３】
【００１４】本発明のカット点検出装置は、フレーム間
またはフィールド間予測符号化方式を含む圧縮符号化方
式によって圧縮された画像データ列から変化量DP t を算
出し、その変化量DP t を基にカット点を検出するカット
点検出装置であって、フレーム間またはフィールド間順
方向予測符号化方式で圧縮された画像データ列Ｐt に含
まれる符号化情報を基に、フレーム間またはフィールド
間予測を行った際に動き予測が当たらなかった領域にお
いて、動き予測が当たった領域との境界から、動き予測
の影響が及ぶ範囲に含まれるブロックを動き予測が当た
ったブロックに変更し、動き予測が当たらなかった領域
を縮小する空間演算を施し、その結果得られた縮小領域
Ｘ t （ｉ，ｊ）に動き予測が当たらなかったブロックが
存在するとき、隣接する前後のＰピクチャＰ t-1 （ｉ，
ｊ）とＰ t+1 （ｉ，ｊ）の対応するブロックが、両方と
も動き予測が当たったブロックのときのみ有効なブロッ
ク、他の場合は無効なブロックとし、有効ブロック数の
全画面に占める割合を画像データ列Ｐ t の変化量ＤＰ t と
して算出するＰピクチャ変化量算出部と、前記Ｐピクチ
ャ変化量算出部によって算出された変化量ＤＰt が所定
の閾値を上回っているとき、カット点が存在すると判定
するカット点判定部とを有する。本発明の他のカット点
検出装置は、フレーム間またはフィールド間予測符号化
方式を含む圧縮符号化方式によって圧縮された画像デー
タ列から変化量ＤＰ t を算出し、その変化量ＤＰ t を基に
カット点を検出するカット点検出装置であって、フレー
ム間またはフィールド間順方向予測符号化方式で圧縮さ
れた画像データ列Ｐ t に含まれる符号化情報を基に、フ
レーム間またはフィールド間予測を行った際に動き予測
が当たらなかった領域において、動き予測が当たった領
域との境界から、動き予測の影響が及ぶ範囲に含まれる
ブロックを動き予測が当たったブロックに変更し、動き
予測が当たらなかった領域を縮小する空間演算を施し、
その結果得られた縮小領域Ｘ t （ｉ，ｊ）中の動き予測
が当たらなかったブロックの個数ＮＸ t と、隣接する前
後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，ｊ）中の
動き予測が当たらなかったブロックの個数の大きい方ｍ
ａｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝との差分ＤＮ t ＝ＮＸ t −ｍａ
ｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝が１フレームの全 ブロック数に
占める割合を画像データ列Ｐ t の変化量ＤＰ t として算出
するＰピクチャ変化量算出部と、 前記Ｐピクチャ変化量
算出部によって算出された変化量ＤＰ t が所定の閾値を
上回っているとき、カット点が存在すると判定するカッ
ト点判定部とを有する。
またはフィールド間予測符号化方式を含む圧縮符号化方
式によって圧縮された画像データ列から変化量DP t を算
出し、その変化量DP t を基にカット点を検出するカット
点検出装置であって、フレーム間またはフィールド間順
方向予測符号化方式で圧縮された画像データ列Ｐt に含
まれる符号化情報を基に、フレーム間またはフィールド
間予測を行った際に動き予測が当たらなかった領域にお
いて、動き予測が当たった領域との境界から、動き予測
の影響が及ぶ範囲に含まれるブロックを動き予測が当た
ったブロックに変更し、動き予測が当たらなかった領域
を縮小する空間演算を施し、その結果得られた縮小領域
Ｘ t （ｉ，ｊ）に動き予測が当たらなかったブロックが
存在するとき、隣接する前後のＰピクチャＰ t-1 （ｉ，
ｊ）とＰ t+1 （ｉ，ｊ）の対応するブロックが、両方と
も動き予測が当たったブロックのときのみ有効なブロッ
ク、他の場合は無効なブロックとし、有効ブロック数の
全画面に占める割合を画像データ列Ｐ t の変化量ＤＰ t と
して算出するＰピクチャ変化量算出部と、前記Ｐピクチ
ャ変化量算出部によって算出された変化量ＤＰt が所定
の閾値を上回っているとき、カット点が存在すると判定
するカット点判定部とを有する。本発明の他のカット点
検出装置は、フレーム間またはフィールド間予測符号化
方式を含む圧縮符号化方式によって圧縮された画像デー
タ列から変化量ＤＰ t を算出し、その変化量ＤＰ t を基に
カット点を検出するカット点検出装置であって、フレー
ム間またはフィールド間順方向予測符号化方式で圧縮さ
れた画像データ列Ｐ t に含まれる符号化情報を基に、フ
レーム間またはフィールド間予測を行った際に動き予測
が当たらなかった領域において、動き予測が当たった領
域との境界から、動き予測の影響が及ぶ範囲に含まれる
ブロックを動き予測が当たったブロックに変更し、動き
予測が当たらなかった領域を縮小する空間演算を施し、
その結果得られた縮小領域Ｘ t （ｉ，ｊ）中の動き予測
が当たらなかったブロックの個数ＮＸ t と、隣接する前
後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，ｊ）中の
動き予測が当たらなかったブロックの個数の大きい方ｍ
ａｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝との差分ＤＮ t ＝ＮＸ t −ｍａ
ｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝が１フレームの全 ブロック数に
占める割合を画像データ列Ｐ t の変化量ＤＰ t として算出
するＰピクチャ変化量算出部と、 前記Ｐピクチャ変化量
算出部によって算出された変化量ＤＰ t が所定の閾値を
上回っているとき、カット点が存在すると判定するカッ
ト点判定部とを有する。
【００１５】
【発明の実施の形態】次に、本発明の実施形態を図面を
参照して詳しく説明する。
参照して詳しく説明する。
【００１６】図１は本発明の一実施形態のカット点検出
方法の流れ図である。入力圧縮画像データ１からフレー
ム間順方向予測符号化画像列２を抽出する。フレーム間
順方向予測符号化画像列２をＰピクチャ変化量算出段階
３に入力する。ここで、フレーム内符号化領域４に注目
し、空間演算段階５で、その境界部分を動き予測時の探
索範囲分だけ縮小し、縮小領域６を、Ｐピクチャ変化量
算出段階３に返す。Ｐピクチャ変化量算出段階３では縮
小領域６を基にＰピクチャ変化量７を算出する。この時
点でフラッシュの影響は排除され、カット点のみ高い変
化量を示すようにする。そこで、これらの変化量の大小
を基にカット点が存在するかどうかの判定をカット点判
定段階８で行う。すなわち、順方向予測符号化画像列１
から一部の領域を縮小し、空間演算を行うことでフラッ
シュの影響を完全に除去し、フレーム間の変化量を算出
し、その変化量を評価することによってカット点を検出
している。
方法の流れ図である。入力圧縮画像データ１からフレー
ム間順方向予測符号化画像列２を抽出する。フレーム間
順方向予測符号化画像列２をＰピクチャ変化量算出段階
３に入力する。ここで、フレーム内符号化領域４に注目
し、空間演算段階５で、その境界部分を動き予測時の探
索範囲分だけ縮小し、縮小領域６を、Ｐピクチャ変化量
算出段階３に返す。Ｐピクチャ変化量算出段階３では縮
小領域６を基にＰピクチャ変化量７を算出する。この時
点でフラッシュの影響は排除され、カット点のみ高い変
化量を示すようにする。そこで、これらの変化量の大小
を基にカット点が存在するかどうかの判定をカット点判
定段階８で行う。すなわち、順方向予測符号化画像列１
から一部の領域を縮小し、空間演算を行うことでフラッ
シュの影響を完全に除去し、フレーム間の変化量を算出
し、その変化量を評価することによってカット点を検出
している。
【００１７】図２は本発明の一実施形態のカット点検出
装置の構成を示すブロック図である。このカット点検出
装置は、入力圧縮画像データ列１からカット点９を検出
する。本実施形態では、入力圧縮画像データ列１は、フ
レーム間またはフィールド間予測符号化方式によって圧
縮されたＰピクチャで構成された画像データ列｛Ｐ
t- 2 ，Ｐt-1 ，Ｐt ，Ｐt+1 ，Ｐt+2 ｝とする。Ｐピク
チャの構造および予測単位はフレーム構造、フレーム予
測とする。なお、入力圧縮画像データ列１は、ハードデ
ィスクやＣＤ−ＲＯＭ等の蓄積装置に保存されている画
像ファイルであったり、ネットワークに接続され、伝送
される画像ファイルであったりする。サイズ、サンプル
レートは任意であるが、フレーム間予測符号化方式を取
り入れてなければならない。例として、Ｈ．２６１やＭ
ＰＥＧ１，ＭＰＥＧ２等の形式がある。これらの圧縮符
号化方式では、フレームまたはフィールド内符号化画
像、フレームまたはフィールド間順方向予測符号化画
像、フレームまたはフィールド間双方向予測符号化画像
が出現するが、その出現頻度は任意で構わない。その構
造および予測方法は、どの構造を有していても構わな
い。入力圧縮画像データ列１を符号化情報解析部１０で
解析し、ピクチャデータ、先頭ピクチャからの通し番
号、ピクチャ種別、ブロック種別、各ブロックが動き予
測が当ったブロック（ｐブロック）であるか、動き予測
が外れたブロック（ｉブロック）であるか等を解析し、
数十フレームに渡ってデータをデータ列メモリ１２にそ
れらの情報を併せて格納する。データ列メモリ１２に
は、符号化データの全部ないし一部、画像の先頭ファイ
ルからのフレーム番号や、前処理によって得られる特徴
量等の補足情報以外に、外部の機器を用いて入手し、付
加される撮影時間、撮影場所等の外部情報や、利用者が
必要に応じて登録するユーザーデータである外部データ
１１を必要に応じて登録してもよい。
装置の構成を示すブロック図である。このカット点検出
装置は、入力圧縮画像データ列１からカット点９を検出
する。本実施形態では、入力圧縮画像データ列１は、フ
レーム間またはフィールド間予測符号化方式によって圧
縮されたＰピクチャで構成された画像データ列｛Ｐ
t- 2 ，Ｐt-1 ，Ｐt ，Ｐt+1 ，Ｐt+2 ｝とする。Ｐピク
チャの構造および予測単位はフレーム構造、フレーム予
測とする。なお、入力圧縮画像データ列１は、ハードデ
ィスクやＣＤ−ＲＯＭ等の蓄積装置に保存されている画
像ファイルであったり、ネットワークに接続され、伝送
される画像ファイルであったりする。サイズ、サンプル
レートは任意であるが、フレーム間予測符号化方式を取
り入れてなければならない。例として、Ｈ．２６１やＭ
ＰＥＧ１，ＭＰＥＧ２等の形式がある。これらの圧縮符
号化方式では、フレームまたはフィールド内符号化画
像、フレームまたはフィールド間順方向予測符号化画
像、フレームまたはフィールド間双方向予測符号化画像
が出現するが、その出現頻度は任意で構わない。その構
造および予測方法は、どの構造を有していても構わな
い。入力圧縮画像データ列１を符号化情報解析部１０で
解析し、ピクチャデータ、先頭ピクチャからの通し番
号、ピクチャ種別、ブロック種別、各ブロックが動き予
測が当ったブロック（ｐブロック）であるか、動き予測
が外れたブロック（ｉブロック）であるか等を解析し、
数十フレームに渡ってデータをデータ列メモリ１２にそ
れらの情報を併せて格納する。データ列メモリ１２に
は、符号化データの全部ないし一部、画像の先頭ファイ
ルからのフレーム番号や、前処理によって得られる特徴
量等の補足情報以外に、外部の機器を用いて入手し、付
加される撮影時間、撮影場所等の外部情報や、利用者が
必要に応じて登録するユーザーデータである外部データ
１１を必要に応じて登録してもよい。
【００１８】データ列メモリ１２から読み出された画像
列のうちＰピクチャ列２（Ｐt ）をＰピクチャ変化量算
出部１６に入力する。Ｐピクチャ変化量算出部１６か
ら、ブロック内符号化領域に対し、空間演算部１５に
て、ブロック内符号化領域とフレーム間符号化領域との
間の境界領域の一部を除去する。除去する際に、フレー
ム間符号化予測における影響範囲がどの程度の大きさな
のかを予め知っておく必要があるため、符号化情報を解
析し、動き予測が影響を及ぼす範囲を動きベクトル最大
値推定部１３によって推定し、動きベクトルの最大値１
４を空間演算部１５に入力し、空間演算部１５で、動き
ベクトルの最大値１４を参考にして縮小領域６を作成す
る。縮小領域６を基にＰピクチャ変化量算出部１６によ
ってＰピクチャ変化量７を算出する。算出されたＰピク
チャ変化量７を基にカット点判定部１７によって、変化
量の大小を基にカット点９を検出する。
列のうちＰピクチャ列２（Ｐt ）をＰピクチャ変化量算
出部１６に入力する。Ｐピクチャ変化量算出部１６か
ら、ブロック内符号化領域に対し、空間演算部１５に
て、ブロック内符号化領域とフレーム間符号化領域との
間の境界領域の一部を除去する。除去する際に、フレー
ム間符号化予測における影響範囲がどの程度の大きさな
のかを予め知っておく必要があるため、符号化情報を解
析し、動き予測が影響を及ぼす範囲を動きベクトル最大
値推定部１３によって推定し、動きベクトルの最大値１
４を空間演算部１５に入力し、空間演算部１５で、動き
ベクトルの最大値１４を参考にして縮小領域６を作成す
る。縮小領域６を基にＰピクチャ変化量算出部１６によ
ってＰピクチャ変化量７を算出する。算出されたＰピク
チャ変化量７を基にカット点判定部１７によって、変化
量の大小を基にカット点９を検出する。
【００１９】次に、動きベクトル最大値推定部１３、空
間演算部１５、Ｐピクチャ変化量算出部１６について順
次説明する。
間演算部１５、Ｐピクチャ変化量算出部１６について順
次説明する。
【００２０】動きベクトル最大値推定部１３では、符号
化情報に含まれる動きベクトルの最大値１４を検出す
る。動き予測が影響を及ぼす範囲とは、動きベクトルの
最大値１４と対応している。そこで、先頭の数フレーム
の符号化情報に含まれる動きベクトルから最大の値を示
すものを算出する。具体的な処理を図３のフローチャー
トに示す。Ｐピクチャ列２が入力される。フレームの先
頭から、処理を開始し、かつ動きベクトルの最大値Ｍａ
ｘＶｘ，ＭａｘＶｙを初期化しておく（ステップ２
０）。ついでｉ，ｊを初期化し（ステップ２１）、各Ｐ
ピクチャ毎にブロック（ｉ，ｊ）を調べていく。ステッ
プ２２で、ブロック（ｉ，ｊ）が予測の当たったブロッ
ク（ｐブロック）であれば、ブロックに含まれる動きベ
クトルの水平成分Ｖｘ（ｉ，ｊ）のサイズが、これまで
の動きベクトルの水平成分の最大値ＭａｘＶｘを上回る
かどうかを調べ（ステップ２３）、上回る場合は置き換
える（ステップ２４）。同様に、垂直成分Ｖｙ（ｉ，
ｊ）とこれまでの動きベクトルの垂直成分の最大値Ｍａ
ｘＶｙとを比較し、上回る場合は置き換える（ステップ
２５，２６）。ｉとｊの値をインクリメントし（ステッ
プ２８）、全てのブロックについて比較処理を終了した
ら（ステップ２７）、ｔの値をインクリメントして（ス
テップ３０）、次のフレームについて処理を行い、先頭
からＴフレームまでの全フレーム及び全ブロックについ
て処理を終えた時点（ステップ２９）で最終的な出力１
４（ＭａｘＶｘ，ＭａｘＶｙ）を得る。
化情報に含まれる動きベクトルの最大値１４を検出す
る。動き予測が影響を及ぼす範囲とは、動きベクトルの
最大値１４と対応している。そこで、先頭の数フレーム
の符号化情報に含まれる動きベクトルから最大の値を示
すものを算出する。具体的な処理を図３のフローチャー
トに示す。Ｐピクチャ列２が入力される。フレームの先
頭から、処理を開始し、かつ動きベクトルの最大値Ｍａ
ｘＶｘ，ＭａｘＶｙを初期化しておく（ステップ２
０）。ついでｉ，ｊを初期化し（ステップ２１）、各Ｐ
ピクチャ毎にブロック（ｉ，ｊ）を調べていく。ステッ
プ２２で、ブロック（ｉ，ｊ）が予測の当たったブロッ
ク（ｐブロック）であれば、ブロックに含まれる動きベ
クトルの水平成分Ｖｘ（ｉ，ｊ）のサイズが、これまで
の動きベクトルの水平成分の最大値ＭａｘＶｘを上回る
かどうかを調べ（ステップ２３）、上回る場合は置き換
える（ステップ２４）。同様に、垂直成分Ｖｙ（ｉ，
ｊ）とこれまでの動きベクトルの垂直成分の最大値Ｍａ
ｘＶｙとを比較し、上回る場合は置き換える（ステップ
２５，２６）。ｉとｊの値をインクリメントし（ステッ
プ２８）、全てのブロックについて比較処理を終了した
ら（ステップ２７）、ｔの値をインクリメントして（ス
テップ３０）、次のフレームについて処理を行い、先頭
からＴフレームまでの全フレーム及び全ブロックについ
て処理を終えた時点（ステップ２９）で最終的な出力１
４（ＭａｘＶｘ，ＭａｘＶｙ）を得る。
【００２１】本実施形態では、Ｔフレームを先頭のＰピ
クチャ１５フレームと仮定しているが、映像によっては
長くしてもよいし、もっと短くしてもよい。全フレーム
についてこの処理を行うことが、ＭａｘＶｘ及びＭａｘ
Ｖｙを算出する際に確実である。また、ＭａｘＶｘ及び
ＭａｘＶｙの値があらかじめ判っている場合には、動き
ベクトル最大値推定部１３の処理は不要となる。また、
水平成分、垂直成分に分解せず、単純にベクトルの大き
さだけを算出してもよい。
クチャ１５フレームと仮定しているが、映像によっては
長くしてもよいし、もっと短くしてもよい。全フレーム
についてこの処理を行うことが、ＭａｘＶｘ及びＭａｘ
Ｖｙを算出する際に確実である。また、ＭａｘＶｘ及び
ＭａｘＶｙの値があらかじめ判っている場合には、動き
ベクトル最大値推定部１３の処理は不要となる。また、
水平成分、垂直成分に分解せず、単純にベクトルの大き
さだけを算出してもよい。
【００２２】空間演算部１５では、Ｐピクチャ列２にお
けるフレーム間予測が外れた領域に対して、動き予測が
当たった領域との境界部分の周辺部分を、動き予測の影
響が及ぶ範囲だけ縮小する。図４にその概念図を示す。
図４（１），（２）は、図８（１），（２）に示したも
のと全く同一のものである。図４（３）に示すように、
フラッシュによる被写体の影４０から、予測符号化が影
響を及ぼす範囲分４３だけ、動き予測の外れた領域（フ
レーム内予測符号化ブロック）を縮小する（縮小領域４
４）。そして隣接する前後のフレームとの間で演算を行
うと、図４（４）に示すように、フラッシュによるノイ
ズを除去でき、フラッシュの誤差を相殺できる。空間演
算部１５の具体的な処理を図５に示す流れ図によって説
明する。ここで用いる変数は、ＭａｘＶｘ及びＭａｘＶ
ｙは図３で求めた動きベクトルの最大値の水平方向及び
垂直方向成分である。（ｉ，ｊ）はそれぞれブロックの
位置を示し、ｉは横方向のブロックの位置、ｊは縦方向
のブロックの位置を示す。なお、Ｘt(ｉ，ｊ）は、フレ
ーム番号ｔのＰピクチャの空間演算部１５によって予測
の当たらなかった領域の一部を縮小した画像である。
けるフレーム間予測が外れた領域に対して、動き予測が
当たった領域との境界部分の周辺部分を、動き予測の影
響が及ぶ範囲だけ縮小する。図４にその概念図を示す。
図４（１），（２）は、図８（１），（２）に示したも
のと全く同一のものである。図４（３）に示すように、
フラッシュによる被写体の影４０から、予測符号化が影
響を及ぼす範囲分４３だけ、動き予測の外れた領域（フ
レーム内予測符号化ブロック）を縮小する（縮小領域４
４）。そして隣接する前後のフレームとの間で演算を行
うと、図４（４）に示すように、フラッシュによるノイ
ズを除去でき、フラッシュの誤差を相殺できる。空間演
算部１５の具体的な処理を図５に示す流れ図によって説
明する。ここで用いる変数は、ＭａｘＶｘ及びＭａｘＶ
ｙは図３で求めた動きベクトルの最大値の水平方向及び
垂直方向成分である。（ｉ，ｊ）はそれぞれブロックの
位置を示し、ｉは横方向のブロックの位置、ｊは縦方向
のブロックの位置を示す。なお、Ｘt(ｉ，ｊ）は、フレ
ーム番号ｔのＰピクチャの空間演算部１５によって予測
の当たらなかった領域の一部を縮小した画像である。
【００２３】まず、ｉ，ｊを初期化する（ステップ５
０）。ブロック（ｉ，ｊ）が動き予測が当ったブロック
（ｐブロック）かどうか判定する（ステップ５１）。ブ
ロック（ｉ，ｊ）が動き予測が当ったブロック（ｐブロ
ック）である場合には、Ｘ（ｉ，ｊ）はｐブロックであ
るとする（ステップ５４）。ブロック（ｉ，ｊ）が動き
予測が当たらなかったブロック（ｉブロック）である場
合には、各ｉブロック周辺の動き予測が影響を及ぼす範
囲内（ステップ５５、５７）に、ｐブロックが存在する
かどうかを判定する（ステップ５３）。ｐブロックが存
在するとき、対象としているｉブロックは、領域の境界
部分でかつ動き予測が影響を及ぼす範囲内に存在するｉ
ブロックであり、縮小処理の対象となるｉブロックであ
り、対象ｉブロック（ｉ，ｊ）に対応するＸ（ｉ，ｊ）
をｐとする（ステップ５４）。対象ｉブロックの周辺内
にｐブロックが存在しなければ、対象ｉブロックは境界
領域に属していないと判断し、Ｘ（ｉ，ｊ）をｉとする
（ステップ５９）。以上の処理を全ブロックについて行
う（ステップ６０〜６３）。これによって、画像列のう
ち、予測の当たらなかった領域部分の境界部分から、動
きベクトルの最大値を基にした動き予測分だけ縮小させ
た縮小領域Ｘt(ｉ，ｊ）を得る。
０）。ブロック（ｉ，ｊ）が動き予測が当ったブロック
（ｐブロック）かどうか判定する（ステップ５１）。ブ
ロック（ｉ，ｊ）が動き予測が当ったブロック（ｐブロ
ック）である場合には、Ｘ（ｉ，ｊ）はｐブロックであ
るとする（ステップ５４）。ブロック（ｉ，ｊ）が動き
予測が当たらなかったブロック（ｉブロック）である場
合には、各ｉブロック周辺の動き予測が影響を及ぼす範
囲内（ステップ５５、５７）に、ｐブロックが存在する
かどうかを判定する（ステップ５３）。ｐブロックが存
在するとき、対象としているｉブロックは、領域の境界
部分でかつ動き予測が影響を及ぼす範囲内に存在するｉ
ブロックであり、縮小処理の対象となるｉブロックであ
り、対象ｉブロック（ｉ，ｊ）に対応するＸ（ｉ，ｊ）
をｐとする（ステップ５４）。対象ｉブロックの周辺内
にｐブロックが存在しなければ、対象ｉブロックは境界
領域に属していないと判断し、Ｘ（ｉ，ｊ）をｉとする
（ステップ５９）。以上の処理を全ブロックについて行
う（ステップ６０〜６３）。これによって、画像列のう
ち、予測の当たらなかった領域部分の境界部分から、動
きベクトルの最大値を基にした動き予測分だけ縮小させ
た縮小領域Ｘt(ｉ，ｊ）を得る。
【００２４】Ｐピクチャ変化量算出部１６では、Ｐピク
チャ列２から得られた縮小領域と、該領域に隣接する画
像列との間で、フラッシュ等の影響を排除し、カット点
のみを強調し、変化量を算出する演算を行って、フラッ
シュなどの影響を排除し、カット点のみを強調する処理
を行う。図６にその処理の概念図を示す。縮小領域７１
に隣接するＰピクチャ７０，７２との間でフラグ７３に
よりノイズを除去する処理を行う。これらの処理の方法
は、いくつか考えられるが、本実施形態の第一の例で
は、縮小領域にｉブロックが存在するとき、隣接する前
後のＰピクチャの対応するブロックが、ｐブロックのと
きのみ有効なブロックとし、他の場合は無効なブロック
とする。これにより、図４（４）に示すような効果を得
ることができ、フラッシュの誤差を除去できる。一方、
カット点の場合は、カット点を含むフレームのほとんど
はｉブロックとなり、カット点前後のフレームは類似し
ているため、動き予測が当たりｐブロックのみとなり、
強調処理を行ってもカット点が除去されることはない。
フレーム内の有効ブロック数が全画面に占める割合を基
にＰピクチャ変化量を算出する。具体的な処理を図７の
フローチャートを用いて説明する。縮小領域Ｘt とその
前後のＰピクチャＰt-1 ，Ｐt+1 を入力する。Ｘt の各
ブロックについて処理を行う。縮小領域上のブロックＸ
t(ｉ，ｊ）がｉブロックであり（ステップ８１）、か
つ、前後のＰピクチャの対応する位置に存在するブロッ
クＰt-1(i,j)，Ｐt+1(i,j)が、双方ともｐブロックであ
った場合（ステップ８２）のみ、変数Ｃｎｔの個数を増
加させる（ステップ８３）。全てのブロックについて、
同様の計測処理を終了したら（ステップ８３，８４，８
５）、変数Ｃｎｔの値が全体のブロック数に占める割合
を変化量として算出する（ステップ８６）。
チャ列２から得られた縮小領域と、該領域に隣接する画
像列との間で、フラッシュ等の影響を排除し、カット点
のみを強調し、変化量を算出する演算を行って、フラッ
シュなどの影響を排除し、カット点のみを強調する処理
を行う。図６にその処理の概念図を示す。縮小領域７１
に隣接するＰピクチャ７０，７２との間でフラグ７３に
よりノイズを除去する処理を行う。これらの処理の方法
は、いくつか考えられるが、本実施形態の第一の例で
は、縮小領域にｉブロックが存在するとき、隣接する前
後のＰピクチャの対応するブロックが、ｐブロックのと
きのみ有効なブロックとし、他の場合は無効なブロック
とする。これにより、図４（４）に示すような効果を得
ることができ、フラッシュの誤差を除去できる。一方、
カット点の場合は、カット点を含むフレームのほとんど
はｉブロックとなり、カット点前後のフレームは類似し
ているため、動き予測が当たりｐブロックのみとなり、
強調処理を行ってもカット点が除去されることはない。
フレーム内の有効ブロック数が全画面に占める割合を基
にＰピクチャ変化量を算出する。具体的な処理を図７の
フローチャートを用いて説明する。縮小領域Ｘt とその
前後のＰピクチャＰt-1 ，Ｐt+1 を入力する。Ｘt の各
ブロックについて処理を行う。縮小領域上のブロックＸ
t(ｉ，ｊ）がｉブロックであり（ステップ８１）、か
つ、前後のＰピクチャの対応する位置に存在するブロッ
クＰt-1(i,j)，Ｐt+1(i,j)が、双方ともｐブロックであ
った場合（ステップ８２）のみ、変数Ｃｎｔの個数を増
加させる（ステップ８３）。全てのブロックについて、
同様の計測処理を終了したら（ステップ８３，８４，８
５）、変数Ｃｎｔの値が全体のブロック数に占める割合
を変化量として算出する（ステップ８６）。
【００２５】Ｐピクチャ変化量算出部１６の第２の例で
は、縮小領域Ｘt(ｉ，ｊ）のｉブロックの個数ＮＸt を
計測し、隣接する前後のＰピクチャＰt-1(i,j)，Ｐ
t+1(i,j)中に含まれるｉブロックの個数ＮＰt-1 ，ＮＰ
t+1 を同様に計測する。縮小領域中のｉブロックの個数
ＮＸt と、前後のＰピクチャ中のｉブロックの個数の大
きい方ｍａｘ｛ＮＰt-1 ，ＮＰt+1 ｝との差分ＤＮt を
以下の演算によって算出する。
は、縮小領域Ｘt(ｉ，ｊ）のｉブロックの個数ＮＸt を
計測し、隣接する前後のＰピクチャＰt-1(i,j)，Ｐ
t+1(i,j)中に含まれるｉブロックの個数ＮＰt-1 ，ＮＰ
t+1 を同様に計測する。縮小領域中のｉブロックの個数
ＮＸt と、前後のＰピクチャ中のｉブロックの個数の大
きい方ｍａｘ｛ＮＰt-1 ，ＮＰt+1 ｝との差分ＤＮt を
以下の演算によって算出する。
【００２６】 ＤＮt ＝ＮＸt −ｍａｘ｛ＮＰt-1 ，ＮＰt+1 ｝ 演算の結果得られる値ＤＮt が１フレームの全ブロック
数に占める割合を変化量ＤＰt として算出する。第１の
例では、対応する位置を基に変化量を算出したが、第２
の例では、位置とは無関係にｉブロックの総数を比較
し、変化量を算出している。
数に占める割合を変化量ＤＰt として算出する。第１の
例では、対応する位置を基に変化量を算出したが、第２
の例では、位置とは無関係にｉブロックの総数を比較
し、変化量を算出している。
【００２７】上述の例では、縮小領域に対し、前後に隣
接するＰピクチャ内のブロックを比較し、対応する位置
のブロックの情報から変化量を算出した。第２の例では
前後のＰピクチャから選択し、差分演算を行いカット点
を検出した。こうした比較および演算を、過去のＰピク
チャのみを対象として行ってもよいし、数フレームに渡
って積算していく等の処理を行ってもよい。
接するＰピクチャ内のブロックを比較し、対応する位置
のブロックの情報から変化量を算出した。第２の例では
前後のＰピクチャから選択し、差分演算を行いカット点
を検出した。こうした比較および演算を、過去のＰピク
チャのみを対象として行ってもよいし、数フレームに渡
って積算していく等の処理を行ってもよい。
【００２８】Ｐピクチャ変化量算出部１６によって算出
された変化量ＤＰt を基に、カット点判定部１７によっ
て、変化量がある閾値を上回っている場合、カット点が
存在すると判定し、カット点を出力する。本実施形態で
は、閾値をあらかじめ与えられた一定の値としている
が、画像によって変化させても構わない。また、ユーザ
が与えるなどしてもよい。
された変化量ＤＰt を基に、カット点判定部１７によっ
て、変化量がある閾値を上回っている場合、カット点が
存在すると判定し、カット点を出力する。本実施形態で
は、閾値をあらかじめ与えられた一定の値としている
が、画像によって変化させても構わない。また、ユーザ
が与えるなどしてもよい。
【００２９】なお、本実施形態で、入力される映像は、
フレーム間順方向予測符号化方式による画像列（Ｐピク
チャ列）のみであったが、ＭＰＥＧ方式においては、こ
れ以外に、フレーム間またはフィールド間双方向予測符
号化方式による画像（Ｂピクチャ）や、フレーム内また
はフィールド内符号化方式による画像（Ｉピクチャ）等
が出現する。本実施形態では、ＩピクチャやＢピクチャ
は無視することにしている。Ｐピクチャ列の間にＩピク
チャが出現する場合は、Ｉピクチャ以前のＰピクチャと
以降のＰピクチャとの間には関連性が存在しないとする
等の処理を行ってカット点を検出する。また、本実施形
態では、閾値はカット点検出装置によって自動的に与え
られているが、ユーザインタフェース部を付加し、任意
に閾値を変化させることも可能である。例えば、ユーザ
が圧縮符号化映像の内容をブラウジングしやすいように
カット点直後の画像を表示する機能と、ユーザインタフ
ェース部とを共に付加し、閾値を任意に設定させること
で、ユーザが圧縮符号化映像の内容を表示する画像の個
数を調節し、希望するシーンをアクセスしやすいように
本装置を応用したアプリケーションも考えられる。
フレーム間順方向予測符号化方式による画像列（Ｐピク
チャ列）のみであったが、ＭＰＥＧ方式においては、こ
れ以外に、フレーム間またはフィールド間双方向予測符
号化方式による画像（Ｂピクチャ）や、フレーム内また
はフィールド内符号化方式による画像（Ｉピクチャ）等
が出現する。本実施形態では、ＩピクチャやＢピクチャ
は無視することにしている。Ｐピクチャ列の間にＩピク
チャが出現する場合は、Ｉピクチャ以前のＰピクチャと
以降のＰピクチャとの間には関連性が存在しないとする
等の処理を行ってカット点を検出する。また、本実施形
態では、閾値はカット点検出装置によって自動的に与え
られているが、ユーザインタフェース部を付加し、任意
に閾値を変化させることも可能である。例えば、ユーザ
が圧縮符号化映像の内容をブラウジングしやすいように
カット点直後の画像を表示する機能と、ユーザインタフ
ェース部とを共に付加し、閾値を任意に設定させること
で、ユーザが圧縮符号化映像の内容を表示する画像の個
数を調節し、希望するシーンをアクセスしやすいように
本装置を応用したアプリケーションも考えられる。
【００３０】
【発明の効果】以上説明したように本発明は、圧縮符号
化された画像データ列に対し、フレームまたはフィール
ド間順方向予測符号化画像に含まれている各種情報を用
いて、カット点を検出することにより、データを復号す
ることなく高速で、かつ、フラッシュ光等のノイズをカ
ット点と誤検出せずに正確にカット点を検出することが
可能である。
化された画像データ列に対し、フレームまたはフィール
ド間順方向予測符号化画像に含まれている各種情報を用
いて、カット点を検出することにより、データを復号す
ることなく高速で、かつ、フラッシュ光等のノイズをカ
ット点と誤検出せずに正確にカット点を検出することが
可能である。
【図１】本発明の一実施形態のカット点検出方法を示す
フローチャートである。
フローチャートである。
【図２】本発明の一実施形態のカット点検出装置の構成
を示すブロック図である。
を示すブロック図である。
【図３】空間演算部１５の処理を示すフローチャートで
ある。
ある。
【図４】空間演算部１５の処理と効果を示す模式図であ
る。
る。
【図５】空間演算部１５の処理を示す流れ図である。
【図６】Ｐピクチャ変化量算出部１６における強調処理
の概念図である。
の概念図である。
【図７】Ｐピクチャ変化量算出部１６の処理を示す流れ
図である。
図である。
【図８】フラッシュ時の影の影響を示す図である。
１ 入力圧縮画像データ ２ フレーム間順方向予測符号化画像列 ３ Ｐピクチャ変化量算出段階 ４ フレーム内符号化領域 ５ 空間演算段階 ６ 縮小領域 ７ Ｐピクチャ変化量 ８ カット点判定段階 ９ カット点 １０ 符号化情報解析部 １１ 外部データ １２ データ列メモリ １３ 動きベクトル最大値推定部 １４ 動きベクトルの最大値 １５ 空間演算部 １６ Ｐピクチャ変化量算出部 １７ カット判定部 ２０〜３０ ステップ ４０ 被写体の影 ４１ フレーム間予測符号化ブロック ４２ フレーム間予測符号化ブロック ４３ 影響の及ぶ範囲 ４４ 縮小領域 ４５ フラッシュによる誤差 ５０〜６７ ステップ ７０，７２ Ｐピクチャ ７１ 縮小領域 ７３ フラグ ８０〜８６ ステップ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 H04N 5/262 - 5/278
Claims (6)
- 【請求項１】 フレーム間またはフィールド間予測符号
化方式を含む圧縮符号化方式によって圧縮された画像デ
ータ列から変化量DP t を算出し、その変化量DP t を基にカ
ット点を検出するカット点検出方法であって、 フレーム間またはフィールド間順方向予測符号化方式で
圧縮された画像データ列Ｐt に含まれる符号化情報を基
に、フレーム間またはフィールド間予測を行った際に動
き予測が当たらなかった領域において、動き予測が当た
った領域との境界から、動き予測の影響が及ぶ範囲に含
まれるブロックを動き予測が当たったブロックに変更
し、動き予測が当たらなかった領域を縮小する空間演算
を施し、その結果得られた縮小領域Ｘ t （ｉ，ｊ）に動
き予測が当たらなかったブロックが存在するとき、隣接
する前後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，
ｊ）の対応するブロックが、両方とも動き予測が当たっ
たブロックのときのみ有効なブロック、他の場合は無効
なブロックとし、有効ブロック数の全画面に占める割合
を画像データ列Ｐ t の変化量ＤＰ t として算出するＰピク
チャ変化量算出段階と、前記Ｐピクチャ変化量算出段階によって 算出された変化
量ＤＰt が所定の閾値を上回っているとき、カット点が
存在すると判定するカット点判定段階とを有するカット
点検出方法。 - 【請求項２】 フレーム間またはフィールド間予測符号
化方式を含む圧縮符号化方式によって圧縮された画像デ
ータ列から変化量DP t を算出し、その変化量DP t を基にカ
ット点を検出するカット点検出方法であって、 フレーム間またはフィールド間順方向予測符号化方式で
圧縮された画像列Ｐ t に含まれる符号化情報を基に、フ
レーム間またはフィールド間予測を行った際に動き予測
が当たらなかった領域において、動き予測が当たった領
域との境界から、動き予測の影響が及ぶ範囲に含まれる
ブロックを動き予測が当たったブロックに変更し、動き
予測が当たらなかった領域を縮小する空間演算を施し、
その結果得られた縮小領域Ｘ t （ｉ，ｊ）中の動き予測
が当たらなかったブロックの個数ＮＸ t と、隣接する前
後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，ｊ）中の
動き予測が当たらなかったブロックの個数の大きい方ｍ
ａｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝との差分ＤＮ t ＝ＮＸ t −ｍａ
ｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝が１フレームの全ブロック 数に
占める割合を画像データ列Ｐ t の変化量ＤＰ t として算出
するＰピクチャ変化量算出段階と、 前記Ｐピクチャ変化量算出段階によって算出された変化
量ＤＰ t が所定の閾値を上回っているとき、カット点が
存在すると判定するカット点判定段階とを有するカット
点検出方法。 - 【請求項３】 前記Ｐピクチャ変化量算出段階は、入力
された圧縮符号化画像データ列を解析し、該圧縮符号化
画像データ列に含まれる動きベクトルの値から、動き予
測の影響が及ぶ範囲を推定する段階を含む、請求項１ま
たは２に記載のカット点検出方法。 - 【請求項４】 フレーム間またはフィールド間予測符号
化方式を含む圧縮符号化方式によって圧縮された画像デ
ータ列から変化量DP t を算出し、その変化量DP t を基にカ
ット点を検出するカット点検出装置であって、 フレーム間またはフィールド間順方向予測符号化方式で
圧縮された画像データ列Ｐt に含まれる符号化情報を基
に、フレーム間またはフィールド間予測を行った際に動
き予測が当たらなかった領域において、動き予測が当た
った領域との境界から、動き予測の影響が及ぶ範囲に含
まれるブロックを動き予測が当たったブロックに変更
し、動き予測が当たらなかった領域を縮小する空間演算
を施し、その結果得られた縮小領域Ｘ t （ｉ，ｊ）に動
き予測が当たらなかったブロックが存在するとき、隣接
する前後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，
ｊ）の対応するブロックが、両方とも動き予測が当たっ
たブロックのときのみ有効なブロック、他の場合は無効
なブロックとし、有効ブロック数の全画面に占める割合
を画像データ列Ｐ t の変化量ＤＰ t として算出するＰピク
チャ変化量算出部と、前記Ｐピクチャ変化量算出部によって 算出された変化量
ＤＰt が所定の閾値を上回っているとき、カット点が存
在すると判定するカット点判定部とを有するカット点検
出装置。 - 【請求項５】 フレーム間またはフィールド間予測符号
化方式を含む圧縮符号化方式によって圧縮された画像デ
ータ列から変化量ＤＰ t を算出し、その変化量ＤＰ t を基
にカット点を検出するカット点検出装置であって、 フレーム間またはフィールド間順方向予測符号化方式で
圧縮された画像データ 列Ｐ t に含まれる符号化情報を基
に、フレーム間またはフィールド間予測を行った際に動
き予測が当たらなかった領域において、動き予測が当た
った領域との境界から、動き予測の影響が及ぶ範囲に含
まれるブロックを動き予測が当たったブロックに変更
し、動き予測が当たらなかった領域を縮小する空間演算
を施し、その結果得られた縮小領域Ｘ t （ｉ，ｊ）中の
動き予測が当たらなかったブロックの個数ＮＸ t と、隣
接する前後のＰピクチャＰ t-1 （ｉ，ｊ）とＰ t+1 （ｉ，
ｊ）中の動き予測が当たらなかったブロックの個数の大
きい方ｍａｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝との差分ＤＮ t ＝Ｎ
Ｘ t −ｍａｘ｛ＮＰ t-1 ，ＮＰ t+1 ｝が１フレームの全ブ
ロック数に占める割合を画像データ列Ｐ t の変化量ＤＰ t
として算出するＰピクチャ変化量算出部と、 前記Ｐピクチャ変化量算出部によって算出された変化量
ＤＰ t が所定の閾値を上回っているとき、カット点が存
在すると判定するカット点判定部とを有するカット点検
出装置。 - 【請求項６】 前記Ｐピクチャ変化量算出部は、入力さ
れた圧縮符号化画像データ列を解析し、圧縮符号化画像
データ列に含まれる動きベクトルの値から、動き予測の
影響が及ぶ範囲を指定する、請求項４または５に記載の
カット点検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13861396A JP3333956B2 (ja) | 1996-05-31 | 1996-05-31 | カット点検出方法および装置 |
| US08/841,200 US5911008A (en) | 1996-04-30 | 1997-04-29 | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding |
| MYPI97001873A MY118360A (en) | 1996-04-30 | 1997-04-29 | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding |
| KR1019970016700A KR100274082B1 (ko) | 1996-04-30 | 1997-04-30 | 프레임간/필드간 예측 부호화와 프레임내/필드내 부호화를 사용하는 압축 비디오 데이터에서의 화면 경계 검출 구조 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13861396A JP3333956B2 (ja) | 1996-05-31 | 1996-05-31 | カット点検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09322172A JPH09322172A (ja) | 1997-12-12 |
| JP3333956B2 true JP3333956B2 (ja) | 2002-10-15 |
Family
ID=15226185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13861396A Expired - Lifetime JP3333956B2 (ja) | 1996-04-30 | 1996-05-31 | カット点検出方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3333956B2 (ja) |
-
1996
- 1996-05-31 JP JP13861396A patent/JP3333956B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09322172A (ja) | 1997-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5911008A (en) | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding | |
| US7046731B2 (en) | Extracting key frames from a video sequence | |
| Meng et al. | Scene change detection in an MPEG-compressed video sequence | |
| KR100698106B1 (ko) | 엠펙（ｍｐｅｇ）압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법 | |
| JP3719933B2 (ja) | 階層的ディジタル動画要約及び閲覧方法、並びにその装置 | |
| KR100468967B1 (ko) | 썸네일 영상 생성장치 및 방법 | |
| Patel et al. | Compressed video processing for cut detection | |
| US7469010B2 (en) | Extracting key frames from a video sequence | |
| US6940910B2 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| JP3363039B2 (ja) | 動画像内の移動物体検出装置 | |
| KR100865248B1 (ko) | 비디오 신호에서의 자막 검출 | |
| Nakajima et al. | Universal scene change detection on MPEG-coded data domain | |
| US6823011B2 (en) | Unusual event detection using motion activity descriptors | |
| JP3714871B2 (ja) | サンプリングされたディジタル動画シーケンス中の推移を検出する方法 | |
| Sugano et al. | A fast scene change detection on MPEG coding parameter domain | |
| Smeaton et al. | An evaluation of alternative techniques for automatic detection of shot boundaries in digital video | |
| JP2869398B2 (ja) | カット点検出方法及び装置 | |
| JP3333956B2 (ja) | カット点検出方法および装置 | |
| KR100286742B1 (ko) | 압축된 뉴스 영상의 장면전환 및 기사 검출방법 | |
| JP2004112678A (ja) | 映像検索装置 | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| JP2003016454A (ja) | 物体認識装置及び物体認識方法 | |
| JP4349542B2 (ja) | 動画像内のテロップ領域検出装置 | |
| JPH10112864A (ja) | カメラワーク算出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070802 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080802 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080802 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090802 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090802 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100802 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100802 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110802 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120802 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130802 Year of fee payment: 11 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |