JPH118854A

JPH118854A - カット点検出方法及び装置

Info

Publication number: JPH118854A
Application number: JP9108601A
Authority: JP
Inventors: Yasumasa Niikura; 康巨新倉; Yukinobu Taniguchi; 行信谷口; Akito Akutsu; 明人阿久津; Hiroshi Hamada; 洋浜田; Yoshinobu Tonomura; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-04-30
Filing date: 1997-04-25
Publication date: 1999-01-12
Anticipated expiration: 2017-04-25
Also published as: JP2869398B2

Abstract

(57)【要約】【課題】圧縮符号化映像からカット点を高速、高精度
に検出する。【解決手段】画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法におい
て、画面間順方向予測符号化方式で圧縮された画像列Ｐ
_tに含まれる符号化情報を基に、画像列Ｐ_tの変化量ＤＰ
_tを算出する画面間順方向予測符号化変化量算出過程２
と、画面内符号化方式で圧縮された画像列Ｉ_tに含まれ
る符号化情報を基に、画像列Ｉ_tの変化量ＤＩ_tを算出す
る画面内符号化変化量算出過程５と、両過程で得られる
二つの変化量ＤＰ_tとＤＩ_tの両方を評価しカット点を検
出するカット点検出過程７を具備するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮符号化映像デ
ータからカット点を検出するカット点検出方法及び装置
に関し、特に、画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法及び装
置に適用して有効な技術に関するものである。

【０００２】

【従来の技術】映像データはデータ量が膨大であり、そ
の内容を知るためには映像を時間順に全て見ていくしか
なかった。映像がある基準に基づいて分割されていれ
ば、映像を飛ばし見したり、内容を大雑把に把握するた
めに役立つ。理想的には、ストーリを考慮して分割する
必要があるが、その作業は現状では人手でしかできず、
作業量が膨大になるという問題点があり、なんらかの自
動化が求められていた。そこで、連続して撮影された一
つの場面であるショットという単位に分割する技術が必
要である。

【０００３】映像を時間順に見ていったとき、ショット
の切り替わった時点をカット点と呼ぶ。カット点前後で
は画像の内容が急激に変化するので、「時間順に隣り合
う画像間の差を計算し、差が大きいところをカット点と
みなす」という方法で、カット点を検出することができ
る。例えば、連続する画像フレームの位置（ｘ，ｙ）の
輝度、色等の物理量が変化した画素数から連続するフレ
ームの変化を算出し、カット点を検出する「動画のカッ
ト自動分割方法」（特開平５−３７８５３号公報）等が
あげられる。

【０００４】しかし、画像の内容が急激に変化する一般
的なカット点に加えて、ワイプやディゾルブといった緩
やかに変化するカット点を安定に検出し、カメラワーク
や動き被写体などによる画像変化や、フラッシュや高速
で画面内を横切る物体等による画像の一時的な変化をカ
ット点として誤検出することを防ぐことが課題であっ
た。こうした課題を解決するカット点検出技術は既にい
くつか存在する。しかしながら、これらのカット点検出
技術は、アナログ映像信号をデジタル化した非圧縮映像
データを対象としたものであった。

【０００５】一方で、映像情報の利用が盛んになるにつ
れ、伝送や、蓄積メディアにおける負荷を軽減するた
め、映像の圧縮符号化技術が目覚ましい進歩を遂げてお
り、Ｈ．２６１，ＭＰＥＧ等の圧縮技術が標準化されて
いる。こうした圧縮符号化方式では、画面内での冗長性
を削減する画面内符号化方式と、画面間での冗長性を削
減する画面間予測符号化方式の二つの方式が代表的であ
る。

【０００６】画面内符号化方式は、図１６（ａ）に示す
ように、対象画像３０を例えば正方形の複数のブロック
３１に分割し、それぞれのブロック３１をＤＣＴ変換
（離散コサイン変換）し、量子化することにより符号化
する。この場合の符号化データは、ブロック３１をＤＣ
Ｔ変換したＤＣＴ係数である。ＭＰＥＧ方式では画面内
符号化データとして、ブロック３１を輝度と色差成分に
分解し、それぞれをＤＣＴ変換したＤＣＴ係数を保持し
ている。

【０００７】一方、画面間予測符号化方式では、図１６
（ｂ）に示すように、対象画像３０を正方形の複数のブ
ロック３１に分割し、それぞれのブロック３１を過去の
（異なる時間の）画像３２の中で最も類似する領域３３
で代用し、符号化する方式である。隣接する画像の間で
は、画像の内容の変化は一般的に少ないので、ブロック
３１を類似領域３３によって置き換えることで画面間の
冗長性を削減することができる。このような方法を画面
間予測符号化と呼び、注目ブロック３１Ａと類似領域３
３のずれを動きベクトル３４と呼ぶ。

【０００８】画面間予測符号化方式における符号化デー
タは、動きベクトル３４と、ブロック３１と類似領域３
３の間の差分のＤＣＴ係数から構成されている。ブロッ
ク３１に類似する領域が存在しない場合には、予測が外
れたとし、ブロック３１を画面内符号化方式と同様にＤ
ＣＴ変換し、量子化して符号化する。このようなブロッ
クをブロック内符号化ブロックと呼ぶ。

【０００９】画面間予測符号化方式では、画面間順方向
予測符号化方式と画面間双方向予測符号化方式の２つの
方式が代表的である。画面間順方向予測符号化方式は、
図１６（ｂ）に示すように、注目ブロック３１Ａに類似
した領域を過去の画像から探索する。画面間双方向予測
符号化方式は、図１６（ｃ）に示すように、未来の画像
３７と過去の画像３５の両方の画像から類似領域３３を
探索する。

【００１０】従って、画面間順方向予測符号化方式のデ
ータに含まれている動きベクトル３４は、過去の画像の
類似領域３３と注目ブロック３１Ａとの位置のずれを表
わし、画面間双方向予測符号化方式のデータに含まれて
いる動きベクトル３４は、ブロック３１と過去の画像上
での位置のずれか、未来の画像上での位置のずれかのど
ちらかのいずれか一方もしくは両方を表わしている。画
面間順方向予測符号化方式によって符号化された対象画
像３０は、過去の画像３２を復号化しなければ復号化で
きず、画面間双方向予測符号化方式によって符号化され
た対象画像３０は、過去と未来の両方の画像３５、３７
を先に復号化しなければ復号化できない。それに対し
て、画面内符号化方式で圧縮された画像はそれだけで復
号化可能である。

【００１１】ＭＰＥＧ方式は、画面内符号化方式と画面
間順方向予測符号化方式、画面間双方向予測符号化方式
を組み合わせた方式であり、今後の主流になるといわれ
ている。ＭＰＥＧ方式では、画面内符号化方式、画面間
順方向予測符号化方式、画面間双方向予測符号化方式に
よって圧縮された画像を、それぞれＩピクチャ、Ｐピク
チャ、Ｂピクチャと呼ぶ。ＭＰＥＧ方式による映像デー
タでは、例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰＢ
ＢＰＢＢＰＢＢのように、各ピクチャが交互に出現す
る。ただし、その出現頻度は定まっておらず、同一デー
タの中で様々に変動することが許される。

【００１２】ＭＰＥＧ方式を始めとする圧縮符号化映像
からカット点を検出するために、データを一度復号化し
て非圧縮ディジタル映像を復元し、従来技術を用いてカ
ット点を検出することは可能である。しかし、復号化処
理は計算時間のかかる処理であるという問題点があっ
た。

【００１３】以下、復号化処理を行なわずに、ＭＰＥＧ
映像からカット点を検出する従来技術について述べる。

【００１４】Boon-Lock Yeo and Bede Liu, IEEE Proce
eding of the International Conference on Multimedi
a Computing and Systems, pp. 81-88に開示される「A
Unified Approach to Temporal Segmentation of Motio
n JPEG and MPEG CompressedVideo」は、Ｉピクチャの
ＤＣＴ係数の直流成分と、Ｐピクチャ、Ｂピクチャの動
きベクトルを用いて、各ピクチャの縮小画像を再構成
し、その縮小画像を順次比較し、変化が大きいところを
カット点として検出している。

【００１５】しかし、縮小画像を再構成する部分的な復
号化処理に時間がかかるという問題点があった。

【００１６】Farshid Arman, Arding Hsu, and Ming-Ye
e Chiu, ACM Multimedia '93, pp.267-272)に開示され
る「Image Processing on Compressed Data for Large
Video Database」、特開平７−２３６１５３号公報に開
示されている「動画像のカット点検出およびカット画面
グループ検出装置」は、ＩピクチャのＤＣＴ係数の比較
によってカット点を検出している。

【００１７】ＭＰＥＧ方式では、一般的にＩピクチャの
出現頻度はＰやＢピクチャのそれに比べて低い。ＭＰＥ
Ｇ方式の典型的な映像データ列では、Ｉピクチャは１秒
間に２フレーム程度である。出現頻度が低いと、カメラ
の動きや被写体の動きをカット点として誤って検出して
しまうことが多くなる。なぜなら、カメラの動きや被写
体の動きがあると、次のＩピクチャが現われる前に大き
く画像の内容が変化するからである。

【００１８】従って、Ｉピクチャのみを用いたカット点
検出技術は、Ｉピクチャの出現頻度が低くなればなるほ
ど、誤検出率が高くなるという問題点があった。

【００１９】特開平４−２０７８７６号公報に開示され
る「動画像管理装置」は、Ｐピクチャ中のブロック内符
号化ブロックの個数を利用してカット点を検出する技術
である。カット点があると画面間予測が外れるので、ブ
ロック内符号化ブロックの個数が急増するという性質を
利用している。

【００２０】しかし、この方法では、Ｐピクチャ直前の
カット点は検出可能だが、Ｉピクチャの直前に存在する
カット点は検出できないという問題点がある。なぜな
ら、Ｐピクチャ生成時の予測において、注目画像に対す
る類似領域の探索対象画像は、注目画像直前のＰピクチ
ャかＩピクチャであり、注目画像の直前のＩピクチャよ
りさらに過去の画像から類似領域を探索することはな
い。すなわち、Ｉピクチャ直前にカット点があること
で、予測が外れ、ブロック内符号化ブロックの個数が増
大したＰピクチャは存在しないからである。

【００２１】HongJian Zhang, Hien Yong Low, Yihong
Gong and Stephen W. Smoliar, SPIE, Vol. 2182, Imag
e and Video Processing II, PP. 142-149, 1994に開示
される「Video Parsing Using Compressed Data」、特
開平７−２８４０１７号公報に開示される「カット検出
装置」は、Ｂピクチャのブロックが記録している動きベ
クトルが、過去と未来のどちらの画像を参照しているの
かを調べることによってカット点を検出する。

【００２２】しかし、Ｂピクチャの出現頻度は圧縮デー
タ毎に多種多様であり、Ｂピクチャが全く出現しない圧
縮映像データも存在する。このような圧縮映像データに
対しては、カット点を全く検出することができないとい
う問題点があった。

【００２３】また、一般に、ＭＰＥＧ符号化データにお
いては、ＩピクチャとＰピクチャのそれぞれの出現確率
は、一般的にはＰピクチャの方がＩピクチャよりも高
い。従って、Ｉピクチャからの情報だけを基にしたＩピ
クチャ変化量の特徴量は、大局的な変化を示し、Ｐピク
チャからの情報だけを基にしたＰピクチャ変化量の特徴
量は、細部に渡る変化を示すことになる。さらに、Ｐピ
クチャ特微量では動き補償による情報を含んでおり、カ
メラワークや動き被写体の影響を受けづらいという特徴
を有する。一方で、瞬間的な変化の影響を受けやすく、
フラッシュや高速に横切る物体等による瞬時に発生する
ノイズをカット点として誤検出しやすいという問題があ
った。

【００２４】

【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。

【００２５】（ａ）圧縮データを復号化してカット点を
検出すると、復号化に時間がかかってしまうこと、
（ｂ）カメラや被写体の動きを誤ってカット点として検
出してしまうこと、（ｃ）フラッシュなどのノイズを誤
ってカット点として検出してしまうこと、（ｄ）ワイプ
やディゾルブ等の緩やかなカット点を検出しずらいこ
と、（ｅ）Ｐピクチャ変化量からのカット点検出方法
は、ＰピクチャとＩピクチャの間に存在するカット点を
検出することはできないこと、（ｆ）Ｐピクチャ変化量
からのカット点検出方法はフラッシュや高速に横切る物
体等の瞬時に発生するノイズをカット点として誤検出し
やすいこと、（ｇ）圧縮符号化データ中の各ピクチャの
出現頻度によってカット点検出での精度が変化すること
等である。

【００２６】本発明の目的は、圧縮符号化映像からカッ
ト点を高速、高精度に検出することが可能な技術を提供
することにある。

【００２７】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００２８】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００２９】（１）画面間予測符号化方式と画面内符号
化方式を共に含む圧縮符号化方式によって圧縮された画
像データ列からカット点を検出するカット点検出方法に
おいて、画面間順方向予測符号化方式で圧縮された画像
列Ｐ_tに含まれる符号化情報を基に、画像列Ｐ_tの変化量
ＤＰ_tを算出する画面間順方向予測符号化変化量算出過
程と、画面内符号化方式で圧縮された画像列Ｉ_tに含ま
れる符号化情報を基に、画像列Ｉ_tの変化量ＤＩ_tを算出
する画面内符号化変化量算出過程と、両過程で得られる
二つの変化量の両方を評価しカット点を検出するカット
点検出過程を具備するものである。

【００３０】この（１）の手段によれば、圧縮映像を復
号化することなく、符号化情報だけを用いてカット点を
検出するので、一部の情報を抽出するだけでカット点を
検出することができる。

【００３１】また、画面間順方向予測符号化画像のみを
用いた従来のカット点検出方法では、画面間順方向予測
符号化画像と画面内符号化画像の境界でカット点を検出
できないという問題点があったが、この（１）の手段で
は、両符号化方式の画像列から独立に得られた変化量Ｄ
Ｐ_t，ＤＩ_tを組み合わせることによって、この問題点を
解決している。

【００３２】（２）前記（１）のカット点検出方法にお
ける画面間順方向予測符号化変化量算出過程において、
画面間予測が外れた領域が全画面に占める割合を変化量
とするものである。

【００３３】この画面間予測符号化方式では、ブロック
を符号化する際に、過去の画像と現在の画像の間で類似
する領域を検索し予測を行なう。オリジナルの映像に含
まれるカメラの動きや被写体の動きは、予測時の類似領
域の位置のずれである動きベクトルとして記録され、カ
メラや被写体の動きがあっても予測が外れることは少な
い。

【００３４】従って画面間予測が外れた領域が全画面に
占める割合を変化量として用いたとき、カメラの動きや
被写体の動きは変化量に反映されず、カメラや被写体の
動きを誤ってカット点として検出することが少なくな
り、前述の問題点（ｂ）を解決することができる。

【００３５】（３）前記（１）のカット点検出方法にお
いて、画面間順方向予測符号化変化量算出過程、画面内
符号化変化量算出過程のいずれか一方又は両方で、画像
列の隣り合う画像間で変化の生じた領域を変化領域とし
て求める過程と、該変化領域の時間系列に対してあらか
じめ与えられた空間的演算を施した後、それらを時間的
に積分する過程を含むものである。ここで、「空間的演
算を施した後、それらを時間的に積分する」というの
は、ＸＯＲ配列に対応していることである。

【００３６】この（３）の手段によれば、画像列の隣り
合う画像間で変化の生じている領域に対し、空間的演算
を施し、フラッシュなどのノイズを除去するので、前述
の問題点（ｃ）を解決することができる。また、空間的
演算を施した後で時間的積分を行なうことにより、ワイ
プ等の緩やかな変化を正しく検出することができるの
で、前述の問題点（ｄ）を解決することができる。

【００３７】（４）前記（１）乃至（３）のうちいずれ
か１つの変化量ＤＰ_tと変化量ＤＩ_tの両方を評価しカッ
ト点を検出するカット点検出過程において、画像列Ｐ_t
に含まれる符号化情報を基に得られた画像列Ｐ_tの変化
量ＤＰ_tに対して、画像列Ｉ_tから得られた情報を用い
て、変化量ＤＰ_tを補正する処理過程を含むものであ
る。

【００３８】前記（４）の手段によれば、フラッシュ等
の瞬間的なノイズの影響を受けづらい大局的な変化特微
量であるＩピクチャ変化量を用いてＰピクチャ変化量を
補正するため、局所的なノイズに左右されず安定にカッ
ト点を検出することができ、前述の問題点（ｆ）を解決
することができる。

【００３９】（５）前記（１）乃至（３）のうちいずれ
か１つの変化量ＤＰ_tと変化量ＤＩ_tの両方を評価しカッ
ト点を検出するカット点検出過程において、画像列Ｉ_t
に含まれる符号化情報を基に得られた画像列Ｉ_tの変化
量ＤＩ_tに対して、画像列Ｐ_tから得られた情報を用い
て、変化量ＤＩ_tを補正する処理過程を含むものであ
る。

【００４０】前記（５）の手段によれば、Ｐピクチャ変
化量を用いるカット点検出方法では、Ｐピクチャの予測
関係が成立しない個所に存在する検出不能なカット点例
えば、ＰピクチャとＩピクチャの間のカット点を検出す
るために、Ｉピクチャ変化量を用いるが、Ｉピクチャの
変化量は大局的な変化を示しており、そのままではＰピ
クチャとＩピクチャにおける変化の有無だけを判定する
ことは不可能なのだが、細部に渡る変化であるＰピクチ
ャからの情報を用いてＩピクチャ間の変化量を補正する
ことによって、ＰピクチャとＩピクチャの間に発生する
変化を検出することができ、前述の問題点（ｅ）を解決
することができる。

【００４１】（６）前記（１），（４），（５）のいず
れか一つのカット点検出過程において、画面間順方向予
測符号化変化量算出過程から得られる変化量ＤＰ_tが、
第一の閾値ＴＰ_tを上回るか、画面内符号化変化量算出
過程から得られる変化量ＤＩ_tが、第二の閾値ＴＩ_tを上
回るか、どちらか一方が成立した場合に時刻ｔにカット
点が存在していると判定するものである。

【００４２】（７）前記（１），（４），（５）のいず
れか一つのカット点検出過程において、画像列Ｐ_tとＩ_t
の出現頻度を測定する過程を含み、該出現頻度に応じ
て、二つの変化量ＤＰ_tとＤＩ_tを評価する手続きを切り
替えるものである。これにより、画像列Ｐ_tとＩ_tの出現
頻度に応じて評価の方法を使い分けることができる。

【００４３】（８）前記（１），（４），（５）のいず
れか一つのカット点検出過程において、画像列Ｐ_tとＩ_t
の出現頻度を測定する過程を含み、該出現頻度に応じ
て、二つの変化量ＤＰ_t，ＤＩ_tに対する二つの閾値ＴＰ
_t，ＴＩ_tを制御するものである。

【００４４】前記（６），（７）及び（８）の手段によ
れば、カット点の検出に際して、Ｉピクチャの出現頻度
とＰピクチャの出現頻度に応じて、Ｉピクチャ列から求
めた変化量ＤＩ_tとＰピクチャ列から求めた変化量ＤＰ_t
の組み合わせ方を変化させてカット点を検出している。
Ｉピクチャの出現頻度が高い場合にはＩピクチャ列から
求めた変化量ＤＩ_tを主に用い、変化量ＤＰ_tは検出精度
の向上をさせるために、補助的に用いる。逆にＰピクチ
ャの出現頻度が高い場合には、変化量ＤＰ_tに重きを置
いて評価する。従って、２種類の変化量を各ピクチャの
出現頻度に応じて組み合わせてカット点を検出するた
め、各ピクチャの出現頻度によらず高い精度でカット点
を検出でき前述の問題点（ｇ）を解決することができ
る。

【００４５】（９）画面間予測符号化方式と画面内符号
化方式を共に含む圧縮符号化方式によって圧縮された画
像データ列からカット点を検出するカット点検出装置に
おいて、画像データ列中の圧縮符号化方式の種類を判定
し、符号化データを分類するピクチャ判定手段と、画面
間順方向予測符号化方式で圧縮された画像列Ｐ_tに含ま
れる符号化情報を基に、画像列Ｐ_tの変化量ＤＰ_tを算出
するＰピクチャ変化量算出手段と、画面内符号化方式で
圧縮された画像列Ｉ_tに含まれる符号化情報を基に、画
像列Ｉ_tの変化量ＤＩ_tを算出するＩピクチャ変化量算出
手段と、両変化量算出手段で得られる二つの変化量ＤＰ
_tとＤＩ_tを評価しカット点を検出するカット点検出手段
とを具備するものである。

【００４６】なお、コンピュータに、前記（１）乃至
（８）のいずれか一つのカット点検出方法を機能させる
ための処理プログラムは、コンピュータが読み取り可能
な記録媒体に格納されていても良い。

【００４７】この（９）の手段のカット点検出装置によ
れば、前記（１）乃至（８）の手段のカット点検出方法
を実施することができる。

【００４８】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態（実施例）を詳細に説明する。

【００４９】（実施形態１）図１は本発明の実施形態
（実施例）１のカット点検出方法の処理の流れを示すフ
ローチャートである。本実施形態１のカット点検出方法
は、図１に示すように、入力圧縮画像データ０を画面間
順方向予測符号化画像列１と画面内符号化画像列４に分
離し、それぞれを画面間順方向予測符号化変化量算出過
程２と、画面内符号化変化量算出過程５に入力する。各
変化量算出過程２及び５において、各画像列の画像の内
容が大きく変化したとき大きな値を示すような特微量を
画像列の変化量（時間的変化量）として算出する。変化
量算出過程の実施例については後述する。得られた２つ
の変化量３及び６を、データ列のカット点検出過程７に
入力し、最終的なカット点８を得る。すなわち、２種類
の画像列から別々に変化量を算出し、両者を組み合わせ
て評価することによってカット点を検出する。カット点
検出過程の実施例については後述する。

【００５０】図２は本実施形態１のカット点検出方法を
実施するカット点検出装置の一実施例の概略構成を示す
ブロック構成図であり、１０は入力圧縮画像データ列、
１１はピクチャ判定手段、１２はデータ列メモリ、１３
はＰピクチャ列、１４はＰピクチャ変化量算出手段、１
５はＰピクチャの変化量、１６はＩピクチャ列、１７は
Ｉピクチャ変化量算出手段、１８はＩピクチャの変化
量、１９はカット点検出手段、２０はカット点である。

【００５１】本カット点検出装置は、汎用コンピュータ
とソフトウェアで実現可能な装置であり、図２に示すよ
うに、入力圧縮画像データ列１０からカット点２０を検
出する。本カット点検出装置では、入力圧縮画像データ
列１０は、ＭＰＥＧ方式で圧縮符号化され、Ｉピクチャ
が１フレーム、Ｐピクチャが１４フレーム続き、それら
を１個のグループとし、そのグループがｔ＋１個存在す
る画像データ列（ＩＰ₀Ｐ₁Ｐ₂Ｐ₃Ｐ₄Ｐ₅Ｐ₆Ｐ₇Ｐ₈Ｐ₉Ｐ
₁₀Ｐ₁₁Ｐ₁₂Ｐ₁₃）₀，（ＩＰ₀Ｐ₁Ｐ₂Ｐ₃Ｐ₄Ｐ₅Ｐ₆Ｐ₇Ｐ₈
Ｐ₉Ｐ₁₀Ｐ₁₁Ｐ₁₂Ｐ₁₃）₁，…，（ＩＰ₀Ｐ₁Ｐ₂Ｐ₃Ｐ₄Ｐ₅
Ｐ₆Ｐ₇Ｐ₈Ｐ₉Ｐ₁₀Ｐ₁₁Ｐ₁₂Ｐ₁₃）_tを扱う。ここで、Ｉ
ピクチャ列をＩ_h、Ｐピクチャ列をＰ_h，_kで表わす。た
だし、ｈ＝０，１，…，ｔ、ｋ＝０，１，…，１３、ｈ
はグループの番号、ｋはグループ内のフレーム番号であ
る。

【００５２】なお、入力圧縮画像データ列１０は、ハー
ドディスクやＣＤ−ＲＯＭ等蓄積装置に保存されている
画像ファイルであったり、ネットワークに接続され、伝
送される画像ファイルであったりする。サイズ、サンプ
ルレートは任意であるが、画面内符号化方式と画面間予
測符号化方式の両方の方式を取り入れてなければならな
い。例として、Ｈ．２６１やＭＰＥＧ１，ＭＰＥＧ２等
の形式がある。これらの圧縮符号化方式では、画面内符
号化画像、画面間順方向予測符号化画像、画面間双方向
予測符号化画像が出現するが、その出現頻度は任意で構
わない。

【００５３】入力圧縮画像データ列１０を数フレームに
渡って格納するデータ列メモリ１２が設けられている。
本実施例では、データ列メモリ１２には、各ピクチャデ
ータと、先頭ピクチャからの通し番号と、ピクチャ判定
手段１１で判定されるピクチャの種別と、注目している
画像がＩピクチャの場合は、先頭からのＩピクチャ列１
６の通し番号を、注目している画像がＰピクチャの場合
は、先頭からのＰピクチャ列１３の通し番号を保存して
いる。データ列メモリ１２は、符号化データの全部乃至
一部、画像の先頭ファイルからのフレーム番号や、前処
理によって得られる特微量等の補足情報以外に、外部の
機器を用いて入手し、付加される撮影時間、撮影場所等
の外部情報を付加してもよい。

【００５４】データ列メモリ１２から読み出された画像
列のうちＰピクチャ列Ｐ_h，_k（ｈ＝０，１，…，ｔ、ｋ
＝０，１，…，１３）１３をＰピクチャ変化量算出手段
１４に入力して変化量ＤＰ_h，_k（ｈ＝０，１，…，ｔ、
ｋ＝０，１，…，１３）１５を得る。Ｐピクチャ列１３
から得られる変化量（ＤＰ_h，_k）１５は、Ｐピクチャ中
のブロックの種類の個数や位置、ブロックに記録されて
いる動きベクトルなど、画像の内容変化に伴って変動す
る特微量を用いて算出する。その詳細については後述す
る。

【００５５】データ列メモリ１２から読み出された画像
列の各ピクチャの種別をピクチャ判定手段１１で判定し
分類されたＩピクチャ列Ｉ_h（ｈ＝０，１，…，ｔ）１
６をＩピクチャ変化量算出手段１７に入力して変化量
（ＤＩ_h）１８を得る。Ｉピクチャ列１６から得られる
変化量（ＤＩ_h）１８は、Ｉピクチャ中のブロックに含
まれる輝度、色差の隣接画像間で各画素の差分の総和
や、差分の著しい画素の個数や、輝度、色差を基に算出
される色相や、それらを基にしたヒストグラム等、画像
の内容の変化が反映される特微量を用いて算出する。そ
の詳細については後述する。

【００５６】２つの変化量（ＤＰ_h，_k）１５と（Ｄ
Ｉ_h）１８をカット点検出手段１９にて評価し、カット
点２０を得ている。２つの変化量（ＤＰ_h，_k）１５と
（ＤＩ_h）１８は、Ｉピクチャ列１６、Ｐピクチャ列１
３の画像の内容の変化を反映したものである。本実施例
では、２つの変化量（ＤＰ_h，_k）１５と（ＤＩ_h）１８
のそれぞれから別個にカット点を検出しそれぞれを組み
合わせてカット点を検出する例と、２つの変化量（ＤＰ
_h，_k）１５と（ＤＩ_h）１８のそれぞれにある重みを乗
じて和をとったものからカット点を検出する例の２つの
例について後述する。その際の重みや閾値は、あらかじ
め与えられているものとしているが、Ｉピクチャ、Ｐピ
クチャのそれぞれの出現頻度に応じて変化させても構わ
ない。変化のさせかたについては後述する。

【００５７】以下、Ｐピクチャ変化量算出手段１４の実
施例、Ｉピクチャ変化量算出手段１７の実施例及びカッ
ト点検出手段１９の実施例の詳細な説明を順に行なう。

【００５８】Ｐピクチャ変化量算出手段１４の第一の実
施例は、Ｐピクチャに含まれている情報を用いて変化量
を算出する。Ｐピクチャのブロックには予測が成功した
ブロック（以下ｐブロック）と、予測が成功しなかった
ブロック内符号化ブロック（以下ｉブロック）の２種類
が存在する。カット点においては、画面が急激に変化す
るため、予測がはずれｉブロックの個数が急激に増大す
る。この性質を用いて各フレーム毎のｉブロックの個数
がブロックに占める割合を各ブロック毎の変化量として
算出する。この変化量は、カメラの動きや被写体の動き
を誤ってカット点として検出することを防ぐ効果があ
る。

【００５９】通常のカット点ではカット点以降、類似し
た画像が継続するためＰピクチャ中のｉブロックの個数
は少ない。

【００６０】ワイプにはさまざまなタイプがあり、カッ
ト点の前後の２枚の静止画像の前面の画像の一部が徐々
にめくれていくようなワイプの場合、めくれていく部分
に沿ってｉブロックが出現してくる。ワイプ中の各Ｐピ
クチャに出現するｉブロックはごく少数であるが、数フ
レームに渡るｉブロックの個数を累積したものは大き
い。

【００６１】フラッシュは１フレームだけ急激に明度が
上昇し直後に下降するため、フラッシュがたかれたＰピ
クチャとその直後のＰピクチャでは、ほぼ同じ位置にｉ
ブロックが出現する。

【００６２】本第一の実施例における通常のカット点で
は、変化量は十分に大きな値となる。しかし、フラッシ
ュもカット点と同様大きな変化量を示したり、緩やかに
変化するカット点では、変化量が大きくならないという
欠点を持っている。

【００６３】次に、Ｐピクチャ変化量算出手段１４の第
二の実施例を、図３を用いて説明する。まず、Ｐピクチ
ャ列（Ｐ_h，_k）１１０が入力される。入力された各Ｐピ
クチャに対し、各Ｐピクチャのブロック情報読み取り処
理１００により、Ｐピクチャ中のブロックの位置と種別
を読み取る。これによりＰピクチャのブロック配列１１
１を得る。

【００６４】ピクチャのブロック配列１１１のブロック
配列のｉブロックを“１”ｐブロックを“０”とみな
し、ＸＯＲ配列作成処理１０１では、図４に示すよう
に、注目Ｐピクチャと前ＸＯＲ配列Ｘ_h，_k-1との間でＸ
ＯＲをとり、注目ＰピクチャのＸＯＲ配列Ｘ_h，_k（１１
２）を作成する。ＸＯＲ配列１１２の作成を一定回数繰
り返したら、ＸＯＲ配列をリセットする。ＸＯＲ配列を
リセットする周期は任意に設定できる。周期を長くする
と緩やかな変化は検出しやすくなる反面、短い間隔で発
生するカット点を検出することができない。

【００６５】本第二の実施例ではＩピクチャから次のＩ
ピクチャまでの１４フレームでＸＯＲ配列を順次作成す
る。一般的なカット点、ワイプ、フラッシュをそれぞれ
含むＰピクチャ列に対するＸＯＲ配列の変化の様子を図
５乃至図７に示す。一般的なカット点（図５）では、カ
ット点の直後に多数のｉブロックが発生するが、その後
に表われるｉブロックの個数は少ないため、カット点の
後のＸＯＲ配列上では１の個数は高い値を保ったままで
ある。ワイプの場合（図６）、ｉブロックの位置が少し
ずつずれて出現するため、ＸＯＲ配列上で１が蓄積され
ていく。フラッシュの場合（図７）、フラッシュと直後
のＰピクチャで、ｉブロックがほぼ同じ位置にほぼ同じ
個数だけ出現するため、ＸＯＲ配列上で一時的に１の個
数が増大するもののすぐに打ち消されてなくなる。

【００６６】変化量算出処理１０２の処理手順を図８を
用いて説明する。ＸＯＲ配列Ｘ_h，_kに含まれる１の個数
をカウントしたものをＮ_h，_kとして出力する（ステップ
１０３１）。グループ内にカット点が存在する場合、グ
ループの最終ＸＯＲ配列Ｘ_h，₁₃の１の個数Ｎ_h，₁₃は高
い値を持つので、Ｎ_h，₁₃が一定の閾値を超えた（Ｙｅ
ｓ）場合（ステップ１０３２）、カット点の候補がグル
ープｈに存在するとし、カット点候補のフレーム番号を
特定するために、過去に遡ってＮ_h，_kを調べ、その値が
ある閾値（前記一定の閾値と同じである）を超え始めた
ところをカット点候補のフレーム番号ｋ’とする（ステ
ップ１０３３）。特定されたフレーム番号に対応するＮ
_h，_k'がブロックの総数に占める割合を変化量１５Ｄ
Ｐ_h，_k'として算出し、他は０とする。カット点が存在
しないと判定された（Ｎｏ）場合、変化量は、すべて０
とする（ステップ１０３４）。

【００６７】Ｐピクチャ変化量算出手段の第二の実施例
では、ｉブロックの個数を基に、容易にカット点を検出
しやすいよう、通常のカット点やワイプ、ディゾルブ等
の緩やかなカット点を強調し、明らかにカット点ではな
いと思われるノイズを除去する処理を行なって変化量を
算出した。通常のカット点ではカット点以降、類似した
画像が継続するためＰピクチャ中のｉブロックの個数は
少ない。

【００６８】ワイプにはさまざまなタイプがあり、カッ
ト点の前後の２枚の静止画像の前面の画像の一部が徐々
にめくれていくようなワイプの場合、めくれていく部分
に沿ってｉブロックが出現してくる。ワイプ中の各Ｐピ
クチャに出現するｉブロックはごく少数であるが、数フ
レームに渡るｉブロックの個数を累積したものは大き
い。

【００６９】フラッシュは１フレームだけ急激に明度が
上昇し直後に下降するため、フラッシュがたかれたＰピ
クチャとその直後のＰピクチャでは、ほぼ同じ位置にｉ
ブロックが出現する。

【００７０】第二の実施例では、カット点を強調し、ノ
イズを除去するために、ＸＯＲ配列を用いているが、ヒ
ストグラムを作成して変化量を算出したり、連続する数
フレームの平均値を基に変化量を算出したりするなどの
空間的演算を行なってもよい。

【００７１】次に、Ｉピクチャ変化量算出手段１７につ
いて説明する。Ｉピクチャ変化量算出手段１７は、Ｉピ
クチャ列１６から変化量を算出する。Ｉピクチャにはｉ
ブロックしか存在しない。ｉブロック中のＤＣＴ係数の
直流成分は、各ｉブロック中の画素の輝度や色差成分の
平均値を表わしているので、直流成分から縮小画像を生
成できる。本実施例では、直流成分のうちの輝度成分を
用いて縮小画像を作成し、隣接縮小画像の各画素同士の
差の大きい画素の個数を変化量とする。なお、隣接縮小
画像の画素同士の比較において、比較対象は必ずしも対
応する位置に存在する画素でなくても良く、対応する位
置周辺に一つでも類似する画素が存在するかどうかで変
化量を算出しても良い。これは、カメラワーク等の動き
影響を排除するために有効な手法である。なお、探索範
囲については、Ｉピクチャ同士の間に存在するピクチャ
数に応じて、範囲を決定する。Ｉピクチャ間にピクチャ
が多数存在する場合には、探索範囲を広げ、少数しかピ
クチャが存在しない場合には、探索範囲を狭めるという
手法をとる。また、Ｐピクチャに記録されている動き補
償によって得られている動きベクトルを元に、対応する
画素がどのような軌跡を描いたのかを追跡するという処
理を行っても良い。

【００７２】次に、図９を用いてＩピクチャ変化量算出
手段の第一の実施例の詳細な説明を行なう。Ｉピクチャ
列１６から直流成分抽出処理２００によってｉブロック
の直流成分の輝度成分から直流成分輝度画像ＤＣ_h（ｈ
＝０，１，…，ｔ）２１０を得る。Ｉピクチャ直流成分
同士の比較処理２０１で、隣り合う直流成分画像の輝度
の差分があらかじめ与えられた閾値Ｔ_hより大きい差分
画素数（Ｎ_h）２１１を算出する。画像の内容が類似し
ていれば、差分画素数（Ｎ_h）２１１は小さく、違いが
大きければ差分画素数（Ｎ_h）２１１は大きくなる。

【００７３】ただし、カメラや被写体の動きによっても
差が生じるので、突出検出フィルタ処理２０２によっ
て、こうしたノイズを消去する。突出検出フィルタ処理
２０２は、注目している特微量Ｎ_hと、前後数フレーム
の特微量…，Ｎ_h-2，Ｎ_h-1，Ｎ_h ₊₁，Ｎ_h+2，…，のうち
の最大のものとの差をとるものである。

【００７４】本実施例では前後２フレームの特微量を比
較対象に用いている。突出検出フィルタ処理２０２によ
ってカメラの動きや、被写体の動き等のノイズは除去
し、カット点を強調した変化量１８ＤＩ_h＝Ｎ_h−ｍａｘ
｛Ｎ_h-2，Ｎ_h-1，Ｎ_h+1，Ｎ_h+2｝を得る。

【００７５】変化量算出の際に作成する縮小画像は、直
流成分のうちの輝度成分だけを用いた白黒画像でも良い
し、色差成分も用いてカラー画像化しても良い。変化量
は、隣り合うＩピクチャ同士の変化の大小を反映する特
微量であれば良く、例えば、対応する画素同士の輝度や
色の差分でも良いし、各画像の輝度と色を基に算出した
ヒストグラム同士の差分でも良いし、いくつかの画素を
集めた画素ブロック同士の差分をとっても良い。本実施
例では、変化量の算出に際して、突出検出フィルタをか
けたが、他のフィルタを用いても良いし、フィルタを用
いずとも良い。

【００７６】カット点検出過程の一実施例について述べ
る。この過程では、Ｉピクチャ変化量算出手段１７と、
Ｐピクチャ変化量算出手段１４の２つの変化量算出手段
によって得られたＩピクチャ変化量ＤＩ_hとＰピクチャ
変化量ＤＰ_h，_kを組み合わせることで、最終的なカット
点を得る。

【００７７】次に、カット点検出手段１９の第一の実施
例について述べる。２つのＩピクチャ変化量ＤＩ_h（ｈ
＝０，１，…，ｔ）とＰピクチャ変化量ＤＰ_h，_k（ｈ＝
０，１，…，ｔ、ｋ＝０，１，…，１３）に対して、そ
れぞれ閾値ＴＰとＴＩを設定し、各変化量が閾値を上回
った場合、全てをカット点とする。なお、ここで用いる
閾値は、あらかじめ定めた値でも構わないし、様々に変
化させても構わない。変化のさせ方については後述す
る。

【００７８】前記カット点検出手段１９の第一の実施例
について、図１０を用いて詳細に説明する。カット点が
存在するかどうかの判定をステップ３００でグループ毎
に行なう。あるグループｈ（ｈ＝０，１，…，ｔ）のＰ
ピクチャ列１３から算出したＰピクチャ変化量ＤＰ_h，_k
（ｋ＝０，１，…，１３）が閾値ＴＰを上回るＰピクチ
ャ変化量ＤＰ_h，_k'が存在する（Ｙｅｓ）場合、フレー
ム番号ｋ’にカット点（カット点ｋ’：３０２）が存在
するとし、Ｉピクチャ変化量ＤＩ_hの値とは無関係にグ
ループｈに対するカット点検出処理を終了する。

【００７９】Ｐピクチャ変化量ＤＰ_h，_kが閾値ＴＰを下
回る場合でも、グループの最後のＰピクチャと次のグル
ープの先頭のＩピクチャの間にカット点が存在する可能
性があるので、Ｉピクチャから算出されたＤＩ_h+1を評
価する（ステップ３０３）。ＤＩ_h+1が閾値ＴＩを上回
る場合（Ｙｅｓ）、グループｈの最後のＰピクチャと次
のグループｈ＋１の先頭のＩピクチャとの間にカット点
が存在するとし、カット点に対応するフレームの位置を
決定し、カット点ｈ＋１に対応する時刻をカット点（カ
ット点ｈ＋１：３０５）として出力して終了する。ＤＩ
_h+1が閾値ＴＩを下回った（Ｎｏ）場合には、カット点
はグループｈには存在しないとし（ステップ３０６）、
終了する。

【００８０】次に、カット点検出手段１９の第二の実施
例について説明する。第二の実施例では、２つの変化量
算出手段（１４，１７）で得られた２つの変化量に重み
を乗じ、和をとったものが閾値以上である場合カット点
が存在するとする。

【００８１】前記カット点検出手段１９の第二の実施例
について、図１１を用いて詳細に説明する。まず、ステ
ップ４００であるグループｈのＰピクチャ列１３から算
出した変化量の最大値ｍａｘ｛ＤＰ_h，_k｝（ｋ＝０，
１，２，・・・１３）を決定し、前記グループｈにカット
点が存在するかどうかの判定をステップ４０１で行な
う。あるグループｈのＰピクチャ列１３から算出した変
化量の最大値ｍａｘ｛ＤＰ_h，_k｝と、次のグループｈ＋
１のＩピクチャ列１６の変化量ＤＩ_h+1のそれぞれに重
みＷＰ，ＷＩ（ただし、ＷＰ＝１４／１５，ＷＩ＝１／
１５）を乗じ和をとる。得られた値が閾値Ｔを上回る
（Ｙｅｓ）場合、グループｈにカット点は存在している
とする（ステップ４０２）。存在すると判定された場
合、フレーム番号を特定するため、重みを乗じた変化量
ＷＰ＊ｍａｘ｛ＤＰ_h，_k｝とＷＩ＊ＤＩ_h+1とをステッ
プ４０３で比較し、変化量ＷＰ＊ｍａｘ｛ＤＰ_h，_k｝が
大きい（Ｙｅｓ）場合、ｍａｘ｛ＤＰ_h，_k｝に対応する
フレーム番号ｋ’にカット点が存在すると判定する（ス
テップ４０５）。また、ＷＩ＊ＤＩ_h+1が大きい（Ｎ
ｏ）場合、ＷＩ＊ＤＩ_h+1の直前にカット点が存在と判
定する（ステップ４０６）。

【００８２】また、ステップ４０１で前記グループｈに
カット点が存在しないと判定された（Ｎｏ）場合、カッ
ト点は存在しないとし処理は終了する（ステップ４０
４）。

【００８３】なお、ここで用いる重みと閾値は、あらか
じめ定めた値でも構わないし、様々に変化させても構わ
ない。変化のさせかたについては後述する。

【００８４】次に、前記カット点検出手段１９の第３の
実施例について説明する。前述のカット点検出手段の第
一の実施例における閾値を出現頻度に応じて変化させ
る。Ｉピクチャの出現頻度に応じた最適な閾値を与える
対応表をあらかじめ作成しておき、出現頻度に応じて閾
値を設定する。Ｉピクチャの出現頻度が高い場合には、
Ｉピクチャ同士の間隔は接近しているため、カメラや被
写体の動きによる画像の内容の違いは小さく、変化量は
小さいため、閾値を低くしてもこれらをカット点として
誤って検出することはない。閾値を低くすることで、シ
ーンの画像の内容の変化が小さいカット点を検出し損な
うことがなくなる。

【００８５】Ｉピクチャの出現頻度が低い場合は、カメ
ラや被写体の動きによる差が大きく、変化量が大きくな
るため、これらをカット点として誤って検出することを
防ぐため閾値を高く設定する。Ｉピクチャの出現頻度が
非常に高い場合には、Ｉピクチャの変化量だけを用いて
カット点を検出する。ＩピクチャからＤＣＴ係数の直流
成分を抽出すると、各Ｉピクチャの縮小画像を作成する
ことができる。この縮小画像を従来の非圧縮映像からの
カット点検出方法に入力することで、従来のカット点検
出方法とほぼ等しい精度でカット点を検出することがで
きる。本実施例では、Ｉピクチャが１秒間に１０フレー
ムを超えて出現する場合は、Ｉピクチャのみでカット点
の検出を行なうことにしている。

【００８６】Ｉピクチャの閾値ＴＩと同様に、Ｐピクチ
ャ閾値ＴＰを変化させる。Ｐピクチャは動き予測符号化
を行っているので、動きの影響をうけづらいという利点
があり、ＩピクチャないしＰピクチャが連続して出現し
ている場合には、とくにＰピクチャ閾値ＴＰを変化させ
る必要はない。しかし、Ｐピクチャ列の間にＢピクチャ
が出現する場合には、ピクチャ同士の間隔が広いため、
画像中の被写体やカメラの動きが連続に出現する場合と
比べて大きく変化する。従って、Ｐピクチャが連続で出
現しているか、それともＢピクチャが出現しているかど
うかによって、Ｐピクチャ閾値ＴＰを変化させる。すな
わち、Ｂピクチャの出現頻度に応じてＰピクチャ変化量
の閾値ＴＰを変化させる。

【００８７】例えば、Ｐピクチャ２フレームの間にＢピ
クチャが０フレームも出現しない場合と、Ｂピクチャが
２フレーム出現する場合とでは、閾値を変化させる。動
きの影響を受やすいとイントラブロックが多数出現しや
すく、変化量も大きくなりやすいという特徴があるた
め、Ｂピクチャが０フレームも出現しない場合は閾値を
低くし、２フレーム出現する場合には、閾値を高くする
という操作を行なう。

【００８８】また、Ｉピクチャ、Ｐピクチャのそれぞれ
の変化量への重みの付け方についても、双方の出現頻度
に応じて変化させる。すなわち、後述する第二の実施例
では、ＷＩを１／１５、ＷＰを１４／１５としている
が、Ｉピクチャの出現頻度が高ければＷＩは大きくし、
低ければＷＩを小さくする。また、Ｂピクチャの出現頻
度が高ければＷＰは大きくし、低ければＷＰを小さくす
る。

【００８９】なお、第三の実施例同様Ｉピクチャが１秒
間に１０フレーム以上出現するような場合には、ＷＩを
１５／１５、すなわち１としＷＰを０とする。

【００９０】本実施例では、閾値はカット点検出装置に
よって自動的に与えられているが、ユーザインタフェー
ス部を付加し、任意に閾値を変化することも可能であ
る。例えば、ユーザが圧縮符号化映像の内容をブラウジ
ングしやすいようにカット点直後の画像を表示する機能
と、ユーザインタフェース部とを共に付加し、閾値を任
意に設定させることで、ユーザが圧縮符号化映像の内容
を表示する画像の個数を調節し、希望するシーンをアク
セスしやすいようにする本発明の装置を応用したアプリ
ケーションも考えられる。

【００９１】（実施形態２）図１２は本発明の実施形態
（実施例）２のカット点検出方法を説明するための横切
り物体が存在する場合の変化量を示す図、図１３はＩピ
クチャ上の変化領域部分によるＤＰ算出処理を説明する
ための図、図１４は各状態におけるＰピクチャの変化量
を説明するための図である。

【００９２】本発明の実施形態（実施例）２のカット点
検出方法は、前記実施形態１におけるＰピクチャ変化量
をＩピクチャ変化量で補正することにより、ノイズを除
去するものである。

【００９３】前記実施形態１において、Ｐピクチャ列か
ら変化量を算出する際に、Ｐピクチャ上での、フラッシ
ュや動き情報などの急激な変化をカット点として誤って
検出することを防ぐ変化量算出手段を説明した。この変
化量算出手段の一実施例は、ＸＯＲ配列を作成する処理
から変化量を算出する手法である。これは、フラッシュ
が発生したフレームと次のフレームでは、それぞれ対応
する位置上のブロック（ＭＢ）がブロック内符号化ブロ
ック（ＩｎｔｒａＭＢ）になるためＸＯＲ演算を行なう
ことで、フラッシュを変化量から除去することが可能で
ある。

【００９４】ＸＯＲ配列による方法は、フラッシュ等の
影響を相殺し、ディゾルブ等の緩やかな変化にも有効な
手法である。しかし、物体が高速で横切っていく場合、
横切る物体の縁領域に追随してブロック内符号化ブロッ
ク（ＩｎｔｒａＭＢ）が出現する。こうした場合、前記
実施形態１ですでに提案したＸＯＲ配列を作成する手法
では、ノイズが相殺されず、大きな変化量が算出される
ことになる（図１２参照）。一方で、すばやく横切るた
め、対応するＩピクチャ同士の成分は一致し、Ｉピクチ
ャ同士の比較による変化は小さい。したがって、Ｐピク
チャ変化量は大きく、Ｉピクチャ変化量は小さくなり、
評価方法によっては、実際にはカット点が存在しなくて
も、カット点が存在すると誤って判別する可能性があ
る。

【００９５】そこで、これを防ぐために、算出されたＰ
ピクチャ変化量から、Ｉピクチャ同士のブロック（Ｍ
Ｂ）を比較して類似していると判定されたブロック（Ｍ
Ｂ）に対応するＰピクチャ列上でのブロック（ＭＢ）部
分から算出されたＰピクチャ変化量部分を除去し、得ら
れる値をＰピクチャ変化量として用いる（図１３参
照）。

【００９６】このような場合、Ｐピクチャ列上に、カッ
ト点、ディゾルブ変化、フラッシュ、横切り物体、カメ
ラワーク等による動き情報が存在するとき、それぞれの
画像上では（図１４参照）、カット点及びディゾルブ：Ｉピクチャ同士に著しい差
があり、Ｐピクチャ上での対象領域は大きくなり、Ｐピ
クチャ変化量は大きな値を持つ。フラッシュ及び横切り物体：Ｉピクチャ同士に差がない
ため、Ｐピクチャ上での比較対象領域は小さくなり、Ｐ
ピクチャ変化量も大きな値を取らない。動き情報：Ｉピクチャ同士に著しい差
があり、Ｐピクチャ上での比較対象領域は大きくなる
が、Ｐピクチャ上で、動き補償により動き情報が吸収さ
れるため、Ｐピクチャ変化量は小さくなる。すなわち、Ｐピクチャを算出する際にＩピクチャで得ら
れる情報を用いることにより、安定に検出することがで
きる。

【００９７】（実施形態３）Ｉピクチャが周期的に出現
するような大半のＭＰＥＧデータでは、Ｐピクチャ変化
量だけを基にしたカット点検出方法の場合、Ｉピクチャ
直前にカット点が存在していても検出が不可能であるこ
とは、すでに前記実施形態において述べた。そこで、Ｉ
ピクチャ同士を比較して、Ｉピクチャ変化量を用いてカ
ット点を検出する方法についてもすでに述べた。

【００９８】しかし、Ｉピクチャ変化量は大局的な特徴
量であるため、Ｉピクチャ直前に存在するカット点を検
出するためには、Ｉピクチャ間に存在するＰピクチャ上
での変化による影響を排除する必要がある。なお、この
場合のＰピクチャ上での変化とは、カット点、フラッシ
ュ、カメラワークや動き被写体等の動き情報のことを指
す。そこで、Ｉピクチャ同士の比較によるカット点検出
に影響を及ぼしそうなＰピクチャ上での変化を記録し、
Ｉピクチャ変化量を算出した後でＰピクチャの変化分を
除去する補正処理を行なって、Ｉピクチャ直前のカット
点を検出することができる。

【００９９】以下に本実施形態３の２つの実施例につい
て説明する。第一の実施例は、単純なＩピクチャ同士を
比較して変化量ＤＩ_tを算出すると、カメラワークや動
き被写体などの動き情報に左右される。そこで、あらか
じめ画面上で動き物体がどのように動いていったかとい
う軌跡を各Ｐピクチャの動き予測ベクトルを利用して追
跡し、注目Ｉピクチャ上の対応するマクロブロックが比
較対象Ｉピクチャ上のどこに有りそうかという情報を用
いて、比較するブロック（ＭＢ）の探索範囲を狭め、動
きに追随したＩピクチャ同士からの変化量を算出できる
ようにする。このように、動き情報を相殺することによ
ってカメラワークや動き被写体の影響を排除でき、これ
らの場合を誤ってシーンチェンジが行われたと判断する
ことを防ぐ。

【０１００】第二の実施例は、Ｉピクチャ列からの変化
量は、Ｐピクチャ変化量では検出不可能なＰピクチャと
Ｉピクチャ間に存在するカット点の検出にも用いられ
る。その際、単純なＩピクチャ同士の比較によるＩピク
チャ変化量ではＰピクチャ上で発生した変化なのか、Ｐ
ピクチャとＩピクチャ間で発生した変化なのかを区別で
きない。そこで、Ｉピクチャ変化量からＰピクチャ上の
変化による影響を除去する処理が必要となる。

【０１０１】Ｐピクチャ上での動きや明度変化は、予測
残差の大きなＩｎｔｅｒＭＢ（フィールド間順方向予測
符号化ブロック）やＩｎｔｒａＭＢとなって現れる。そ
こで、Ｐピクチャ列上でＩｎｔｒａＭＢや予測残差の大
きなＩｎｔｅｒＭＢが出現した領域を順次蓄積し、記録
する。Ｐピクチャ上に蓄積し、記録されたこれらの領域
は、Ｐピクチャ上の変化に対応し、Ｉピクチャ同士の比
較を行なってＰピクチャとＩピクチャ間での変化量を算
出する際には、除去されるべきである。そこで、算出さ
れたＩピクチャ変化量からＰピクチャ上で記録した前述
の変化領域に対応した領域から算出された変化量につい
ては、除去する処理を行なうことにより、Ｐピクチャと
Ｉピクチャ間の変化量を求めることができる（図１５参
照）。

【０１０２】（実施形態４）なお、本発明は、圧縮符号
化データを保存し、それらを自由に読み出し可能なハー
ドディスクやそれに準ずる装置と、データを処理する際
に必要なバッファやそれに準ずる装置と、最終的に検出
されたカット点を表示、出力するディスプレイなどの装
置を備え、それらハードディスク、バッファ及びディス
プレイ等をあらかじめ定められた手順に基づいて制御す
る中央演算装置などを備えたコンピュータやそれに準ず
る装置を元に、上述した実施形態１，２，３の処理、な
いしは、図１，図２，図３，図８，図９，図１０及び図
１１に示した方法ないしアルゴリズムを記述した処理プ
ログラムやそれに準ずる物を、該コンピュータに対して
与え、制御、実行させることで実現することが可能であ
る。なお、該処理プログラムやそれに準ずる物を、コン
ピュータが実行するに当たって読み出すことを可能とす
るフロッピーディスク（ＦＤ）、光磁気ディスク（Ｍ
Ｏ）やそれに準ずる記憶媒体に格納されていても構わな
い。

【０１０３】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。

【０１０４】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。

【０１０５】圧縮符号化された画像データ列に対し、画
面内符号化画像と、画面間順方向予測符号化画像に含ま
れている各種情報を用いて、カット点を検出することに
より、データを復号化することなく、高速で、安定にカ
ット点を検出することができる。

【図面の簡単な説明】

【図１】本発明の実施形態のカット点検出方法の処理の
流れを示すフローチャートである。

【図２】本実施形態のカット点検出方法を実施するカッ
ト点検出装置の一実施例の概略構成を示すブロック構成
図である。

【図３】本実施形態のカット点検出方法を実施するカッ
ト点検出装置におけるＰピクチャ変化量算出手段の処理
手段を示すフローチャートである。

【図４】本実施形態のカット点検出方法におけるＸＯＲ
配列作成の原理を説明するための図である。

【図５】本実施形態のカット点検出方法の一般的なカッ
ト点の場合の諸条件におけるＰピクチャ、ブロック配
列、ＸＯＲ配列の模式図である。

【図６】本実施形態のカット点検出方法のワイプの場合
の諸条件におけるＰピクチャ、ブロック配列、ＸＯＲ配
列の模式図である。

【図７】本実施形態のカット点検出方法のフラッシュの
場合の諸条件におけるＰピクチャ、ブロック配列、ＸＯ
Ｒ配列の模式図である。

【図８】本実施形態のカット点検出方法における変化量
算出処理の手順を示すフローチャートである。

【図９】本実施形態のカット点検出方法を実施するカッ
ト点検出装置におけるＩピクチャ変化量算出手段の処理
手段を示すフローチャートである。

【図１０】本実施形態のカット点検出方法を実施するカ
ット点検出装置におけるカット点検出手段の第一の実施
例の処理手順を示すフローチャートである。

【図１１】本実施形態のカット点検出方法を実施するカ
ット点検出装置におけるカット点検出手段の第二の実施
例の処理手順を示すフローチャートである。

【図１２】本発明の実施形態２における横切り物体が存
在する場合の変化量を説明するための図である。

【図１３】本実施形態２におけるＩピクチャ上の変化領
域部分によるＤＰ算出処理を説明するための図である。

【図１４】本実施形態２における各状態におけるＰピク
チャの変化量を説明するための図である。

【図１５】本発明の実施形態３におけるＤＩのＤＰによ
る補正及び比較処理を説明するための図である。

【図１６】従来の画面内符号化方式、画面間順方向予測
符号化方式、画面間双方向予測符号化方式を説明するた
めの図である。

【符号の説明】

０…入力圧縮画像データ、１…画面間順方向予測符号化
画像列、２…画面間順方向予測符号化変化量算出過程、
３…画面間順方向予測符号化画像列変化量、４…画面内
符号化画像列、５…画面内符号化変化量算出過程、６…
画面内符号化画像列変化量、７…カット点検出過程、１
０…入力圧縮画像データ列、１１…ピクチャ判定手段、
１２…データ列メモリ、１３…Ｐピクチャ列、１４…Ｐ
ピクチャ変化量算出手段、１５…Ｐピクチャの変化量、
１６…Ｉピクチャ列、１７…Ｉピクチャ変化量算出手
段、１８…Ｉピクチャの変化量、１９…カット点検出手
段、２０…カット点。

フロントページの続き (72)発明者浜田洋東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内 (72)発明者外村佳伸東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内

Claims

【特許請求の範囲】

【請求項１】画面間予測符号化方式と画面内符号化方
式を共に含む圧縮符号化方式によって圧縮された画像デ
ータ列からカット点を検出するカット点検出方法におい
て、画面間順方向予測符号化方式で圧縮された画像列Ｐ
_tに含まれる符号化情報を基に、画像列Ｐ_tの変化量ＤＰ
_tを算出する画面間順方向予測符号化変化量算出過程
と、画面内符号化方式で圧縮された画像列Ｉ_tに含まれ
る符号化情報を基に、画像列Ｉ_tの変化量ＤＩ_tを算出す
る画面内符号化変化量算出過程と、両過程で得られる二
つの変化量ＤＰ_tとＤＩ_tの両方を評価しカット点を検出
するカット点検出過程を具備することを特徴とするカッ
ト点検出方法。
【請求項２】前記画面間順方向予測符号化変化量算出
過程において、画面間予測が外れた領域が全画面に占め
る割合を変化量とすることを特徴とする請求項１に記載
のカット点検出方法。
【請求項３】前記画面間順方向予測符号化変化量算出
過程、画面内符号化変化量算出過程のいずれか一方又は
両方で、画像列の隣り合う画像間で変化の生じた領域を
変化領域として求める過程と、該変化領域の時間系列に
対してあらかじめ与えられた空間的演算を施した後、そ
れらを時間的に積分する過程を含むことを特徴とする請
求項１に記載のカット点検出方法。
【請求項４】前記変化量ＤＰ_tと変化量ＤＩ_tの両方を
評価しカット点を検出するカット点検出過程において、
画像列Ｐ_tに含まれる符号化情報を基に得られた画像列
Ｐ_tの変化量ＤＰ_tに対して、画像列Ｉ_tから得られた情
報を用いて、変化量ＤＰ_tを補正する処理過程を含むこ
とを特徴とする請求項１乃至３のうちいずれか１項に記
載のカット点検出方法。
【請求項５】前記変化量ＤＰ_tと変化量ＤＩ_tの両方を
評価しカット点を検出するカット点検出過程において、
画像列Ｉ_tに含まれる符号化情報を基に得られた画像列
Ｉ_tの変化量ＤＩ_tに対して、画像列Ｐ_tから得られた情
報を用いて、変化量ＤＩ_tを補正する処理過程を含むこ
とを特徴とする請求項１乃至３のうちいずれか１項に記
載のカット点検出方法。
【請求項６】前記カット点検出過程において、画面間
順方向予測符号化変化量算出過程から得られる変化量Ｄ
Ｐ_tが、第一の閾値ＴＰ_tを上回るか、画面内符号化変化
量算出過程から得られる変化量ＤＩ_tが、第二の閾値Ｔ
Ｉ_tを上回るか、どちらか一方が成立した場合に時刻ｔ
にカット点が存在していると判定することを特徴とする
請求項１，４，５のいずれか１項に記載のカット点検出
方法。
【請求項７】前記カット点検出過程において、画像列
Ｐ_tと画像列Ｉ_tの出現頻度を測定する過程を含み、該出
現頻度に応じて、二つの変化量ＤＰ_tとＤＩ_tを評価する
手続きを切り替えることを特徴とする請求項１，４，５
のいずれか１項に記載のカット点検出方法。
【請求項８】カット点検出過程において、画像列Ｐ_t
と画像列Ｉ_tの出現頻度を測定する過程を含み、該出現
頻度に応じて、二つの変化量ＤＰ_tとＤＩ_tに対する二つ
の閾値ＴＰ_t，ＴＩ_tを制御することを特徴とする請求項
１，４，５のいずれか１項に記載のカット点検出方法。
【請求項９】コンピュータに、請求項１乃至８のいず
れか１項に記載のカット点検出方法を機能させるための
処理プログラムを記録したコンピュータが読み取り可能
な記録媒体。
【請求項１０】画面間予測符号化方式と画面内符号化
方式を共に含む圧縮符号化方式によって圧縮された画像
データ列からカット点を検出するカット点検出装置にお
いて、画像データ列中の圧縮符号化方式の種類を判定
し、符号化データを分類するピクチャ判定手段と、画面
間順方向予測符号化方式で圧縮された画像列Ｐ_tに含ま
れる符号化情報を基に、画像列Ｐ_tの変化量ＤＰ_tを算出
するＰピクチャ変化量算出手段と、画面内符号化方式で
圧縮された画像列Ｉ_tに含まれる符号化情報を基に、画
像列Ｉ_tの変化量ＤＩ_tを算出するＩピクチャ変化量算出
手段と、両変化量算出手段で得られる二つの変化量ＤＰ
_tとＤＩ_tを評価しカット点を検出するカット点検出手段
とを具備することを特徴とするカット点検出装置。