JP3378773B2 - ショット切換検出方法およびショット切換検出プログラムを記録した記録媒体 - Google Patents
ショット切換検出方法およびショット切換検出プログラムを記録した記録媒体Info
- Publication number
- JP3378773B2 JP3378773B2 JP16781197A JP16781197A JP3378773B2 JP 3378773 B2 JP3378773 B2 JP 3378773B2 JP 16781197 A JP16781197 A JP 16781197A JP 16781197 A JP16781197 A JP 16781197A JP 3378773 B2 JP3378773 B2 JP 3378773B2
- Authority
- JP
- Japan
- Prior art keywords
- label
- shot switching
- shot
- pixel value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は，映像データからシ
ョット切換を検出するショット切換検出方法およびショ
ット切換検出プログラムを記録した記録媒体に関するも
のである。映像データベースを構築する際に，映像を場
面毎に分割する処理に用いることができる。
ョット切換を検出するショット切換検出方法およびショ
ット切換検出プログラムを記録した記録媒体に関するも
のである。映像データベースを構築する際に，映像を場
面毎に分割する処理に用いることができる。
【０００２】
【従来の技術】映像は，複数のショット（一つのカメラ
で連続的に撮影された場面）から構成される。ショット
とショットの切れ目を「ショット切換」と呼ぶ。ショッ
ト切換には，様々な手法がある。
で連続的に撮影された場面）から構成される。ショット
とショットの切れ目を「ショット切換」と呼ぶ。ショッ
ト切換には，様々な手法がある。
【０００３】最も一般的な手法は「カット」と呼ばれる
もので，図１０（Ａ）に示すように，あるショットから
次のショットに瞬時に切り換えるものである。ショット
を時間をかけてゆっくり切り換える手法には，「ディゾ
ルブ」，「フェード・イン」，「フェード・アウト」，
「ワイプ」等がある。ディゾルブは，あるショットから
次のショットに互いを融合させながら切り換える手法で
ある。図１０（Ｂ）は，ディゾルブの例を示している。
フェード・インは真っ黒（あるいは単一色）の画像か
ら，徐々に次のショットが浮き出してくるようにして切
り換える手法である。フェード・アウトは，フェード・
インの逆操作であり，あるショットを徐々に薄くしなが
ら真っ黒（あるいは単一色）の画像に切り換える手法で
ある。ワイプは，あるショットから次のショットに切り
換える際に，画面の一部から徐々に次のショットを現し
ていく手法である。
もので，図１０（Ａ）に示すように，あるショットから
次のショットに瞬時に切り換えるものである。ショット
を時間をかけてゆっくり切り換える手法には，「ディゾ
ルブ」，「フェード・イン」，「フェード・アウト」，
「ワイプ」等がある。ディゾルブは，あるショットから
次のショットに互いを融合させながら切り換える手法で
ある。図１０（Ｂ）は，ディゾルブの例を示している。
フェード・インは真っ黒（あるいは単一色）の画像か
ら，徐々に次のショットが浮き出してくるようにして切
り換える手法である。フェード・アウトは，フェード・
インの逆操作であり，あるショットを徐々に薄くしなが
ら真っ黒（あるいは単一色）の画像に切り換える手法で
ある。ワイプは，あるショットから次のショットに切り
換える際に，画面の一部から徐々に次のショットを現し
ていく手法である。
【０００４】映像データからショット切換を検出する手
法として，様々な方法が提案されている。説明の都合
上，映像の中で隣接する３枚の画像をＦ０，Ｆ１，Ｆ２
とする。ショット切換のうちカットを検出するには，二
枚の画像Ｆ０，Ｆ１の絵柄が大きく異なることを検出す
ればよい。
法として，様々な方法が提案されている。説明の都合
上，映像の中で隣接する３枚の画像をＦ０，Ｆ１，Ｆ２
とする。ショット切換のうちカットを検出するには，二
枚の画像Ｆ０，Ｆ１の絵柄が大きく異なることを検出す
ればよい。
【０００５】二枚の画像の絵柄の違いを評価する方法と
して様々なものが提案されている。一つの方法として，
画像間の画素毎の差分を計算し，差分の合計が大きい場
合にカットがあると判定するものがある（特公平５−７
４２７３号，「インデックス画像作成装置」）。その他
にも，色ヒストグラムをそれぞれの画像について算出
し，色ヒストグラム間の差を計算してカットを検出する
方法もある（特開平４−１１１１８１号，「動画像の変
化点検出方法」）。
して様々なものが提案されている。一つの方法として，
画像間の画素毎の差分を計算し，差分の合計が大きい場
合にカットがあると判定するものがある（特公平５−７
４２７３号，「インデックス画像作成装置」）。その他
にも，色ヒストグラムをそれぞれの画像について算出
し，色ヒストグラム間の差を計算してカットを検出する
方法もある（特開平４−１１１１８１号，「動画像の変
化点検出方法」）。
【０００６】ショット切換のうちディゾルブとフェード
を検出する従来技術について説明する（参考文献：A.Ha
mpapur, R.Jain, and T.Weymouth: Digital Video Segm
entation. Proceedings of ACM Multimedia 94, ACM Pr
ess, pp.357-364,1994）。
を検出する従来技術について説明する（参考文献：A.Ha
mpapur, R.Jain, and T.Weymouth: Digital Video Segm
entation. Proceedings of ACM Multimedia 94, ACM Pr
ess, pp.357-364,1994）。
【０００７】ディゾルブやフェードを検出するには，デ
ィゾルブやフェードの過程で画素値が単調増加（または
減少）する性質を利用する。画像列Ｆ０，Ｆ１，Ｆ２の
対応する画素における画素値をｆ０，ｆ１，ｆ２とす
る。
ィゾルブやフェードの過程で画素値が単調増加（または
減少）する性質を利用する。画像列Ｆ０，Ｆ１，Ｆ２の
対応する画素における画素値をｆ０，ｆ１，ｆ２とす
る。
【０００８】画素値が単調増加（または減少）するとい
う関係から， ｆ2 −ｆ０≒２（ｆ2 −ｆ１） が成り立つ（ただし，≒は値がほぼ等しいことを表
す）。すなわち （ｆ2 −ｆ1 ）／（ｆ2 −ｆ0 ）≒１／２ …［１］ なる関係がすべての画素について成立する。画像Ｆ０，
Ｆ１，Ｆ２の各画素について（ｆ2 −ｆ1 ）／（ｆ2 −
ｆ０）を画素値とする新たな画像Ｉc を作成する。式
［１］より，理想的には 『Ｉc のすべての画素値が１／２』 …［２］ となるはずである。実際の画像データにはノイズが含ま
れていたり，被写体の動きが含まれていたりするので厳
密に［２］が成立するわけではないが，近似的に［２］
が成立すると仮定する。画像列Ｆ０，Ｆ１，Ｆ２がディ
ゾルブを含むか否かを判定するには，［２］が近似的に
成立するかを判定すればよいことになる。［２］が成立
するか否かを判定するために， constancy＝Ｎ(Id)／｛σ(Ic)・(1.0＋｜Ｃx −ｃx ｜
＋｜Ｃy −ｃy ｜）｝ を計算し，該関数値があるしきい値を越えたときに，デ
ィゾルブがあると判定する（この関数は画像Ｉc が厳密
に［２］を満たす場合に無限大をとる）。ただし，Ｎ
（Ｉd ）はｆ2 −ｆ1 ≠０を満たす画素数，σ（Ｉc ）
は画像Ｉc の画素値の標準偏差，（Ｃx ，Ｃy ）は画像
Ｉc の輝度を重みとして算出される重心，（ｃx ，ｃy
）は画像の中心である。
う関係から， ｆ2 −ｆ０≒２（ｆ2 −ｆ１） が成り立つ（ただし，≒は値がほぼ等しいことを表
す）。すなわち （ｆ2 −ｆ1 ）／（ｆ2 −ｆ0 ）≒１／２ …［１］ なる関係がすべての画素について成立する。画像Ｆ０，
Ｆ１，Ｆ２の各画素について（ｆ2 −ｆ1 ）／（ｆ2 −
ｆ０）を画素値とする新たな画像Ｉc を作成する。式
［１］より，理想的には 『Ｉc のすべての画素値が１／２』 …［２］ となるはずである。実際の画像データにはノイズが含ま
れていたり，被写体の動きが含まれていたりするので厳
密に［２］が成立するわけではないが，近似的に［２］
が成立すると仮定する。画像列Ｆ０，Ｆ１，Ｆ２がディ
ゾルブを含むか否かを判定するには，［２］が近似的に
成立するかを判定すればよいことになる。［２］が成立
するか否かを判定するために， constancy＝Ｎ(Id)／｛σ(Ic)・(1.0＋｜Ｃx −ｃx ｜
＋｜Ｃy −ｃy ｜）｝ を計算し，該関数値があるしきい値を越えたときに，デ
ィゾルブがあると判定する（この関数は画像Ｉc が厳密
に［２］を満たす場合に無限大をとる）。ただし，Ｎ
（Ｉd ）はｆ2 −ｆ1 ≠０を満たす画素数，σ（Ｉc ）
は画像Ｉc の画素値の標準偏差，（Ｃx ，Ｃy ）は画像
Ｉc の輝度を重みとして算出される重心，（ｃx ，ｃy
）は画像の中心である。
【０００９】上述した方法は，３枚の画像Ｆ０，Ｆ１，
Ｆ２からカット，ディゾルブの有無を判定するものであ
った。映像データ中のすべてのショット切換を列挙する
には，映像から画像を順次抜き出しながら上述した判定
方法を繰り返し適用すればよい。従来方法では，映像か
ら一定時間間隔で画像を抜き出しながら処理する方法を
とっていた。
Ｆ２からカット，ディゾルブの有無を判定するものであ
った。映像データ中のすべてのショット切換を列挙する
には，映像から画像を順次抜き出しながら上述した判定
方法を繰り返し適用すればよい。従来方法では，映像か
ら一定時間間隔で画像を抜き出しながら処理する方法を
とっていた。
【００１０】
【発明が解決しようとする課題】前述した従来技術には
次の三つの問題点があった。 (1) カメラや被写体が大きく動いた場合に検出誤りが生
じやすかった。なぜなら，カメラや被写体の動きが含ま
れているとＮ（Ｉd ）が大きくなり，従ってconstancy
の値が大きくなるからである。
次の三つの問題点があった。 (1) カメラや被写体が大きく動いた場合に検出誤りが生
じやすかった。なぜなら，カメラや被写体の動きが含ま
れているとＮ（Ｉd ）が大きくなり，従ってconstancy
の値が大きくなるからである。
【００１１】(2) 映像データから画像を一定時間間隔で
抜き出しながら順次調べる方法を取っていたので，処理
時間がかかるという問題点があった。映像中には変化の
少ない場面（風景を写した場面等）と，変化の激しい場
面（アクションシーン等）が混在していることが多い。
変化の少ない場面では抜き取りの間隔を広げても性能は
落ちないが，変化の激しい場面で抜き取り間隔を広げる
と，上記(1) の問題点により検出誤りが増加するので，
誤りを減らすためには細かい間隔で画像を抜き出して処
理する必要があった。
抜き出しながら順次調べる方法を取っていたので，処理
時間がかかるという問題点があった。映像中には変化の
少ない場面（風景を写した場面等）と，変化の激しい場
面（アクションシーン等）が混在していることが多い。
変化の少ない場面では抜き取りの間隔を広げても性能は
落ちないが，変化の激しい場面で抜き取り間隔を広げる
と，上記(1) の問題点により検出誤りが増加するので，
誤りを減らすためには細かい間隔で画像を抜き出して処
理する必要があった。
【００１２】(3) 非常にゆっくりとしたショット切換
（切換時間の長いショット切換）が検出できないという
問題点があった。非常にゆっくりとしたショット切換に
おいては，短い間隔で抜き取られた画像列Ｆ０，Ｆ１，
Ｆ２の間で大きな変化は観測されない。したがって式
［１］において（ｆ2 −ｆ1 ）／（ｆ2 −ｆ０）の分母
が小さくなり，値のばらつき，すなわち標準偏差σ（Ｉ
c ），が大きくなり，constancy が小さな値をとるよう
になるため，ディゾルブが検出できないという問題点が
あった。
（切換時間の長いショット切換）が検出できないという
問題点があった。非常にゆっくりとしたショット切換に
おいては，短い間隔で抜き取られた画像列Ｆ０，Ｆ１，
Ｆ２の間で大きな変化は観測されない。したがって式
［１］において（ｆ2 −ｆ1 ）／（ｆ2 −ｆ０）の分母
が小さくなり，値のばらつき，すなわち標準偏差σ（Ｉ
c ），が大きくなり，constancy が小さな値をとるよう
になるため，ディゾルブが検出できないという問題点が
あった。
【００１３】本発明は，上記問題点を解決するためにな
されたものであり，(1) カメラや被写体の動きがあって
もディゾルブを含めたショット切換を安定に検出でき
る，(2) 映像に含まれる変化の程度に応じて適応的に抜
き取り間隔を調整しながら高速に処理を行うことができ
る，(3) 切換時間の長いショット切換も検出できる，シ
ョット切換検出方法およびショット切換検出プログラム
を記録した記録媒体を提供することを目的とする。
されたものであり，(1) カメラや被写体の動きがあって
もディゾルブを含めたショット切換を安定に検出でき
る，(2) 映像に含まれる変化の程度に応じて適応的に抜
き取り間隔を調整しながら高速に処理を行うことができ
る，(3) 切換時間の長いショット切換も検出できる，シ
ョット切換検出方法およびショット切換検出プログラム
を記録した記録媒体を提供することを目的とする。
【００１４】
【課題を解決するための手段】請求項１の発明は，画素
値の時間変動に基づいて，画素点毎にラベルを付与する
ラベリングの処理過程と，該ラベルの出現比に基づいて
ショット切換を検出するショット切換判定の処理過程と
を有し，該ラベリングの処理過程で付与するラベルとし
て，画素値がほぼ一定の値をとることを示すラベルＬｃ
と，画素値が急変したことを示すラベルＬｓとを含み，
ショット切換判定の処理過程では，ラベルの付与されな
かった画素点を除いて算出されるラベルＬｓの出現比が
大きいときにショット切換が存在すると判定することを
特徴とする。
値の時間変動に基づいて，画素点毎にラベルを付与する
ラベリングの処理過程と，該ラベルの出現比に基づいて
ショット切換を検出するショット切換判定の処理過程と
を有し，該ラベリングの処理過程で付与するラベルとし
て，画素値がほぼ一定の値をとることを示すラベルＬｃ
と，画素値が急変したことを示すラベルＬｓとを含み，
ショット切換判定の処理過程では，ラベルの付与されな
かった画素点を除いて算出されるラベルＬｓの出現比が
大きいときにショット切換が存在すると判定することを
特徴とする。
【００１５】「ラベルの出現比」は，「ラベルが付与さ
れない画素点」を除いて算出される。「ラベルが付与さ
れない画素点」は，カメラや被写体の動きの影響を受け
て不規則に画素値が変動している点であり，従来技術に
おいて検出誤りの主な原因となっていたものである。こ
のような点を除外して「ラベルの出現比」が算出される
ので，「ラベルの出現比」はカメラや被写体の動きによ
る悪影響を受けにくい。つまり，「ラベルの出現比」に
基づいてショット切換の有無を判定することによって，
カメラや被写体の動きがあってもショット切換を安定に
検出できるようになる。これにより問題点(1) が解決さ
れる。
れない画素点」を除いて算出される。「ラベルが付与さ
れない画素点」は，カメラや被写体の動きの影響を受け
て不規則に画素値が変動している点であり，従来技術に
おいて検出誤りの主な原因となっていたものである。こ
のような点を除外して「ラベルの出現比」が算出される
ので，「ラベルの出現比」はカメラや被写体の動きによ
る悪影響を受けにくい。つまり，「ラベルの出現比」に
基づいてショット切換の有無を判定することによって，
カメラや被写体の動きがあってもショット切換を安定に
検出できるようになる。これにより問題点(1) が解決さ
れる。
【００１６】請求項２の発明は，ラベリングの処理過程
で付与するラベルとして，ある時間区間において画素値
がほぼ線形に変化したことを示すラベルＬｌを含み，シ
ョット切換判定の処理過程では，ラベルＬｌの出現比が
大きいときディゾルブまたはフェードがあると判定する
ことを特徴とする。
で付与するラベルとして，ある時間区間において画素値
がほぼ線形に変化したことを示すラベルＬｌを含み，シ
ョット切換判定の処理過程では，ラベルＬｌの出現比が
大きいときディゾルブまたはフェードがあると判定する
ことを特徴とする。
【００１７】「ラベルが付与されない画素点」を除いて
算出される「ラベルＬｌの出現比」に基づいてショット
切換の有無を判定することによって，カメラや被写体の
動きがあってもディゾルブ，フェードを含むショット切
換を安定に検出できるようになる。これにより問題点
(1) が解決される。
算出される「ラベルＬｌの出現比」に基づいてショット
切換の有無を判定することによって，カメラや被写体の
動きがあってもディゾルブ，フェードを含むショット切
換を安定に検出できるようになる。これにより問題点
(1) が解決される。
【００１８】請求項３の発明は，時刻と時間間隔を指定
して画像列を入力する処理過程と，映像に大きな動きが
含まれているときに前記時間間隔を狭め，映像に含まれ
る動きが少ないときに前記時間間隔を広げるように制御
するステップ幅調整の処理過程とを有することを特徴と
する。
して画像列を入力する処理過程と，映像に大きな動きが
含まれているときに前記時間間隔を狭め，映像に含まれ
る動きが少ないときに前記時間間隔を広げるように制御
するステップ幅調整の処理過程とを有することを特徴と
する。
【００１９】このように，映像に含まれる動きの程度に
応じて適応的に間引き間隔を調整しながら検出処理を行
うので，不必要な画像を処理する手間が省け，高速に処
理を行うことができる。更に，時間間隔を広げることで
切換時間の長いディゾルブやフェードが検出できるよう
になる。これにより問題点(2),(3) が解決される。
応じて適応的に間引き間隔を調整しながら検出処理を行
うので，不必要な画像を処理する手間が省け，高速に処
理を行うことができる。更に，時間間隔を広げることで
切換時間の長いディゾルブやフェードが検出できるよう
になる。これにより問題点(2),(3) が解決される。
【００２０】請求項４の発明は，ラベルの付与されなか
った画素点の数が多いときに映像に大きな動きが含まれ
ているとし，ラベルＬｃの数が多いときに映像に含まれ
る動きが少ないとして，前記時間間隔を制御することを
特徴とする。
った画素点の数が多いときに映像に大きな動きが含まれ
ているとし，ラベルＬｃの数が多いときに映像に含まれ
る動きが少ないとして，前記時間間隔を制御することを
特徴とする。
【００２１】「ラベルの付与されなかった画素点数」
は，映像に含まれる“動き”の量を反映して増減し，そ
の数が大きいときには動きが激しい場面であることを示
すので時間間隔を狭めるように調整する。逆に，ラベル
Ｌｃの数が多いときは動きの少ない場面であるので，時
間間隔を広げるように調整する。このように，映像に含
まれる動きの程度に応じて適応的に間引き間隔を調整し
ながら検出処理を行うので，不必要な画像を処理する手
間が省け，高速に処理を行うことができる。更に，時間
間隔を広げることで切換時間の長いディゾルブやフェー
ドが検出できるようになる。これにより問題点(2),(3)
が解決される。
は，映像に含まれる“動き”の量を反映して増減し，そ
の数が大きいときには動きが激しい場面であることを示
すので時間間隔を狭めるように調整する。逆に，ラベル
Ｌｃの数が多いときは動きの少ない場面であるので，時
間間隔を広げるように調整する。このように，映像に含
まれる動きの程度に応じて適応的に間引き間隔を調整し
ながら検出処理を行うので，不必要な画像を処理する手
間が省け，高速に処理を行うことができる。更に，時間
間隔を広げることで切換時間の長いディゾルブやフェー
ドが検出できるようになる。これにより問題点(2),(3)
が解決される。
【００２２】請求項５の発明は，画素値の時間変動に基
づいて，画素点毎にラベルを付与するラベリング手続き
と，該ラベルの出現比に基づいてショット切換を検出す
るショット切換判定手続きとを具備し，ラベリング手続
きが付与するラベルとして，画素値がほぼ一定の値をと
ることを示すラベルＬｃと，画素値が急変したことを示
すラベルＬｓとを含み，ショット切換判定手続きが，ラ
ベルの付与されなかった画素点を除いて算出されるラベ
ルＬｓの出現比が大きいときにショット切換が存在する
と判定する処理をコンピュータに行わせるためのショッ
ト切換検出プログラムを，コンピュータが読み取り可能
な記録媒体に記録したことを特徴とする。
づいて，画素点毎にラベルを付与するラベリング手続き
と，該ラベルの出現比に基づいてショット切換を検出す
るショット切換判定手続きとを具備し，ラベリング手続
きが付与するラベルとして，画素値がほぼ一定の値をと
ることを示すラベルＬｃと，画素値が急変したことを示
すラベルＬｓとを含み，ショット切換判定手続きが，ラ
ベルの付与されなかった画素点を除いて算出されるラベ
ルＬｓの出現比が大きいときにショット切換が存在する
と判定する処理をコンピュータに行わせるためのショッ
ト切換検出プログラムを，コンピュータが読み取り可能
な記録媒体に記録したことを特徴とする。
【００２３】これにより，請求項１のショット切換検出
方法をコンピュータによって実行することができ，問題
点(1) を解決することができる。請求項６の発明は，さ
らにラベリング手続きが付与するラベルとして，ある時
間区間において画素値がほぼ線形に変化したことを示す
ラベルＬｌを含み，ショット切換判定手続きは，ラベル
の付与されなかった画素点を除いて算出されるラベルＬ
ｌの出現比が大きいときにディゾルブまたはフェードが
存在すると判定する処理をコンピュータに行わせるため
のショット切換検出プログラムを，コンピュータが読み
取り可能な記録媒体に記録したことを特徴とする。
方法をコンピュータによって実行することができ，問題
点(1) を解決することができる。請求項６の発明は，さ
らにラベリング手続きが付与するラベルとして，ある時
間区間において画素値がほぼ線形に変化したことを示す
ラベルＬｌを含み，ショット切換判定手続きは，ラベル
の付与されなかった画素点を除いて算出されるラベルＬ
ｌの出現比が大きいときにディゾルブまたはフェードが
存在すると判定する処理をコンピュータに行わせるため
のショット切換検出プログラムを，コンピュータが読み
取り可能な記録媒体に記録したことを特徴とする。
【００２４】これにより，請求項２のショット切換検出
方法をコンピュータによって実行することができ，問題
点(1) を解決することができる。請求項７の発明は，時
刻と時間間隔を指定して画像列を入力する手続きと，映
像に大きな動きが含まれているときに前記時間間隔を狭
め，映像に含まれる動きが少ないときに前記時間間隔を
広げるように制御するステップ幅調整手続きとを具備す
るショット切換検出プログラムを，コンピュータが読み
取り可能な記録媒体に記録したことを特徴とする。
方法をコンピュータによって実行することができ，問題
点(1) を解決することができる。請求項７の発明は，時
刻と時間間隔を指定して画像列を入力する手続きと，映
像に大きな動きが含まれているときに前記時間間隔を狭
め，映像に含まれる動きが少ないときに前記時間間隔を
広げるように制御するステップ幅調整手続きとを具備す
るショット切換検出プログラムを，コンピュータが読み
取り可能な記録媒体に記録したことを特徴とする。
【００２５】これにより，請求項３のショット切換検出
方法をコンピュータによって実行することができ，問題
点(2),(3) を解決することができる。請求項８の発明
は，前記ステップ幅調整手続きとして，ラベルの付与さ
れなかった画素点の数が多いときに映像に大きな動きが
含まれているとし，ラベルＬｃの数が多いときに映像に
含まれる動きが少ないとして，前記時間間隔を制御する
ためのショット切換検出プログラムを，コンピュータが
読み取り可能な記録媒体に記録したことを特徴とする。
方法をコンピュータによって実行することができ，問題
点(2),(3) を解決することができる。請求項８の発明
は，前記ステップ幅調整手続きとして，ラベルの付与さ
れなかった画素点の数が多いときに映像に大きな動きが
含まれているとし，ラベルＬｃの数が多いときに映像に
含まれる動きが少ないとして，前記時間間隔を制御する
ためのショット切換検出プログラムを，コンピュータが
読み取り可能な記録媒体に記録したことを特徴とする。
【００２６】これにより，請求項４のショット切換検出
方法をコンピュータによって実行することができ，問題
点(2),(3) を解決することができる。
方法をコンピュータによって実行することができ，問題
点(2),(3) を解決することができる。
【００２７】
【発明の実施の形態】本発明の一実施形態について図を
用いて説明する。 （１）処理概要 処理概要について，図１のフローチャートを用いて説明
する。
用いて説明する。 （１）処理概要 処理概要について，図１のフローチャートを用いて説明
する。
【００２８】まず，ｔを現在着目している画像のフレー
ム番号を格納する変数，ｓをステップ幅（映像から画像
を抜き出す時間間隔）を格納する変数とする。初期値と
してｔ＝０，ｓ＝４を代入する（ステップＳ１）。
ム番号を格納する変数，ｓをステップ幅（映像から画像
を抜き出す時間間隔）を格納する変数とする。初期値と
してｔ＝０，ｓ＝４を代入する（ステップＳ１）。
【００２９】次に，図２に示すように，ｔ番目のフレー
ムから間隔ｓで４枚の画像Ｆ０，Ｆ１，Ｆ２，Ｆ３を抜
き出す（ステップＳ２）。続いて，後述する「ラベリン
グ手続き」を呼び出し，結果として各ラベルの個数Ｎ
ｃ，Ｎｓ，Ｎｌと，ラベルの付与されなかった画素点数
Ｎｕを得る（ステップＳ３）。
ムから間隔ｓで４枚の画像Ｆ０，Ｆ１，Ｆ２，Ｆ３を抜
き出す（ステップＳ２）。続いて，後述する「ラベリン
グ手続き」を呼び出し，結果として各ラベルの個数Ｎ
ｃ，Ｎｓ，Ｎｌと，ラベルの付与されなかった画素点数
Ｎｕを得る（ステップＳ３）。
【００３０】次に，後述する「ステップ幅調整手続き」
を呼び出し，ステップ幅ｓが適切であったか否かを調
べ，要調整と判断された場合には，更新されたステップ
幅をもってステップＳ２へ戻る（ステップＳ４）。
を呼び出し，ステップ幅ｓが適切であったか否かを調
べ，要調整と判断された場合には，更新されたステップ
幅をもってステップＳ２へ戻る（ステップＳ４）。
【００３１】次に，ショット切換判定手続きを行う（ス
テップＳ５）。ここでは，ラベルＬｓの出現比Ｎｓ／
（Ｎ−Ｎｕ）がしきい値Ｔcut より大きい場合に「カッ
ト有り」と判定する（ステップＳ５１〜Ｓ５２）。ま
た，ラベルＬｌの出現比Ｎｌ／（Ｎ−Ｎｕ）がしきい値
Ｔdissより大きい場合に「ディゾルブ（またはフェー
ド）有り」と判定する（ステップＳ５３〜Ｓ５４）。
テップＳ５）。ここでは，ラベルＬｓの出現比Ｎｓ／
（Ｎ−Ｎｕ）がしきい値Ｔcut より大きい場合に「カッ
ト有り」と判定する（ステップＳ５１〜Ｓ５２）。ま
た，ラベルＬｌの出現比Ｎｌ／（Ｎ−Ｎｕ）がしきい値
Ｔdissより大きい場合に「ディゾルブ（またはフェー
ド）有り」と判定する（ステップＳ５３〜Ｓ５４）。
【００３２】次に，映像の終わりに達したか否かを調べ
て（ステップＳ６），終わりに達していなければｔをス
テップ幅ｓだけ進めて（ステップＳ７），ステップＳ２
の処理へ戻る。
て（ステップＳ６），終わりに達していなければｔをス
テップ幅ｓだけ進めて（ステップＳ７），ステップＳ２
の処理へ戻る。
【００３３】（２）ラベリング手続き（図１：ステップ
Ｓ３） ラベリング手続きについて図３を用いて説明する。図３
は，ラベリング手続きの処理フローチャートである。
Ｓ３） ラベリング手続きについて図３を用いて説明する。図３
は，ラベリング手続きの処理フローチャートである。
【００３４】まず，画像内の画素点を指す座標値（ｘ，
ｙ）を（０，０）に初期化する（ステップＳ３０１）。
図４に示すように，点（ｘ，ｙ）に対応する画像Ｆ０，
Ｆ１，Ｆ２，Ｆ３の画素値をｆ０，ｆ１，ｆ２，ｆ３と
し，それらを組みにしたベクトルをｆ＝（ｆ０，ｆ１，
ｆ２，ｆ３）とする（ステップＳ３０２）。便宜上，関
数ｖａｒ (ｆ０，ｆ１，ｆ２，ｆ３）を， var(f0, f1, f2, f3) ＝max(f0, f1, f2, f3）− min(f
0, f1, f2, f3) と定義する。var(）は引数として与えられた値の変動幅
を返す関数である。
ｙ）を（０，０）に初期化する（ステップＳ３０１）。
図４に示すように，点（ｘ，ｙ）に対応する画像Ｆ０，
Ｆ１，Ｆ２，Ｆ３の画素値をｆ０，ｆ１，ｆ２，ｆ３と
し，それらを組みにしたベクトルをｆ＝（ｆ０，ｆ１，
ｆ２，ｆ３）とする（ステップＳ３０２）。便宜上，関
数ｖａｒ (ｆ０，ｆ１，ｆ２，ｆ３）を， var(f0, f1, f2, f3) ＝max(f0, f1, f2, f3）− min(f
0, f1, f2, f3) と定義する。var(）は引数として与えられた値の変動幅
を返す関数である。
【００３５】ステップＳ３０３〜Ｓ３０８では，次の三
つの条件(a) 〜(c) が成立するか否かをこの順に調べ
て，各画素点に対してラベルを付与する。 (a) ｃｏｎｓｔａｎｔ（Ｌｃ）：ベクトルｆがほぼ一定
の値をとる場合 var(f0, f1, f2, f3) ＜Ｔ0 が成立するか否かを調べ（ステップＳ３０３），成立す
る場合にＬｃラベル（ｃｏｎｓｔａｎｔラベル）を付与
する（ステップＳ３０４）。図５（Ａ）に模式的に示す
ように，画素値が大きく変動しないでほぼ一定の値をと
る場合に，Ｌｃラベルが付与される。
つの条件(a) 〜(c) が成立するか否かをこの順に調べ
て，各画素点に対してラベルを付与する。 (a) ｃｏｎｓｔａｎｔ（Ｌｃ）：ベクトルｆがほぼ一定
の値をとる場合 var(f0, f1, f2, f3) ＜Ｔ0 が成立するか否かを調べ（ステップＳ３０３），成立す
る場合にＬｃラベル（ｃｏｎｓｔａｎｔラベル）を付与
する（ステップＳ３０４）。図５（Ａ）に模式的に示す
ように，画素値が大きく変動しないでほぼ一定の値をと
る場合に，Ｌｃラベルが付与される。
【００３６】(b) ｓｔｅｐ（Ｌｓ）：ベクトルｆがある
時刻で急激な変化を示し，その前後ではほぼ一定の値を
とる場合 var(f0, f1）＜Ｔ0 and var(f2, f3）＜Ｔ0 and ｜f0−
f3｜＞Ｔ1 が成立するか否かを調べ（ステップＳ３０５），成立す
る場合にＬｓラベル（ｓｔｅｐラベル）を付与する（ス
テップＳ３０６）。図５（Ｂ）に模式的に示すように，
画素値が階段状の変化を示す場合にＬｓラベルが付与さ
れる。
時刻で急激な変化を示し，その前後ではほぼ一定の値を
とる場合 var(f0, f1）＜Ｔ0 and var(f2, f3）＜Ｔ0 and ｜f0−
f3｜＞Ｔ1 が成立するか否かを調べ（ステップＳ３０５），成立す
る場合にＬｓラベル（ｓｔｅｐラベル）を付与する（ス
テップＳ３０６）。図５（Ｂ）に模式的に示すように，
画素値が階段状の変化を示す場合にＬｓラベルが付与さ
れる。
【００３７】(c) ｌｉｎｅａｒ（Ｌｌ）：ベクトルｆが
線形に増加あるいは減少する場合 var(f0, f1−ｄ, f2−2d, f3−3d) ＜Ｔ2 and ｜f3−f0
｜＞Ｔ1 （ただし，ｄ＝（f3−f0）／３は変化の傾きを示す。）
が成立するか否かを調べ（ステップＳ３０７），成立す
る場合にＬｌラベル（ｌｉｎｅａｒラベル）を付与する
（ステップＳ３０８）。図５（Ｃ）に模式的に示すよう
に，画素値が線形に増加（あるいは減少）している場合
にＬｌラベルが付与される。
線形に増加あるいは減少する場合 var(f0, f1−ｄ, f2−2d, f3−3d) ＜Ｔ2 and ｜f3−f0
｜＞Ｔ1 （ただし，ｄ＝（f3−f0）／３は変化の傾きを示す。）
が成立するか否かを調べ（ステップＳ３０７），成立す
る場合にＬｌラベル（ｌｉｎｅａｒラベル）を付与する
（ステップＳ３０８）。図５（Ｃ）に模式的に示すよう
に，画素値が線形に増加（あるいは減少）している場合
にＬｌラベルが付与される。
【００３８】以上の三つの条件のいずれも満たさない画
素点については“ラベルなし”とする（ステップＳ３０
９）。図５（Ｄ）に示すように，画素値が不規則に変動
している場合に“ラベルなし”と判定される。
素点については“ラベルなし”とする（ステップＳ３０
９）。図５（Ｄ）に示すように，画素値が不規則に変動
している場合に“ラベルなし”と判定される。
【００３９】以上説明した処理をすべての画素点につい
て繰り返す。（ｘ，ｙ）を次の画素点に移動し（ステッ
プＳ３１０），画像内のすべての画素点を調べ終えてい
なければステップＳ３０２の処理へ戻り，すべての画素
点を調べ終えたらラベリング手続きを終了する（ステッ
プＳ３１１）。
て繰り返す。（ｘ，ｙ）を次の画素点に移動し（ステッ
プＳ３１０），画像内のすべての画素点を調べ終えてい
なければステップＳ３０２の処理へ戻り，すべての画素
点を調べ終えたらラベリング手続きを終了する（ステッ
プＳ３１１）。
【００４０】Ｌｃ，Ｌｓ，Ｌｌの各ラベルが付与された
画素点の個数をそれぞれＮｃ，Ｎｓ，Ｎｌとし，ラベル
が付与されなかった画素点の数をＮｕとする。画面全体
の画素点数をＮとすると，Ｎ＝Ｎｃ＋Ｎｓ＋Ｎｌ＋Ｎｕ
が成立する。
画素点の個数をそれぞれＮｃ，Ｎｓ，Ｎｌとし，ラベル
が付与されなかった画素点の数をＮｕとする。画面全体
の画素点数をＮとすると，Ｎ＝Ｎｃ＋Ｎｓ＋Ｎｌ＋Ｎｕ
が成立する。
【００４１】またラベリング方法は，前述の実施形態に
限られるものではない。前述の実施形態では４枚の画像
データに基づいてラベリングを行っているが，３枚以上
であれば何枚でも構わない。前述の条件をＭ＋１枚の画
像列に対して適用する場合には，上の条件を一般化し
て， (a) constant : var(f0, f1, ..., fM) ＜Ｔ0, (b) step(k) : var(f0, f1, ..., fk)＜Ｔ0, and var(fk+1, fk+2, ..., fM)＜Ｔ0,and ｜f0−fM｜＞
Ｔ1, (c) linear(i,j): var(f0, f1, ..., fi) ＜Ｔ0,and va
r(fj, fj+1, ..., fM)＜Ｔ0,and ｜f0−fM｜＞Ｔ1,and
var(fi, f(i+1)-d, f(i+2)-2d, ..., fj-(j-i)d)＜Ｔ2
（ただし，d=(fj-fi)/(j-i) ）を使ってラベリングする
ことができる。
限られるものではない。前述の実施形態では４枚の画像
データに基づいてラベリングを行っているが，３枚以上
であれば何枚でも構わない。前述の条件をＭ＋１枚の画
像列に対して適用する場合には，上の条件を一般化し
て， (a) constant : var(f0, f1, ..., fM) ＜Ｔ0, (b) step(k) : var(f0, f1, ..., fk)＜Ｔ0, and var(fk+1, fk+2, ..., fM)＜Ｔ0,and ｜f0−fM｜＞
Ｔ1, (c) linear(i,j): var(f0, f1, ..., fi) ＜Ｔ0,and va
r(fj, fj+1, ..., fM)＜Ｔ0,and ｜f0−fM｜＞Ｔ1,and
var(fi, f(i+1)-d, f(i+2)-2d, ..., fj-(j-i)d)＜Ｔ2
（ただし，d=(fj-fi)/(j-i) ）を使ってラベリングする
ことができる。
【００４２】前述の条件と異なる点は，ｓｔｅｐラベル
がステップ位置を表すパラメータｋと，ｌｉｎｅａｒラ
ベルが線形変化する区間を表すパラメータｉ，ｊをとる
点である。この変更に伴って, 画像列のＭ／２の位置
に，カットが存在するか否かを判定するためには，Ｎｓ
としてstep（Ｍ／２）のラベル数を利用し，ディゾルブ
が存在するかを判定するためには，Ｎｌとしてlinear
（ｉ，ｊ），ｉ＜Ｍ／２＜ｊのラベル数の最大値を利用
することができる。
がステップ位置を表すパラメータｋと，ｌｉｎｅａｒラ
ベルが線形変化する区間を表すパラメータｉ，ｊをとる
点である。この変更に伴って, 画像列のＭ／２の位置
に，カットが存在するか否かを判定するためには，Ｎｓ
としてstep（Ｍ／２）のラベル数を利用し，ディゾルブ
が存在するかを判定するためには，Ｎｌとしてlinear
（ｉ，ｊ），ｉ＜Ｍ／２＜ｊのラベル数の最大値を利用
することができる。
【００４３】また，画像をブロックに分割し，“ブロッ
ク”を“画素点”，“ブロック内の画素の平均値等の統
計量”を“画素値”と読み替えて前述のラベリング手続
きを実行することも可能である。
ク”を“画素点”，“ブロック内の画素の平均値等の統
計量”を“画素値”と読み替えて前述のラベリング手続
きを実行することも可能である。
【００４４】本実施形態では，単純なしきい値処理によ
ってラベリングを行っているが，統計モデルを複数設定
し，設定された統計モデルのうち，どのモデルが最もベ
クトルｆの時間変動を効率的に記述することができるか
を統計的検定法，ＭＤＬ(Minimum Description Length)
法，ＡＩＣ(Akaike Information Criteria) 法等を用い
て決定し，ラベリングを行うようにすることも可能であ
る。また，ラベルとして以上説明したもの以外のものを
追加することもできる。例えば，画素値が一瞬増加（あ
るいは減少）して，その後元の値に戻るといった変化を
新たにラベルとして追加することも可能である。
ってラベリングを行っているが，統計モデルを複数設定
し，設定された統計モデルのうち，どのモデルが最もベ
クトルｆの時間変動を効率的に記述することができるか
を統計的検定法，ＭＤＬ(Minimum Description Length)
法，ＡＩＣ(Akaike Information Criteria) 法等を用い
て決定し，ラベリングを行うようにすることも可能であ
る。また，ラベルとして以上説明したもの以外のものを
追加することもできる。例えば，画素値が一瞬増加（あ
るいは減少）して，その後元の値に戻るといった変化を
新たにラベルとして追加することも可能である。
【００４５】（３）ショット切換判定手続き（図１：ス
テップＳ５） カットの前後で画素値が急変するので，画像Ｆ１とＦ２
の間にカットが存在する場合，Ｌｓ(step)ラベルが増加
する。この性質を利用して，ラベルＬｓの出現比 ［式Ａ］ CutMeasure＝Ns/(Nc+Ns+Nl) ＝Ns/(N-Nu) が，あるしきい値Ｔcut を越えた場合にカット有りと判
定する。
テップＳ５） カットの前後で画素値が急変するので，画像Ｆ１とＦ２
の間にカットが存在する場合，Ｌｓ(step)ラベルが増加
する。この性質を利用して，ラベルＬｓの出現比 ［式Ａ］ CutMeasure＝Ns/(Nc+Ns+Nl) ＝Ns/(N-Nu) が，あるしきい値Ｔcut を越えた場合にカット有りと判
定する。
【００４６】図６は，カット評価量（CutMeasure）の時
間変化のグラフの例を示す。しきい値Ｔcut を越えた時
刻をカットとして出力する。ここで，ラベルの付与され
なかった画素点数Ｎｕを引いてから比をとっている点に
注意する。ラベルの付与されなかった画素点は，被写体
やカメラの動きによって不規則に画素値が変化している
点である場合が多く，このような点が従来法においてシ
ョット切換検出誤りの原因となっていた。そのような原
因となる点を除外してCutMeasureは算出されるので，動
きの影響を受けにくいという特長を持つ。
間変化のグラフの例を示す。しきい値Ｔcut を越えた時
刻をカットとして出力する。ここで，ラベルの付与され
なかった画素点数Ｎｕを引いてから比をとっている点に
注意する。ラベルの付与されなかった画素点は，被写体
やカメラの動きによって不規則に画素値が変化している
点である場合が多く，このような点が従来法においてシ
ョット切換検出誤りの原因となっていた。そのような原
因となる点を除外してCutMeasureは算出されるので，動
きの影響を受けにくいという特長を持つ。
【００４７】ディゾルブにおいては場面が溶け合うよう
にして切り換わるので，画像Ｆ０，Ｆ１，Ｆ２，Ｆ３に
ディゾルブが含まれているとＬｌ(linear)ラベルが増加
する。この性質を利用して，Ｌｌラベルの出現比 ［式Ｂ］ DissolveMeasure ＝Nl/(Nc+Ns+Nl) ＝Nl/(N-Nu) があるしきい値を越えた場合にディゾルブ有りと判定す
る。
にして切り換わるので，画像Ｆ０，Ｆ１，Ｆ２，Ｆ３に
ディゾルブが含まれているとＬｌ(linear)ラベルが増加
する。この性質を利用して，Ｌｌラベルの出現比 ［式Ｂ］ DissolveMeasure ＝Nl/(Nc+Ns+Nl) ＝Nl/(N-Nu) があるしきい値を越えた場合にディゾルブ有りと判定す
る。
【００４８】図７は，ディゾルブ評価量（DissolveMeas
ure ）の時間変化のグラフの例を示す。しきい値Ｔdiss
を越えた区間をディゾルブと判定する。フェードイン，
フェードアウトについても同様にDissolveMeasure が高
い値をとるので検出可能である。７０１に示すようにデ
ィゾルブの途中でDissolveMeasure がしきい値を下回る
ことが希にあるので，Ｔdissの他にもう一つしきい値Ｔ
diss’（Ｔdissより低く設定する）を設けて，Ｔdiss’
よりDissolveMeasure が低くなった時点でディゾルブ終
了とすることも好適である。
ure ）の時間変化のグラフの例を示す。しきい値Ｔdiss
を越えた区間をディゾルブと判定する。フェードイン，
フェードアウトについても同様にDissolveMeasure が高
い値をとるので検出可能である。７０１に示すようにデ
ィゾルブの途中でDissolveMeasure がしきい値を下回る
ことが希にあるので，Ｔdissの他にもう一つしきい値Ｔ
diss’（Ｔdissより低く設定する）を設けて，Ｔdiss’
よりDissolveMeasure が低くなった時点でディゾルブ終
了とすることも好適である。
【００４９】また，CutMeasure，DissolveMeasure の計
算において，分母が０に近くなるのを防ぐために，分母
をＮ−Ｎｕの代わりにｍａｘ（Ｎ−Ｎｕ, 0.8 ＊Ｎ）の
ようにすることも好適である。
算において，分母が０に近くなるのを防ぐために，分母
をＮ−Ｎｕの代わりにｍａｘ（Ｎ−Ｎｕ, 0.8 ＊Ｎ）の
ようにすることも好適である。
【００５０】（４）ステップ幅調整手続き（図１：ステ
ップＳ４） ステップ幅調整手続きについて図８を用いて説明する。
図８は，ステップ幅調整手続きの処理フローチャートで
ある。
ップＳ４） ステップ幅調整手続きについて図８を用いて説明する。
図８は，ステップ幅調整手続きの処理フローチャートで
ある。
【００５１】ラベリング手続きで返されるＮｕ，Ｎｃの
値が入力として与えられる。ラベルが付与されなかった
画素点の数Ｎｕがあるしきい値Ｔ３よりも大きい場合に
は，ステップ幅が大きすぎたと判断し（ステップＳ４０
１），ステップ幅を半分にする（ステップＳ４０２）。
ただし，ステップ幅の最小値をここでは１としている。
値が入力として与えられる。ラベルが付与されなかった
画素点の数Ｎｕがあるしきい値Ｔ３よりも大きい場合に
は，ステップ幅が大きすぎたと判断し（ステップＳ４０
１），ステップ幅を半分にする（ステップＳ４０２）。
ただし，ステップ幅の最小値をここでは１としている。
【００５２】次に，Ｌｃラベルの数Ｎｃがしきい値Ｔ４
より大きい場合にはステップ幅が小さすぎると判断し
（ステップＳ４０３），ステップ幅を２倍にする（ステ
ップＳ４０４）。ただし，ステップ幅の最大値をここで
は１６としている。
より大きい場合にはステップ幅が小さすぎると判断し
（ステップＳ４０３），ステップ幅を２倍にする（ステ
ップＳ４０４）。ただし，ステップ幅の最大値をここで
は１６としている。
【００５３】以上，二つの条件を満たさない場合には，
ステップ幅は適切であったとして（ステップＳ４０
５），手続きを終了する。映像には，風景等のように動
きの少ない場面と，アクション等のように動きの激しい
場面が混在している。動きが激しい場面ではステップ幅
を小さくとる必要がある。なぜなら，Ｎｕが増加する傾
向がありＮｕが大きくなると，式［Ａ］と式［Ｂ］の分
母が小さくなるので，微少なノイズが混入しただけでCu
tMeasure，DissolveMeasure の値が大きく変動し検出誤
りが増えるという問題点があるからである。逆に，動き
が少ない場面では，ステップ幅を大きくとった方が効率
がよい。
ステップ幅は適切であったとして（ステップＳ４０
５），手続きを終了する。映像には，風景等のように動
きの少ない場面と，アクション等のように動きの激しい
場面が混在している。動きが激しい場面ではステップ幅
を小さくとる必要がある。なぜなら，Ｎｕが増加する傾
向がありＮｕが大きくなると，式［Ａ］と式［Ｂ］の分
母が小さくなるので，微少なノイズが混入しただけでCu
tMeasure，DissolveMeasure の値が大きく変動し検出誤
りが増えるという問題点があるからである。逆に，動き
が少ない場面では，ステップ幅を大きくとった方が効率
がよい。
【００５４】ステップ幅が小さいと切換時間の長い（非
常にゆっくり切り換わる）ディゾルブを検出できない。
図９（Ａ）に示すように，ディゾルブ変化のスピードが
速いときには，変化の傾きが大きいのでステップ幅を小
さ目にしてもその変化を検出できるが，図９（Ｂ）に示
すように，ディゾルブ変化のスピードが遅いときには，
画素値の変化の傾きが小さいのでその変化を検出できな
い。すなわち，ノイズに起因する変化と区別がつかな
い。切換時間の長いディゾルブを検出するには，ステッ
プ幅を大きくとる必要がある。
常にゆっくり切り換わる）ディゾルブを検出できない。
図９（Ａ）に示すように，ディゾルブ変化のスピードが
速いときには，変化の傾きが大きいのでステップ幅を小
さ目にしてもその変化を検出できるが，図９（Ｂ）に示
すように，ディゾルブ変化のスピードが遅いときには，
画素値の変化の傾きが小さいのでその変化を検出できな
い。すなわち，ノイズに起因する変化と区別がつかな
い。切換時間の長いディゾルブを検出するには，ステッ
プ幅を大きくとる必要がある。
【００５５】以上の考察に基づいて，本実施形態ではＮ
ｕがあるしきい値より大きい場合に，映像に含まれる動
きが激しいと考えて，ステップ幅を１／２に変更するよ
うにした。この制御によって動きの激しい場面で検出誤
りを防ぐ効果がある。逆に，Ｎｃがあるしきい値より大
きい場合に，映像に含まれる動きが少ないと考えて，ス
テップ幅を２倍にするようにした。この制御によって，
動きの激しい場面での検出誤りを抑えたまま，無駄な画
像を処理する手間が省け，切換時間の長いディゾルブを
検出できるようになる効果がある。
ｕがあるしきい値より大きい場合に，映像に含まれる動
きが激しいと考えて，ステップ幅を１／２に変更するよ
うにした。この制御によって動きの激しい場面で検出誤
りを防ぐ効果がある。逆に，Ｎｃがあるしきい値より大
きい場合に，映像に含まれる動きが少ないと考えて，ス
テップ幅を２倍にするようにした。この制御によって，
動きの激しい場面での検出誤りを抑えたまま，無駄な画
像を処理する手間が省け，切換時間の長いディゾルブを
検出できるようになる効果がある。
【００５６】なお，ステップ幅調整手続きは前述した実
施形態に限られるものではない。“動き”の程度を反映
してステップ幅を調整するという趣旨を変えない範囲で
変形可能である。例えば，Ｌｃ(constant)ラベルの数Ｎ
ｃの代わりに，（Ｎ−Ｎｕ）があるしきい値より大きい
場合にステップ幅を大きくするようにしてもよい。ステ
ップ幅の変化のさせ方についても前述した実施形態で
は，１，２，４，８，…のように２のべき乗としている
が，１，２，３，４，…のように１ずつ増減させるよう
にしてもよいし，予め設定された関数によってステップ
幅を決定するようにしてもよい。
施形態に限られるものではない。“動き”の程度を反映
してステップ幅を調整するという趣旨を変えない範囲で
変形可能である。例えば，Ｌｃ(constant)ラベルの数Ｎ
ｃの代わりに，（Ｎ−Ｎｕ）があるしきい値より大きい
場合にステップ幅を大きくするようにしてもよい。ステ
ップ幅の変化のさせ方についても前述した実施形態で
は，１，２，４，８，…のように２のべき乗としている
が，１，２，３，４，…のように１ずつ増減させるよう
にしてもよいし，予め設定された関数によってステップ
幅を決定するようにしてもよい。
【００５７】なお，以上説明したショット切換検出方法
はコンピュータプログラムを用いて実現され，該プログ
ラムはフロッピーディスク，コンパクトディスク，テー
プ等の適当な記録媒体に記録して提供することが可能で
ある。
はコンピュータプログラムを用いて実現され，該プログ
ラムはフロッピーディスク，コンパクトディスク，テー
プ等の適当な記録媒体に記録して提供することが可能で
ある。
【００５８】
【発明の効果】請求項１の発明は，検出誤りの原因とな
る「ラベルが付与されない画素点」を除外して「ラベル
の出現比」を算出し，この比に基づいてショット切換の
有無を判定するようにしたので，カメラや被写体の動き
があってもショット切換を安定に検出できる効果があ
る。
る「ラベルが付与されない画素点」を除外して「ラベル
の出現比」を算出し，この比に基づいてショット切換の
有無を判定するようにしたので，カメラや被写体の動き
があってもショット切換を安定に検出できる効果があ
る。
【００５９】請求項２の発明は，ラベリング手続きが付
与するラベルとして，ある時間区間において画素値がほ
ぼ線形に変化したことを示すラベルＬｌを含み，判定手
続きが，ラベルＬｌの出現比が大きいときディゾルブま
たはフェードがあると判定するようにしたので，カメラ
や被写体の動きがあってもディゾルブを含むショット切
換を安定に検出できる効果がある。
与するラベルとして，ある時間区間において画素値がほ
ぼ線形に変化したことを示すラベルＬｌを含み，判定手
続きが，ラベルＬｌの出現比が大きいときディゾルブま
たはフェードがあると判定するようにしたので，カメラ
や被写体の動きがあってもディゾルブを含むショット切
換を安定に検出できる効果がある。
【００６０】請求項３の発明は，時間間隔を映像に含ま
れる動きの量に応じて制御するようにしたので，不要な
画像を処理する手間が省けるので高速に処理を行うこと
ができ，切換時間の長いショット切換も検出できるよう
になる効果がある。
れる動きの量に応じて制御するようにしたので，不要な
画像を処理する手間が省けるので高速に処理を行うこと
ができ，切換時間の長いショット切換も検出できるよう
になる効果がある。
【００６１】請求項４の発明は，ラベルの付与されなか
った画素点数が大きいときに時間間隔を狭めるように制
御するので，大きな動きが含まれた場面での検出誤りを
低減する効果がある。さらに，ラベルＬｃが付与された
画素点の数が大きいときに時間間隔を広げるように制御
するので，不要な画像を処理する手間が省け，高速に処
理を行うことができ，また切換時間の長いショット切換
も検出できるようになる効果がある。
った画素点数が大きいときに時間間隔を狭めるように制
御するので，大きな動きが含まれた場面での検出誤りを
低減する効果がある。さらに，ラベルＬｃが付与された
画素点の数が大きいときに時間間隔を広げるように制御
するので，不要な画像を処理する手間が省け，高速に処
理を行うことができ，また切換時間の長いショット切換
も検出できるようになる効果がある。
【００６２】請求項５ないし請求項８の発明は，記録媒
体に記録されたショット切換検出プログラムをコンピュ
ータに実行させて，それぞれ請求項１ないし請求項４の
方法をコンピュータによって実現することができるとい
う効果がある。
体に記録されたショット切換検出プログラムをコンピュ
ータに実行させて，それぞれ請求項１ないし請求項４の
方法をコンピュータによって実現することができるとい
う効果がある。
【図１】本発明の実施の形態を説明するためのフローチ
ャートである。
ャートである。
【図２】映像からの画像の抜き出し方を説明するための
模式図である。
模式図である。
【図３】ラベリング手続きの処理フローチャートであ
る。
る。
【図４】画素点と画素値の関係を説明するための図であ
る。
る。
【図５】画素値の時間変動とラベルの関係を説明するた
めの模式図である。
めの模式図である。
【図６】カット評価量の時間変化を示す図である。
【図７】ディゾルブ評価量の時間変化を示す図である。
【図８】ステップ幅調整手続きの処理フローチャートで
ある。
ある。
【図９】ディゾルブ変化速度の影響について説明するた
めの図である。
めの図である。
【図１０】カットとディゾルブを説明するための模式図
である。
である。
Ｓ１〜Ｓ７ 実施の形態の処理ステップ
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平８−98079（ＪＰ，Ａ)
特開 平４−111181（ＪＰ，Ａ)
特開 平９−65287（ＪＰ，Ａ)
特公 平５−74273（ＪＰ，Ｂ２)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/76 - 5/956
H04N 5/262 - 5/278
H04N 7/24 - 7/68
Claims (8)
- 【請求項１】 ３枚以上の画像から構成される画像列か
らショット切換を検出する方法であって，画素値の時間
変動に基づいて，画素点毎にラベルを付与するラベリン
グの処理過程と，該ラベルの出現比に基づいてショット
切換を検出するショット切換判定の処理過程とを有し，
前記ラベリングの処理過程で付与するラベルとして，画
素値がほぼ一定の値をとることを示すラベルと，画素値
が急変したことを示すラベルとを含み，前記ショット切
換判定の処理過程では，ラベルの付与されなかった画素
点を除いて算出される前記画素値が急変したことを示す
ラベルの出現比が大きいときにショット切換が存在する
と判定することを特徴とするショット切換検出方法。 - 【請求項２】 請求項１記載のショット切換検出方法に
おいて，前記ラベリングの処理過程で付与するラベルと
して，ある時間区間において画素値がほぼ線形に変化し
たことを示すラベルを含み，前記ショット切換判定の処
理過程では，ラベルの付与されなかった画素点を除いて
算出される前記画素値がほぼ線形に変化したことを示す
ラベルの出現比が大きいときにディゾルブまたはフェー
ドが存在すると判定することを特徴とするショット切換
検出方法。 - 【請求項３】 請求項１または請求項２記載のショット
切換検出方法において，時刻と時間間隔を指定して画像
列を入力する処理過程と，映像に大きな動きが含まれて
いるときに前記時間間隔を狭め，映像に含まれる動きが
少ないときに前記時間間隔を広げるように制御するステ
ップ幅調整の処理過程とを有することを特徴とするショ
ット切換検出方法。 - 【請求項４】 請求項３記載のショット切換検出方法に
おいて，前記ステップ幅調整の処理過程では，ラベルの
付与されなかった画素点の数が多いときに映像に大きな
動きが含まれているとし，前記画素値がほぼ一定の値を
とることを示すラベルの数が多いときに映像に含まれる
動きが少ないとして，前記時間間隔を制御することを特
徴とするショット切換検出方法。 - 【請求項５】 ３枚以上の画像から構成される画像列か
らショット切換をコンピュータによって検出するための
ショット切換検出プログラムを記録した記録媒体であっ
て，画素値の時間変動に基づいて，画素点毎にラベルを
付与するラベリング手続きと，該ラベルの出現比に基づ
いてショット切換を検出するショット切換判定手続きと
を具備し，前記ラベリング手続きが付与するラベルとし
て，画素値がほぼ一定の値をとることを示すラベルと，
画素値が急変したことを示すラベルとを含み，前記ショ
ット切換判定手続きは，ラベルの付与されなかった画素
点を除いて算出される前記画素値が急変したことを示す
ラベルの出現比が大きいときにショット切換が存在する
と判定することを特徴とするショット切換検出プログラ
ムを記録した記録媒体。 - 【請求項６】 請求項５記載のショット切換検出プログ
ラムを記録した記録媒体において，前記ラベリング手続
きが付与するラベルとして，ある時間区間において画素
値がほぼ線形に変化したことを示すラベルを含み，前記
ショット切換判定手続きは，ラベルの付与されなかった
画素点を除いて算出される前記画素値がほぼ線形に変化
したことを示すラベルの出現比が大きいときにディゾル
ブまたはフェードが存在すると判定することを特徴とす
るショット切換検出プログラムを記録した記録媒体。 - 【請求項７】 請求項５または請求項６記載のショット
切換検出プログラムを記録した記録媒体において，時刻
と時間間隔を指定して画像列を入力する手続きと，映像
に大きな動きが含まれているときに前記時間間隔を狭
め，映像に含まれる動きが少ないときに前記時間間隔を
広げるように制御するステップ幅調整手続きとを具備す
ることを特徴とするショット切換検出プログラムを記録
した記録媒体。 - 【請求項８】 請求項７記載のショット切換検出プログ
ラムを記録した記録媒体において，前記ステップ幅調整
手続きは，ラベルの付与されなかった画素点の数が多い
ときに映像に大きな動きが含まれているとし，前記画素
値がほぼ一定の値をとることを示すラベルの数が多いと
きに映像に含まれる動きが少ないとして，前記時間間隔
を制御するものであることを特徴とするショット切換検
出プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16781197A JP3378773B2 (ja) | 1997-06-25 | 1997-06-25 | ショット切換検出方法およびショット切換検出プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16781197A JP3378773B2 (ja) | 1997-06-25 | 1997-06-25 | ショット切換検出方法およびショット切換検出プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1118028A JPH1118028A (ja) | 1999-01-22 |
| JP3378773B2 true JP3378773B2 (ja) | 2003-02-17 |
Family
ID=15856553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16781197A Expired - Lifetime JP3378773B2 (ja) | 1997-06-25 | 1997-06-25 | ショット切換検出方法およびショット切換検出プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3378773B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1914994A1 (en) * | 2006-10-17 | 2008-04-23 | Mitsubishi Electric Information Technology Centre Europe B.V. | Detection of gradual transitions in video sequences |
| US9177209B2 (en) * | 2007-12-17 | 2015-11-03 | Sinoeast Concept Limited | Temporal segment based extraction and robust matching of video fingerprints |
| JP2011520162A (ja) * | 2008-02-28 | 2011-07-14 | アイファロ メディア ゲーエムベーハー | マルチメディアストリームにおけるフレームシーケンス比較の方法 |
-
1997
- 1997-06-25 JP JP16781197A patent/JP3378773B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1118028A (ja) | 1999-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7760956B2 (en) | System and method for producing a page using frames of a video stream | |
| JP4981128B2 (ja) | 映像からのキーフレーム抽出 | |
| US6157744A (en) | Method and apparatus for detecting a point of change in a moving image | |
| US7027513B2 (en) | Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy | |
| JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
| US7433588B2 (en) | Camera control apparatus, camera control method, program and storage medium | |
| EP1132812B1 (en) | Method of detecting dissolve/fade in mpeg-compressed video environment | |
| US20050228849A1 (en) | Intelligent key-frame extraction from a video | |
| KR20010033552A (ko) | 비디오 시퀀스의 변환 검출 | |
| JP2002084488A (ja) | ビデオ生成システム及びカスタムビデオ生成方法 | |
| CN102034113A (zh) | 基于l1差距量度来测量局部图像相似度的方法 | |
| JP3131560B2 (ja) | 動画像処理システムにおける動画像情報検出装置 | |
| CN111523442B (zh) | 视频语义分割中的自适应关键帧选择方法 | |
| US20170200472A1 (en) | Electronic device and method of managing a playback rate of a plurality of images | |
| JP4496992B2 (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
| CN114390201A (zh) | 对焦方法及其装置 | |
| US6842197B1 (en) | Automatic extraction method of the structure of a video sequence | |
| JP3378773B2 (ja) | ショット切換検出方法およびショット切換検出プログラムを記録した記録媒体 | |
| JP4639043B2 (ja) | 動画像編集装置及び動画像編集方法 | |
| Li et al. | Spatial–temporal joint probability images for video segmentation | |
| JP4369308B2 (ja) | 代表画像選択装置，代表画像選択方法および代表画像選択プログラム | |
| US9215474B2 (en) | Block-based motion estimation method | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| Lu et al. | Video summarization by spatial-temporal graph optimization | |
| JP2002245051A (ja) | 動画像検索装置及び方法、その方法をコンピュータに実行させるためのプログラム並びにそのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071206 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081206 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101206 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101206 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111206 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111206 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121206 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121206 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131206 Year of fee payment: 11 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |