JPH0837621A - 場面カットの検出方法 - Google Patents
場面カットの検出方法Info
- Publication number
- JPH0837621A JPH0837621A JP19729194A JP19729194A JPH0837621A JP H0837621 A JPH0837621 A JP H0837621A JP 19729194 A JP19729194 A JP 19729194A JP 19729194 A JP19729194 A JP 19729194A JP H0837621 A JPH0837621 A JP H0837621A
- Authority
- JP
- Japan
- Prior art keywords
- value
- cut
- scene
- frames
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【目的】場面カットを検出するための改良された方法を
提供し、特に、緩やかなカットと急激なカットの両方を
検出するための自動化された方法を提供する。 【構成】本発明によるプログラムでは、動画の次のフレ
ームを取り込みρとσの値を計算し（１２）、ρの値か
ら急激なカットが発生したかを決定し（１４）、フラグ
を設定する（１６）。１６で設定されたフラグはこのカ
ットが継続中か（１８）終了したか（２０）が決定され
る時に利用され、終了の場合にはリセットされる（２
２）。
提供し、特に、緩やかなカットと急激なカットの両方を
検出するための自動化された方法を提供する。 【構成】本発明によるプログラムでは、動画の次のフレ
ームを取り込みρとσの値を計算し（１２）、ρの値か
ら急激なカットが発生したかを決定し（１４）、フラグ
を設定する（１６）。１６で設定されたフラグはこのカ
ットが継続中か（１８）終了したか（２０）が決定され
る時に利用され、終了の場合にはリセットされる（２
２）。
Description
【０００１】
【産業上の利用分野】本発明は映像処理システム、特
に、連続映像における新しい場面の開始を自動的に検出
するための、改善された方法に関する。
に、連続映像における新しい場面の開始を自動的に検出
するための、改善された方法に関する。
【０００２】
【従来の技術】標準的な動画は一連の場面から成り立っ
ている。ある場面で、各フレームは、その前のフレーム
と少しだけ異なる。ある場面から次への変化を、以後、
「カット」と呼ぶことにする。場面カットは、突然かま
たは緩やかである。緩やかな場面カットは、カメラ・パ
ン、ディゾルブ、闇へのフェードまたは闇からのフェー
ド等の特殊効果に関係する。
ている。ある場面で、各フレームは、その前のフレーム
と少しだけ異なる。ある場面から次への変化を、以後、
「カット」と呼ぶことにする。場面カットは、突然かま
たは緩やかである。緩やかな場面カットは、カメラ・パ
ン、ディゾルブ、闇へのフェードまたは闇からのフェー
ド等の特殊効果に関係する。
【０００３】動画を要約する１つの方法は、場面のログ
を取ることである。ある場面のログは、その動画の開始
のようなある参照点からの、場面やその場面の開始場所
のリストである。その場面からの標準的なフレームは、
その場面を要約するために使うことができる。
を取ることである。ある場面のログは、その動画の開始
のようなある参照点からの、場面やその場面の開始場所
のリストである。その場面からの標準的なフレームは、
その場面を要約するために使うことができる。
【０００４】なかでも、これらのログは映像編集に有用
である。そのログは、編集者がすぐに特定の場面を見付
ける手段を提供する。
である。そのログは、編集者がすぐに特定の場面を見付
ける手段を提供する。
【０００５】動画のログを自動的に取るための従来技術
の方法は、カットが発生した場所を見付けるために、一
連のフレーム間の差に依存している。これらの方法は、
あるパラメータ、例えば、二つの連続したフレームの対
応する画素の差の絶対値等の平均値を計算する。従来の
方法では、カットのログ作業を自動化するために有用な
ほど、十分な信頼性を持って、緩やかなカットを検出で
きない。さらに、これらの方法では急激なカットでさえ
も検出されない状況がある。
の方法は、カットが発生した場所を見付けるために、一
連のフレーム間の差に依存している。これらの方法は、
あるパラメータ、例えば、二つの連続したフレームの対
応する画素の差の絶対値等の平均値を計算する。従来の
方法では、カットのログ作業を自動化するために有用な
ほど、十分な信頼性を持って、緩やかなカットを検出で
きない。さらに、これらの方法では急激なカットでさえ
も検出されない状況がある。
【０００６】
【発明が解決しようとする課題】広義には、本発明の目
的は場面カットを検出するための改良された方法を提供
することである。
的は場面カットを検出するための改良された方法を提供
することである。
【０００７】本発明の別の目的は、緩やかなカットと急
激なカットの両方を検出するための自動化された方法を
提供することである。
激なカットの両方を検出するための自動化された方法を
提供することである。
【０００８】本発明の上記および他の目的は、下記の発
明の詳細な説明や付属の図面により、当業者には明確で
あろう。
明の詳細な説明や付属の図面により、当業者には明確で
あろう。
【０００９】
【課題を解決するための手段】本発明は、動画の中の場
面カットを自動的に検出するためにコンピュータまたは
それと類似の装置を操作する方法を有する。動画は順番
に並んだ複数のフレームから成る。本発明の好適実施例
は、急激なカットを検出するために連続するフレーム間
の相関を利用している。緩やかなカットは、フレーム数
の関数として各フレームの画素の標準偏差から成る関数
を調べることで検出している。緩やかなカットはこの関
数の偏倚運動で特徴づけられる。緩やかな場面のカット
は、この関数の頂点か、相対的に一定の値の２つの領域
を繋ぐランプかのどちらかで、それ自身を表わす。
面カットを自動的に検出するためにコンピュータまたは
それと類似の装置を操作する方法を有する。動画は順番
に並んだ複数のフレームから成る。本発明の好適実施例
は、急激なカットを検出するために連続するフレーム間
の相関を利用している。緩やかなカットは、フレーム数
の関数として各フレームの画素の標準偏差から成る関数
を調べることで検出している。緩やかなカットはこの関
数の偏倚運動で特徴づけられる。緩やかな場面のカット
は、この関数の頂点か、相対的に一定の値の２つの領域
を繋ぐランプかのどちらかで、それ自身を表わす。
【００１０】
【実施例】本発明は、急激なカットを検出するために連
続するフレームの画素の相関を利用する。より緩やかな
場面カットを検出する方法を、以下に詳述する。動画の
ｎ番目のフレームの画素を、nＩ（ｘ，ｙ）と表す。つ
まり、nＩ（ｘ，ｙ）は、そのフレームのある点（ｘ，
ｙ）での画素の輝度である。本議論のために、nＩ
（ｘ，ｙ）は、合計Ｎ個の格子点を持つ規則的な格子上
にあると定義されると仮定する。２つのフレーム、（ｎ
−ｋ）とｎに対して、本発明の方法は、相関因子、ρ
n,kを計算する。ここで、
続するフレームの画素の相関を利用する。より緩やかな
場面カットを検出する方法を、以下に詳述する。動画の
ｎ番目のフレームの画素を、nＩ（ｘ，ｙ）と表す。つ
まり、nＩ（ｘ，ｙ）は、そのフレームのある点（ｘ，
ｙ）での画素の輝度である。本議論のために、nＩ
（ｘ，ｙ）は、合計Ｎ個の格子点を持つ規則的な格子上
にあると定義されると仮定する。２つのフレーム、（ｎ
−ｋ）とｎに対して、本発明の方法は、相関因子、ρ
n,kを計算する。ここで、
【００１１】
【数１】
【００１２】ここで、
【００１３】
【数２】
【００１４】また、
【００１５】
【数３】
【００１６】本発明の好適実施例では、ｋ＝１とする。
任意の与えられた場面内で、ρn,1は１に近いことが期
待される。急激な場面カットがフレームｎで起こった場
合、ρn,1はほぼ０に減少する。本発明は、フレームか
らフレームへρn,1の値を追跡し、ρn,1がある所定値以
下になると、急激な場面カットがフレームｎで発生した
と定義する。
任意の与えられた場面内で、ρn,1は１に近いことが期
待される。急激な場面カットがフレームｎで起こった場
合、ρn,1はほぼ０に減少する。本発明は、フレームか
らフレームへρn,1の値を追跡し、ρn,1がある所定値以
下になると、急激な場面カットがフレームｎで発生した
と定義する。
【００１７】実際、しきい値は、少数の場面転換を調べ
ることで発見できる。しかし、当業者には、固定したし
きい値を使えることが明白であろう。カットオフも、そ
れ以前に観察したρn,1の値に関して定義できる。この
システムで、Ｍを０より大きい整数とすると、ρn,1が
以前のＭフレーム上のρn,1の平均値より小さい場合、
急激な場面カットがフレームｎで発生したと定義でき
る。
ることで発見できる。しかし、当業者には、固定したし
きい値を使えることが明白であろう。カットオフも、そ
れ以前に観察したρn,1の値に関して定義できる。この
システムで、Ｍを０より大きい整数とすると、ρn,1が
以前のＭフレーム上のρn,1の平均値より小さい場合、
急激な場面カットがフレームｎで発生したと定義でき
る。
【００１８】上記の方法は、高度の信頼性で急激な場面
カットを発見するが、緩やかなカットでは連続するフレ
ーム間の変化の量は非常に小さく、事実上ρn,1の値を
変化させられないために、緩やかな場面カットを発見す
るための信頼性のある方法ではない。原則的には、上記
の方法は、ｋ＞１として、ρn,kを計算するためにフレ
ーム間の「距離」を増加させることにより、緩やかな場
面カットを発見できるように拡張されうる。このシステ
ムで、急激なカットはρn,1の使用で検出され、緩やか
なカットはある所定値に設定されたｋとρn,kの使用で
検出される。この方法は殆どの緩やかなカットを検出で
きるが、ｋの正しい値の知識を必要とする。さらに、カ
ットの詳細な位置を決定するために分析が必要である。
カットを発見するが、緩やかなカットでは連続するフレ
ーム間の変化の量は非常に小さく、事実上ρn,1の値を
変化させられないために、緩やかな場面カットを発見す
るための信頼性のある方法ではない。原則的には、上記
の方法は、ｋ＞１として、ρn,kを計算するためにフレ
ーム間の「距離」を増加させることにより、緩やかな場
面カットを発見できるように拡張されうる。このシステ
ムで、急激なカットはρn,1の使用で検出され、緩やか
なカットはある所定値に設定されたｋとρn,kの使用で
検出される。この方法は殆どの緩やかなカットを検出で
きるが、ｋの正しい値の知識を必要とする。さらに、カ
ットの詳細な位置を決定するために分析が必要である。
【００１９】本発明の好適実施例として、別の方法が緩
やかなカットを検出するために使用される。上記のよう
に、ρn,kの計算のためにσnの計算が必要である。本発
明の好適実施例は、緩やかな場面カットの検出のために
σnの動きを使用する。任意のフレームのσnはそのフレ
ームでの平均画素値に対するその画素値の変動を数値化
する。任意の所与の場面において、フレームからフレー
ムへのσnの値は、ほぼ一定である。場面がゆっくりと
変わると、σnの値は以前の場面を代表的する値から新
しい場面を代表する値に変化する。この変化は幾つかの
フレームに渡って発生する。
やかなカットを検出するために使用される。上記のよう
に、ρn,kの計算のためにσnの計算が必要である。本発
明の好適実施例は、緩やかな場面カットの検出のために
σnの動きを使用する。任意のフレームのσnはそのフレ
ームでの平均画素値に対するその画素値の変動を数値化
する。任意の所与の場面において、フレームからフレー
ムへのσnの値は、ほぼ一定である。場面がゆっくりと
変わると、σnの値は以前の場面を代表的する値から新
しい場面を代表する値に変化する。この変化は幾つかの
フレームに渡って発生する。
【００２０】σnが変化する特別な態様は、開始の場面
および終了の場面時と、特殊効果の性質に依存する。例
えば、闇へのフェードで、その後、闇から新しい場面へ
のフェードが続く場合、σnは闇へのフェードの間は減
少し、次に、新しい場面の代表値に向かって増加する。
実際、そのσn曲線はρn,k曲線よりかなり雑音が多い。
つまり、緩やかなカットの自動的な決定を可能にするた
めに本発明の好適実施例では、その曲線を平滑化してい
る。本発明の好適実施例では、σnの平滑後の値を求め
るために、過去の４点が平均される。
および終了の場面時と、特殊効果の性質に依存する。例
えば、闇へのフェードで、その後、闇から新しい場面へ
のフェードが続く場合、σnは闇へのフェードの間は減
少し、次に、新しい場面の代表値に向かって増加する。
実際、そのσn曲線はρn,k曲線よりかなり雑音が多い。
つまり、緩やかなカットの自動的な決定を可能にするた
めに本発明の好適実施例では、その曲線を平滑化してい
る。本発明の好適実施例では、σnの平滑後の値を求め
るために、過去の４点が平均される。
【００２１】緩やかな場面カット間のσn曲線の偏倚運
動には２つの型がある。最初の型では、σn曲線は頂点
に向かう。これは上記の闇へのフェードの場合と似てい
る。第２の型は、σn曲線は殆ど一定のσnの値の２つの
領域を繋ぐ「ランプ」状を示す。
動には２つの型がある。最初の型では、σn曲線は頂点
に向かう。これは上記の闇へのフェードの場合と似てい
る。第２の型は、σn曲線は殆ど一定のσnの値の２つの
領域を繋ぐ「ランプ」状を示す。
【００２２】平滑化されたσn曲線の傾斜の絶対値が、
所定のしきい値を越えて増加したときに、緩やかなカッ
トが始まったと定義される。その緩やかなカットが妥当
だと見なされる前に、その増加傾向の傾斜値は所定の最
初の時間間隔の中に入っていなければならない。その傾
斜の絶対値が、第２の時間間隔の間で所定のしきい値以
下を維持している場合、その緩やかなカットは完了した
と考えられる。その緩やかなカットの開始と終了の間
は、頂点が存在する場合はσn曲線が変曲点を通過する
ので、σn曲線の傾斜は、一般に、短時間に０に向か
う。つまり、σn曲線の傾斜の絶対値がある所定の時間
間隔の間、しきい値以下を維持するまでは、その緩やか
なカットは完了したとは定義されない。
所定のしきい値を越えて増加したときに、緩やかなカッ
トが始まったと定義される。その緩やかなカットが妥当
だと見なされる前に、その増加傾向の傾斜値は所定の最
初の時間間隔の中に入っていなければならない。その傾
斜の絶対値が、第２の時間間隔の間で所定のしきい値以
下を維持している場合、その緩やかなカットは完了した
と考えられる。その緩やかなカットの開始と終了の間
は、頂点が存在する場合はσn曲線が変曲点を通過する
ので、σn曲線の傾斜は、一般に、短時間に０に向か
う。つまり、σn曲線の傾斜の絶対値がある所定の時間
間隔の間、しきい値以下を維持するまでは、その緩やか
なカットは完了したとは定義されない。
【００２３】本発明による場面カット検出プログラムの
フローチャートである図１を参照する。本発明の好適実
施例において、数１のｋの値を１に設定する。表示を簡
単にするために、以後の議論ではρn,1をρと記載す
る。１０で示される種々の変数の初期化の後、プログラ
ムはその動画の次のフレームを取り込み、１２に示され
るようにρの値とσの平均値を計算する。次に、１４で
示されるように急激なカットが発生したか否かを決定す
るため、そのプログラムはρの値を調べる。ρの値が所
定のしきい値より小さい場合、急激なカットが発生した
と考えられる。急激なカットのために１フレーム以上を
取り込むことは可能である。つまり、ρがしきい値と交
差したことを示すために、１６で示すようにフラグが設
定される。ρが再度そのしきい値を交差する値になった
ときに、フラグはリセットされる。そのしきい値より小
さいρの現在値が、新しいカットかまたは以前に検出し
た急激なカットの継続であるかを決定するため、このフ
ラグはブロック１８と２０で使用される。そのカットが
完了すると、そのフラグは２２で示されるようにリセッ
トされる。
フローチャートである図１を参照する。本発明の好適実
施例において、数１のｋの値を１に設定する。表示を簡
単にするために、以後の議論ではρn,1をρと記載す
る。１０で示される種々の変数の初期化の後、プログラ
ムはその動画の次のフレームを取り込み、１２に示され
るようにρの値とσの平均値を計算する。次に、１４で
示されるように急激なカットが発生したか否かを決定す
るため、そのプログラムはρの値を調べる。ρの値が所
定のしきい値より小さい場合、急激なカットが発生した
と考えられる。急激なカットのために１フレーム以上を
取り込むことは可能である。つまり、ρがしきい値と交
差したことを示すために、１６で示すようにフラグが設
定される。ρが再度そのしきい値を交差する値になった
ときに、フラグはリセットされる。そのしきい値より小
さいρの現在値が、新しいカットかまたは以前に検出し
た急激なカットの継続であるかを決定するため、このフ
ラグはブロック１８と２０で使用される。そのカットが
完了すると、そのフラグは２２で示されるようにリセッ
トされる。
【００２４】急激なカットが継続していない場合は、緩
やかなカットが進行中であるか否かを決定するために、
プログラムは、データを継続的に調べる。上記のよう
に、緩やかなカットを検出するために、プログラムはσ
の平均値を使用する。フレーム数の関数としてσの平均
値から成る曲線を、σ曲線と呼ぶことにする。プログラ
ムはσ曲線の傾斜の追跡も継続する。σ曲線の傾斜の変
化は、緩やかなカットになる可能性のある事象を検出す
るために使用される。上記のように、緩やかなカットは
σ曲線の頂点か、または緩やかなカットの各側面上のフ
レームでσを代表する２つのσ値を結ぶランプかによっ
て明らかにされる。後者の場合、緩やかなカットの期間
中はσ曲線の傾斜の符号に変化はない。
やかなカットが進行中であるか否かを決定するために、
プログラムは、データを継続的に調べる。上記のよう
に、緩やかなカットを検出するために、プログラムはσ
の平均値を使用する。フレーム数の関数としてσの平均
値から成る曲線を、σ曲線と呼ぶことにする。プログラ
ムはσ曲線の傾斜の追跡も継続する。σ曲線の傾斜の変
化は、緩やかなカットになる可能性のある事象を検出す
るために使用される。上記のように、緩やかなカットは
σ曲線の頂点か、または緩やかなカットの各側面上のフ
レームでσを代表する２つのσ値を結ぶランプかによっ
て明らかにされる。後者の場合、緩やかなカットの期間
中はσ曲線の傾斜の符号に変化はない。
【００２５】図１を再び参照すると、急激なカットが進
行中でない場合、プログラムは、２４に示されるように
緩やかなカットが進行中であるか否かを調べる。緩やか
なカットが進行中でない場合、プログラムは、２６に示
された緩やかなカットの始まりについて検査する。σ曲
線の傾斜が変わり、しかもそのσの変化が所定のしきい
値より大きい場合は、緩やかなカットが始まったと考え
られる。これらの条件に適合する場合は、２８に示され
ように１組のフラグが初期化される。そのフラグ値は、
緩やかなカットが始まり、σ曲線にはまだ頂点が検出さ
れないことを示す。
行中でない場合、プログラムは、２４に示されるように
緩やかなカットが進行中であるか否かを調べる。緩やか
なカットが進行中でない場合、プログラムは、２６に示
された緩やかなカットの始まりについて検査する。σ曲
線の傾斜が変わり、しかもそのσの変化が所定のしきい
値より大きい場合は、緩やかなカットが始まったと考え
られる。これらの条件に適合する場合は、２８に示され
ように１組のフラグが初期化される。そのフラグ値は、
緩やかなカットが始まり、σ曲線にはまだ頂点が検出さ
れないことを示す。
【００２６】２８で設定されたフラグで表示されたよう
に、緩やかなカットが既に進行中である場合、プログラ
ムは現在のフレームが３０で示されるように緩やかなカ
ットの終りであるか否かを判定する。σ曲線の傾斜の符
号が変わると、その初期値と異なる値を持つ上記のフラ
グの１つにより表示されるように、プログラムが既に変
曲点を通過しているか否かを見るために、そのプログラ
ムはフラグを調べる。初期値のままであれば、プログラ
ムは、符号の変化はσ曲線の変曲点の存在によるものと
仮定する。そのフラグは、３２で示されているように適
宜に設定される。σ曲線が既に変曲点を通り過ぎている
と、プログラムは緩やかなカットが終了したと仮定す
る。
に、緩やかなカットが既に進行中である場合、プログラ
ムは現在のフレームが３０で示されるように緩やかなカ
ットの終りであるか否かを判定する。σ曲線の傾斜の符
号が変わると、その初期値と異なる値を持つ上記のフラ
グの１つにより表示されるように、プログラムが既に変
曲点を通過しているか否かを見るために、そのプログラ
ムはフラグを調べる。初期値のままであれば、プログラ
ムは、符号の変化はσ曲線の変曲点の存在によるものと
仮定する。そのフラグは、３２で示されているように適
宜に設定される。σ曲線が既に変曲点を通り過ぎている
と、プログラムは緩やかなカットが終了したと仮定す
る。
【００２７】σ曲線の傾斜の符号が変わらずに、直前の
フレームからσ曲線の変化が所定のしきい値より小さい
場合に、ある場面から次の場面へσ曲線の偏倚運動が十
分に大きいと、プログラムは緩やかなカットが終了した
と見なす。場面間でσ曲線の頂点が無いときに、この事
例が起こる。
フレームからσ曲線の変化が所定のしきい値より小さい
場合に、ある場面から次の場面へσ曲線の偏倚運動が十
分に大きいと、プログラムは緩やかなカットが終了した
と見なす。場面間でσ曲線の頂点が無いときに、この事
例が起こる。
【００２８】平滑化されても、σ曲線には、かなりの量
の雑音が混じっている。雑音からσ曲線の２つの値の間
の「ランプ」を区別するために、プログラムはσ曲線上
のある参照値の追跡を継続する。ランプの開始点らしい
場所のσ曲線の値が記録される。ランプの終了点で、終
了値と参照値の差が「雑音事象」を打ち消すために使用
される。
の雑音が混じっている。雑音からσ曲線の２つの値の間
の「ランプ」を区別するために、プログラムはσ曲線上
のある参照値の追跡を継続する。ランプの開始点らしい
場所のσ曲線の値が記録される。ランプの終了点で、終
了値と参照値の差が「雑音事象」を打ち消すために使用
される。
【００２９】本発明の好適実施例は、緩やかなカットの
検出のために各フレームでの画素値の標準偏差を使用す
るが、他の統計的な測定値または関数が使える可能性が
あることは、当業者には明白であろう。このことに関し
て、σは画素の２次モーメントの平均値である画素値の
変動の関数であることに注意すべきである。従って、画
素分布のモーメントの１つに基づいた任意の関数が同様
に利用できる。
検出のために各フレームでの画素値の標準偏差を使用す
るが、他の統計的な測定値または関数が使える可能性が
あることは、当業者には明白であろう。このことに関し
て、σは画素の２次モーメントの平均値である画素値の
変動の関数であることに注意すべきである。従って、画
素分布のモーメントの１つに基づいた任意の関数が同様
に利用できる。
【００３０】本発明の上記実施例は、各フレームの全デ
ータを使って相関や標準偏差を計算するが、画素の部分
集合でもこれらのパラメータを決定するために使用でき
ることは、当業者には明白であろう。任意の代表的な部
分集合が使用される。その部分集合に基づいた実施例は
より低い計算負荷となる。しかし、そのような実施例で
は、より多くの雑音を持つσの値を生み出す可能性があ
る。
ータを使って相関や標準偏差を計算するが、画素の部分
集合でもこれらのパラメータを決定するために使用でき
ることは、当業者には明白であろう。任意の代表的な部
分集合が使用される。その部分集合に基づいた実施例は
より低い計算負荷となる。しかし、そのような実施例で
は、より多くの雑音を持つσの値を生み出す可能性があ
る。
【００３１】本発明は、汎用コンピュータで実行される
ことが望ましい。しかし、専用の計算ハードウェアであ
ってもその方法の動作速度を改善するために利用できる
ことは当業者には明白であろう。例えば、２つのフレー
ムの相関とあるフレームの画素の変動を計算するハード
ウェアは、本発明の方法の動作速度を根本的に改善でき
る。
ことが望ましい。しかし、専用の計算ハードウェアであ
ってもその方法の動作速度を改善するために利用できる
ことは当業者には明白であろう。例えば、２つのフレー
ムの相関とあるフレームの画素の変動を計算するハード
ウェアは、本発明の方法の動作速度を根本的に改善でき
る。
【００３２】本発明に対する種々の変形は、前述の説明
や添付の図面から当業者には明白であろう。従って、本
発明は下記の請求範囲によってのみ限定される。
や添付の図面から当業者には明白であろう。従って、本
発明は下記の請求範囲によってのみ限定される。
【００３３】以上、本発明の実施例について詳述した
が、以下、本発明を各実施態様毎に列挙する。 （１）． 動画の場面カットを検出するためのコンピュ
ータ操作方法であって、前記動画は順番に並んだフレー
ムを有し、前記フレームの各々は複数の輝度値を有し、
各フレームと対応する過去のフレームとの相関値を決定
し、前記の過去のフレームは所定の数のフレーム毎に前
記の順番に区分されるステップと、前記の相関値をしき
い値と比較するステップと、前記相関値が前記しきい値
より小さい場合、急激な場面変化を報告するステップと
を有することを特徴とする方法。 （２）． 前記フレームの所定の数が１であることを特
徴とする、（１）記載の方法。 （３）． 前記フレームの各々のための統計的尺度を決
定するステップと、フレーム数の関数として前記統計的
尺度の値の変化を検出するステップと、前記の検出され
た変化が所定のパターンに適合した場合、緩やかな場面
変化を報告するステップとを有することを特徴とする、
（１）記載の方法。 （４）． 前記の統計的尺度が前記輝度値の変動の関数
であることを特徴とする、（３）記載の方法。 （５）． 前記の統計的尺度が前記輝度値のモーメント
の関数であることを特徴とする、（３）記載の方法。 （６）． 前記の所定のパターンがフレーム数の関数と
して前記統計的尺度における頂点であることを特徴とす
る、（３）記載の方法。 （７）． 前記の所定のパターンが前記関数における２
つの領域を繋ぐランプであり、前記統計的尺度の変動領
域がランプの開始と終了との間の前記統計的尺度の差よ
り小さいことを特徴とする、（３）記載の方法。
が、以下、本発明を各実施態様毎に列挙する。 （１）． 動画の場面カットを検出するためのコンピュ
ータ操作方法であって、前記動画は順番に並んだフレー
ムを有し、前記フレームの各々は複数の輝度値を有し、
各フレームと対応する過去のフレームとの相関値を決定
し、前記の過去のフレームは所定の数のフレーム毎に前
記の順番に区分されるステップと、前記の相関値をしき
い値と比較するステップと、前記相関値が前記しきい値
より小さい場合、急激な場面変化を報告するステップと
を有することを特徴とする方法。 （２）． 前記フレームの所定の数が１であることを特
徴とする、（１）記載の方法。 （３）． 前記フレームの各々のための統計的尺度を決
定するステップと、フレーム数の関数として前記統計的
尺度の値の変化を検出するステップと、前記の検出され
た変化が所定のパターンに適合した場合、緩やかな場面
変化を報告するステップとを有することを特徴とする、
（１）記載の方法。 （４）． 前記の統計的尺度が前記輝度値の変動の関数
であることを特徴とする、（３）記載の方法。 （５）． 前記の統計的尺度が前記輝度値のモーメント
の関数であることを特徴とする、（３）記載の方法。 （６）． 前記の所定のパターンがフレーム数の関数と
して前記統計的尺度における頂点であることを特徴とす
る、（３）記載の方法。 （７）． 前記の所定のパターンが前記関数における２
つの領域を繋ぐランプであり、前記統計的尺度の変動領
域がランプの開始と終了との間の前記統計的尺度の差よ
り小さいことを特徴とする、（３）記載の方法。
【００３４】
【発明の効果】以上のように、本発明を用いると、場面
カットを検出するための改良された方法を提供し、特
に、緩やかなカットと急激なカットの両方を検出するた
めの自動化された方法を提供することができる。
カットを検出するための改良された方法を提供し、特
に、緩やかなカットと急激なカットの両方を検出するた
めの自動化された方法を提供することができる。
【図１】本発明により動画の中のカットを発見するため
のプログラムのフローチャートである。
のプログラムのフローチャートである。
１０、１２、１４、１６、１８、２０、２２、２４、２
６、２８、３０、３２、３４：ブロック
６、２８、３０、３２、３４：ブロック
Claims (7)
- 【請求項１】動画の場面カットを検出するためのコンピ
ュータ操作方法であって、前記動画は順番に並んだフレ
ームを有し、前記フレームの各々は複数の輝度値を有
し、 各フレームと対応する過去のフレームとの相関値を決定
し、前記の過去のフレームは所定の数のフレーム毎に前
記の順番に区分されるステップと、 前記の相関値をしきい値と比較するステップと、 前記相関値が前記しきい値より小さい場合、急激な場面
変化を報告するステップとを有することを特徴とする方
法。 - 【請求項２】前記フレームの所定の数が１であることを
特徴とする、請求項１記載の方法。 - 【請求項３】前記フレームの各々のための統計的尺度を
決定するステップと、 フレーム数の関数として前記統計的尺度の値の変化を検
出するステップと、 前記の検出された変化が所定のパターンに適合した場
合、緩やかな場面変化を報告するステップとを有するこ
とを特徴とする、請求項１記載の方法。 - 【請求項４】前記の統計的尺度が前記輝度値の変動の関
数であることを特徴とする、請求項３記載の方法。 - 【請求項５】前記の統計的尺度が前記輝度値のモーメン
トの関数であることを特徴とする、請求項３記載の方
法。 - 【請求項６】前記の所定のパターンがフレーム数の関数
として前記統計的尺度における頂点であることを特徴と
する、請求項３記載の方法。 - 【請求項７】前記の所定のパターンが前記関数における
２つの領域を繋ぐランプであり、前記統計的尺度の変動
領域がランプの開始と終了との間の前記統計的尺度の差
より小さいことを特徴とする、請求項３記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US9911393A | 1993-07-29 | 1993-07-29 | |
| US099,113 | 1993-07-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0837621A true JPH0837621A (ja) | 1996-02-06 |
Family
ID=22272820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19729194A Pending JPH0837621A (ja) | 1993-07-29 | 1994-07-29 | 場面カットの検出方法 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0637027A3 (ja) |
| JP (1) | JPH0837621A (ja) |
| CA (1) | CA2114052A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3823333B2 (ja) | 1995-02-21 | 2006-09-20 | 株式会社日立製作所 | 動画像の変化点検出方法、動画像の変化点検出装置、動画像の変化点検出システム |
| GB9607645D0 (en) * | 1996-04-12 | 1996-06-12 | Snell & Wilcox Ltd | Processing of video signals prior to compression |
| DE19637139C1 (de) * | 1996-09-12 | 1997-12-04 | Philips Patentverwaltung | Verdeckung von Bildfehlern bei einem Szenenwechsel |
| DE19637138C1 (de) * | 1996-09-12 | 1997-12-04 | Philips Patentverwaltung | Erkennung von Filmbildwechseln in normgewandelten Videosignalen |
| US6084641A (en) * | 1997-08-06 | 2000-07-04 | General Instrument Corporation | Fade detector for digital video |
| FR2779549B1 (fr) | 1998-06-08 | 2000-09-01 | Thomson Csf | Procede de separation des composantes dynamique et statique d'une suite d'images |
| US6493042B1 (en) * | 1999-03-18 | 2002-12-10 | Xerox Corporation | Feature based hierarchical video segmentation |
| JP2001292372A (ja) * | 2000-04-04 | 2001-10-19 | Pioneer Electronic Corp | 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体 |
| GB2362533A (en) * | 2000-05-15 | 2001-11-21 | Nokia Mobile Phones Ltd | Encoding a video signal with an indicator of the type of error concealment used |
| GB2362532B (en) | 2000-05-15 | 2004-05-05 | Nokia Mobile Phones Ltd | Video coding |
| GB2362531A (en) | 2000-05-15 | 2001-11-21 | Nokia Mobile Phones Ltd | Indicating the temporal order of reference frames in a video sequence |
| EP1509882A4 (en) * | 2002-05-20 | 2009-03-04 | Konan Technology Inc | SCENE CHANGE DETECTOR ALGORITHM IN IMAGE SEQUENCE |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2977829B2 (ja) * | 1989-01-11 | 1999-11-15 | 株式会社東芝 | 動画像再生装置および動画像再生方法 |
| US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
| JP2863818B2 (ja) * | 1990-08-31 | 1999-03-03 | 工業技術院長 | 動画像の変化点検出方法 |
| JP3067275B2 (ja) * | 1991-05-23 | 2000-07-17 | 日本放送協会 | シーンチェンジ検出装置 |
| FR2683415B1 (fr) * | 1991-10-30 | 1996-08-09 | Telediffusion Fse | Systeme d'analyse video du montage d'un programme televise diffuse ou enregistre et son utilisation pour les techniques de post production, notamment multilingues. |
| JPH06339109A (ja) * | 1993-05-28 | 1994-12-06 | Matsushita Electric Ind Co Ltd | シーン変化検出方法、その装置および動画像編集装置 |
-
1994
- 1994-01-24 CA CA 2114052 patent/CA2114052A1/en not_active Abandoned
- 1994-07-25 EP EP94305571A patent/EP0637027A3/en not_active Withdrawn
- 1994-07-29 JP JP19729194A patent/JPH0837621A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CA2114052A1 (en) | 1995-01-30 |
| EP0637027A3 (en) | 1995-11-29 |
| EP0637027A2 (en) | 1995-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6493042B1 (en) | Feature based hierarchical video segmentation | |
| US7110454B1 (en) | Integrated method for scene change detection | |
| KR100591470B1 (ko) | 비디오 시퀀스의 변환 검출 | |
| US6606409B2 (en) | Fade-in and fade-out temporal segments | |
| US20100302453A1 (en) | Detection of gradual transitions in video sequences | |
| US7444018B2 (en) | Method and apparatus for shot detection | |
| JP4668921B2 (ja) | 画像中のオブジェクト検出 | |
| US7123769B2 (en) | Shot boundary detection | |
| US6810145B2 (en) | Process for detecting a change of shot in a succession of video images | |
| KR100659781B1 (ko) | 씨씨디 영상에서의 연기 검출방법 및 장치 | |
| JPH0630333A (ja) | デジタルビデオシーケンスにおけるフェードを検出する方法および装置 | |
| JPH0837621A (ja) | 場面カットの検出方法 | |
| US20030112874A1 (en) | Apparatus and method for detection of scene changes in motion video | |
| CN107295296B (zh) | 一种监控视频选择性存储与恢复方法及系统 | |
| JP2003169319A (ja) | 映像監視装置 | |
| JP2000295617A (ja) | 圧縮ビデオ・シーケンス内のエラー・ブロック検出方法 | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| US20090147142A1 (en) | Flash detection | |
| JP3571628B2 (ja) | 画像処理装置 | |
| US6654067B1 (en) | Finding hidden images in video based on detected proximity of cuts | |
| JPH0670232A (ja) | ディジタルビデオシーケンスにおけるディゾルブ領域の検出方法及び装置 | |
| JP2859345B2 (ja) | シーン変化検出方法 | |
| JP2006518960A (ja) | ショット切れ目検出 | |
| JP4477469B2 (ja) | フラッシュシーン検出方法、装置およびプログラム | |
| KR100485593B1 (ko) | 프레임 별로 연속적으로 입력되는 이미지에 대한 이미지처리 방법 및 시스템 |