JP2914170B2 - 映像変化点検出方法 - Google Patents

映像変化点検出方法

Info

Publication number
JP2914170B2
JP2914170B2 JP6078326A JP7832694A JP2914170B2 JP 2914170 B2 JP2914170 B2 JP 2914170B2 JP 6078326 A JP6078326 A JP 6078326A JP 7832694 A JP7832694 A JP 7832694A JP 2914170 B2 JP2914170 B2 JP 2914170B2
Authority
JP
Japan
Prior art keywords
image
change
change point
frame image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6078326A
Other languages
English (en)
Other versions
JPH07288840A (ja
Inventor
伸 山田
克洋 金森
利和 藤岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP6078326A priority Critical patent/JP2914170B2/ja
Priority to US08/424,016 priority patent/US5732146A/en
Publication of JPH07288840A publication Critical patent/JPH07288840A/ja
Application granted granted Critical
Publication of JP2914170B2 publication Critical patent/JP2914170B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ビデオや映画の映像を
内容別に頭出しをすることができる映像速見方法や映像
編集方法等に係り、特にビデオテープやビデオディスク
に格納された映像から内容が変化した部分を検出する映
像変化点検出方法に関するものである。
【０００２】
【従来の技術】近年、計算機などを応用して、映像の検
索、編集、加工、速見などを支援する方法に関する研究
が盛んになってきている。その一例として、ビデオや映
画の映像を内容別に頭出しをすることができる映像速見
方法や映像編集方法がある。そして、これらの方法を実
現するためには、映像を内容別に分割する必要があり、
内容が変化した部分（以下、シーンチェンジとよぶ）を
検出する技術が重要となる。
【０００３】シーンチェンジの中で、１フレーム時間で
映像の内容が変化する点を、カットと呼ぶことにする。
１フレーム時間はフレーム画像の時間間隔であり、約１
／３０秒間である。カットの検出方法として、筆者らは
共通色比率法（山田、藤岡、金森、松島、「部分領域ご
との共通色に注目したシーンチェンジ検出方法の検
討」、テレビジョン学会技術報告,１９９３年９月、Vo
l.17,No.55,pp1-6）を提案している。共通色比率法で
は、対象とする映像の各フレーム画像を複数の部分領域
に分割し、部分領域ごとの色のヒストグラムから計算し
た特徴量を用いてカットを検出する。フレーム画像Ｉn
を１６個の部分領域Ｒ（ｊ，ｎ）、ｊ＝１，・・・，１
６に分割する例を図２６に示す。ただし、ｎはフレーム
番号を表す。
【０００４】以下、図２６に示した例を用いて、共通色
比率法の手順について簡単に説明する。最初に、連続す
るフレーム画像Ｉn-1、Ｉnの対応する部分領域Ｒ（ｊ，
ｎ−１）、Ｒ（ｊ，ｎ）を、色のヒストグラムの共通部
分を用いて比較し、部分領域の類似度を求める。次に、
求められた１６個の「部分領域の類似度」を平均し、フ
レーム画像Ｉn-1、Ｉnの類似度Ｓ（ｎ）とする。多くの
場合、カット前後のフレーム画像の類似度は、同一シー
ン内のフレーム画像の類似度に比べて小さい値になる。
そこで、あらかじめ設定されているしきい値θcutを用
いた条件式 Ｓ（ｎ−１）−Ｓ（ｎ）＞θcut Ｓ（ｎ＋１）−Ｓ（ｎ）＞θcut が同時に成立する場合に、「フレーム画像Ｉn-1、Ｉnの
間がカットである」と判定する。すなわち、フレーム画
像の類似度Ｓ（Ｎ）が図２７に示すように変化する場合
に、フレーム画像Ｉnの直前をカットとみなす。
【０００５】
【発明が解決しようとする課題】しかしながら上記の従
来法では、ディゾルブ（１つのシーンを消しながら次の
シーンを徐々に浮かび上がらせる技法等を言う）、ワイ
プ（現在のシーンを他のシーンに、一端から他端へ徐々
にぬぐい落とす如く変化させていく技法等を言う）など
の編集効果や、パンニング、ズーミングなどのカメラ動
作によって被写体が変化する部分のように、ゆっくりと
連続的にシーンが変化する部分をほとんど検出できない
という課題を有していた。
【０００６】以下、図を用いて、上記従来法では検出で
きないシーンチェンジの例を示す。図２８において、同
図（ａ）はワイプを用いたシーンチェンジの例であり、
同図（ｂ）は類似度Ｓ（Ｎ）の時間変化の例である。シ
ーンチェンジの部分であるＩ n-4〜Ｉnの間では、類似度
Ｓ（Ｎ）が0.75となり、同一シーン内のフレーム画像の
類似度Ｓ（ｎ−４）、Ｓ（ｎ＋１）に比べて小さい値と
なる。このように、ワイプを用いたシーンチェンジで
は、類似度Ｓ（Ｎ）が２フレーム以上連続して小さい値
となり、図２７と異なる変化をする。したがって、上記
従来法では検出されない。
【０００７】また，従来法は，編集効果を用いたシーン
チェンジの途中のフレーム画像が不連続な変化をする場
合に，カットを過剰検出する課題を有していた。例とし
て，次のシーンが回転しながら大きくなる場合を図２９
に示す。
【０００８】本発明は上記従来技術の課題を解決するも
ので、カット，編集効果，カメラ動作によるシーンチェ
ンジを検出して、シーンの先頭のフレーム番号（以下，
映像変化点と呼ぶ）を推定する映像変化点検出方法を提
供することを目的とする。
【０００９】
【課題を解決するための手段】この目的を達成するため
に、本発明の第１の映像変化点検出方法では、処理対象
となる映像から時系列のフレーム画像Ｉ1、Ｉ2、Ｉ3、
・・・をサンプリングして、フレーム画像Ｉ n とその１
つ前のフレーム画像Ｉ n-1 との間の類似度をＳ（ｎ）と
した場合、Ｓ（ｎ−１）−Ｓ（ｎ）と、Ｓ（ｎ＋１）−
Ｓ（ｎ）とが同時にあらかじめ設定したしきい値θcut
より大きい値で、かつＳ（ｎ）があらかじめ設定したし
きい値θlow未満になるか、またはＳ（ｎ−１）がθhig
h以上を検出し、検出した時点における上記フレーム画
像Ｉ n を映像変化点のフレーム画像とすることで、カッ
トの検出と、映像変化点の推定を実行する。
【００１０】また、本発明の第２の映像変化点検出方法
では、処理対象となる映像から時系列のフレーム画像Ｉ
1、Ｉ2、Ｉ3、・・・をサンプリングして、各フレーム
画像単位でエッジ強度を用いて計算される特徴量である
エッジ強度係数を求め、上記エッジ強度係数が一定時間
以上にわたって大きく変化する区間と一定時間以上にわ
たってほとんど変化しない区間を抽出し、映像変化点候
補ｎprを求めてから、現在のシーンの先頭フレーム画像
Ｉnpと映像変化点候補のフレーム画像Ｉnprとの類似度
を求め、求められた類似度が第１のしきい値θchange以
下になる場合に、フレーム画像Ｉnprを映像変化点のフ
レーム画像であるとみなすことで、ディゾルブに類似し
た編集効果によるシーンチェンジの検出と、映像変化点
の推定を実行する。
【００１１】本発明の第３の映像変化点検出方法では、
映像中の特定のフレーム画像Ｉnと、この特定フレーム
画像の前のフレーム画像Ｉn-1との間の特徴量である，
画素変化領域ＲICnと画素変化面積IDHa（ｎ）を用い
る。画素変化領域ＲICnは、上記２枚のフレーム画像
Ｉn，Ｉn-1の間で、輝度が第２のしきい値θw1を越えた
値で変化する画素の集合であり、画素変化面積IDha
（ｎ）は，画素変化領域ＲICnに含まれる画素数がフレ
ーム画像を構成する総画素数に占める割合である。ま
た、あらかじめワイプ開始候補点ｎw1と、ワイプに必要
な画像数の最大値ｎwmaxと、次のシーンの先頭の定常状
態領域の長さｎconstとを設定しておく。そして、ま
ず，上記ワイプ開始候補点ｎw1のフレーム画像Ｉnw1と
処理対象フレーム画像ＩNの間の画像数が、上記ワイプ
に必要な画像数の最大値ｎwmaxと上記次のシーンの先頭
の定常状態領域の長さｎconstとの和に比べて大きい値
にならないように、上記ワイプ開始候補点ｎw1を更新し
ながら、フレーム画像Ｉnw1〜ＩN-nconst+1の画素変化
領域ＲICnw1、・・・、ＲICN-nconst+1の和集合ＳＲIC
を求めて、この和集合ＳＲICに含まれる画素数がフレー
ム画像を構成する総画素数に占める割合を置換済面積SI
DHとする。次に、置換済面積SIDHが第３のしきい値θsi
dh以上となり、かつ、上記処理対象フレーム画像ＩNと
判定対象フレーム画像ＩN-ncons t+1の間の画素変化面積
IDHa（Ｎ−ｎconst＋１）〜IDHa（Ｎ）の値が一定範囲
内となる場合に、画像番号（Ｎ−ｎconst＋１）を映像
変化点候補ｎprとして登録する。最後に、上記ワイプ開
始候補点ｎw1と上記映像変化点候補ｎprとの間が被写体
をほぼ等速で追尾している区間に含まれる場合には、ワ
イプ開始候補点ｎw1に（ｎpr＋１）を代入して、そうで
ない場合には、現在のシーンの先頭フレーム画像Ｉnpと
上記映像変化点候補のフレーム画像Ｉnprとの類似度を
求め、求められた類似度が第１のしきい値θchange以下
となる場合に、フレーム画像Ｉnprを映像変化点のフレ
ーム画像であるとみなすことで、ワイプに類似した編集
効果によるシーンチェンジの検出と、映像変化点の推定
を実行する。
【００１２】本発明の第４の映像変化点検出方法では、
まず，処理対象のフレーム画像ＩNと判定対象フレーム
画像の間に含まれる画像数が、上記シーンの先頭の定常
状態領域の長さｎconstとなるように、画像Ｉ
N-nconst+1を上記判定対象フレーム画像とする。次に，
引抜き判定開始点のフレーム画像Ｉno1と上記判定対象
フレーム画像の直前のフレーム画像ＩN-nconstとの間の
上記画素変化面積IDHa（ｎo1）〜IDHa（Ｎ−ｎconst）
を求め，その最大値と最小値をそれぞれ区間最大変化面
積IDHmax（Ｎ−ｎconst＋１）、区間最小変化面積IDHmi
n（Ｎ−ｎconst＋１）とする。さらに、上記判定対象フ
レーム画像の画素変化面積IDHa（Ｎ−ｎconst＋１）
が，上記区間最大変化面積IDHmax（Ｎ−ｎconst＋１）
を越えた値になるか、または上記区間最小変化面積IDHm
in（Ｎ−ｎconst＋１）と第４のしきい値θupsとの和を
越えた値になる場合には、上記引抜き判定開始点ｎo1に
上記判定対象フレーム画像の画像番号Ｎ−ｎconst＋１
を代入し、そうでなければ、第５のしきい値θfullを用
いた判定に進む。しきい値θfullを用いた判定において
は，上記引抜き判定開始点ｎo1の画素変化面積IDHa（ｎ
o1）から上記判定対象フレーム画像の画素変化面積IDHa
（Ｎ−ｎconst＋１）を引いた値が上記しきい値θfull
以上となり、かつ、上記判定対象フレーム画像Ｉ
N-nconst+1と上記処理対象フレーム画像ＩNとの間の上
記画素変化面積IDHa（Ｎ−ｎconst＋１）〜IDHa（Ｎ）
の値が一定範囲内になる場合に、上記判定対象フレーム
画像の画像番号（Ｎ−ｎconst＋１）を映像変化点候補
ｎprとして登録する。最後に、現在のシーンの先頭フレ
ーム画像Ｉnpと上記映像変化点候補のフレーム画像Ｉ
nprとの類似度を求め、求められた類似度が第１のしき
い値θchange以下になる場合に、フレーム画像Ｉnprを
映像変化点のフレーム画像であるとみなすことで、引抜
きに類似した編集効果やパンニング・ズーミングなどの
カメラ動作によるシーンチェンジの検出と、映像変化点
の推定を実行する。
【００１３】さらに、上記目的を達成するために、上記
第１の本発明の映像変化点検出方法から上記第４の本発
明の映像変化点検出方法までを組み合わせて用いること
で、シーンチェンジの検出と映像変化点の推定を実行す
る。
【００１４】
【作用】本発明の第１の方法によって、時系列のフレー
ム画像の類似度が、カットの部分で相対的に小さい値に
なるので、カットを検出し、映像変化点を推定すること
ができる。また、フレーム画像の類似度が大きく変化
し、かつ、フレーム画像の類似度がある一定範囲に含ま
れる場合は、カットではなく、編集効果などによるシー
ンチェンジなので、上記類似度が上記一定範囲の外の値
をとるかどうかを、フレーム画像の類似度の値のしきい
値処理によって判定することで、カット以外のシーンチ
ェンジの過剰検出を抑制できる。
【００１５】次に、本発明の第２の方法によって、ディ
ゾルブによるシーンチェンジの途中では一定時間以上に
わたって画面全体のエッジ強度が大きく変化し、かつ、
ディゾルブ終了時から一定時間以上にわたる区間では上
記画面全体のエッジ強度がほとんど変化しないので、デ
ィゾルブに類似した編集効果によるシーンチェンジを検
出し、映像変化点を推定することができる。また、上記
方法では、画面全体のエッジ強度の時間変化から推定し
た映像変化点候補のフレーム画像と、現在のシーンの先
頭フレーム画像との間の類似度を処理しているので、タ
イトル文字出現時のようなディゾルブに類似した変化に
よる過剰検出を抑制できる。
【００１６】本発明の第３の方法によって、前のシーン
の映像の一部分である領域と次のシーンの映像の一部分
である領域から構成され、逐次的に前者が後者に置き換
えられていく特徴をもつ、ワイプに類似した編集効果に
よるシーンチェンジを検出し、映像変化点を推定するこ
とができる。また、上記方法では，シーンの先頭で被写
体の動きとカメラ動作が定常的な状態になり、画素変化
面積の変化が小さいと仮定して，シーンの先頭にはこの
ような特徴をもつ「定常状態領域」が存在すると考えて
いる．そして、画素変化面積の値が一定範囲内になる部
分を次のシーンの先頭とするので、画素変化面積が大き
く変化する「シーンチェンジの途中部分」の過剰検出を
抑制することができる。さらに、上記方法では、画素変
化領域を用いて推定した映像変化点候補のフレーム画像
と、現在のシーンの先頭フレーム画像との間の類似度を
処理しているので、パンニング時のようなワイプに類似
した変化による過剰検出を抑制することができる。ま
た、上記方法では、推定した編集効果部分が、被写体を
等速度で追尾している部分に含まれるかどうか調べるの
で、被写体を等速度で追尾している部分における過剰検
出を抑制することができる。
【００１７】本発明の第４の方法によって、画面上の動
きの総量を反映する画素変化面積がしきい値θfullを越
えて減少する区間を抽出しているので、前のシーンが変
形，縮小をしながら移動して画面の外側に消滅したり、
画面の外側から出現した次のシーンが変形，拡大をしな
がら移動する特徴をもつ、引抜きに類似した編集効果に
よるシーンチェンジと、画面上の物体が移動する特徴を
もつ、パンニング・ズーミングなどのカメラ動作による
シーンチェンジとを検出し、映像変化点を推定すること
ができる。また、上記方法では、本発明の第３の方法と
同様に画素変化面積の値が一定範囲内になる部分をシー
ンの先頭とするので、画素変化面積が大きく変化する
「シーンチェンジの途中部分」の過剰検出を抑制するこ
とができる。さらに、上記方法では、画素変化面積を用
いて推定した映像変化点のフレーム画像と、現在のシー
ンの先頭フレーム画像との間の類似度を処理しているの
で、被写体の不連続な動きの途中で動きが遅くなった部
分における過剰検出を抑制することができる。また、上
記方法では、シーンチェンジの終了直前部分で、画素変
化面積がなめらかに減少すると考えて、「判定対象フレ
ーム画像ＩN-nconst+1が上記シーンチェンジの終了直前
部分に含まれる場合には，この判定対象フレーム画像の
画素変化面積IDHa（Ｎ−ｎconst＋１）が区間最小変化
面積IDHmin（Ｎ−ｎconst＋１）とあらかじめ設定した
しきい値θupsとの和を越えない値になる」と仮定し，
この仮定を満足しないシーンチェンジを検出しない．こ
の仮定は，被写体の不連続な動きの区間のように，画素
変化面積の値が上下に振動する場合には成立しないの
で，上記方法によって，被写体の不連続な動きの途中に
おける過剰検出をより一層抑制することができる。
【００１８】引抜きのように、前のシーンの映像部分が
画面上で変形，縮小，移動をして画面の外側に消滅する
ものと、画面の外側から出現した次のシーンの映像部分
が画面上で変形，拡大，移動をして前のシーンの映像部
分が消滅するものは、本発明の第４の方法によって検出
できる。従って、本発明の第４の方法で検出できない場
合があるシーンチェンジは、前のシーンと次のシーンが
両方とも変形・移動・拡大・縮小をしないものである。
しかし、このようなシーンチェンジは、シーンチェンジ
途中で画面全体のエッジ強度が変化する場合が多く、本
発明の第２の方法によって検出できる。また、ワイプの
ように、画面上で逐次的に前のシーンの映像部分が次の
シーンの映像部分に置き換えられるシーンチェンジは、
前のシーンと次のシーンの間の画面全体のエッジ強度の
差異に無関係に、本発明の第３の方法によって検出され
る。
【００１９】以上のことから、本発明の第２、第３、第
４の方法を組み合わせることで、カット以外のシーンチ
ェンジをほとんど検出することができる。さらに、本発
明の第１の方法を組み合わせることで、カット，編集効
果，カメラ動作によるシーンチェンジを検出して、映像
変化点を推定することができる。
【００２０】
【実施例】
（実施例１）以下、本発明の実施例について、図面を参
照しながら説明する。
【００２１】ここでは，説明を簡単にするために時系列
のすべてのフレーム画像を処理する場合を想定する。す
なわち，時間方向のフレーム画像の間引きは想定しな
い。時間方向にフレーム画像を間引く場合には，サンプ
リングしたフレーム画像に対して，１，２，３，・・・
を画像番号として付与すればよい。なお，「課題を解決
するための手段」では，上記画像番号を用いて一般的な
形で本発明の第３，第４の映像変化点検出方法を説明し
た。
【００２２】まず、本発明の第１の、カットを検出する
映像変化点検出方法の原理について述べる。
【００２３】同一シーン内の映像では、ズーミングなど
のカメラ動作や被写体の動きが発生すると画面上の物体
が移動、拡大、縮小などの変化をする。しかし、１フレ
ーム時間の移動距離や拡大率は小さい。そこで、フレー
ム画像ＩNを部分領域Ｒ（ｊ，Ｎ）、ｊ＝１、２、・・
・、ｋに分割することを考える。図２６が１６個の部分
領域に分割する例に相当する。このとき、同一シーン内
で時系列に連続するフレーム画像ＩN-1、ＩNの対応する
部分領域Ｒ（ｊ，Ｎ−１）、Ｒ（ｊ，Ｎ）の間では、色
のヒストグラムがほとんど変化しない。
【００２４】一方、フレーム画像ＩN-1、ＩNの間でシー
ンチェンジが発生したとき、ＩN-1、ＩNの対応する部分
領域の間では、被写体が変化して大きな領域をもつ色が
出現したり、大きな領域をもっていた色が消滅する。そ
こで、対応する部分領域の類似度Ｓp（ｊ，ＩN-1、
ＩN）として、対応する部分領域の間で新しく出現した
色や消滅した色の面積に応じて減少するパラメータを用
いることを考える。なお、部分領域の色のヒストグラム
がほとんど変化しないときには、上記部分領域の類似度
は最大値に近い値となる。
【００２５】さらに、フレーム画像ＩN-1、ＩNの対応す
る部分領域の類似度の平均を、フレーム画像の類似度Ｓ
（Ｎ）とおく。すなわち、
【００２６】
【数１】
【００２７】とおく。ただし、ｋは部分領域の数を表
す。このとき、フレーム画像ＩN-1、ＩNの間がカットで
ある場合、（１）式で定義したフレーム画像の類似度Ｓ
（Ｎ）は、最大値に比べて小さい値となる。ただし、カ
ット直前の時系列に連続する２枚のフレーム画像は、同
一シーンに含まれるので、その類似度Ｓ（Ｎ−１）は最
大値に近い値となる。同様に、カット直後の時系列に連
続する２枚のフレーム画像の類似度Ｓ（Ｎ＋１）も最大
値に近い値となる。
【００２８】一方、同一シーンに含まれるフレーム画像
であっても、フラッシュの発光，高速のカメラ動作，カ
メラ直前での被写体の速い動きなどがある場合には、上
記フレーム画像の類似度が小さい値になることがある。
しかし、２フレーム時間以上継続して類似度が小さい値
になる。
【００２９】以上のことから、適当なしきい値θcutを
設定して、 Ｓ（ｎ−１）−Ｓ（ｎ）＞θcut ・・・・・・・・・・・・・・・（２） Ｓ（ｎ＋１）−Ｓ（ｎ）＞θcut ・・・・・・・・・・・・・・・（３） が同時に成り立つ場合に、「フレーム画像Ｉn-1、Ｉnの
間でカットが発生した」と判断することで、カットを検
出することができる。
【００３０】この方法は、編集効果によるシーンチェン
ジをほとんど検出しない。しかし、シーンチェンジの途
中のフレーム画像が不連続な変化をする場合に、カット
として検出される問題点がある。例として、図２９に示
したように次のシーンが回転しながら大きくなる場合が
ある。
【００３１】フレーム画像Ｉn、Ｉn+1が、両方とも編集
効果によるシーンチェンジの途中に含まれる場合、これ
らの画像は、シーンチェンジ前の映像とシーンチェンジ
後の映像とを合成した画像となる。そのため、上記フレ
ーム画像Ｉn-1、Ｉnの類似度Ｓ（ｎ）は、シーンチェン
ジ前のフレーム画像とシーンチェンジ後のフレーム画像
の類似度に比べて大きい値になり、とりうる値に下限θ
lowが存在する。そこで、「編集効果によるシーンチェ
ンジ」の検出を抑制するために，図２のように、
（２）、（３）式と Ｓ（ｎ）＜θlow ・・・・・・・・・・・・・・・・・・・・・・（４） とが同時に成立する場合を検出することにした。
【００３２】ただし、この方法では、カット前後の画像
が類似する場合のように、（４）式が成り立たない場合
に検出もれが発生する。そこで、編集効果の途中で
（２）、（３）式が成立する場合には、映像が激しく変
化すると考え、類似度に上限θhighがあると仮定した。
そして、図３のように、 Ｓ（ｎ−１）≧θhigh ・・・・・・・・・・・・・・・・・・・・（５） と、（２）、（３）式とを同時に満足する場合もカット
として検出することにした。
【００３３】以上のことを踏まえて、（２）、（３）式
のみを用いる方法で発生する問題点である「編集効果に
よるシーンチェンジの過剰検出」を抑制するために，３
つの条件 カット必要条件１）（２）式が成立する。
【００３４】カット必要条件２）（３）式が成立する。
カット必要条件３）（４）式または（５）式が成立す
る。が同時に成立するときに、「Ｉ n ー 1 、 Ｉ n の間がカッ
トである」と判断することにした。
【００３５】次に、本発明の第２の、ディゾルブに類似
した編集効果によるシーンチェンジを検出する映像変化
点検出方法の原理について述べる。
【００３６】ディゾルブによるシーンチェンジの例を図
４に示す。ディゾルブでは、前のシーンの映像と次のシ
ーンの映像とを、異なるゲインをかけて合成する。ただ
し、前者にかかるゲインは時間と共に減少し、後者にか
かるゲインは時間と共に増加する。
【００３７】そこで、ディゾルブの途中の画像ＩNを、
図５に示すように，２枚の仮想的な画像ＩNnm、ＩNpmの
合成画像と考える。画像ＩNpmは「ディゾルブ直前の画
像ＩN pに対して、前のシーンの映像の被写体やカメラ
の，フレーム時間Ｎとフレーム時間Ｎpの間の動きを加
えた画像」に相当し、画像ＩNnmは「ディゾルブ直後の
画像ＩNnに対して、次のシーンの映像の被写体やカメラ
の，フレーム時間Ｎとフレーム時間Ｎnとの間の動きを
引いた画像」に相当する。さらに、フレーム画像Ｉnの
ｉライン目の左からｊ番目の画素の輝度をｆ（ｎ，ｉ，
ｊ）とおき、上記ディゾルブの途中の画像ＩNの各画素
の輝度ｆ（Ｎ，ｉ，ｊ）が、 f(N,i,j)=f({a×Npm+(1-a)×Nnm},i,j) =a×f(Npm,i,j)+(1-a)×f(Nnm,i,j),0<a<1 で表現できると仮定する。このとき、フレーム画像Ｉn
の画素(i,j)のエッジの水平方向成分Ｅｈ（ｎ，ｉ，
ｊ）と、垂直方向成分Ｅｖ（ｎ，ｉ，ｊ）は、上記画素
(i,j)の周囲の画素の輝度の加減算によって求められる
ので、 Eh(N,i,j)=a×Eh(Npm,i,j)+(1-a)×Eh(Nnm,i,j) ・・・・・・・・（６ａ） Ev(N,i,j)=a×Ev(Npm,i,j)+(1-a)×Ev(Nnm,i,j) ・・・・・・・・（６ｂ） が成り立つ。フレーム画像Ｉnのエッジ強度係数Ｅ
（ｎ）を「エッジ強度の総和」を表わす、
【００３８】
【数２】
【００３９】で定義すると、（６），（７）式より、 E(N)≦a×E(Npm)+(1-a)×E(Nnm) ・・・・・・・・・・・・・・・（８） となる。
【００４０】「被写体やカメラの動き」が発生すると、
エッジは移動する。そこで、「ディゾルブ中の画像Ｉ
Npmに含まれるエッジの大部分は、ディゾルブ直前の画
像ＩNp中に対応するエッジをもつ」と仮定し、 E(Np)＝E(Npm) ・・・・・・・・・・・・・・・・・・・・・・・（９） が成り立つと考えた．同様に， E(Nn)＝E(Nnm) ・・・・・・・・・・・・・・・・・・・・・・・（１０） が成り立つと考えると，（８）〜（１０）式より， E(N)≦a×E(Np)+(1-a)×E(Nn) ・・・・・・・・・・・・・・・・（１１） が成り立つ。本方法では、ディゾルブの途中におけるエ
ッジ強度係数Ｅ（Ｎ）は下に凸となることを利用して、
ディゾルブに類似した編集効果によるシーンチェンジを
検出することにした。そして、ディゾルブ時のエッジ強
度係数Ｅ（Ｎ）の変化には、図６（ａ）〜（ｃ）に示す
ような３つのパターンが存在すると仮定し，「ディゾル
ブが始まった場所のフレーム番号」をディゾルブ判定開
始点ｎd0とおき，同様に，「Ｅ（Ｎ）の変化率の絶対値
が大きい部分の途中のフレーム番号」をディゾルブ特徴
点ｎd1，「Ｅ（Ｎ）の変化率の絶対値が小さい部分の先
頭のフレーム番号」をエッジ強度極値点ｎd2，「ディゾ
ルブが終了した場所のフレーム番号」をディゾルブ終了
候補点ｎd3とおく。このとき、図６に示した分類に基づ
いて，Ｅ（Ｎ）の変化率の絶対値が大きい部分と小さい
部分を調べることでシーンチェンジを検出することがで
きる。
【００４１】なお後述する実施例２では，ディゾルブ特
徴点ｎd1とエッジ強度極値点ｎd2とを検出しながら，シ
ーンチェンジを検出する。また，実施例４では，ディゾ
ルブ判定開始点ｎd0，ディゾルブ特徴点ｎd1，エッジ強
度極値点ｎd2，ディゾルブ終了候補点ｎd3を検出するこ
とでシーンチェンジを検出する。
【００４２】本発明の第３の、ワイプに類似した編集効
果によるシーンチェンジを検出する映像変化点検出方法
の原理について述べる。
【００４３】図２８に示したように、ワイプの途中のフ
レーム画像は、前のシーンの映像の一部分である領域と
次のシーンの映像の一部分である領域から構成される。
そして、逐次的に前者が後者に置き換えられていく。ま
た、置き換えられた部分に含まれる画素では、輝度値の
変化が発生する。
【００４４】そこで、フレーム画像ＩN-1、ＩNの間で、
同じ位置にある画素の輝度差を求め、「輝度差の絶対値
があらかじめ設定したしきい値θw1以上となる画素」の
集合を画素変化領域ＲICNとおく。このとき、ワイプの
途中のフレーム画像の画素変化領域は、ワイプによって
映像が置き換えられた画素の領域を含む。また、ワイプ
は、前のシーンの映像をすべて次のシーンの映像に置き
換えたときに終了するので、複数のフレーム画像の画素
変化領域の和集合に含まれる画素数をフレーム画像の総
画素数で割った値を置換済面積SIDHとおくと、図７に示
すように、ワイプ時のフレーム画像の置換済面積SIDHは
１００％になる。
【００４５】図８に示すように、フレーム画像ＩN-1、
ＩNの間の画素変化領域ＲICNは、画面上の車のような移
動物体の軌跡を反映する。また、被写体が静止している
状態でも、ズーミング，パンニングなどのカメラ動作が
発生した場合には、被写体の画面上の軌跡が画素変化領
域に反映される。したがって、画素変化領域ＲICNに含
まれる画素数がフレーム画像の総画素数に占める割合を
画素変化面積IDHa（Ｎ）とおくと、画素変化面積IDHa
（Ｎ）は被写体やカメラ動作による動きの総量を反映し
た値となる。
【００４６】画面上で突然動きが発生した場合や不連続
な動きが発生した場合には、画素変化面積IDHa（Ｎ）が
大きく変化する。また、図２９に示したような不連続な
変化をするシーンチェンジの途中やカットでは、画素変
化面積が急激に増加する。しかし、ワイプの途中では、
次のシーンに置き換えられる領域の面積の変化量が小さ
いので、画素変化面積の変化量に上限θgapが存在す
る。そこで，ワイプの途中部分には， IDHa（ｎ）−IDHa（ｎ−１）＞θgap ・・・・・・・・・・・・・（１２） を満たす２枚のフレーム画像Ｉn-1，Ｉnは存在しないと
仮定した．本方法では、ワイプに要するフレーム画像数
の最大値をｎwmaxとおく。そして，「ワイプが始まった
場所より前のフレーム番号」の推定値をワイプ開始候補
点ｎw1とし，ワイプ開始候補点以降に設定された判定対
象フレーム画像Ｉnwjudがワイプ終了時のフレーム画像
であるかどうか判定する。以下では，判定対象フレーム
画像が設定されてから，設定された値にあわせてワイプ
開始候補点を更新する場合について述べる。逆の場合へ
の拡張は容易なので，ここでは省略する。また，実施例
２では，時系列のフレーム画像を処理する場合を想定し
ているので，「画素変化面積を計算したフレーム画像の
中で時間方向にみて最後にある」処理対象フレーム画像
を基準に説明しており，上記判定対象フレーム画像をＩ
N-ncon st+1と表現している。
【００４７】まず，カットの直後のフレーム番号Ｎpが
上記ワイプ開始候補点ｎw1と上記判定対象フレーム画像
のフレーム番号ｎwjudとの間に存在する場合には，ワイ
プ開始候補点ｎw1をカット直後のフレーム番号Ｎpに更
新する。また，ワイプの途中部分には（１２）式を満た
すフレーム画像Ｉn-1，Ｉnが存在しないので，上記ワイ
プ開始候補点ｎw1と上記判定対象フレーム画像のフレー
ム番号ｎwjudとの間に，（１２）式を満たすフレーム番
号ｎが存在する場合には，画素変化面積が急増した直後
のフレーム番号ｎ＋１をワイプ開始候補点とする。さら
に，ワイプに要するフレーム画像数の最大値があらかじ
め設定されているので，上記ワイプ開始候補点ｎw1のフ
レーム画像Ｉnw1と上記判定対象フレーム画像Ｉnwjudの
間のフレーム画像数が、上記ワイプに必要な画像数の最
大値ｎwmax以上にならないように，ワイプ開始候補点ｎ
w1を更新する。
【００４８】次に，上記ワイプ開始候補点ｎw1のフレー
ム画像Ｉnw1と上記判定対象フレーム画像Ｉnwjudの間の
画素変化領域ＲICnw1、・・・、ＲICnwjudの和集合に含
まれる画素数と、フレーム画像を構成する総画素数との
比率である置換済面積SIDHを計算する。
【００４９】さらにここでは、ワイプによるシーンチェ
ンジを検出し、かつ、画素変化面積が大きく変化する
「シーンチェンジの途中部分」の過剰検出を抑制するた
めに，シーンチェンジ直後に、被写体の動きとカメラ動
作が定常的な状態になると考える。また、定常的な状態
になる部分を定常状態領域と呼ぶこととし，定常状態領
域に含まれるフレーム画像数をｎconstとおく。そし
て，上記置換済面積SIDHがほぼ１００％となり、かつ、
上記判定対象フレーム画像ＩnwjudからＩnwjud+nco
nst-1の間の画素変化面積IDHa（ｎwjud）〜IDHa（ｎwju
d＋ｎconst−１）が一定範囲内となるときに、上記判定
対象フレーム画像ＩnwjudからＩnwjud+nconst-1の間が
上記定常状態領域であり，「判定対象フレーム画像Ｉ
nwjudがワイプ終了時のフレーム画像である」と判定す
ることにした。
【００５０】ただし、置換済面積SIDHと画素変化面積ID
Ha（Ｎ）を用いた方法では、図９に示すような、カメラ
のパンニングによって柱が移動する場合などをワイプに
よるシーンチェンジとして検出する。そこで、現在のシ
ーンの先頭フレーム画像と映像変化点のフレーム画像の
候補Ｉnwjudとを比較し、類似度が大きい場合には同一
シーンの画像であると判断することで、パンニングなど
による過剰検出を抑制することにした。
【００５１】また、この方法では、被写体を追尾してい
る部分でパンニングなどによる過剰検出が多く発生す
る。ただし、シーンチェンジ直後ではカメラ動作が定常
的な状態になると仮定しているので、特に、等速度で移
動する被写体の追尾の部分が過剰検出される。そこで、
パンニング時の画素変化面積の下限をθstillとし、
「ワイプ開始候補点から映像変化点候補の間で、画素変
化面積がθstill以上で、かつ、ほぼ一定値になる」場
合を被写体追尾と判断することで、パンニングによる過
剰検出を抑制することにした。
【００５２】次に、本発明の第４の、引抜きに類似した
編集効果やカメラ動作によるシーンチェンジを検出する
映像変化点検出方法の原理について述べる。
【００５３】引抜きによるシーンチェンジの例を図１０
に示す。引抜きでは、前のシーンの映像（以下，前シー
ン映像と呼ぶ）が移動し，この映像の画面上に占める領
域が小さくなる。このとき、前シーン映像の部分は移動
する被写体として考えることができる。被写体の移動の
発生には、画素変化面積IDHa（Ｎ）を増加させる効果が
ある。従って、引抜きの途中では、前シーン映像部分の
移動の影響で、次のシーンのフレーム画像の画素変化面
積に比べて、画素変化面積が大きい値になる。そこで、
引抜き開始時のフレーム番号をｎo0とし、終了時のフレ
ーム番号をｎprとしたとき、図１１に示すように、画素
変化面積IDHa（Ｎ）が増加してから減少すると仮定し
た。また、図１１において引抜き判定開始点ｎo1は画素
変化面積IDHa（Ｎ）の減少が始まる部分を表し、画素変
化面積が減少する部分を検出することで、引抜き終了時
のフレーム番号ｎprを求めることができる。
【００５４】また、高速のパンニングのように，高速の
カメラ動作が発生した部分でも、被写体の移動、拡大が
発生する。このとき、画素変化面積IDHa（Ｎ）は引抜き
の部分と同様の変化をする。そのため、高速のカメラ動
作による内容変化は、画素変化面積が減少する部分を求
めることで検出することができる。さらに、ズーミング
やパンニングなどのカメラ動作の部分から始まるシーン
のように、図１１のｎo0に相当するカメラ動作開始部分
が存在しない場合もあるが、この方法は、カメラ動作開
始部分の有無に関係なくカメラ動作終了部分ｎprを検出
できる。
【００５５】以下では，引抜き開始候補点ｎo1を更新し
ながら，引抜き開始候補点ｎo1以降に設定された判定対
象フレーム画像Ｉnojudがシーンチェンジ終了時のフレ
ーム画像かどうか判定する場合について述べる。ただ
し，前述の如く、判定対象フレーム画像は，定常状態領
域最初のフレーム画像ＩN-nconst+1に相当する。また，
実施例１，２では，画素変化面積の時間方向の平滑化を
実行するので，平滑化による時間遅れが２フレーム時間
分発生し，上記判定対象フレーム画像Ｉnojudは，Ｉ
N-nconst-1となる。
【００５６】まず，引抜き開始候補点のフレーム画像Ｉ
no1と上記判定対象フレーム画像の直前のフレーム画像
Ｉnojud-1との間の画素変化面積IDHa（ｎo1）〜IDHa
（ｎojud−１）の最大値と最小値を，それぞれ区間最大
変化面積IDHmax（ｎojud），区間最小変化面積IDHmin
（ｎojud）とする。また，図１１に示したように，引抜
き開始候補点ｎo1が「画素変化面積の減少が始まる部分
のフレーム番号」を表すようにするために， IDHa（ｎojud）＞IDHmax（ｎojud） ・・・・・・・・・・・・・（１３） が成立する場合には，引抜き開始候補点ｎo1を上記判定
対象フレーム画像のフレーム番号ｎojudに更新する。そ
して， IDHa（ｎo1）−IDHa（ｎojud）＞θfull ・・・・・・・・・・（１４ａ） IDHa（ｎojud）≦IDHa（ｎojud＋１） ・・・・・・・・・・・（１４ｂ） が同時に成り立つ場合に，画素変化面積が減少してから
上記判定対象フレーム画像で減少が停止したとみなし，
「判定対象フレーム画像Ｉnojudがシーンチェンジ終了
時のフレーム画像である」と判定することにした。
【００５７】なお，（１４ａ），（１４ｂ）式を用いる
方法では，被写体の不連続な動きの途中で動きが遅くな
った部分などを過剰検出する。しかし，この過剰検出
は，本発明の第３の映像変化点検出方法の原理で述べた
方法と同様に，現在のシーンの先頭フレーム画像と求め
られたシーンチェンジ終了時のフレーム画像との類似度
計算の導入によって抑制できる。
【００５８】また，「シーンチェンジの途中部分」の過
剰検出を抑制するために，本発明の第３の映像変化点検
出方法と同様に，定常状態領域の仮定を導入してもよ
い。このときは，（１４ｂ）式を用いる代わりに，定常
状態領域の画素変化面積IDHa（ｎojud）〜IDHa（ｎojud
＋ｎconst−１）が一定範囲内となるかどうかを調べ
る。また，この定常状態領域の仮定を導入し，かつ，
（１４ｂ）式を用いた場合のように，「画素変化面積が
減少してから判定対象フレーム画像で減少が停止した」
部分を検出する場合には， IDHa（ｎojud）≦IDHa（ｎj），ｎojud＜ｎj≦ｎojud＋ｎconst−１ ・・・（１５） が成立するかどうかを調べる。
【００５９】さらに，「シーンチェンジの終了直前部
分」を図１１に示したようにｎo1とｎprとの間とし，図
１２に示すように，この部分で画素変化面積がなめらか
に減少すると仮定して，適当なしきい値θupsを用いた
式 IDHa（ｎojud）≦IDHa（ｎ）＋θups，ｎo1≦ｎ＜ｎojud≦ｎpr ・・・（１６） が成立すると仮定することで，画素変化面積の値が上下
に振動する不連続な動きの途中部分の過剰検出をより一
層抑制することができる。（１６）式は， IDHa（ｎojud）≦IDHmin（ｎojud）＋θups，ｎo1＜ｎo
jud≦ｎpr となる。そこで，本方法では， IDHa（ｎojud）≦IDHmin（ｎojud）＋θups ・・・・・・・・・・（１７） が成立しない場合には，（１６）式が成り立たず，上記
判定対象フレーム画像のフレーム番号ｎojudが「シーン
チェンジの終了直前部分であるｎo1とｎprとの間」に含
まれないとみなし，引抜き開始候補点ｎo1を上記判定対
象フレーム画像のフレーム番号ｎojudに更新することに
した。
【００６０】以下、本発明の具体的実施例について、図
面を参照しながら説明する。本実施例は，上記原理で述
べた方法を実現するものである。ただし，上記原理のな
かの第４の映像変化点検出方法では，「シーンチェンジ
の終了直前部分で，図１２に示したように，画素変化面
積がなめらかに減少する」との仮定を用いたが，本実施
例では，この仮定を用いない実施例を示す。
【００６１】図１は本発明の実施例における映像速見装
置の全体システム図である。図１において、３０、３１
は処理対象となる映像の入出力装置であって、３０はビ
デオディスク装置、３１はＶＴＲである。また、３２は
ビデオディスク装置３０やＶＴＲ３１から入力される映
像信号のフレーム画像を取り込むフレームメモリであ
り、３３はフレームメモリ３２に制御信号を送ってフレ
ーム画像を取り込み、時系列のフレーム画像を処理する
ことで映像の変化点を検出する計算機である。３４は計
算機３３で検出された映像変化点のフレーム画像を一覧
表示するモニターであり、３５は計算機３３で検出され
た映像変化点の画像やフレーム番号を記憶する外部記憶
装置である。
【００６２】図１３は、図１における計算機３３の映像
変化点検出処理の実施例のフローチャートである。
【００６３】まず，図１３における初期化処理１では、
映像変化点検出処理に用いる様々なパラメータの初期化
を実行する。また、映像変化点検出処理に用いる様々な
しきい値と、ワイプに必要なフレーム数の最大値ｎwmax
と、シーンの先頭の定常状態領域の長さｎconstと、デ
ィゾルブ時の「エッジ強度係数が大きく変化するフレー
ム数」の最小値ｎegdeとを設定する。さらに，フレーム
メモリ３２から処理対象フレーム画像Ｉnを取り込み、
最初のシーンの先頭フレーム画像Ｉnpとしてモニター３
４に縮小表示をする。そして、取り込んだフレーム画像
における特徴量として，ディゾルブに類似した編集効果
によるシーンチェンジを検出するためのエッジ強度係数
と、カット検出のためのｋ個の部分領域の構成色C
Vj,n、ｊ＝１，・・・，ｋを求める。ここでは，パラメ
ータの初期化と上記２つの特徴量の計算方法の詳細につ
いてふれる。
【００６４】本実施例で用いる特徴量の中で，上記エッ
ジ強度係数と上記構成色は１枚のフレーム画像を用いて
計算するが，画素変化面積とフレーム画像の類似度は，
１フレーム時間前のフレーム画像を用いて計算する。デ
ィゾルブ判定開始点ｎd0は，上記エッジ強度係数の時間
変化の調査開始点を表すパラメータなので，上記先頭フ
レーム画像のフレーム番号ｎpに初期化する。また，ワ
イプ開始候補点ｎw1と引抜き判定開始点ｎo1は，画素変
化面積の時間変化の調査開始点を表すパラメータなの
で，画素変化面積が最初に計算可能となるフレーム番号
（ｎp＋１）に初期化する．ディゾルブ特徴点ｎd1とエ
ッジ強度極値点ｎd2は，エッジ強度係数の時間変化に基
づいて値を設定するパラメータなので，ＵＳ（値が設定
されていない状態）に初期化する。
【００６５】フレーム画像Ｉnのｉライン目の左からｊ
番目の画素の輝度をf(n,i,j)としたとき、上記エッジ強
度係数E(n)は、各画素の赤成分RR(n,i,j)、緑成分GG(n,
i,j)、青成分BB(n,i,j)を用いて f(n,i,j)=0.299×RR(n,i,j)＋0.587×GG(n,i,j)＋0.114×BB(n,i,j) ・・・・・・（１８） によって各画素の輝度f(n,i,j)を求めてから、各画素の
エッジの水平方向成分Eh(n,i,j)と垂直方向成分Ev(n,i,
j)とを、sobelフィルタの式 Eh(n,i,j) = f(n,i-1,j+1) - f(n,i-1,j-1) + 2×f(n,i,j+1) - 2×f(n,i,j-1) + f(n,i+1,j+1) - f(n,i+1,j-1) ・・・・・・・・・（１９） Ev(n,i,j) = f(n,i-1,j-1) - f(n,i+1,j-1) + 2×f(n,i-1,j) - 2×f(n,i+1,j) + f(n,i-1,j+1) - f(n,i+1,j+1) ・・・・・・・・・（２０） によって求め、（７）式を用いて計算する。また、上記
構成色CVj,nは、フレーム画像Ｉnをｋ個の部分領域Ｒ
（ｊ，ｎ）、ｊ＝１，・・・，ｋに分割してから、各部
分領域で、色ｃのヒストグラムＨ（ｃ，ｊ，Ｉn）を求
め、ノイズを除去するためのしきい値θhを用いた式 CVj,n = ｛ｃ｜Ｈ（ｃ，ｊ，Ｉn）＞θh｝ ・・・・・・・・・・（２１） によって求める。本実施例では，図２６のようにフレー
ム画像を１６個の部分領域に分割する。色ｃとしては、
例えば、赤成分、緑成分、青成分各８階調の５１２色を
用いる。本実施例では、 Ｈ（ｃ，ｊ，Ｉn）≦θh が成り立つ場合を、「部分領域に色ｃが存在する」と考
えずに、ノイズと考えている。
【００６６】なお、フレーム画像をモニター３４に表示
するときに、ビデオディスク装置３０やＶＴＲ３１と通
信をして、取り込んだフレーム画像のフレーム番号を読
みとり、画像と一緒に表示してもよい。以下では、フレ
ームメモリ３２から取り込んだ画像のフレーム番号を処
理対象フレーム画像の添字ｎとする。
【００６７】次に、図１３における終了判定処理２で
は、処理対象となる映像が終了したかどうかを判定し、
映像が終了した場合には、処理を終了する。なお、処理
の終了時に、検出されたすべての映像変化点のフレーム
画像を外部記憶装置３５に記憶すれば、いつでも映像変
化点の情報を取り出すことができ、映像の編集などに活
用することができる。また、フレーム画像の代わりにフ
レーム番号を外部記憶装置３５に記憶しても同様の効果
がえられる。
【００６８】映像が終了していない場合には、図１３に
おける画像更新処理３に進み、現在の処理対象フレーム
画像の次のフレーム画像Ｉn+1を新しい処理対象フレー
ムＩnとする。そして、ビデオディスク装置３０やＶＴ
Ｒ３１に制御信号を送って、更新後の処理対象フレーム
画像Ｉnを再生し、フレームメモリ３２からフレーム画
像Ｉnを取り込む。また、映像変化点候補ｎprをＵＳと
する。
【００６９】図１３におけるカット検出処理４では、処
理対象フレーム画像Ｉnを処理して、前回の処理対象フ
レーム画像Ｉn-1がカット直後のフレーム画像であるか
どうか判定する。カット検出処理４における具体的な動
作を図１４を用いて述べる。
【００７０】図１４における構成色計算処理１０１で
は、処理対象フレーム画像Ｉnの各部分領域の構成色CV
j,n、ｊ＝１，・・・，１６を、（２１）式を用いて求
める。
【００７１】図１４における共通色計算処理１０２で
は、図１５に示すように同じ位置にある部分領域を「対
応する部分領域」とおき、フレーム画像Ｉn-1、Ｉnの対
応する部分領域の構成色の共通部分である共通色C
Cj,n、ｊ＝１、・・・、１６を
【００７２】
【数３】
【００７３】によって計算する。図１４における部分領
域類似度計算処理１０３では、対応する部分領域Ｒ
（ｊ，Ｉm）、ｍ＝ｎ−１，ｎそれぞれにおける、共通
色をもつ領域の面積
【００７４】
【数４】
【００７５】と、構成色をもつ領域の面積
【００７６】
【数５】
【００７７】とを用いて、対応する部分領域の類似度Sp
（ｊ，Ｉn-1，Ｉn）を
【００７８】
【数６】
【００７９】によって計算する。（２５）式で計算され
る類似度は、対応する部分領域で新しく出現した色や消
滅した色の面積に応じて減少する特徴をもつ。
【００８０】図１４における画像類似度計算処理１０４
では、（２５）式で計算される部分領域の類似度Sp
（ｊ，Ｉn-1，Ｉn）、ｊ＝１、・・・、１６の平均値を
求め、２枚のフレーム画像Ｉn-1、Ｉnの間の類似度Ｓ
（ｎ）とする。
【００８１】図１４における第１のカット判定処理１０
５では、あらかじめ設定したしきい値θcut、θlowを用
いた（２）〜（４）式に対応する式 Ｓ（ｎ−２）−Ｓ（ｎ−１）＞θcut Ｓ（ｎ）−Ｓ（ｎ−１）＞θcut Ｓ（ｎ−１）＜θlow が同時に成立する場合には図１４における第１の判定結
果設定処理１０６に進み，「判定対象フレーム画像Ｉ
n-1の直前がカットである」と判定して図１３における
カット検出処理４を終了する。そうでない場合には、図
１４における第２のカット判定処理１０７に進む。
【００８２】図１４における第２のカット判定処理１０
７では、あらかじめ設定したしきい値θhighを用いた
（２）、（３）、（５）式に対応する式 Ｓ（ｎ−２）−Ｓ（ｎ−１）＞θcut Ｓ（ｎ）−Ｓ（ｎ−１）＞θcut Ｓ（ｎ−２）≧θhigh が同時に成立する場合には、図１４における第１の判定
結果設定処理１０６に進み，「判定対象フレーム画像Ｉ
n-1の直前がカットである」と判定して図１３における
カット検出処理４を終了し、そうでない場合には、図１
４における第２の判定結果設定処理１０８に進み，「判
定対象フレーム画像Ｉn-1の直前にカットは存在しな
い」と判定してから図１３におけるカット検出処理４を
終了する。
【００８３】なお、本実施例では、（２５）式を用いて
対応する部分領域の類似度を計算しているが、新しく出
現した色や消滅した色の面積に応じて減少する特徴をも
つ物理量を上記類似度としてもよい。例えば、
【００８４】
【数７】
【００８５】としても本実施例と同様の効果がえられ
る。また、本実施例では（４）、（５）式を用いて「編
集効果によるシーンチェンジ」の過剰検出を抑制してい
るが、（４）、（５）式を用いずに、「同一シーン内の
フレーム画像の類似度が大きい値になる」ことと、「カ
ット前後のフレーム画像の類似度が小さい値になる」こ
とを表す式を用いてもよい。
【００８６】図１３におけるカット検出処理４の終了
後、図１３における分岐処理５に進む。図１３における
分岐処理５では、「判定対象フレーム画像Ｉn-1の直前
がカットである」と判定されている場合には、図１３に
おける初期化処理６に進み、そうでない場合には図１３
におけるパラメータ更新処理７に進む。
【００８７】なお、図１３におけるカット検出処理４で
カットが検出されない場合に、分岐処理５からパラメー
タ更新処理７に進まずに、終了判定処理２に進むことに
すれば、この映像変化点検出方法はカット検出方法とし
て利用することができる。また、カットを含まない映像
が入力される場合には、カット検出処理４と分岐処理５
と初期化処理６を実行する必要はない。
【００８８】図１３における初期化処理６では、フレー
ム画像Ｉn-1を映像変化点のフレーム画像（以下，映像
変化点画像と呼ぶ）と考え，シーンの先頭フレーム画像
Ｉnpとしてモニター３４に縮小表示してから図１３にお
ける終了判定処理２にもどる。ただし、図１６に示すよ
うに、新しく検出された映像変化点画像は、それまでに
検出された映像変化点画像と並べて表示する。さらに、
図１３の初期化処理１におけるパラメータ初期化に相当
する処理を実行するために，ディゾルブ判定開始点ｎd0
に上記映像変化点画像のフレーム番号（ｎ−１）を代入
し、ワイプ開始候補点ｎw1と引抜き判定開始点ｎo1に上
記映像変化点画像の次のフレーム番号ｎを代入してか
ら、ディゾルブ特徴点ｎd1とエッジ強度極値点ｎd2をＵ
Ｓとする。
【００８９】図１３におけるパラメータ更新処理７で
は、処理対象フレームＩnにおける特徴量を計算し、映
像変化点検出に用いるパラメータを更新する。パラメー
タ更新処理７における具体的な動作を図１７を用いて述
べる。
【００９０】図１７におけるエッジ強度計算処理２０１
では、（１８）式を用いて各画素の輝度f(n,i,j)を求め
てから、（１９）、（２０）式を用いて各画素のエッジ
の水平方向成分Eh(n,i,j)と垂直方向成分Ev(n,i,j)とを
求め、（７）式を用いてエッジ強度係数Ｅ（ｎ）を計算
する。そして、ノイズ除去のために，メディアンフィル
タを用いて平滑化したエッジ強度係数E'（ｎ−２）を求
める。ここでは、すでに平滑化されたエッジ強度係数E'
（ｎ−４）、E'（ｎ−３）と、平滑化対象となるエッジ
強度係数Ｅ（ｎ−２）と、Ｅ（ｎ−２）よりも後で平滑
化されるエッジ強度係数Ｅ（ｎ−１）、Ｅ（ｎ）の合計
５つの値のメディアン値を上記平滑化したエッジ強度係
数E'（ｎ−２）とする。ただし，フレーム画像Ｉn-3，
Ｉn-2のうちのいずれか一方が現在のシーンの先頭フレ
ーム画像である場合には、平滑化に必要な値E'（ｎ−
４），E'（ｎ−３）が存在しないので，平滑化を実行せ
ずにＥ（ｎ−２）をE'（ｎ−２）に代入する。
【００９１】さらに、エッジ強度係数の変化率Ｅrc（ｎ
−４）を，平滑化したエッジ強度係数E'（ｎ−４）〜E'
（ｎ−２）を用いて， Ｅrc（ｎ−４）＝｛E'（ｎ−２）−E'（ｎ−４）｝／E'（ｎ−３） ・・・・・・（２６） によって計算する。変化率Ｅrc（ｎ−４）はディゾルブ
に類似した編集効果によるシーンチェンジの検出に用い
る。
【００９２】図１７における画素変化領域計算処理２０
２では、フレーム画像Ｉn-1、Ｉnの間で、同じ位置にあ
る画素の輝度差を求め、「輝度差の絶対値があらかじめ
設定したしきい値θw1以上となる画素」の集合を画素変
化領域ＲICnとおく。
【００９３】図１７における画素変化面積計算処理２０
３では、画素変化領域計算処理２０２で求めた画素変化
領域ＲICnをフレーム画像Ｉnの画素数で割った値を画素
変化面積IDHa（ｎ）とする。そして、ノイズ除去のため
に，メディアンフィルタを用いて平滑化した画素変化面
積IDHa'（ｎ−２）を求める．ここでは、エッジ強度係
数の平滑化処理と同様に，すでに平滑化された画素変化
面積IDHa'（ｎ−４）、IDHa'（ｎ−３）と、平滑化対象
となる画素変化面積IDHa（ｎ−２）と、IDHa（ｎ−２）
よりも後で平滑化される画素変化面積IDHa（ｎ−１）、
IDHa（ｎ）の合計５つの値のメディアン値を上記平滑化
した画素変化面積IDHa'（ｎ−２）とする。ただし，フ
レーム画像Ｉn-3，Ｉn-2のうちのいずれか一方が現在の
シーンの先頭フレーム画像である場合には、平滑化に必
要な値IDHa'（ｎ−４），IDHa'（ｎ−３）が存在しない
ので，平滑化を実行せずにIDHa（ｎ−２）をIDHa'（ｎ
−２）に代入する。平滑化した画素変化面積IDHa'（ｎ
−２）は引抜きに類似した編集効果やカメラ動作による
シーンチェンジの検出に用いる。
【００９４】図１７における分岐処理２０４では、図６
に示したように「エッジ強度係数Ｅ（Ｎ）の変化率の絶
対値が大きい部分の途中のフレーム番号」を表すディゾ
ルブ特徴点ｎd1の値を調べ、 ｎd1＝ＵＳ（値が設定されていない状態） が成立する場合には，ディゾルブ特徴点ｎd1を検出する
図１７のディゾルブ特徴点更新処理２０５からワイプ開
始候補点更新処理２０７に進む。そうでない場合には、
「エッジ強度係数の変化率の絶対値が小さい部分」を検
出する図１７のエッジ強度極値点更新処理２０６からワ
イプ開始候補点更新処理２０７に進む。
【００９５】図１７におけるディゾルブ特徴点更新処理
２０５では、エッジ強度係数の変化率の絶対値が大きい
部分を検出してディゾルブ特徴点ｎd1を更新する。すで
に，図１３における初期化処理１で，ディゾルブ時の
「エッジ強度係数Ｅrcが大きく変化するフレーム数」の
最小値ｎedgeが設定されている。したがってここでは，
上記変化率Ｅrcを計算したフレーム番号の中の最大値
（ｎ−４）と，その（ｎedge−１）フレーム前のフレー
ム番号（ｎ−ｎedge−３）との間が同一シーン内に含ま
れて，かつ，その間の上記変化率Ｅrcの絶対値が大きい
場合を検出して，上記ディゾルブ特徴点ｎd1に（ｎ−
４）を代入すればよい。そこで，本実施例ではシーンの
先頭フレーム番号を表すディゾルブ判定開始点ｎd0と，
あらかじめ設定したしきい値θedgeを用いた式 ｜Ｅrc（ｎ−４−ｉ）｜＞θedge、０≦ｉ＜ｎedge ・・・・・（２７ａ） ｎ−４−ｎedge≧ｎd0 ・・・・・・・・・・・・・・・・・・（２７ｂ） が同時に成り立つ場合に、ディゾルブ特徴点ｎd1にｎ−
４を代入する。
【００９６】エッジ強度極値点更新処理２０６では、図
６に示した「変化率の絶対値が小さい部分」を検出し，
その先頭のフレーム番号をエッジ強度極値点ｎd2とす
る。本実施例では，エッジ強度極値点ｎd2で，上記エッ
ジ強度の変化率Ｅrcの符号が変化するか，または，上記
変化率Ｅrcの値がゼロになると仮定する。そこで， Ｅrc（ｎ−５）×Ｅrc（ｎ−４）≦０ ・・・・・・・・・・・・（２８） が成立する場合に、エッジ強度極値点ｎd2をｎ−４に設
定する。
【００９７】図１７におけるワイプ開始候補点更新処理
２０７では、（１２）式が成り立つ場合に、ワイプ開始
候補点ｎw1にｎ＋１を代入する。また、（１２）式が成
り立たず、ワイプに必要なフレーム数の最大値ｎwmaxと
次のシーンの先頭の定常状態領域の長さｎconstとを用
いた式 ｎw1≦ｎ−ｎwmax−ｎconst＋１ ・・・・・・・・・・・・・・（２９） が成り立つ場合には、ワイプを想定している区間である
「ワイプ開始候補点ｎw1と上記定常状態領域の先頭フレ
ーム番号ｎ−ｎconst＋１との間」に上記フレーム画像
数の最大値ｎwmaxを越える枚数のフレーム画像が存在す
るとみなして，上記ワイプ開始候補点ｎw1に（ｎ−ｎwm
ax−ｎconst＋２）を代入する。
【００９８】図１７における置換済面積計算処理２０８
では、フレーム画像Ｉnw1〜Ｉn-nco nst+1の画素変化領
域ＲICnw1、・・・、ＲICn-nconst+1の和集合ＳＲICを
求めて、この和集合ＳＲICに含まれる画素数がフレーム
画像を構成する総画素数に占める割合を置換済面積SIDH
とする。
【００９９】図１７における引抜き判定開始点更新処理
２０９では、時間方向に平滑化した画素変化面積を用い
るので，２フレーム時間分の時間遅れが発生し，シーン
チェンジ終了直前部分として，「引抜き判定開始点ｎo1
と時間遅れを考慮したときの次のシーンの先頭の定常状
態領域の先頭フレーム番号（ｎ−ｎconst−１）との
間」を想定する。そして，平滑化した画素変化面積IDH
a'（ｎo1）〜IDHa'（ｎ−ｎconst−２）の間の最大値を
求めて区間最大変化面積IDHmax（ｎ−ｎconst−１）と
し、 IDHa'（ｎ−ｎconst−１）＞IDHmax（ｎ−ｎconst−１） ・・・・（３０） が成立する場合には、フレーム番号（ｎ−ｎconst−
１）で画素変化面積が増加したとみなし，画素変化面積
の減少の開始点を引抜き開始候補点ｎo1とするために，
引抜き判定開始点ｎo1に（ｎ−ｎconst−１）を代入す
る。そして、引抜き判定開始点更新処理２０９の終了
後、図１３におけるパラメータ更新処理７を終了する。
【０１００】なお、本実施例では、（１２）式が成立す
る場合にワイプ開始候補点ｎw1を更新するが、（１２）
式の代わりに、絶対値を用いた式 ｜IDHa（ｎ）−IDHa（ｎ−１）｜＞θgap ・・・・・・・・・・（３１） を用いてもよい。また、本実施例では、図１３における
カット検出処理４でカット検出をするので、図１３にお
けるパラメータ更新処理７にカット部分の映像は入力さ
れない。従って、図２９のような、不連続な変化をする
シーンチェンジの検出を許容する場合には、（１２）、
（３１）式による更新処理は不要となる。
【０１０１】図１３のパラメータ更新処理７の終了後、
図１３のディゾルブ判定処理８に進む。ディゾルブ判定
処理８では、ディゾルブに類似した編集効果によるシー
ンチェンジを検出する。ディゾルブ判定処理８における
具体的な動作を図１８を参照しながら述べる。
【０１０２】図１８における初期化処理３０１では、図
１３のディゾルブ判定処理８で用いる映像変化点候補
（次のシーンの先頭フレーム番号候補）ｎprdをＵＳと
する。
【０１０３】図１８における分岐処理３０２では、図６
に示したように「エッジ強度係数Ｅ（Ｎ）の変化率の絶
対値が小さい部分の先頭のフレーム番号」を表すエッジ
強度極値点ｎd2の値を調べ， ｎd2＝ＵＳ（値が設定されていない状態） が成立する場合には、「判定対象フレーム画像Ｉn-4は
映像変化点画像ではない」と判定してから図１３におけ
るディゾルブ判定処理８を終了し、そうでない場合には
図１８における極小点判定処理３０３に進む。
【０１０４】極小点判定処理３０３では、図６（ｃ）に
示したパターンを取り出す。 Ｅrc（ｎd2−１）＜０ ・・・・・・・・・・・・・・・・・・・（３２） Ｅrc（ｎd2＋３）≧０ ・・・・・・・・・・・・・・・・・・・（３３） が同時に成り立つ場合には，Ｅrc（ｎd2），Ｅrc（ｎd2
＋１），・・・が増加する図６（ｃ）の変化パターンと
みなして図１８における安定点判定処理３０５に進み、
そうでない場合には，図６（ａ），（ｂ）の変化パター
ンとみなして映像変化点候補設定処理３０４に進む。
【０１０５】図１８における映像変化点候補設定処理３
０４では、映像変化点候補ｎprdにｎd2を代入してか
ら、ディゾルブ特徴点ｎd1とエッジ強度極値点ｎd2をＵ
Ｓとし、「判定対象フレーム画像Ｉnd2が映像変化点画
像候補である」と判定してディゾルブ判定処理８を終了
する。
【０１０６】図１８における安定点判定処理３０５で
は、上記エッジ強度係数の変化率Ｅrcを計算したフレー
ム番号の最大値（ｎ−４）が，図６（ｃ）に示したディ
ゾルブ終了候補点ｎd3に相当するかどうか調べる。（３
３）式をふまえて，フレーム番号（ｎd2＋３）が上記エ
ッジ強度極小点ｎd2と上記ディゾルブ終了候補点ｎd3の
間に存在するとみなし， ｎ−４＞ｎd2＋３ ・・・・・・・・・・・・・・・・・・・・・（３４） Ｅrc（ｎ−４）≦０ ・・・・・・・・・・・・・・・・・・・・（３５） が同時に成り立つ場合には，フレーム番号（ｎ−４）が
上記ディゾルブ終了候補点ｎd3に相当するとみなして，
図１８における映像変化点候補設定処理３０６に進み、
そうでない場合には、「判定対象フレーム画像Ｉn-4は
映像変化点画像ではない」と判定してから図１３のディ
ゾルブ判定処理８を終了する。
【０１０７】図１８の映像変化点候補設定処理３０６で
は、映像変化点候補ｎprdにｎ−４を代入してから、デ
ィゾルブ特徴点ｎd1とエッジ強度極値点ｎd2をＵＳと
し、「判定対象フレーム画像Ｉn-4が映像変化点画像候
補である」と判定して図１３のディゾルブ判定処理８を
終了する。
【０１０８】なお、本実施例では、（１９）、（２０）
式で表されるsobelフィルタを用いてエッジを計算して
いるが、他の計算方法を用いても同様の効果が得られ
る。また、（７）式を用いてエッジ強度係数を計算して
いるが、処理対象フレーム画像Ｉn上の各画素のエッジ
強度
【０１０９】
【数８】
【０１１０】の時間的変化を反映する物理量をエッジ強
度係数としてもよい。このとき、ディゾルブの途中で
（１１）式は必ずしも成立しないが、エッジ強度係数が
大きく変化すると考えられるので、ディゾルブを検出す
ることができる。
【０１１１】さらに、本実施例では、エッジ強度係数列
を時間方向に平滑化した値を用いて、（２６）式のよう
にエッジ強度係数の変化率Ｅrc（ｎ−４）を計算してい
るが、必ずしも平滑化する必要はなく、 Ｅrc（ｎ−４）＝｛Ｅ（ｎ−２）−Ｅ（ｎ−４）｝／Ｅ
（ｎ−３） としてもよい。また、他の式を用いて変化率を計算して
もよいし、メディアン値を用いないでエッジ強度係数の
平滑化を実行してもよい。
【０１１２】本実施例では、時間方向に平滑化したエッ
ジ強度係数の変化率Ｅrc（Ｎ）、Ｎ＝１、２、・・・は
急激な変化をしないと考えて、（３３）式のように、フ
レーム画像Ｉnd2+3におけるエッジ強度係数の変化率Ｅr
c（ｎd2＋３）を用いて、エッジ強度係数Ｅ（ｎd2）、
Ｅ（ｎd2＋１）、・・・が増加しているかどうかを判定
している。しかし、エッジ強度係数Ｅ（ｎd2）、Ｅ（ｎ
d2＋１）、・・・、または、変化率Ｅrc（ｎd2）、Ｅrc
（ｎd2＋１）、・・・を使ってこの判定を実行してもよ
い。
【０１１３】ディゾルブ判定処理８の終了後、ワイプ判
定処理９に進む。ワイプ判定処理９では、ワイプに類似
した編集効果によるシーンチェンジを検出する。ワイプ
判定処理における具体的な動作を図１９を参照しながら
述べる。
【０１１４】図１９における初期化処理４０１では、ワ
イプ判定処理９で用いる映像変化点候補ｎprwをＵＳと
する。
【０１１５】図１９の置換済面積判定処理４０２では、
図１７の置換済面積計算処理２０８で求めた置換済面積
SIDHが、あらかじめ設定したしきい値θsidh以上となる
場合には定常状態判定処理４０３に進み、そうでなけれ
ば、「判定対象フレーム画像Ｉn-nconst+1は映像変化点
画像ではない」と判定してから図１３のワイプ判定処理
９を終了する。
【０１１６】図１９の定常状態判定処理４０３では、画
素変化面積IDHaとあらかじめ設定したしきい値θupと次
のシーンの先頭の定常状態領域の長さｎconstとを用い
た式 ｜IDHa（ｎ）−IDHa（ｎ−ｉ）｜＜θup、１≦ｉ＜ｎconst ・・・（３６） が成立する場合には、判定対象フレーム画像Ｉ
n-nconst+1を上記定常状態領域の先頭のフレーム画像と
みなして映像変化点候補設定処理４０４に進み、そうで
なければ、「判定対象フレーム画像Ｉn-nconst+1は映像
変化点画像ではない」と判定してから図１３のワイプ判
定処理９を終了する。
【０１１７】図１９における映像変化点候補設定処理４
０４では、映像変化点候補ｎprwに（ｎ−ｎconst＋１）
を代入する。
【０１１８】以上のように，置換済面積SIDHが上記しき
い値θsidh以上となり，かつ，画素変化面積の変化が小
さい場合に，上記映像変化点候補ｎprwが設定される。
置換済面積SIDHは、被写体の動きの激しいシーンやパン
ニングなどのカメラ動作の使われているシーンで，大き
い値になる傾向がある。また，被写体を等速で追尾する
部分や，被写体とカメラ動作が静止状態である部分で
は，被写体とカメラの動きの総量を反映する画素変化面
積の変化が小さくなる。従って，被写体を等速で追尾す
る部分が映像変化点候補として検出される。同様に，被
写体の動きの激しいシーンやカメラ動作の使われている
シーンから静止画に近いシーンにディゾルブによって変
化する場合には、ディゾルブの後半部分で画素変化面積
が小さい値で安定し、その部分が映像変化点候補として
検出される。そこで、以下では，上記映像変化点候補が
等速追尾の部分またはディゾルブの途中の部分に含まれ
るかどうか判定する。
【０１１９】等速追尾判定処理４０５では、画素変化面
積が被写体とカメラの動きの総量を反映するので，ワイ
プ開始候補点ｎw1と映像変化点候補ｎprwとの間の画素
変化面積IDHa（ｎw1）〜IDHa（ｎprw）と、あらかじめ
設定したしきい値θstill、θdiffとを用いた式 IDHa（ｎw1）＞θstill ・・・・・・・・・・・・・・・・・・（３７） IDHa（ｎprw）＞θstill ・・・・・・・・・・・・・・・・・・（３８） ｜IDHa（ｎprw）−IDHa（ｎi）｜≦θdiff、ｎw1≦ｎi＜ｎprw ・・・（３９） が同時に成り立つ場合には、ワイプではなく等速追尾だ
と判定して図１９におけるワイプ検出初期化処理４０６
に進む。そうでない場合には、上記映像変化点候補ｎpr
wがディゾルブの途中であるか判定する図１９のエッジ
強度参照処理４０７に進む。
【０１２０】図１９のワイプ検出初期化処理４０６で
は、ワイプ開始候補点ｎw1に（ｎprw＋１）を代入し、
映像変化点候補ｎprwにＵＳを代入してから、「判定対
象フレーム画像Ｉnprwは映像変化点画像ではない」と判
定し、図１３のワイプ判定処理９を終了する。
【０１２１】一方，図１９のエッジ強度参照処理４０７
では、エッジ強度極値点ｎd2の値を調べ、 ｎd2＝ＵＳ（値が設定されていない状態） が成り立つ場合には、「判定対象フレーム画像Ｉnprwが
映像変化点画像候補である」と判定し、ワイプ判定処理
９を終了する。そうでない場合には、「判定対象フレー
ム画像Ｉnprwがシーンチェンジの途中である」と考え、
ワイプ検出初期化処理４０６に進む。
【０１２２】なお、本実施例では、（３６）〜（３９）
式で画素変化面積IDHaを用いているが、時間方向に平滑
化した画素変化面積IDHa'を用いてもよい。
【０１２３】また，本実施例ではエッジ強度参照処理４
０７を実行し、ディゾルブの途中の検出を抑制している
が、シーンチェンジの途中部分の検出を許容する場合
や、あらかじめディゾルブによるシーンチェンジが除外
されている場合には、エッジ強度参照処理を実行する必
要はない。
【０１２４】さらに、本実施例の定常状態判定処理４０
３では、（３６）式が成立する場合に、「判定対象フレ
ーム画像Ｉn-nconst+1が映像変化点画像候補である」と
判定して、映像変化点候補設定処理４０４に進むが、上
記判定対象フレーム画像Ｉn- nconst+1と処理対象フレー
ム画像Ｉnとの間の画素変化面積IDHa（ｎ−ｎconst＋
１）〜IDHa（ｎ）の値の幅が（２×θup）以下となる場
合に、「判定対象フレーム画像Ｉn-nconst+1が映像変化
点画像候補である」と判定して、上記映像変化点候補設
定処理に進むことにしてもよい。
【０１２５】図１９の等速追尾判定処理４０５では、
（３７）〜（３９）式が同時に成立する場合を被写体追
尾とみなし、ワイプ検出初期化処理４０６に進むが、
（３７）、（３８）式が同時に成立し、かつ、ワイプ開
始候補点ｎw1と次のシーンの先頭フレーム番号候補ｎpr
wとの間の画素変化面積IDHa（ｎw1）〜IDHa（ｎprw）の
値の幅が（２×θdiff）以下となる場合を被写体追尾と
判断し、上記ワイプ検出初期化処理に進むことにしても
よい。また、物体追尾の技術を用いて等速追尾判定処理
４０５を実行してもよい。さらに、検出もれをできるだ
け抑制したい場合には、等速追尾判定処理４０５を実行
せずに、エッジ強度参照処理４０７に進むことにしても
よい。
【０１２６】図１３のワイプ判定処理９の終了後、図１
３の引抜き判定処理１０に進む。引抜き判定処理１０で
は、引抜きに類似した編集効果によるシーンチェンジ
と、カメラ動作によるシーンチェンジを検出する。引抜
き判定処理における具体的な動作を図２０を参照しなが
ら述べる。
【０１２７】図２０における初期化処理５０１では、図
１３の引抜き判定処理１０で用いる映像変化点候補ｎpr
oをＵＳとする。
【０１２８】図２０の動き変化判定処理５０２では、平
滑化を考慮したときの処理対象フレーム画像Ｉn-2と判
定対象フレーム画像との間の画像数がシーンの先頭の定
常状態領域の長さｎconstとなるように、画像Ｉ
n-nconst-1を判定対象フレーム画像とする．そして、引
抜き判定開始点ｎo1と上記判定対象フレーム画像Ｉ
n-nconst -1における平滑化後の画素変化面積IDHa'（ｎo
1）、IDHa'（ｎ−ｎconst−１）と、あらかじめ設定し
たしきい値θfullとを用いた式 IDHa'（ｎo1）−IDHa'（ｎ−ｎconst−１）＞θfull ・・・・・・（４０） が成り立つ場合には、「上記引抜き開始候補点ｎo1と上
記判定対象フレーム画像のフレーム番号（ｎ−ｎconst
−１）との間で，画素変化面積がθfullを越えて減少し
た」とみなして定常状態判定処理５０３に進み、そうで
なければ、「判定対象フレーム画像Ｉn-nconst-1は映像
変化点画像ではない」と判定し、引抜き判定処理１０を
終了する。
【０１２９】図２０における定常状態判定処理５０３で
は、上記判定対象フレーム画像Ｉn-nconst-1と上記処理
対象フレーム画像Ｉn-2の間の上記画素変化面積IDHa'
（ｎ−ｎconst−１）〜IDHa'（ｎ−２）と、あらかじめ
設定したしきい値θupとを用いた式 IDHa'（ｎ−ｉ）≧IDHa'（ｎ−ｎconst−１）、２≦ｉ＜ｎconst＋１ ・・・・・（４１） IDHa'（ｎ−ｉ）≦IDHa'（ｎ−ｎconst−１）＋θup、２≦ｉ＜ｎconst＋１ ・・・・・（４２） が同時に成立する場合には、「上記判定対象フレーム画
像Ｉn-nconst-1が次のシーンの定常状態領域の先頭で，
かつ，この判定対象フレーム画像以前で画素変化面積の
減少が停止している」と判定して映像変化点候補設定処
理５０４に進み、そうでなければ、「判定対象フレーム
画像Ｉn-nconst-1は映像変化点画像ではない」と判定し
てから引抜き判定処理１０を終了する。
【０１３０】図２０の映像変化点候補設定処理５０４で
は、映像変化点候補ｎproに（ｎ−ｎconst−１）を代入
する。
【０１３１】画素変化面積IDHaは、被写体の動きが激し
いシーンやカメラ動作が使われているシーンで大きい値
になる傾向がある。このようなシーンから静止画に近い
シーンにディゾルブによって変化する場合には、ディゾ
ルブの後半部分で画素変化面積が小さい値で安定し、そ
の部分が映像変化点候補として検出される。
【０１３２】そこで、ディゾルブの途中の検出を抑制す
るために、図２０のエッジ強度参照処理５０５では、エ
ッジ強度極値点ｎd2の値を調べ、 ｎd2＝ＵＳ（値が設定されていない状態） が成り立つ場合には、「判定対象フレーム画像Ｉnproが
映像変化点画像候補である」と判定し、引抜き判定処理
１０を終了する。そうでない場合には、「判定対象フレ
ーム画像Ｉnproがシーンチェンジの途中である」と考
え、引抜き検出初期化処理５０６に進む。
【０１３３】図２０の引抜き検出初期化処理５０６で
は、引抜き判定開始点ｎo1に（ｎpro＋１）を代入し、
映像変化点候補ｎproにＵＳを代入してから、「判定対
象フレーム画像Ｉnproは映像変化点画像ではない」と判
定し、図１３の引抜き判定処理１０を終了する。
【０１３４】なお、本実施例では、画素変化面積列を時
間方向に平滑化した値を用いて、引抜き判定開始点ｎo1
と映像変化点候補ｎproを求めているが、必ずしも平滑
化する必要はない。また、メディアン値を用いて平滑化
処理を実行しているが、他の方法を用いて平滑化を実行
してもよい。
【０１３５】また、本実施例ではエッジ強度参照処理５
０５を実行し、ディゾルブの途中の検出を抑制している
が、シーンチェンジの途中部分の検出を許容する場合
や、あらかじめディゾルブによるシーンチェンジが除外
されている場合には、エッジ強度参照処理を実行する必
要はない。
【０１３６】さらに、図２０の定常状態判定処理５０３
では、（４１）、（４２）式が成立する場合に、「判定
対象フレーム画像Ｉn-nconst-1が映像変化点画像候補で
ある」と判定して、映像変化点候補設定処理５０４に進
むが、上記判定対象フレーム画像Ｉn-nconst-1と平滑化
を考慮したときの処理対象フレーム画像Ｉn-2との間の
平滑化後の画素変化面積IDHa'（ｎ−ｎconst−１）〜ID
Ha'（ｎ−２）の値の幅がθup以下となる場合に、「判
定対象フレーム画像Ｉn-nconst-1が映像変化点画像候補
である」と判定して、上記映像変化点候補設定処理に進
むことにしてもよい。
【０１３７】また、検出もれをできるだけ抑制したい場
合には、 ｎconst＝２ θup＝1.0 とすればよい。このとき、上記引抜き判定開始点におけ
る平滑化後の画素変化面積IDHa'（ｎo1）と、上記判定
対象フレーム画像における平滑後の画素変化面積IDHa'
（ｎ−３）とが、それぞれ、上記引抜き判定開始点のフ
レーム画像Ｉno1と上記処理対象フレーム画像Ｉ n-2 との
間における平滑化後の画素変化面積の最大値、最小値と
なり、かつ、（４０）式に相当する式 IDHa'（ｎo1）−IDHa'（ｎ−３）＞θfull が成立する場合に、「上記判定対象フレーム画像Ｉ n-3
が映像変化点画像候補である」と判定される。
【０１３８】図１３の引抜き判定処理１０の終了後、図
１３における映像変化点候補決定処理１１に進み、ディ
ゾルブ判定処理８から引抜き判定処理１０までの間で使
用した映像変化点候補ｎprd、ｎprw、ｎproの値を調
べ、 ｎprd＝ｎprw＝ｎpro＝ＵＳ（値が設定されていない状
態） が成り立つ場合には、映像変化点候補ｎprにＵＳを代入
し、そうでなければ、上記３つの映像変化点候補ｎpr
d、ｎprw、ｎproのうちの一つを上記映像変化点候補ｎp
rに代入する。
【０１３９】ＵＳ以外の値をもつ映像変化点候補が複数
ある場合には、シーンチェンジの途中のフレーム番号や
次のシーンの先頭から数フレーム進んだフレーム番号が
上記映像変化点候補として登録されたと考えられる。本
実施例では、検出された映像変化点のフレーム画像を図
１のモニター３４に一覧表示するので、シーンチェンジ
の途中を検出するよりも、次のシーンの途中を検出する
ことが望ましい。そこで、上記３つの映像変化点候補ｎ
prd、ｎprw、ｎproのうちの最も大きいフレーム番号を
上記映像変化点候補ｎprに代入し，この映像変化点候補
ｎpr以降から映像変化点を検出する。
【０１４０】また、図１３のディゾルブ判定処理８とワ
イプ判定処理９では、引抜きに類似した編集効果やカメ
ラ動作によるシーンチェンジの途中部分をシーンチェン
ジとして検出する場合がある。ただし、過剰検出される
シーンチェンジには、画素変化面積が減少する特徴があ
る。そこで、図１３の映像変化点候補決定処理１１で
は、平滑化した画素変化面積IDHa'を用いた式 ｎprd＝ｎpr ・・・・・・・・・・・・・・・・・・・・・・（４３ａ） IDHa'（ｎpr）−IDHa'（ｎpr＋１）＜０ ・・・・・・・・・・（４３ｂ） が同時に成り立つ場合に、「上記映像変化点候補ｎpr
は，ディゾルブ判定処理８で検出された映像変化点候補
ｎprdに等しく，かつ，シーンチェンジの途中である」
とみなして、映像変化点候補ｎprにＵＳを代入す。そし
て、上記画素変化面積の減少が終了するフレーム番号を
調べるために，処理対象フレーム画像のフレーム番号ｎ
から映像変化点候補ｎprを引いた値を参照基準値ｎref
としてから、ディゾルブ検出待機フラグをＯＮにする。
同様に、 ｎprw＝ｎpr と（４３ｂ）式が同時に成り立つ場合にも、「上記映像
変化点候補ｎprは，ワイプ判定処理９で検出された映像
変化点候補ｎprwに等しく，かつ，シーンチェンジの途
中である」とみなして映像変化点候補ｎprにＵＳを代入
し、処理対象フレーム画像のフレーム番号ｎから映像変
化点候補ｎprを引いた値を参照基準値ｎrefとしてか
ら、ワイプ検出待機フラグをＯＮにする。
【０１４１】そして、ディゾルブ検出待機フラグがＯＮ
であり、かつ、判定対象フレーム画像Ｉn-nrefの平滑化
した画素変化面積を用いた式 IDHa'（ｎ−ｎref）−IDHa'（ｎ−ｎref＋１）≧０ ・・・・・・（４４） が成立する場合には、「上記判定対象フレーム画像のフ
レーム番号（ｎ−ｎref）で上記画素変化面積の減少が
終了する」とみなして，映像変化点候補ｎprd，ｎprに
（ｎ−ｎref）を代入してから、ディゾルブ待機フラグ
をＯＦＦにする。同様に、ワイプ検出待機フラグがＯＮ
であり、かつ、（４４）式が成立する場合には、映像変
化点候補ｎprw，ｎprに（ｎ−ｎref）を代入してから、
ワイプ待機フラグをＯＦＦにする。
【０１４２】なお、本実施例では、図１３のディゾルブ
判定処理８、ワイプ判定処理９、引抜き判定処理１０の
順番でシーンチェンジ検出処理を実行しているが、どの
ような順番で実行してもよい。また、あらかじめ映像中
で使われている編集効果の種類がわかる場合には、必ず
しも上記３つのシーンチェンジ検出処理をすべて実行す
る必要はない。さらに、上記３つのシーンチェンジ検出
処理によって多くの種類の編集効果を検出できるが、よ
り多くの編集効果を検出したい場合や、ディゾルブ・ワ
イプ・引抜き以外の特定の編集効果を検出したい場合に
は、上記３つのシーンチェンジ検出方法と他のシーンチ
ェンジ検出方法とを組み合わせて実行してもよい。
【０１４３】また、本実施例では（４３ｂ）式を用いた
判定を実行し、引抜きに類似した編集効果やカメラ動作
によるシーンチェンジの途中の検出を抑制しているが、
シーンチェンジの途中部分の検出を許容する場合には、
（４３ｂ）式を用いた処理を実行する必要はない。
【０１４４】図１３における映像変化点候補決定処理１
１の終了後、分岐処理１２に進む。分岐処理１２では、
上記映像変化点候補ｎprの値を調べて、 ｎpr＝ＵＳ（値が設定されていない状態） が成立する場合には、映像変化点が検出されないとみな
して図１３の終了判定処理２に戻る。そうでなければ、
「映像変化点候補のフレーム画像が次のシーンの先頭フ
レーム画像であるとき，現在のシーンの先頭フレーム画
像と映像変化点候補のフレーム画像との類似度が小さい
値になる」と仮定し，検出された映像変化点候補ｎprが
この仮定を満足するかどうか調べるために，類似度計算
処理１３に進む。
【０１４５】図１３の類似度計算処理１３では、現在の
シーンの先頭フレーム画像Ｉnpと映像変化点候補ｎprの
フレーム画像Ｉnprとの間の類似度S'（ｎp、ｎpr）を計
算する。
【０１４６】上記２枚のフレーム画像Ｉnp、Ｉnprの類
似度の計算方法は、図１４に示した共通色計算処理１０
２から画像類似度計算処理１０４までの処理と類似して
いる。上記２枚のフレーム画像Ｉnp、Ｉnprは、両方と
も処理対象フレーム画像Ｉnよりも前のフレーム画像で
あり、すでに構成色計算処理１０１で各部分領域の構成
色CVj,np、CVj,nprと、構成色の領域の面積AV（ｊ、Ｉ
np）、AV（ｊ、Ｉnpr）が計算されている。そこで、最
初に上記２枚のフレーム画像Ｉnp、Ｉnprの対応する部
分領域の共通色CC'j,np,npr、ｊ＝１、・・・、１６
を、（２２）式に類似した式
【０１４７】
【数９】
【０１４８】によって計算する。次に、対応する部分領
域Ｒ（ｊ、Ｉm）、ｍ＝ｎp、ｎprそれぞれにおける共通
色をもつ領域の面積AC'（ｊ、ｎp、ｎpr、Ｉm）を、色
ｃのヒストグラムＨ（ｃ、ｊ、Ｉm）を用いて、（２
３）式に類似した式
【０１４９】
【数１０】
【０１５０】によって計算してから、対応する部分領域
の類似度を、（２５）式に類似した式
【０１５１】
【数１１】
【０１５２】によって計算する。最後に、（４７）式で
計算される部分領域の類似度Sp'（ｊ、Ｉnp、Ｉnpr）、
ｊ＝１、・・・、１６の平均値を求め、上記２枚のフレ
ーム画像Ｉnp、Ｉnprの類似度S'（ｎp、ｎpr）とする。
【０１５３】図１３における類似度計算処理１３の終了
後、図１３の分岐処理１４に進む。分岐処理１４では、
類似度計算処理１３で求めた類似度S'（ｎp、ｎpr）が
あらかじめ設定したしきい値θchange未満となる場合に
は、上記映像変化点候補ｎprを映像変化点とみなして映
像変化点決定処理１５に進む。そうでなければ、上記映
像変化点候補ｎprを現在のシーンの一部分とみなして，
この映像変化点候補以降の部分から映像変化点を検出す
るためにパラメータ初期化処理１６に進む。
【０１５４】映像変化点決定処理１５では、映像変化点
候補ｎprのフレーム画像Ｉnprを映像変化点画像と考
え，シーンの先頭フレーム画像Ｉnpとして，図１６のよ
うにモニター３４に縮小表示してから、上記映像変化点
画像の次の映像変化点を検出するためにパラメータ初期
化処理１６に進む。
【０１５５】図１３のパラメータ初期化処理１６では、
ディゾルブ判定処理８から引抜き判定処理１０までの間
で使用するパラメータの初期化を実行する。ただし，上
記パラメータを使用する処理は，パラメータ更新処理７
から引抜き判定処理１０までである。パラメータ初期化
処理１６における具体的な動作を図２１を用いて述べ
る。
【０１５６】図１３の映像変化点候補決定処理１１にお
いて、引抜き判定処理１０で検出されるべきシーンチェ
ンジの途中部分を検出しないように（４３ｂ）式を用い
た判定を実行した。また、図１３におけるワイプ判定処
理９と引抜き判定処理１０では、ディゾルブ判定処理８
で検出されるべきシーンチェンジの途中部分を検出しな
いように、エッジ強度参照処理４０７，５０５を実行し
た。従って，映像変化点候補ｎprは，上記ディゾルブ判
定処理８または上記引抜き判定処理１０で検出されるべ
きシーンチェンジの途中部分に含まれない。
【０１５７】そこで、まず，図２１におけるワイプ検出
判定処理６０１では、映像変化点候補ｎprがワイプ判定
処理９で使用した映像変化点候補ｎprwと等しい場合
に、「上記映像変化点候補ｎprが，図１３のディゾルブ
判定処理８，ワイプ判定処理９，引抜き判定処理１０で
検出されるべきシーンチェンジの途中部分ではない」と
みなして，図２１の全処理初期化処理６０２に進む。そ
うでなければ、「上記映像変化点候補ｎprがワイプ判定
処理９で検出されるべきシーンチェンジの途中部分であ
る」可能性があるとみなして，図２１のディゾルブ引抜
き初期化処理６０３に進む。
【０１５８】図２１の全処理初期化処理６０２では、デ
ィゾルブ判定開始点ｎd0と引抜き判定開始点ｎo1とワイ
プ開始候補点ｎw1を初期化する。初期化処理１と同様
に、ディゾルブ判定開始点ｎd0には，新しい初期点とし
て映像変化点候補ｎprを代入し，ワイプ開始候補点ｎw1
と引抜き判定開始点ｎo1には，新しい初期点として，画
素変化面積が最初に計算可能となるフレーム番号（ｎpr
＋１）を代入する。そして、映像変化点番号候補のフレ
ーム画像Ｉnprと処理対象フレーム画像Ｉnの間の画像に
対して、パラメータ更新処理７とディゾルブ判定処理８
とワイプ判定処理９と引抜き判定処理１０とを実行し
て、パラメータ初期化処理１６を終了する。
【０１５９】図２１におけるディゾルブ引抜き初期化処
理６０３では、ディゾルブ判定開始点ｎd0と引抜き判定
開始点ｎo1を初期化する。ディゾルブ判定開始点ｎd0に
は、新しい初期点として映像変化点番号候補ｎprを代入
し，引抜き判定開始点ｎo1には，新しい初期点として，
画素変化面積が最初に計算可能となるフレーム番号（ｎ
pr＋１）を代入する。そして、映像変化点番号候補のフ
レーム画像Ｉnprと処理対象フレーム画像Ｉnの間の画像
に対して、パラメータ更新処理７とディゾルブ判定処理
８と引抜き判定処理１０とを実行する。
【０１６０】なお、本実施例では連続するフレーム画像
を処理対象フレーム画像としているが、αフレーム間隔
のフレーム画像を処理対象フレーム画像としても同様の
映像変化点検出を実現できる。ただし、処理対象フレー
ム画像の添字ｎは、αフレーム間隔のフレーム画像に対
して与える画像番号１、２、３、・・・となる。また、
本実施例は、図１の映像入出力装置３０、３１と計算機
３２との間で通信をしない場合にも実行することができ
る。この場合には、画像更新処理３において、画像更新
処理３を実行するときに映像入出力装置３０、３１で再
生されているフレーム画像を、フレームメモリ３２から
取り込み、処理対象フレーム画像Ｉnとする。従って、
このときの上記処理対象フレーム間隔αは、画像更新処
理３が実行される時間間隔に相当する。また、映像入出
力処理３０、３１と計算機３２との間で通信をしない場
合には、映像変化点のフレーム画像をモニタ３４に表示
することができないが、映像変化点検出時の処理対象フ
レーム画像Ｉnを表示することで、上記通信の実行時と
同様の効果がえられる。
【０１６１】さらに、本実施例では、映像変化点候補決
定処理１１において、ディゾルブ判定処理８から引抜き
判定処理１０までの間で使用した映像変化点候補ｎpr
d、ｎprw、ｎproの中から、映像変化点候補ｎprを選択
しているが、必ずしも、映像変化点候補決定処理１１で
選択する必要はない。例えば、映像変化点候補決定処理
１１では映像変化点候補ｎprの選択を実行せずに、類似
度計算処理１３において、３つの映像変化点候補におけ
るフレーム画像Ｉnprd、Ｉnprw、Ｉnproそれぞれについ
て、現在のシーンの先頭フレーム画像Ｉnpとの類似度を
求め、類似度を最小にする映像変化点候補を映像変化点
候補ｎprとして選択してもよい。
【０１６２】図１３のパラメータ初期化処理１６では、
ディゾルブ判定処理８または引抜き判定処理１０で映像
変化点候補が検出された場合には、ワイプ開始候補点ｎ
w1の初期化を実行しない。しかし、ワイプに類似した編
集効果によるシーンチェンジの途中の検出を許容する場
合には、上記ワイプ開始候補点ｎw1の初期化を実行して
もよい。さらに、すべてのシーンチェンジに関して，そ
の途中の検出を許容する場合には，エッジ強度参照処理
４０７、５０５や（４３）式を用いた判定を実行せず
に、特定の判定処理で映像変化点が検出されたときに、
上記特定の判定処理と、上記特定の判定処理と異なる判
定処理との両方に対して初期化を実行してもよい。過剰
検出を許容する場合には、上記特定の判定処理で映像変
化点が検出されたときに、上記特定の判定処理のみに対
して初期化を実行してもよい。
【０１６３】また、カットを検出する映像変化点検出方
法として本発明と異なる方法を用いる場合には、カット
検出処理４などで本実施例と異なる処理を実行してもよ
い。同様に、本発明と異なる方法を用いてカット以外の
シーンチェンジを検出する場合には、カット検出処理４
以外の処理で、本実施例と異なる処理を実行してもよ
い。
【０１６４】さらに、タイトル出現時などでは、ディゾ
ルブに類似した変化が発生する。そこで本実施例では、
映像変化点候補ｎprに値が設定されたときに必ず類似度
計算処理１３と分岐処理１４とを実行するが、タイトル
文字出現時などを検出したい場合には、上記映像変化点
候補ｎprが、ディゾルブ判定処理８で検出された映像変
化点候補ｎprdと等しいときに限って、上記類似度計算
処理１３と上記分岐処理１４とを実行せずに映像変化点
決定処理１５を実行すればよい。同様に、被写体やカメ
ラ動作の動きが相対的に小さくなった部分を重要な画像
であると考えて、その部分とシーンチェンジ直後とを検
出して一覧表示したい場合には、上記映像変化点候補ｎ
prが、引抜き判定処理１０で検出された映像変化点候補
候補ｎproと等しいときに限って、上記類似度計算処理
１３と上記分岐処理１４とを実行せずに映像変化点決定
処理１５を実行すればよい。
【０１６５】また本実施例では、画素変化面積を画面上
の動きの総量を反映する特徴量として使用している。画
素変化面積の代わりに、動きベクトルの強度の総和のよ
うに画面上の動きの総量を反映する特徴量を用いても同
様の効果がえられる。
【０１６６】以上のように本実施例によれば、時系列の
フレーム画像の類似度がカットの部分で相対的に小さい
値になるので、処理対象となる映像から時系列のフレー
ム画像をサンプリングして、各フレーム画像単位で１つ
前のフレーム画像との類似度を求め、上記時系列のフレ
ーム画像における類似度の差をしきい値処理すること
で、カットを検出し、映像変化点を推定することができ
る。そして、フレーム画像の類似度が大きく変化し、か
つ、フレーム画像の類似度がある一定範囲に含まれる場
合は、カットではなく、編集効果などによるシーンチェ
ンジなので、上記類似度が上記一定範囲の外の値をとる
かどうかを、上記類似度の値のしきい値処理によって判
定することで、カット以外のシーンチェンジの過剰検出
を抑制できる。
【０１６７】また，本実施例では，映像中のフレーム画
像Ｉnのエッジ強度を用いて計算される特徴量をエッジ
強度係数Ｅ（ｎ）とし、処理対象フレーム画像ＩNにお
けるエッジ強度係数Ｅ（Ｎ）の変化率をＥrc（Ｎ）とし
て、一定数以上前のフレーム画像から連続して上記エッ
ジ強度係数の変化率Ｅrc（Ｎ）の絶対値があらかじめ設
定した第１のしきい値θedge以上となる場合には、上記
処理対象フレーム画像ＩNの画像番号Ｎをディゾルブ特
徴点ｎd1とおく。次に、ディゾルブ特徴点ｎd1以降で、
かつ，上記エッジ強度係数の変化率の絶対値が小さい区
間に含まれる場合には、上記処理対象フレーム画像ＩN
のフレーム番号Ｎをエッジ強度極値点ｎd2とする。さら
に、上記エッジ強度極値点以降のフレーム画像における
上記エッジ強度係数Ｅ（ｎd2）、Ｅ（ｎd2＋１）、Ｅ
（ｎd2＋２）、・・・が増加しない場合には、上記エッ
ジ強度極値点ｎd2を映像変化点候補ｎprdとして登録す
る。そうでなければ、上記エッジ強度極値点ｎd2のフレ
ーム画像Ｉnd2と上記処理対象フレーム画像ＩNとの間で
上記エッジ強度係数が増加し、かつ、上記処理対象フレ
ーム画像ＩNが上記エッジ強度係数の変化率の絶対値が
小さい区間に含まれる場合に、上記処理対象フレーム画
像ＩNのフレーム番号Ｎを映像変化点候補ｎprdとして登
録する。そして、現在のシーンの先頭フレーム画像Ｉnp
と上記映像変化点候補のフレーム画像Ｉnprdとの類似度
を求め、求められた類似度が第２のしきい値θchange以
下になる場合に、上記映像変化点候補ｎprdを映像変化
点とみなす。ディゾルブによるシーンチェンジの途中で
は一定時間以上にわたって画面全体のエッジ強度が大き
く変化し、かつ、ディゾルブ終了時から一定時間以上に
わたる区間では上記画面全体のエッジ強度がほとんど変
化しないので、上記方法によって，ディゾルブに類似し
た編集効果によるシーンチェンジを検出し、映像変化点
を推定することができる。
【０１６８】さらに、本実施例では，映像中の特定のフ
レーム画像Ｉnと、この特定フレーム画像の前のフレー
ム画像Ｉn-1との間で、各画素の輝度が第３のしきい値
θw1を越えた値で変化するかどうかを判定し、そのしき
い値θw1を越えた画素の集合を、上記特定フレーム画像
Ｉnの画素変化領域ＲICnとし、この画素変化領域ＲIC n
に含まれる画素数がフレーム画像を構成する総画素数に
占める割合を上記特定フレーム画像Ｉnの画素変化面積I
DHa（ｎ）とする。また、ワイプ開始候補点ｎw1と、ワ
イプに必要な画像数の最大値ｎwmaxと、次のシーンの先
頭の定常状態領域の長さｎconstとを設定する。そし
て、上記ワイプ開始候補点ｎw1のフレーム画像Ｉnw1と
上記特定フレーム画像Ｉnの間の画像数が、上記ワイプ
に必要な画像数の最大値ｎwmaxと上記シーンの先頭の定
常状態領域の長さｎconstとの和に比べて大きい値にな
らないように、上記ワイプ開始候補点ｎw1を更新しなが
ら、フレーム画像Ｉnw1〜Ｉn-nconst+1の画素変化領域
ＲICnw1、・・・、ＲICn-nconst +1の和集合ＳＲICを求
めて、この和集合ＳＲICに含まれる画素数がフレーム画
像を構成する総画素数に占める割合を置換済面積SIDHと
する。次に、置換済面積SIDHが第４のしきい値θsidh以
上となり、かつ、上記特定フレーム画像Ｉnと判定対象
フレーム画像Ｉn-nconst+1の間の画素変化面積IDHa（ｎ
−ｎconst＋１）〜IDHa（ｎ）の値が一定範囲内となる
場合に、フレーム番号（ｎ−ｎconst＋１）を上記定常
状態領域の先頭とみなして映像変化点候補ｎprwとして
登録する。さらに、上記ワイプ開始候補点の画素変化面
積IDHa（ｎw1）と映像変化点候補の画素変化面積IDHa
（ｎpr）が両方とも第５のしきい値θstill以上とな
り、かつ、上記ワイプ開始候補点ｎw1と上記映像変化点
候補ｎprwの間の画素変化面積IDHa（ｎw1）〜IDHa（ｎp
rw）の値が一定範囲内となる場合には、上記映像変化点
候補ｎprwが被写体を等速度で追尾する区間に含まれる
とみなして，ワイプ開始候補点ｎw1に（ｎprw＋１）を
代入する．そうでない場合には、現在のシーンの先頭フ
レーム画像Ｉnpと上記映像変化点候補のフレーム画像Ｉ
nprwとの類似度を求め、求められた類似度が第２のしき
い値θchange以下となる場合に、上記映像変化点候補ｎ
prwを映像変化点とみなす。この方法によって、前のシ
ーンの映像の一部分である領域と次のシーンの映像の一
部分である領域から構成され、逐次的に前者が後者に置
き換えられていく特徴をもつ、ワイプに類似した編集効
果によるシーンチェンジを検出し、映像変化点を推定す
ることができる。また、被写体を等速度で追尾している
ときに画素変化面積が上記しきい値θstill以上で、か
つ、ほぼ一定値になると仮定して、推定された編集効果
部分における画素変化面積の変化を調べているので、被
写体を等速度で追尾している部分における過剰検出を抑
制することができる。
【０１６９】さらに，本実施例では、画素変化面積列の
時間方向の平滑化を考慮した処理対象フレーム画像Ｉ
N-2と判定対象フレーム画像の間に含まれる画像数が、
上記次のシーンの先頭の定常状態領域の長さｎconstと
なるように、画像ＩN-nconst-1を上記判定対象フレーム
画像とし、引抜き判定開始点のフレーム画像Ｉno1と上
記判定対象フレーム画像の直前のフレーム画像Ｉ
N-nconst-1との間の上記画素変化面積IDHa（ｎo1）〜ID
Ha（Ｎ−ｎconst−１）の間の最大値を区間最大変化面
積IDHmax（Ｎ−ｎconst−１）とする。そして、上記判
定対象フレーム画像ＩN-nconst-1の画素変化面積IDHa
（Ｎ−ｎconst−１）が上記区間最大変化面積IDHmax
（Ｎ−ｎconst−１）を越えた値になる場合には、画素
変化面積の減少の開始点である上記引抜き判定開始点ｎ
o1に、上記判定対象フレーム画像のフレーム番号（Ｎ−
ｎconst−１）を代入する。そうでなければ、上記引抜
き判定開始点ｎo1の画素変化面積IDHa（ｎo1）から上記
判定対象フレーム画像ＩN-nconst-1の画素変化面積IDHa
（Ｎ−ｎconst−１）を引いた値が第６のしきい値θful
l以上となり、かつ、上記判定対象フレーム画像Ｉ
N-nconst-1と上記処理対象フレーム画像Ｉ N ー 2 との間の
上記画素変化面積IDHa（Ｎ−ｎconst−１）〜IDHa（Ｎ
−２）の値が、一定範囲内になる場合に、上記判定対象
フレーム画像のフレーム番号（Ｎ−ｎconst−１）を上
記定常状態領域の先頭とみなして，映像変化点候補ｎpr
oとして登録する。最後に、現在のシーンの先頭フレー
ム画像Ｉnpと映像変化点のフレーム画像候補Ｉnproとの
類似度を求め、求められた類似度が第２のしきい値θch
ange以下になる場合に、上記映像変化点候補ｎproを映
像変化点とみなす。画面上の動きの総量を反映する画素
変化面積がしきい値θfullを越えて減少する区間を抽出
しているので、上記方法によって，前のシーンが変形や
縮小をしながら移動して画面の外側に消滅したり、画面
の外側から出現した次のシーンが変形や拡大をしながら
移動する特徴をもつ、引抜きに類似した編集効果による
シーンチェンジと、画面上の物体が移動する特徴をも
つ、パンニング・ズーミングなどのカメラ動作によるシ
ーンチェンジとを検出し、映像変化点を推定することが
できる。
【０１７０】さらに、ディゾルブに類似した編集効果に
よるシーンチェンジの直後を除いて、次のシーンの先頭
で被写体の動きとカメラ動作が定常的な状態になり、画
素変化面積の変化が小さいと仮定して、このような特徴
をもつ「シーンの先頭の定常状態領域」が存在すると考
えている。そして，画素変化面積の値が一定範囲内にな
る部分をシーンの先頭とするので、画素変化面積が大き
く変化する「シーンチェンジの途中部分」の過剰検出を
抑制することができる。
【０１７１】また、エッジ強度係数，画素変化領域，画
素変化面積を用いて推定した映像変化点候補のフレーム
画像と、現在のシーンの先頭フレーム画像との間の類似
度を処理しているので、タイトル文字出現時のようなデ
ィゾルブに類似した変化による過剰検出や、パンニング
時のようなワイプに類似した変化による過剰検出や、被
写体の不連続な動きの途中で動きが遅くなった部分にお
ける過剰検出を抑制することができる。
【０１７２】さらに以上のことから、本実施例では、カ
ットを検出することができ、かつ、引抜きのように、前
のシーンの映像部分が画面上で変形，縮小，移動をして
画面の外側に消滅する特徴をもつシーンチェンジと、画
面の外側から出現した次のシーンの映像部分が画面上で
変形，拡大，移動をして前のシーンの映像部分が消滅す
るシーンチェンジを検出することができる。そして、デ
ィゾルブのように，前のシーンと次のシーンが両方とも
変形・移動・拡大・縮小をしないシーンチェンジについ
ても、シーンチェンジ途中で画面全体のエッジ強度が変
化する場合が多く、大部分を検出できる。また、ワイプ
のように、画面上で逐次的に前のシーンの映像部分が次
のシーンの映像部分に置き換えられるシーンチェンジに
ついても、前のシーンと次のシーンの間の画面全体のエ
ッジ強度の差異に無関係に検出できる。従って、本実施
例では、カット，編集効果，カメラ動作によるシーンチ
ェンジを検出して、映像変化点を推定することができ
る。
【０１７３】（実施例２）次に、引抜きに類似した編集
効果やパンニング・ズーミングなどのカメラ動作による
シーンチェンジを検出する映像変化点検出処理を取り上
げ、実施例１と異なる実施例について説明する。これ
は，第４の映像変化点検出方法を実現するものである。
【０１７４】実施例１では、引抜き判定開始点ｎo1と判
定対象フレーム画像Ｉn-nconst-1との間の平滑化した画
素変化面積の差IDHa'（ｎo1）−IDHa'（ｎ−ｎconst−
１）があらかじめ設定したしきい値θfull以上となり、
かつ、上記判定対象フレーム画像と処理対象フレーム画
像Ｉn-2の間の画素変化面積の変化が小さい場合に、上
記判定対象フレーム画像Ｉn-nconst-1を映像変化点とし
て検出する。そのため、被写体の不連続な動きが発生し
た場合のように、平滑化後の画素変化面積IDHa'（Ｎ）
が振動して図２２に示すように変化すると、上記判定対
象フレーム画像Ｉn-nconst-1で過剰検出が発生する。
【０１７５】このような過剰検出を抑制するために、本
実施例では、図１２に示したように，被写体の動きとカ
メラ動作の動きの総量を反映する画素変化面積が、シー
ンチェンジの終了直前部分でなめらかに減少すると仮定
する。また、実施例１では、図１３のカット検出処理４
とディゾルブ判定処理８とワイプ判定処理９に示した他
の映像変化点検出方法と組み合わせた形で説明したが、
本実施例では単独で使用する形で説明する。
【０１７６】以下、本発明の第２の実施例について、図
面を参照しながら説明する。図２３は、図１における計
算機３３の映像変化点検出処理の一実施例のフローチャ
ートである。
【０１７７】図２３における初期化処理７０１は，実施
例１の初期化処理１に対応する処理である。ここでは、
図１におけるフレームメモリ３２から処理対象フレーム
画像Ｉnを取り込み、最初のシーンの先頭フレーム画像
Ｉnpとしてモニター３４に縮小表示をする。また、画素
変化面積の時間変化の調査開始点を表す引抜き開始点ｎ
o1を，画素変化面積が最初に計算可能となるフレーム番
号（ｎp＋１）に初期化する。さらに，シーンの先頭の
定常状態領域の長さｎconstを設定する。そして、カッ
ト検出のための１６個の部分領域の構成色CVj,n、ｊ＝
１，・・・，１６を、（２１）式を用いて求める。な
お、以下では、上記フレームメモリ３２から取り込んだ
画像のフレーム番号を処理対象フレーム画像の添字ｎと
する。
【０１７８】次に、実施例１に示した終了判定処理２を
実行し、処理対象となる映像が終了した場合には，処理
を終了する。そうでない場合には、図２３の画像更新処
理７０２に進む。
【０１７９】図２３の画像更新処理７０２は、実施例１
の画像更新処理３に対応する処理である。ここでは，現
在の処理対象フレーム画像の次のフレーム画像Ｉn+1を
新しい処理対象フレーム画像Ｉnとする。そして、更新
後の処理対象フレーム画像Ｉnを再生して取り込み、映
像変化点候補ｎproをＵＳとする。
【０１８０】図１４の構成色計算処理１０１では、実施
例１で述べたように，処理対象フレーム画像Ｉnの各部
分領域の構成色CVj,n、ｊ＝１、・・・、１６を（２
１）式を用いて求める。
【０１８１】図１７の画素変化領域計算処理２０２で
は、実施例１で述べたように，上記処理対象フレーム画
像Ｉnの画素変化領域ＲICnを求める。
【０１８２】図１７の画素変化面積計算処理２０３で
は、実施例１で述べたように，画素変化面積IDHa（ｎ）
と時間方向に平滑化した値IDHa'（ｎ−２）とを求め
る。
【０１８３】本実施例では，上記平滑化した画素変化面
積を計算したフレーム番号の中の最大値（ｎ−２）が，
上記次のシーンの先頭の定常状態領域の中の最後のフレ
ーム番号となる場合を検出する。この定常状態領域の長
さｎconstが図２３の初期化処理７０１で設定されてい
るので，以下では，上記最大値（ｎ−２）をもつフレー
ム画像の（ｎconst−１）枚前のフレーム画像Ｉ
n-ncosnt-1を判定対象フレーム画像とし，これが上記定
常状態領域の中の先頭のフレーム画像かどうか判定する
ことにする。
【０１８４】図２３の引抜き判定開始点更新処理７０３
は、実施例１の引抜き判定開始点更新処理２０９に対し
て，「シーンチェンジの終了直前部分で，画素変化面積
がなめらかに減少する」との仮定を付加した処理であ
る。そこで，上記平滑化した画素変化面積IDHa'（ｎo
1）〜IDHa'（ｎ−ｎconst−２）の間の最大値と最小値
を求め、それぞれ区間最大変化面積IDHmax（ｎ−ｎcons
t−１）、区間最小変化面積IDHmin（ｎ−ｎconst−１）
とする。そして，（３０）式が成立する場合には、上記
判定対象フレーム画像Ｉn-nconst-1で画素変化面積が増
加したとみなし，画素変化面積の減少の開始点を引抜き
開始候補点ｎo1とするために，引抜き判定開始点ｎo1に
（ｎ−ｎconst−１）を代入する。また、あらかじめ設
定したしきい値θupsを用いた式 IDHa'（ｎ−ｎconst−１）≧IDHmin（ｎ−ｎconst−１）＋θups ・・・・・・・・・・（４８） が成立する場合には、上記判定対象フレーム画像Ｉ
n-nconst-1が，「画素変化面積のなめらかな減少」を特
徴とするシーンチェンジ終了直前部分に含まれないとみ
なし，画素変化面積の減少の開始点を上記引抜き判定開
始点とするために，この引抜き判定開始点ｎo1に（ｎ−
ｎconst−１）を代入する。
【０１８５】図２３の動き変化判定処理７０４は，実施
例１の動き変化判定処理５０２に対応する処理である。
ここでは、（４０）式が成り立つ場合に、「上記引抜き
開始候補点ｎo1と上記判定対象フレーム画像のフレーム
番号（ｎ−ｎconst−１）との間で，画素変化面積がθf
ullを越えて減少した」とみなして定常状態判定処理７
０５に進む。そうでなければ、「判定対象フレーム画像
Ｉn-nconst-1は映像変化点画像ではない」と判定し、終
了判定処理２にもどる。
【０１８６】図２３の定常状態判定処理７０５は，実施
例１の定常状態判定処理５０３に対応する処理である。
ここでは、（４１），（４２）式が同時に成り立つ場合
に、「上記判定対象フレーム画像Ｉn-nconst-1が次のシ
ーンの定常状態領域の先頭で，かつ，この判定対象フレ
ーム画像で画素変化面積の減少が停止した」と判定して
映像変化点候補設定処理５０４に進む。そうでなけれ
ば、「判定対象フレーム画像Ｉn-nconst-1は映像変化点
画像ではない」と判定し、終了判定処理２にもどる。
【０１８７】図２３における映像変化点候補設定処理５
０４では、実施例１で述べたように，映像変化点候補ｎ
proに（ｎ−ｎconst−１）を代入する。
【０１８８】図２３における分岐処理７０６は，実施例
１の分岐処理１２に対応する処理である。ここでは、上
記映像変化点候補ｎproの値を調べて、 ｎpro＝ＵＳ（値が設定されていない状態） が成立する場合には、映像変化点が検出されないとみな
して終了判定処理２に戻る。そうでなければ、「映像変
化点候補のフレーム画像が次のシーンの先頭フレーム画
像であるとき，現在のシーンの先頭フレーム画像と映像
変化点候補のフレーム画像との類似度が小さい値にな
る」と仮定し，検出された映像変化点候補ｎprがこの仮
定を満足するかどうか調べるために，類似度計算処理７
０７に進む。
【０１８９】図２３の類似度計算処理７０７では、実施
例１の類似度計算処理１３（図１３）と同様の処理によ
って、現在のシーンの先頭フレーム画像Ｉnpと映像変化
点候補ｎproのフレーム画像Ｉnproとの間の類似度S'
（ｎp、ｎpro）を計算する。
【０１９０】図２３の類似度計算処理７０７の終了後、
分岐処理７０８に進む。分岐処理７０８は、実施例１の
分岐処理１４に対応する処理である。ここでは、類似度
計算処理７０７で求めた類似度S'（ｎp、ｎpro）があら
かじめ設定したしきい値θchange未満となる場合には、
上記映像変化点候補ｎproを映像変化点とみなして映像
変化点決定処理７０９に進む。そうでなければ、上記映
像変化点候補ｎproを現在のシーンの一部分とみなし
て，この映像変化点候補以降の部分から映像変化点を検
出するためにパラメータ初期化処理７１０に進む。
【０１９１】図２３の映像変化点決定処理７０９は、実
施例１の映像変化点決定処理１５に対応する処理であ
る。ここでは、映像変化点候補ｎproのフレーム画像Ｉ
nproを映像変化点画像と考え，シーンの先頭フレーム画
像Ｉnpとして，図１６のように図１におけるモニター３
４に縮小表示してから、上記映像変化点画像の次の映像
変化点を検出するためにパラメータ初期化処理７１０に
進む。
【０１９２】図２３におけるパラメータ初期化処理７１
０では、引抜き判定開始点ｎo1の初期化を実行する。初
期化処理７０１と同様に，引抜き判定開始点ｎo1には，
新しい初期点として，画素変化面積が最初に計算可能と
なる「上記映像変化点番号候補ｎproの次のフレーム番
号（ｎpro＋１）」を代入する。そして、引抜き判定開
始点のフレーム画像Ｉno1と処理対象フレーム画像Ｉnの
間の画像に対して、上記構成色計算処理１０１と画素変
化領域計算処理２０２と画素変化面積計算処理２０３と
引抜き判定開始点更新処理７０３とを実行する。
【０１９３】なお、本実施例に示した映像変化点検出処
理を実施例１に組み込むためには、引抜き判定開始点更
新処理２０９の代わりに、本実施例の引抜き判定開始点
更新処理７０３を実行し、さらに、定常状態判定処理５
０３の代わりに、本実施例の定常状態判定処理７０５を
実行すればよい。ただし、定常状態判定処理７０５で
（４１）式が成立しない場合には、終了判定処理２には
もどらずに、引き抜き判定処理１０を終了する。
【０１９４】以上のように本実施例では、引抜きに類似
した編集効果によるシーンチェンジとカメラ動作による
シーンチェンジとを検出する映像変化点検出方法におい
て、被写体とカメラ動作の動きの総量を反映する画素変
化面積が、図１２に示したようにシーンチェンジの終了
直前部分でなめらかに減少するとの仮定を導入した。す
なわち、「判定対象フレーム画像ＩN-nconst-1が上記シ
ーンチェンジの終了直前部分に含まれる場合には，この
判定対象フレーム画像の画素変化面積IDHa'（Ｎ−ｎcon
st−１）が区間最小変化面積IDHmin（Ｎ−ｎconst−
１）としきい値θupsとの和を越えない値になる」と仮
定し，この仮定を満足するシーンチェンジを検出するこ
とにした。この仮定は，被写体の不連続な動きの区間の
ように，画素変化面積の値が上下に振動する場合には成
立しないので，本実施例によって，被写体の不連続な動
きの途中における過剰検出を抑制することができる。
【０１９５】（実施例３）実施例１では、図１３におけ
るワイプ検出処理９と引抜き判定処理１０との中で、
「次のシーンの先頭で被写体の動きとカメラ動作が定常
的な状態になり、画素変化面積の変化が小さい」と仮定
して、定常状態判定処理４０３，５０３を実行し，画素
変化面積が大きく変化する「シーンチェンジの途中部
分」の過剰検出を抑制している。また、上記ワイプ判定
処理９の中では、図１９の等速追尾判定処理４０５を実
行して，映像変化点候補ｎprwが被写体を等速で追尾す
る区間に含まれるかどうかを調べ、被写体を等速度で追
尾している部分における過剰検出を抑制している。
【０１９６】本実施例では、ディゾルブに類似した編集
効果によるシーンチェンジを検出する映像変化点検出処
理を取り上げ、過剰検出を抑制するために，上記定常状
態判定処理と上記等速追尾判定処理を適用する。また、
実施例２と同様に、他の映像変化点検出方法と組み合わ
せない形で説明する。ただし、推定した映像変化点候補
のフレーム画像と現在のシーンの先頭フレーム画像との
間の類似度の処理は実行しない。
【０１９７】以下、本発明の第３の実施例について、図
面を参照しながら説明する。図２４、２５は、図１にお
ける計算機３３の映像変化点検出処理の一実施例のフロ
ーチャートである。
【０１９８】まず、図２４における初期化処理８０１
は、実施例１の初期化処理に対応する処理である。ここ
では，図１におけるフレームメモリ３２から処理対象フ
レーム画像Ｉnを取り込み、最初のシーンの先頭フレー
ム画像Ｉnpとしてモニター３４に縮小表示をする。ま
た、エッジ強度係数の時間変化の調査開始点を表すディ
ゾルブ判定開始点ｎd0に，上記先頭フレーム画像のフレ
ーム番号ｎpを代入する。ディゾルブ特徴点ｎd1とエッ
ジ強度極値点ｎd2とディゾルブ終了候補点ｎd3は，エッ
ジ強度係数の時間変化に基づいて値を設定するパラメー
タなので，ＵＳ（値が設定されていない状態）に初期化
する。なお、以下では、上記フレームメモリ３２から取
り込んだ画像のフレーム番号を処理対象フレーム画像の
添字ｎとする。
【０１９９】次に、実施例１に示した終了判定処理２を
実行し、処理対象となる映像が終了した場合には，処理
を終了する。そうでない場合には、画像更新処理７０２
に進む。
【０２００】図２４の画像更新処理７０２は、実施例１
の画像更新処理３に対応する処理である。ここでは，現
在の処理対象フレーム画像の次のフレーム画像Ｉn+1を
新しい処理対象フレーム画像Ｉnとする。そして、更新
後の処理対象フレーム画像Ｉnを再生して取り込み、映
像変化点候補ｎproをＵＳとする。
【０２０１】エッジ強度計算処理２０１では、実施例１
で述べたように，上記処理対象フレーム画像Ｉnのエッ
ジ強度係数Ｅ（ｎ）と時間方向に平滑化した値E'（ｎ−
２）とエッジ強度係数の変化率Ｅrc（ｎ−４）を求め
る。
【０２０２】画素変化領域計算処理２０２では、実施例
１で述べたように，上記処理対象フレーム画像Ｉnの画
素変化領域ＲICnを求める。
【０２０３】画素変化面積計算処理２０３では、実施例
１で述べたように，画素変化面積IDHa（ｎ）と時間方向
に平滑化した値IDHa'（ｎ−２）とを求める。
【０２０４】分岐処理８０２は、実施例１の分岐処理２
０４に対応する処理である。ここでは、図６に示したよ
うに「エッジ強度係数Ｅ（Ｎ）の変化率の絶対値が大き
い部分の途中のフレーム番号」を表すディゾルブ特徴点
ｎd1の値を調べ、 ｎd1＝ＵＳ（値が設定されていない状態） が成立する場合には，シーンチェンジの開始点を検出す
るディゾルブ判定開始点更新処理８０３と，ディゾルブ
特徴点ｎd1を検出するディゾルブ特徴点更新処理２０５
とを実行してから分岐処理８０４に進む。そうでない場
合には、「エッジ強度係数の変化率の絶対値が小さい部
分」を検出するエッジ強度極値点更新処理２０６から分
岐処理８０４に進む。
【０２０５】ディゾルブ判定開始点更新処理８０３で
は、ディゾルブが始まったフレーム番号を検出して，そ
のフレーム番号をディゾルブ判定開始点ｎd0に代入す
る。同一シーン内の映像内容の急激な変化は発生しない
ので，エッジ強度の変化率Ｅrcは，同一シーン内でゼロ
に近い値となる。一方，図６に示したように，ディゾル
ブの区間に入ると，上記変化率Ｅrcの絶対値が大きい値
となる。そこでここでは，上記変化率Ｅrcを計算したフ
レーム番号の中で最大となるフレーム番号（ｎ−４）に
おいて，上記変化率Ｅrcの符号が変化するか，または，
上記変化率Ｅrcの値がゼロになる場合に，上記フレーム
番号（ｎ−４）が上記ディゾルブ判定開始点ｎd0に相当
すると仮定する。そして，本実施例では（２８）式が成
立する場合に、ディゾルブ判定開始点ｎd0をｎ−４に設
定する。
【０２０６】ディゾルブ特徴点更新処理２０５では、実
施例１で述べたように，（２７ａ），（２７ｂ）式が同
時に成り立つ場合に、ディゾルブ特徴点ｎd1をｎ−４に
設定する。ただし本実施例では，（２７ｂ）式中のディ
ゾルブ判定開始点ｎd0は，シーンチェンジ開始時のフレ
ーム番号を表す。
【０２０７】エッジ強度極値点更新処理２０６では、実
施例１で述べたように，（２８）式が成立する場合に、
エッジ強度極値点ｎd2をｎ−４に設定する。
【０２０８】分岐処理８０４は、実施例１の分岐処理３
０２に対応する処理である。ここでは、図６に示したよ
うに「エッジ強度係数Ｅ（Ｎ）の変化率の絶対値が小さ
い部分の先頭のフレーム番号」を表すエッジ強度極値点
ｎd2の値を調べ、 ｎd2＝ＵＳ（値が設定されていない状態） が成立する場合には、「判定対象フレーム画像Ｉn-4は
映像変化点画像ではない」と判定してから終了判定処理
２にもどり、そうでない場合には終了候補未検出判定処
理８０５に進む。
【０２０９】終了候補未検出判定処理８０５では，「デ
ィゾルブが終了するフレーム番号」を表すディゾルブ終
了候補点ｎd3の値を調べ， ｎd3＝ＵＳ（値が設定されていない状態） が成立する場合には，ディゾルブ終了候補点ｎd3を検出
するために極小点判定処理８０６に進み，そうでなけれ
ば，ディゾルブ終了候補点ｎd3が次のシーンの先頭の定
常状態領域に含まれるかどうか調べるために分岐処理８
１０に進む。
【０２１０】極小点判定処理８０６は、実施例１の極小
点判定処理３０３に対応する処理である．ここでは，
（３２）、（３３）式が同時に成り立つ場合には，Ｅrc
（ｎd2），Ｅrc（ｎd2＋１），・・・が増加する図６
（ｃ）の変化パターンとみなして安定点判定処理８０８
に進み、そうでない場合には，図６（ａ），（ｂ）の変
化パターンとみなして，ディゾルブ終了候補点設定処理
８０７に進む。
【０２１１】ディゾルブ終了候補点設定処理８０７で
は、「エッジ強度係数Ｅ（Ｎ）の変化率の絶対値が小さ
い部分の先頭のフレーム番号」を表すエッジ強度極値点
ｎd2が、図６（ａ），（ｂ）の変化パターンに属するデ
ィゾルブ区間の最後のフレーム番号であるとみなして、
ディゾルブ終了候補点ｎd3にエッジ強度極値点ｎd2を代
入してから、分岐処理８１０に進む。
【０２１２】安定点判定処理８０８は、実施例１の安定
点判定処理３０５に対応する処理である。ここでは，
（３４）、（３５）式が同時に成り立つ場合に，フレー
ム番号（ｎ−４）が上記ディゾルブ終了候補点ｎd3に相
当するとみなして、ディゾルブ終了候補点設定処理８０
９に進む。そうでない場合には、「判定対象フレーム画
像Ｉn-4は映像変化点画像ではない」と判定してから、
終了判定処理２にもどる。
【０２１３】ディゾルブ終了候補点設定処理８０９で
は、ディゾルブ終了候補点ｎd3にｎ−４を代入してか
ら、分岐処理８１０に進む。
【０２１４】分岐処理８１０では、次のシーンの先頭の
定常状態領域の長さｎconstがあらかじめ設定されてい
るので、ディゾルブ終了候補点ｎd3からｎconst枚のフ
レーム画像Ｉnd3〜Ｉnd3+nconst-1に対して，時間方向
に平滑化した画素変化面積IDHa'が計算されているかど
うかを判定する。時間方向に平滑化した画素変化面積を
計算したフレーム番号の中の最大値が（ｎ−２）なの
で、 ｎd3＋ｎconst−１＝ｎ−２ ・・・・・・・・・・・・・・・・（４９） が成立する場合には，定常状態領域に含まれるフレーム
画像の上記平滑化した画素変化面積IDHa'が計算された
とみなして，図２５の定常状態判定処理８１１に進む。
そうでなければ、処理対象フレーム画像を更新するため
に終了判定処理２にもどる。
【０２１５】図２５の定常状態判定処理８１１は、実施
例１の定常状態判定処理４０３に対応する処理である。
ここでは，（３６）式中の画素変化面積IDHaを上記平滑
化した画素変化面積IDHa'に置き換えてから，（４９）
式を用いてｎconstを消去した式 ｜IDHa'（ｎ−２）−IDHa'（ｎi）｜＜θup、ｎd3≦ｎi＜ｎ−２ ・・・・・（５０） が成立する場合には、判定対象フレーム画像Ｉnd3を上
記定常状態領域の先頭のフレーム画像とみなして等速追
尾判定処理８１３に進む。そうでなければ、「判定対象
フレーム画像Ｉnd3は映像変化点画像ではない」と判定
して、上記ディゾルブ終了候補点ｎd3を現在のシーンの
一部分とみなして，このディゾルブ終了候補点以降の部
分から映像変化点を検出するためにパラメータ初期化処
理８１２に進む。
【０２１６】パラメータ初期化処理８１２では、初期化
処理８０１と同様に，ディゾルブ判定開始点ｎd0に、新
しい初期点として，上記ディゾルブ終了候補点ｎd3を代
入する。そして、ディゾルブ特徴点ｎd1とエッジ強度極
値点ｎd2とディゾルブ終了候補点ｎd3にＵＳを代入して
から、ディゾルブ判定開始点のフレーム画像Ｉnd0と処
理対象フレーム画像Ｉnの間の画像に対して、上記エッ
ジ強度計算処理２０１からエッジ強度極値点更新処理２
０６までを実行する。
【０２１７】等速追尾判定処理８１３は、実施例１の等
速追尾判定処理４０５に対応する処理である。ここで
は，（３７）〜（３９）式を修正した式を用いて，上記
ディゾルブ終了候補点ｎd3が被写体を等速で追尾する部
分に含まれるかどうか判定する。すなわち，（３７）〜
（３９）式の中の，画素変化面積IDHaを上記平滑化した
画素変化面積IDHa'に置き換え，かつ，シーンチェンジ
開始時のフレーム番号を表すワイプ開始候補点ｎw1をデ
ィゾルブ判定開始点ｎd0に置き換え，かつ，シーンチェ
ンジ終了時のフレーム番号を表す映像変化点候補ｎprw
をディゾルブ終了候補点ｎd3に置き換えた式 IDHa'（ｎd0）＞θstill ・・・・・・・・・・・・・・・・・・（５１） IDHa'（ｎd3）＞θstill ・・・・・・・・・・・・・・・・・・（５２） ｜IDHa'（ｎd3）−IDHa'（ｎi）｜≦θdiff、ｎd0≦ｎi＜ｎd3 ・・・（５３） が同時に成り立つ場合には、シーンチェンジの区間とし
て推定した「ディゾルブ判定開始点ｎd0とディゾルブ終
了候補点ｎd3との間」が，被写体を等速で追尾する部分
に含まれると判定して，パラメータ初期化処理８１２に
進む．そうでなければ、上記ディゾルブ終了候補点ｎd3
がシーンチェンジの終了する部分のフレーム番号である
とみなして，映像変化点決定処理８１４に進む。
【０２１８】映像変化点決定処理８１４は、実施例１の
映像変化点決定処理１５に対応する処理である。ここで
は，ディゾルブ終了候補点ｎd3のフレーム画像Ｉnd3を
映像変化点画像と考え，シーンの先頭フレーム画像Ｉnp
として、図１６のように図１におけるモニター３４に縮
小表示してから、上記映像変化点画像の次の映像変化点
を検出するためにパラメータ初期化処理８１２に進む。
【０２１９】なお、本実施例に示した映像変化点検出処
理を実施例１に組み込むためには、分岐処理２０４とデ
ィゾルブ特徴点更新処理２０５との間で本実施例のディ
ゾルブ判定開始点更新処理８０３を実行し、さらに、映
像変化点決定処理３０４、３０６の終了後に、ディゾル
ブ終了候補点ｎd3に映像変化点番号候補ｎprdを代入し
てから、（４９）〜（５３）式を用いた判定を実行すれ
ばよい。（４９）〜（５３）式を用いた判定では、（４
９）、（５０）式が同時に成立し、かつ、（５１）〜
（５３）式のうちの少なくとも１つが成立しない場合
に、「判定対象フレーム画像Ｉnd3が映像変化点画像候
補である」と判定し、そうでなければ、映像変化点候補
ｎprdにＵＳを代入する。
【０２２０】以上のように本実施例では、ディゾルブに
類似した編集効果によるシーンチェンジを検出する映像
変化点検出方法において、「シーンの先頭で被写体の動
きとカメラ動作が定常的な状態になり、画素変化面積の
変化が小さい」と仮定して、画素変化面積の値が一定範
囲内になる部分をシーンの先頭としている．したがっ
て、画素変化面積が大きく変化する「シーンの途中部
分」の過剰検出を抑制することができる。また、本実施
例では，映像変化点の候補であるディゾルブ終了候補点
ｎd3が被写体を等速で追尾する区間に含まれるかどうか
を調べるので、被写体を等速度で追尾している部分にお
ける過剰検出を抑制することができる。
【０２２１】
【発明の効果】以上のように本発明は、時系列のフレー
ム画像の類似度がカットの部分で相対的に小さい値にな
るので、処理対象となる映像から時系列のフレーム画像
をサンプリングして、各フレーム画像単位で１つ前のフ
レーム画像との類似度を求め、フレーム画像Ｉ n とその
１つ前のフレーム画像Ｉ n-1 との間の類似度をＳ（ｎ）
とした場合、Ｓ（ｎ−１）−Ｓ（ｎ）と、Ｓ（ｎ＋１）
−Ｓ（ｎ）とが同時にあらかじめ設定したしきい値θcu
tより大きい値で、かつＳ（ｎ）があらかじめ設定した
しきい値θlow未満になるか、またはＳ（ｎ−１）がθh
igh以上を検出し、検出した時点における上記フレーム
画像Ｉ n を映像変化点のフレーム画像とすることで、カ
ットを検出し、映像変化点を推定することができる。そ
して、フレーム画像の類似度が大きく変化し、かつ、フ
レーム画像の類似度がある一定範囲に含まれる場合は、
カットではなく、編集効果などによるシーンチェンジな
ので、上記類似度が上記一定範囲の外の値をとるかどう
かを、上記類似度の値のしきい値処理によって判定する
ことで、カット以外のシーンチェンジの過剰検出を抑制
できる。
【０２２２】また、本発明は，処理対象となる映像から
時系列のフレーム画像Ｉ1、Ｉ2、Ｉ 3、・・・をサンプ
リングして、各フレーム画像単位でエッジ強度を用いて
計算される特徴量であるエッジ強度係数を求め、上記エ
ッジ強度係数が一定時間以上にわたって大きく変化する
区間と一定時間以上にわたってほとんど変化しない区間
を抽出して処理する。そして、ディゾルブによるシーン
チェンジの途中では一定時間以上にわたって画面全体の
エッジ強度が大きく変化し、かつ、ディゾルブ終了時か
ら一定時間以上にわたる区間では上記画面全体のエッジ
強度がほとんど変化しないので、ディゾルブに類似した
編集効果によるシーンチェンジを検出し、映像変化点を
推定することができる。
【０２２３】さらに、本発明は，映像中の特定のフレー
ム画像Ｉnと、この特定フレーム画像の前のフレーム画
像Ｉn-1との間で、各画素の輝度がしきい値θw1を越え
た値で変化するかどうかを判定し、そのしきい値θw1を
越えた画素の集合を、上記特定フレーム画像Ｉnの画素
変化領域ＲICnとし、ワイプ開始候補点ｎw1と、ワイプ
に必要な画像数の最大値ｎwmaxとを設定する。そして、
上記ワイプ開始候補点ｎw1のフレーム画像Ｉnw1と上記
特定フレーム画像Ｉnの間の画像数が、上記ワイプに必
要な画像数の最大値ｎwmaxに比べて大きい値にならない
ように、上記ワイプ開始候補点ｎw1を更新しながら、フ
レーム画像Ｉnw1〜Ｉnの画素変化領域ＲICnw 1、・・
・、ＲICnの和集合ＳＲICを求めて、この和集合ＳＲIC
に含まれる画素数がフレーム画像を構成する総画素数に
占める割合を置換済面積SIDHとし、さらに，置換済面積
SIDHがしきい値θsidh以上となる場合に、上記特定フレ
ーム画像Ｉ nを映像変化点のフレーム画像であるとみな
すことで、前のシーンの映像の一部分である領域と次の
シーンの映像の一部分である領域から構成され、逐次的
に前者が後者に置き換えられていく特徴をもつ、ワイプ
に類似した編集効果によるシーンチェンジを検出し、映
像変化点を推定することができる。
【０２２４】そして本発明は、推定されたシーンチェン
ジ部分が、被写体をほぼ等速で追尾している区間に含ま
れる場合には、推定された映像変化点を映像変化点から
除外するという処理を付加することで、被写体を等速度
で追尾している部分における過剰検出を抑制することが
できる。
【０２２５】また、画素変化領域ＲICnに含まれる画素
数がフレーム画像を構成する総画素数に占める割合を上
記特定フレーム画像Ｉnの画素変化面積IDHa（ｎ）とす
るとき、この画素変化面積は画面上の動きの総量を反映
する．したがって，引抜き判定開始点のフレーム画像Ｉ
no1と処理対象のフレーム画像ＩNとの間の区間で、上記
画素変化面積がしきい値θfullを越えて減少するかどう
か判定することで、前のシーンが変形や縮小をしながら
移動して画面の外側に消滅したり、画面の外側から出現
した次のシーンが変形や拡大をしながら移動する特徴を
もつ、引抜きに類似した編集効果によるシーンチェンジ
と、画面上の物体が移動する特徴をもつ、パンニング・
ズーミングなどのカメラ動作によるシーンチェンジとを
検出し、映像変化点を推定することができる。
【０２２６】さらに本発明は、被写体とカメラ動作の動
きの総量を反映する画素変化面積が、引抜きに類似した
編集効果やカメラ動作によるシーンチェンジの終了直前
部分で、図１２に示したようになめらかに減少すると仮
定した。すなわち、上記引抜き判定開始点のフレーム画
像Ｉno1と上記処理対象フレーム画像ＩNの直前のフレー
ム画像ＩN-1との間の上記画素変化面積IDHa（ｎo1）〜I
DHa（Ｎ−１）の間の最小値を区間最小変化面積IDHmin
（Ｎ）とし、処理対象フレーム画像ＩNの画素変化面積I
DHa（Ｎ）から区間最小変化面積IDHmin（Ｎ）を引いた
値がしきい値θups以上となる場合に、上記処理対象フ
レーム画像ＩNを上記引抜き判定開始点のフレーム画像
Ｉno1とする処理を付加した。上記仮定は，被写体の不
連続な動きの区間のように，画素変化面積の値が上下に
振動する場合には成立しないので、本発明によって，被
写体の不連続な動きの途中における過剰検出をより一層
抑制することができる。
【０２２７】また本発明は、シーンの先頭に，被写体の
動きとカメラ動作が定常的な状態になり、かつ，画素変
化面積の変化が小さい値になる特徴をもつ「定常状態領
域」が存在すると仮定した。画素変化面積の値が一定範
囲内になる部分を次のシーンの先頭とすることで、画素
変化面積が大きく変化する「シーンチェンジの途中部
分」の過剰検出を抑制することができる。
【０２２８】そして、上記エッジ強度係数，上記画素変
化面積，上記画素変化領域を用いて推定した映像変化点
と、現在のシーンの先頭フレーム画像との間の類似度の
処理を付加することで、タイトル文字出現時のようなデ
ィゾルブに類似した変化による過剰検出と、パンニング
時のようなワイプに類似した変化による過剰検出と、被
写体の不連続な動きの途中で動きが遅くなった部分にお
ける過剰検出を抑制することができる。
【０２２９】さらに以上の発明を組み合わせることで、
カットを検出でき、かつ、引抜きのように、前のシーン
の映像部分が画面上で変形や縮小や移動をして画面の外
側に消滅するシーンチェンジと、画面の外側から出現し
た次のシーンの映像部分が画面上で変形や拡大や移動を
して前のシーンの映像部分が消滅するシーンチェンジを
検出することができる。そして、ディゾルブのように，
前のシーンと次のシーンが両方とも移動・拡大・縮小を
しないシーンチェンジについても、シーンチェンジ途中
で画面全体のエッジ強度が変化する場合が多く、大部分
を検出できる。また、ワイプのように、画面上で逐次的
に前のシーンの映像部分が次のシーンの映像部分に置き
換えられるシーンチェンジについても、前のシーンと次
のシーンの間の画面全体のエッジ強度の差異に無関係に
検出できる。従って、以上の発明を組み合わせること
で、カットや編集効果やカメラ動作によるシーンチェン
ジを検出して、映像変化点を推定することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例における映像変化点検出
方法を実現する画像速見装置の全体システム図
【図２】本発明の第１の実施例におけるカットの判定条
件を示す図
【図３】本発明の第１の実施例におけるカットの判定条
件を示す図
【図４】本発明の第１の実施例におけるディゾルブによ
るシーンチェンジの概念図
【図５】同ディゾルブによる映像の合成を示す概念図
【図６】（ａ）本発明の第１の実施例で仮定したディゾ
ルブ時のエッジ強度係数の変化を示す図 （ｂ）同ディゾルブ時のエッジ強度係数の変化を示す図 （ｃ）同ディゾルブ時のエッジ強度係数の変化を示す図
【図７】本発明の第１の実施例におけるワイプ時のフレ
ーム画像の画素変化領域の和集合を示した概念図
【図８】本発明の第１の実施例における物体移動時の画
素変化領域を示した概念図
【図９】本発明の第１の実施例におけるパンニングによ
って画面上の柱が移動する概念図
【図１０】本発明の第１の実施例における引抜きによる
シーンチェンジの概念図
【図１１】本発明の第１の実施例における引抜き時の画
素変化面積の概念図
【図１２】本発明の第１の実施例における引抜き時の画
素変化面積のなめらかな減少を示した図
【図１３】本発明の第１の実施例における映像変化点検
出処理のフローチャート
【図１４】本発明の第１の実施例におけるカット検出処
理のフローチャート
【図１５】本発明の第１の実施例における対応する部分
領域の概念図
【図１６】本発明の第１の実施例における映像変化点画
像の一覧表示の概念図
【図１７】本発明の第１の実施例におけるパラメータ更
新処理のフローチャート
【図１８】本発明の第１の実施例におけるディゾルブ判
定処理のフローチャート
【図１９】本発明の第１の実施例におけるワイプ判定処
理のフローチャート
【図２０】本発明の第１の実施例における引抜き判定処
理のフローチャート
【図２１】本発明の第１の実施例におけるパラメータ初
期化処理のフローチャート
【図２２】本発明の第１の実施例で過剰検出を示した図
【図２３】本発明の第２の実施例における映像変化点検
出処理のフローチャート
【図２４】本発明の第３の実施例における映像変化点検
出処理のフローチャート
【図２５】本発明の第３の実施例における映像変化点検
出処理のフローチャート
【図２６】従来のｐ部分領域Ｒ（ｊ，ｎ）、ｊ＝１，・
・・，１６の作成を示した概念図
【図２７】従来法のカットの判定条件を示した図
【図２８】（ａ）ワイプを用いたシーンチェンジにおけ
るフレーム画像の時間変化の概念図 （ｂ）ワイプを用いたシーンチェンジにおける類似度Ｓ
（Ｎ）の時間変化の図
【図２９】シーンチェンジ途中のフレーム画像の不連続
な変化を示した概念図
【符号の説明】
３０ ビデオディスク装置 ３１ ＶＴＲ ３２ フレームメモリ ３３ 計算機 ３４ モニター ３５ 外部記憶装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−345382（ＪＰ，Ａ) 特開 平６−36026（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 11/00 - 11/24 H04N 5/91 - 5/956 H04N 9/64 - 9/898 H04N 7/24 - 7/68

Claims (38)

    (57)【特許請求の範囲】
  1. 【請求項１】 処理対象となる映像から時系列のフレー
    ム画像Ｉ1、Ｉ2、Ｉ3、・・・をサンプリングして、各
    フレーム画像単位で１つ前のフレーム画像との類似度を
    求め、フレーム画像Ｉ n とその１つ前のフレーム画像Ｉ
    n-1 との間の類似度をＳ（ｎ）とした場合、Ｓ（ｎ−
    １）−Ｓ（ｎ）と、Ｓ（ｎ＋１）−Ｓ（ｎ）とが同時に
    あらかじめ設定したしきい値θcutより大きい値で、か
    つＳ（ｎ）があらかじめ設定したしきい値θlow未満に
    なるか、またはＳ（ｎ−１）がθhigh以上を検出し、検
    出した時点における上記フレーム画像Ｉ n を映像変化点
    のフレーム画像とすることを特徴とする映像変化点検出
    方法。
  2. 【請求項２】 各フレーム画像を複数の部分領域に分割
    して、各部分領域の色のヒストグラムを求め、度数があ
    らかじめ設定したしきい値θhよりも大きい値になる色
    を上記部分領域の構成色とし、特定のフレーム画像Ｉn
    とその１つ前のフレーム画像Ｉn-1との間の対応する部
    分領域の構成色の共通部分を共通色とおいて、共通色と
    構成色とを用いて対応する部分領域の類似度を計算して
    から、対応する部分領域の類似度を用いて上記特定フレ
    ーム画像Ｉnとその１つ前のフレーム画像Ｉn-1の類似度
    を計算することを特徴とする請求項１記載の映像変化点
    検出方法。
  3. 【請求項３】 対応する部分領域の両方において、共通
    色をもつ画素の面積を構成色をもつ画素の面積で正規化
    した値を求め、いずれか小さい方の値を上記対応する部
    分領域の類似度とすることを特徴とする請求項２に記載
    の映像変化点検出方法。
  4. 【請求項４】 処理対象となる映像から時系列のフレー
    ム画像Ｉ1、Ｉ2、Ｉ3、・・・をサンプリングして、各
    フレーム画像単位でエッジ強度を用いて計算される特徴
    量であるエッジ強度係数を求め、上記エッジ強度係数が
    一定時間以上にわたって大きく変化する区間と一定時間
    以上にわたってほとんど変化しない区間を抽出して処理
    することで，次のシーンの先頭フレーム番号を表す映像
    変化点を検出することを特徴とする映像変化点検出方
    法。
  5. 【請求項５】 処理対象となる映像から時系列のフレー
    ム画像Ｉ1、Ｉ2、Ｉ3、・・・をサンプリングしなが
    ら、各フレーム画像を逐次的に処理して映像変化点を検
    出する方法において、フレーム画像Ｉnをサンプリング
    したあとで、エッジ強度を用いて計算される特徴量であ
    るエッジ強度係数Ｅ（ｎ）と、処理対象フレーム画像Ｉ
    Nのエッジ強度係数Ｅ（Ｎ）の変化率Ｅrc（Ｎ）を求め
    て、一定数以上前のフレーム画像から連続して上記エッ
    ジ強度係数の変化率Ｅrc（Ｎ）の絶対値があらかじめ設
    定したしきい値θedge以上となる場合には、上記処理対
    象フレーム画像ＩNの画像番号Ｎをディゾルブ特徴点ｎd
    1とおき、次に、上記処理対象フレーム画像ＩNがディゾ
    ルブ特徴点ｎd1以降で、かつ，上記エッジ強度係数の変
    化率の絶対値の小さい区間に含まれる場合には、上記処
    理対象フレーム画像ＩNの画像番号Ｎをエッジ強度極値
    点ｎd2とし、さらに、上記エッジ強度極値点以降のフレ
    ーム画像における上記エッジ強度係数Ｅ（ｎd2）、Ｅ
    （ｎd2＋１）、Ｅ（ｎd2＋２）、・・・が増加しない場
    合には、上記エッジ強度極値点ｎd2のフレーム画像を次
    のシーンの先頭フレーム画像とみなして映像変化点のフ
    レーム画像とし，そうでなければ、上記エッジ強度極値
    点ｎd2のフレーム画像Ｉnd2と上記処理対象フレーム画
    像ＩNとの間で上記エッジ強度係数が増加し、かつ、上
    記処理対象フレーム画像ＩNが上記エッジ強度係数の変
    化率の絶対値の小さい区間に含まれる場合に、上記処理
    対象フレーム画像ＩNを映像変化点のフレーム画像とす
    ることを特徴とする映像変化点検出方法。
  6. 【請求項６】 エッジ強度係数列Ｅ（１）、Ｅ（２）、
    ・・・を、時間方向に平滑化した値としてE'（１）、E'
    （２）、・・・とするとき、上記処理対象フレーム画像
    ＩNにおける平滑化したエッジ強度係数E'（Ｎ）の変化
    率を上記エッジ強度係数の変化率Ｅrc（Ｎ）とすること
    を特徴とする請求項５に記載の映像変化点検出方法。
  7. 【請求項７】 上記ディゾルブ特徴点ｎd1以前で、上記
    変化率の積Ｅrc（Ｎ−１）×Ｅrc（Ｎ）がゼロ以下とな
    る場合には、シーンチェンジ開始点を表すディゾルブ判
    定開始点ｎd0に上記処理対象フレーム画像の画像番号Ｎ
    を代入することを特徴とする請求項５または請求項６に
    記載の映像変化点検出方法。
  8. 【請求項８】 フレーム画像の各画素におけるエッジを
    エッジ検出オペレータを用いて検出し、すべてのエッジ
    の強度の総和を求めてエッジ強度係数とすることを特徴
    とする請求項４から請求項７までのいずれかに記載の映
    像変化点検出方法。
  9. 【請求項９】 処理対象となる映像から時系列のフレー
    ム画像Ｉ1、Ｉ2、Ｉ3、・・・をサンプリングして、各
    フレーム画像単位で１つ前のフレーム画像との間で、輝
    度があらかじめ設定したしきい値θw1を越えた値で変化
    した画素の集合を求めて画素変化領域とし、連続するフ
    レーム画像の画素変化領域の和集合の面積をしきい値処
    理することで，次のシーンの先頭フレーム番号を表す映
    像変化点を検出することを特徴とする映像変化点検出方
    法。
  10. 【請求項１０】 シーンチェンジ開始点を表すワイプ開
    始候補点ｎw1のフレーム画像Ｉnw1と処理対象フレーム
    画像ＩNの間の画像数が、あらかじめ設定したワイプに
    必要な画像数の最大値ｎwmaxに比べて大きい値にならな
    いように、上記ワイプ開始候補点ｎw1を更新しながら、
    フレーム画像Ｉnw1〜ＩNの画素変化領域ＲICnw1、・・
    ・、ＲICNの和集合ＳＲICを求めて、この和集合ＳＲIC
    に含まれる画素数がフレーム画像を構成する総画素数に
    占める割合を置換済面積SIDHとし、置換済面積SIDHがあ
    らかじめ設定したしきい値θsidh以上となる場合には、
    上記処理対象フレーム画像候補ＩNを次のシーンの先頭
    フレーム画像とみなして映像変化点のフレーム画像とす
    ることを特徴とする請求項９に記載の映像変化点検出方
    法。
  11. 【請求項１１】 上記画素変化領域に含まれる画素数が
    フレーム画像を構成する総画素数に占める割合を画素変
    化面積としたとき、上記処理対象フレーム画像ＩNの上
    記画素変化面積IDHa（Ｎ）から、その直前のフレーム画
    像ＩN-1の画素変化面積IDHa（Ｎ−１）を引いた値を求
    め、その絶対値があらかじめ設定したしきい値θgap以
    上となる場合に、上記処理対象フレーム画像ＩNの次の
    フレーム画像の画像番号（Ｎ＋１）を上記ワイプ開始候
    補点ｎw1とすることを特徴とする請求項１０に記載の映
    像変化点検出方法。
  12. 【請求項１２】 被写体をほぼ等速で追尾している部分
    を除外して映像変化点を検出することを特徴とする請求
    項４から請求項１１までのいずれかに記載の映像変化点
    検出方法。
  13. 【請求項１３】 特定のフレーム画像とその１つ前のフ
    レーム画像との間で、輝度があらかじめ設定したしきい
    値θw1を越えた値で変化した画素の集合を画素変化領域
    とし、この画素変化領域に含まれる画素数がフレーム画
    像を構成する総画素数に占める割合を画素変化面積とし
    たとき、推定したシーンチェンジ開始点とシーンチェン
    ジ終了点との間で上記画素変化面積があらかじめ設定し
    たしきい値θstill以上となり、かつ、ほぼ一定値とな
    る場合を除外して映像変化点を検出することを特徴とす
    る請求項４から請求項１１までのいずれかに記載の映像
    変化点検出方法。
  14. 【請求項１４】 処理対象となる映像から時系列のフレ
    ーム画像Ｉ1、Ｉ2、Ｉ3、・・・をサンプリングして、
    各フレーム画像単位で１つ前のフレーム画像との間で、
    輝度があらかじめ設定したしきい値θw1を越えた値で変
    化した画素の集合を求めて画素変化領域とし、この画素
    変化領域に含まれる画素数がフレーム画像を構成する総
    画素数に占める割合を画素変化面積としたとき、引抜き
    判定開始点以降で，画素変化面積がしきい値θfullを越
    えて減少する区間を抽出して処理することで，次のシー
    ンの先頭フレーム番号を表す映像変化点を検出すること
    を特徴とする映像変化点検出方法。
  15. 【請求項１５】 引抜き判定開始点のフレーム画像Ｉ
    no1における上記画素変化面積IDHa（ｎo1）が、上記引
    抜き判定開始点のフレーム画像Ｉno1と処理対象フレー
    ム画像ＩNとの間の上記画素変化面積IDHa（ｎo1）〜IDH
    a（Ｎ）の最大値となり、かつ、上記処理対象フレーム
    画像の直前の判定対象フレーム画像ＩN-1における上記
    画素変化面積IDHa（Ｎ−１）が、上記引抜き判定開始点
    のフレーム画像Ｉno1と上記処理対象フレーム画像ＩNと
    の間の上記画素変化面積IDHa（ｎo1）〜IDHa（Ｎ）の最
    小値となり、かつ、上記引抜き判定開始点ｎo1の画素変
    化面積IDHa（ｎo1）から上記判定対象フレーム画像の画
    素変化面積IDHa（Ｎ−１）を引いた値があらかじめ設定
    したしきい値θfull以上となる場合に、上記判定対象フ
    レーム画像ＩN-1を次のシーンの先頭フレーム画像とみ
    なして映像変化点のフレーム画像とすることを特徴とす
    る請求項１４に記載の映像変化点検出方法。
  16. 【請求項１６】 引抜き判定開始点のフレーム画像Ｉ
    no1と判定対象のフレーム画像ＩNの直前のフレーム画像
    ＩN-1との間の上記画素変化面積IDHa（ｎo1）〜IDHa
    （Ｎ−１）の間の最大値と最小値を、それぞれ区間最大
    変化面積IDHmax（Ｎ），区間最小変化面積IDHmin（Ｎ）
    としたとき、上記処理対象フレーム画像ＩNの画素変化
    面積IDHa（Ｎ）が上記区間最大変化面積IDHmax（Ｎ）を
    越えた値になるか、または、上記処理対象フレーム画像
    の画素変化面積IDHa（Ｎ）から上記区間最小変化面積ID
    Hmin（Ｎ）を引いた値があらかじめ設定したしきい値θ
    ups以上となる場合に、上記引抜き判定開始点ｎo1に上
    記処理対象フレーム画像ＩNの画像番号Ｎを代入するこ
    とを特徴とする請求項１４または請求項１５に記載の映
    像変化点検出方法。
  17. 【請求項１７】 現在のシーンの先頭フレーム画像と上
    記検出した映像変化点のフレーム画像との類似度が，あ
    らかじめ設定したしきい値θchange以上となる場合に
    は，上記検出した映像変化点を映像変化点から除外する
    ことを特徴とする請求項４から請求項１６までのいずれ
    かに記載の映像変化点検出方法。
  18. 【請求項１８】 上記現在のシーンの先頭フレーム画像
    Ｉnpと上記検出した映像変化点のフレーム画像Ｉnprと
    をそれぞれ複数の部分領域に分割して、各部分領域の色
    のヒストグラムを求め、度数があらかじめ設定したしき
    い値θhよりも大きい値になる色を上記部分領域の構成
    色とし、上記２枚のフレーム画像Ｉnp、Ｉnprの対応す
    る部分領域の構成色の共通部分を共通色とおいて、共通
    色と構成色とを用いて対応する部分領域の類似度を計算
    してから、対応する部分領域の類似度を用いて上記２枚
    のフレーム画像Ｉnp、Ｉnprの類似度を計算することを
    特徴とする請求項１７に記載の映像変化点検出方法。
  19. 【請求項１９】 対応する部分領域の両方において、共
    通色をもつ画素の面積を構成色をもつ画素の面積で正規
    化した値を求め、いずれか小さい方の値を上記対応する
    部分領域の類似度とすることを特徴とする請求項１８に
    記載の映像変化点検出方法。
  20. 【請求項２０】 検出された映像変化点から一定時間以
    上にわたって画素変化面積の変化が小さい場合に、上記
    検出した映像変化点を映像変化点とみなし，そうでない
    場合には，上記検出した映像変化点を映像変化点から除
    外することを特徴とする請求項４から請求項１９までの
    いずれかに記載の映像変化点検出方法。
  21. 【請求項２１】 画素変化面積列IDHa（２）、IDHa
    （３）、・・・を、時間方向に平滑化した値としてIDH
    a'（２）、IDHa'（３）、・・・とするとき、画素変化
    面積を用いずに、平滑化した画素変化面積を用いて映像
    変化点の検出を実行することを特徴とする請求項１３か
    ら請求項２０までのいずれかに記載の映像変化点検出方
    法。
  22. 【請求項２２】 上記画素変化面積を用いずに、上記画
    素変化面積以外で画面上の動きの総量を反映する特徴量
    を用いて上記映像変化点の検出を実行することを特徴と
    する請求項１３から請求項２１までのいずれかに記載の
    映像変化点検出方法。
  23. 【請求項２３】 上記時系列のフレーム画像Ｉ1，Ｉ2，
    Ｉ3，・・・が途中にカットを含まないことを特徴とす
    る請求項４から請求項２２までのいずれかに記載の映像
    変化点検出方法。
  24. 【請求項２４】 処理対象となる映像から時系列のフレ
    ーム画像Ｉ1、Ｉ2、Ｉ3、・・・をサンプリングしなが
    ら、各フレーム画像を逐次的に処理して映像変化点を検
    出する方法において、フレーム画像Ｉnにおけるエッジ
    強度を含む特徴量をエッジ強度係数Ｅ（ｎ）とし、上記
    フレーム画像Ｉnとこのフレーム画像Ｉnの直前のフレー
    ム画像Ｉn-1との間で、輝度があらかじめ設定したしき
    い値θw1を越えた値で変化した画素の集合を画素変化領
    域ＲICnとして、この画像変化領域ＲICnに含まれる画素
    数がフレーム画像を構成する総画素数に占める割合を画
    素変化面積IDHa（ｎ）としたとき、カットを検出する映
    像変化点検出方法と、上記エッジ強度係数Ｅ（ｎ）を用
    いた映像変化点検出方法と、上記画素変化領域ＲICnを
    用いた映像変化点検出方法と、上記画素変化面積IDHa
    （ｎ）を用いた映像変化点検出方法との中で、少なくと
    も２つ以上の上記映像変化点検出方法を組み合わせて映
    像変化点の検出を実行することを特徴とする映像変化点
    検出方法。
  25. 【請求項２５】 上記エッジ強度係数Ｅ（ｎ）を用いた
    映像変化点検出方法と、上記画素変化領域ＲICnを用い
    た映像変化点検出方法と、上記画素変化面積IDHa（ｎ）
    を用いた映像変化点検出方法との中の、少なくとも１つ
    以上の方法と、上記カットを検出する映像変化点検出方
    法とを組み合わせて映像変化点の判定を実行するとき、
    上記カットを検出する映像変化点検出方法で検出された
    映像変化点のフレーム画像Ｉnsから始まる時系列のフレ
    ーム画像Ｉns、Ｉns+1、Ｉns+2、・・・を逐次的に処理
    して、カット以外の映像変化点を検出することを特徴と
    する請求項２４に記載の映像変化点検出方法。
  26. 【請求項２６】 上記カットを検出する映像変化点検出
    方法において、各フレーム画像単位で１つ前のフレーム
    画像との類似度を求め、上記時系列のフレーム画像にお
    ける類似度の差と類似度の値とをしきい値処理してカッ
    トを検出することを特徴とする請求項２４または請求項
    ２５に記載の映像変化点検出方法。
  27. 【請求項２７】 処理対象フレーム画像ＩNを処理した
    あとで、上記カットを検出する映像変化点検出方法によ
    ってカットが検出された場合には、検出されたカットの
    直後を映像変化点とし、そうでない場合で、かつ、上記
    カットを検出する映像変化点検出方法以外の方法によっ
    て１つ以上の映像変化点が検出された場合に、検出され
    た映像変化点の中から映像変化点候補ｎprを選択する処
    理を実行してから、現在のシーンの先頭フレーム画像Ｉ
    npと上記映像変化点のフレーム画像である映像変化点画
    像候補Ｉnprとの類似度を求め、求められた類似度があ
    らかじめ設定したしきい値θchange以下になる場合に、
    上記映像変化点画像候補Ｉnprを次のシーンの先頭フレ
    ーム画像とみなして映像変化点のフレーム画像とするこ
    とを特徴とする請求項２４から請求項２６までのいずれ
    かに記載の映像変化点検出方法。
  28. 【請求項２８】 上記検出された映像変化点の中から映
    像変化点候補ｎprを選択する処理において、画像番号が
    最も大きい映像変化点を上記映像変化点候補ｎprとする
    ことを特徴とする請求項２７に記載の映像変化点検出方
    法。
  29. 【請求項２９】 上記エッジ強度係数Ｅ（ｎ）を用いた
    映像変化点検出方法と、上記画素変化領域ＲICnを用い
    た映像変化点検出方法と、上記画素変化面積IDHa（ｎ）
    を用いた映像変化点検出方法との中の、少なくとも２つ
    以上の方法を組み合わせて映像変化点の検出を実行する
    とき、特定の映像変化点検出方法で検出された映像変化
    点が、上記特定の映像変化点検出以外の方法で検出する
    べき映像変化点の直前のシーンチェンジの途中である場
    合には、上記検出された映像変化点を映像変化点から除
    外することを特徴とする請求項２４から請求項２８まで
    のいずれかに記載の映像変化点検出方法。
  30. 【請求項３０】 上記エッジ強度係数Ｅ（ｎ）を用いた
    映像変化点検出方法において、上記エッジ強度係数が一
    定時間以上にわたって大きく変化する区間と一定時間以
    上にわたってほとんど変化しない区間を抽出して処理す
    ることで，次のシーンの先頭フレーム番号を表す映像変
    化点を検出することを特徴とする請求項２４から請求項
    ２９までのいずれかに記載の映像変化点検出方法。
  31. 【請求項３１】 上記エッジ強度係数Ｅ（ｎ）が一定時
    間以上にわたって大きく変化する区間の途中をディゾル
    ブ特徴点ｎd1とし、上記エッジ強度係数を処理して上記
    ディゾルブ特徴点ｎd1を含むシーンチェンジが終了する
    時点であるディゾルブ終了点を求めるとき、上記画素変
    化領域ＲICnを用いた映像変化点検出方法によって検出
    された映像変化点ｎprw、または、上記画素変化面積IDH
    a（ｎ）を用いた映像変化点検出方法によって検出され
    た映像変化点ｎproが、上記ディゾルブ特徴点ｎd1以降
    上記ディゾルブ終了点以前である場合には、上記検出さ
    れた映像変化点ｎprw、ｎproが、上記エッジ強度係数Ｅ
    （ｎ）を用いた映像変化点検出方法で検出するべき映像
    変化点の直前のシーンチェンジの途中であるとみなし
    て、上記検出された映像変化点ｎprw、ｎproを映像変化
    点から除外することを特徴とする請求項３０に記載の映
    像変化点検出方法。
  32. 【請求項３２】 上記画素変化面積IDHa（ｎ）を用いた
    映像変化点検出方法において、上記画素変化面積がしき
    い値θfullを越えて減少する区間を抽出して処理するこ
    とで，次のシーンの先頭フレーム番号を表す映像変化点
    を検出することを特徴とする請求項２４から請求項３１
    までのいずれかに記載の映像変化点検出方法。
  33. 【請求項３３】 上記画素変化領域ＲICnを用いた映像
    変化点検出方法，または，上記エッジ強度係数Ｅ（Ｎ）
    を用いた映像変化点検出方法によって検出された映像変
    化点ｎprにおける画素変化面積IDHa（ｎpr）の値が、そ
    の直後の画像における画素変化面積IDHa（ｎpr＋１）に
    比べて大きい値になる場合には、上記検出された映像変
    化点ｎprが、上記画素変化面積IDHa（ｎ）を用いた映像
    変化点検出方法で検出するべき映像変化点の直前のシー
    ンチェンジの途中であるとみなして、上記検出された映
    像変化点ｎprを映像変化点から除外し、この検出された
    映像変化点ｎpr以降で最初の画素変化面積の極小点を映
    像変化点ｎprとすることを特徴とする請求項３２に記載
    の映像変化点検出方法。
  34. 【請求項３４】 フレーム画像の各画素におけるエッジ
    をエッジ検出オペレータを用いて検出し、すべてのエッ
    ジの強度の総和を求めてエッジ強度係数とすることを特
    徴とする請求項２４から請求項３３までのいずれかに記
    載の映像変化点検出方法。
  35. 【請求項３５】 上記画素変化領域ＲICnを用いた映像
    変化点検出方法において、連続するフレーム画像の画素
    変化領域の和集合の面積をしきい値処理することでシー
    ンチェンジを検出することを特徴とする請求項２４から
    請求項３４までに記載の映像変化点検出方法。
  36. 【請求項３６】 被写体をほぼ等速で追尾している部分
    を除外して映像変化点を検出することを特徴とする請求
    項２４から請求項３５までのいずれかに記載の映像変化
    点検出方法。
  37. 【請求項３７】 特定のフレーム画像とその１つ前のフ
    レーム画像との間で、輝度があらかじめ設定したしきい
    値θw1を越えた値で変化した画素の集合を画素変化領域
    とし、この画素変化領域に含まれる画素数がフレーム画
    像を構成する総画素数に占める割合を画素変化面積とし
    たとき、推定したシーンチェンジ開始点とシーンチェン
    ジ終了点との間で上記画素変化面積があらかじめ設定し
    たしきい値θstill以上となり、かつ、ほぼ一定値とな
    る場合を除外して映像変化点を検出することを特徴とす
    る請求項２４から請求項３５までのいずれかに記載の映
    像変化点検出方法。
  38. 【請求項３８】 検出された映像変化点から一定時間以
    上にわたって画素変化面積の変化が小さい場合に、上記
    検出した映像変化点を映像変化点とみなし，そうでない
    場合には，上記検出した映像変化点を映像変化点から除
    外することを特徴とする請求項２４から請求項３７まで
    のいずれかに記載の映像変化点検出方法。
JP6078326A 1994-04-18 1994-04-18 映像変化点検出方法 Expired - Fee Related JP2914170B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6078326A JP2914170B2 (ja) 1994-04-18 1994-04-18 映像変化点検出方法
US08/424,016 US5732146A (en) 1994-04-18 1995-04-18 Scene change detecting method for video and movie

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6078326A JP2914170B2 (ja) 1994-04-18 1994-04-18 映像変化点検出方法

Publications (2)

Publication Number Publication Date
JPH07288840A JPH07288840A (ja) 1995-10-31
JP2914170B2 true JP2914170B2 (ja) 1999-06-28

Family

ID=13658850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6078326A Expired - Fee Related JP2914170B2 (ja) 1994-04-18 1994-04-18 映像変化点検出方法

Country Status (2)

Country Link
US (1) US5732146A (ja)
JP (1) JP2914170B2 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
US6661838B2 (en) * 1995-05-26 2003-12-09 Canon Kabushiki Kaisha Image processing apparatus for detecting changes of an image signal and image processing method therefor
US6049363A (en) * 1996-02-05 2000-04-11 Texas Instruments Incorporated Object detection method and system for scene change analysis in TV and IR data
US6219382B1 (en) * 1996-11-25 2001-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for locating a caption-added frame in a moving picture signal
US5864366A (en) * 1997-02-05 1999-01-26 International Business Machines Corporation System and method for selecting video information with intensity difference
US6072542A (en) * 1997-11-25 2000-06-06 Fuji Xerox Co., Ltd. Automatic video segmentation using hidden markov model
JP3657769B2 (ja) * 1998-03-19 2005-06-08 富士写真フイルム株式会社 画像処理方法および画像処理装置
US6563549B1 (en) * 1998-04-03 2003-05-13 Sarnoff Corporation Method and apparatus for adaptively encoding an information stream
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
FR2779549B1 (fr) * 1998-06-08 2000-09-01 Thomson Csf Procede de separation des composantes dynamique et statique d'une suite d'images
JP3622527B2 (ja) * 1998-08-24 2005-02-23 株式会社日立製作所 映像の特徴場面検出方法及び装置
JP4078806B2 (ja) * 1998-10-26 2008-04-23 ソニー株式会社 画像処理装置、画像処理方法、学習装置および学習方法
DE60040184D1 (de) * 1999-01-28 2008-10-23 Toshiba Kawasaki Kk Verfahren zum Beschreiben von Bildinformationen, Wiederauffinden und Wiedergeben von Videodaten und Vorrichtung zum Wiedergeben von Videodaten
JP4146955B2 (ja) * 1999-02-15 2008-09-10 キヤノン株式会社 画像処理方法及び画像処理装置
US6993789B1 (en) 1999-04-23 2006-01-31 Sharp Laboratories Of America DTV data service application and receiver mechanism
KR100634671B1 (ko) * 1999-08-13 2006-10-13 주식회사 케이티 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
US8051446B1 (en) 1999-12-06 2011-11-01 Sharp Laboratories Of America, Inc. Method of creating a semantic video summary using information from secondary sources
US6766098B1 (en) * 1999-12-30 2004-07-20 Koninklijke Philip Electronics N.V. Method and apparatus for detecting fast motion scenes
US6757027B1 (en) * 2000-02-11 2004-06-29 Sony Corporation Automatic video editing
US7136528B2 (en) * 2000-02-11 2006-11-14 Sony Corporation System and method for editing digital images
US7262778B1 (en) * 2000-02-11 2007-08-28 Sony Corporation Automatic color adjustment of a template design
US6993719B1 (en) 2000-02-11 2006-01-31 Sony Corporation System and method for animated character photo-editing interface and cross-platform education icon
JP4431923B2 (ja) * 2000-07-13 2010-03-17 ソニー株式会社 映像信号記録再生装置および方法、並びに記録媒体
US7136508B2 (en) * 2000-11-09 2006-11-14 Minolta Co., Ltd. Image processing apparatus, method, and program for processing a moving image
US7015949B1 (en) 2001-04-12 2006-03-21 Ipix Corporation Method and apparatus for hosting a network camera with refresh degradation
US7177448B1 (en) 2001-04-12 2007-02-13 Ipix Corporation System and method for selecting and transmitting images of interest to a user
US7076085B1 (en) * 2001-04-12 2006-07-11 Ipix Corp. Method and apparatus for hosting a network camera including a heartbeat mechanism
US7024488B1 (en) 2001-04-12 2006-04-04 Ipix Corporation Method and apparatus for hosting a network camera
US8026944B1 (en) 2001-04-12 2011-09-27 Sony Corporation Method and apparatus for hosting a network camera with image degradation
US7233696B2 (en) * 2002-07-12 2007-06-19 Hill Richard K Apparatus and method for characterizing digital images using a two axis image sorting technique
US20040013405A1 (en) * 2002-07-18 2004-01-22 Christiansen Robert D Method for preparing/printing video scene indices
US7313183B2 (en) * 2003-06-24 2007-12-25 Lsi Corporation Real time scene change detection in video sequences
JP4325552B2 (ja) 2004-12-24 2009-09-02 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
GB2423661A (en) * 2005-02-28 2006-08-30 David Thomas Identifying scene changes
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
US20090116762A1 (en) * 2005-06-07 2009-05-07 Shu Lin Content-based gaussian noise reduction for still image, video and film
GB2436654A (en) * 2006-02-03 2007-10-03 Snell & Wilcox Ltd Detection of a cross-fade in a video sequence
JP4692371B2 (ja) * 2006-04-26 2011-06-01 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
US20090263023A1 (en) * 2006-05-25 2009-10-22 Nec Corporation Video special effect detection device, video special effect detection method, video special effect detection program, and video replay device
JP4662169B2 (ja) * 2006-09-27 2011-03-30 ソニー株式会社 プログラム、検出方法、及び検出装置
EP1914994A1 (en) * 2006-10-17 2008-04-23 Mitsubishi Electric Information Technology Centre Europe B.V. Detection of gradual transitions in video sequences
ES2370032T3 (es) * 2006-12-20 2011-12-12 Axis Ab Detección de la manipulación indebida de una cámara.
DE102007063635A1 (de) * 2007-03-22 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
JP5004140B2 (ja) * 2007-08-08 2012-08-22 パイオニア株式会社 動画編集装置及び方法、並びにコンピュータプログラム
JP4605217B2 (ja) * 2007-12-28 2011-01-05 カシオ計算機株式会社 撮影装置及びそのプログラム
JP4924447B2 (ja) * 2008-01-25 2012-04-25 ソニー株式会社 シーン切り替わり点検出器、シーン切り替わり点検出方法、記録装置、イベント生成器、イベント生成方法および再生装置
US20090268098A1 (en) * 2008-02-04 2009-10-29 Jean-Yves Babonneau Method for detection of scene changes in a video picture sequence
US8121409B2 (en) 2008-02-26 2012-02-21 Cyberlink Corp. Method for handling static text and logos in stabilized images
KR101149522B1 (ko) * 2008-12-15 2012-05-25 한국전자통신연구원 장면 전환 검출 시스템 및 방법
US8934545B2 (en) * 2009-02-13 2015-01-13 Yahoo! Inc. Extraction of video fingerprints and identification of multimedia using video fingerprinting
GB2470570B (en) * 2009-05-27 2014-07-16 Snell Ltd Determining a regional shot change parameter
TWI442329B (zh) * 2009-08-10 2014-06-21 Primax Electronics Ltd 在輸入影像中取出具有文字特徵之影像的影像處理方法及其相關裝置
US8280158B2 (en) * 2009-10-05 2012-10-02 Fuji Xerox Co., Ltd. Systems and methods for indexing presentation videos
CN102142242A (zh) * 2010-02-01 2011-08-03 鸿富锦精密工业（深圳）有限公司 在电子装置中切换显示图片的方法
JP2011223097A (ja) * 2010-04-05 2011-11-04 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
US8451384B2 (en) 2010-07-08 2013-05-28 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
EP2599083B1 (en) * 2010-07-26 2016-01-27 Koninklijke Philips N.V. Determining representative images for a video
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
IL210461A (en) * 2011-01-05 2015-07-30 Rafael Advanced Defense Sys A method and device for multi-spectral imaging
US8582821B1 (en) * 2011-05-23 2013-11-12 A9.Com, Inc. Tracking objects between images
CN102789686B (zh) * 2012-07-10 2014-07-16 华南理工大学 一种基于路面亮度组合模式识别的道路交通流检测方法
JP5962297B2 (ja) * 2012-07-25 2016-08-03 大日本印刷株式会社 カメラの撮影視野変動検知装置
US20140321541A1 (en) * 2013-04-30 2014-10-30 Motorola Solutions, Inc. Method and apparatus for capturing an image
JP6214365B2 (ja) * 2013-12-02 2017-10-18 キヤノン株式会社 画像再生装置、その制御方法、および制御プログラム
CN104284240B (zh) * 2014-09-17 2018-02-02 小米科技有限责任公司 视频浏览方法及装置
US9799376B2 (en) 2014-09-17 2017-10-24 Xiaomi Inc. Method and device for video browsing based on keyframe
CN106714695B (zh) * 2014-09-24 2020-12-08 通用电气公司 超声扫描图像的存储方法和超声设备
CN104657997B (zh) * 2015-02-28 2018-01-09 北京格灵深瞳信息技术有限公司 一种镜头移位检测方法及装置
CA2996196A1 (en) 2015-08-31 2017-03-09 Masimo Corporation Wireless patient monitoring systems and methods
US11006022B2 (en) * 2018-05-23 2021-05-11 Novatek Microelectronics Corp. Video system and related method
US10593049B2 (en) * 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion
US11587526B2 (en) 2018-12-20 2023-02-21 Dolby Laboratories Licensing Corporation Luminance adaption to minimize discomfort and improve visibility
JP7243372B2 (ja) * 2019-03-27 2023-03-22 オムロン株式会社 物体追跡装置および物体追跡方法
US11227160B2 (en) 2019-11-15 2022-01-18 International Business Machines Corporation Detecting scene transitions in video footage
USD974193S1 (en) 2020-07-27 2023-01-03 Masimo Corporation Wearable temperature measurement device
CN112333537B (zh) * 2020-07-27 2023-12-05 深圳Tcl新技术有限公司 视频整合方法、装置及计算机可读存储介质
USD980091S1 (en) 2020-07-27 2023-03-07 Masimo Corporation Wearable temperature measurement device
CN112203150B (zh) * 2020-09-30 2022-03-11 腾讯科技（深圳）有限公司 一种耗时获取方法、装置、设备及计算机可读存储介质
CN113225461A (zh) * 2021-02-04 2021-08-06 江西方兴科技有限公司 一种检测视频监控场景切换的系统及方法
USD1000975S1 (en) 2021-09-22 2023-10-10 Masimo Corporation Wearable temperature measurement device
CN114038197B (zh) * 2021-11-24 2023-06-13 浙江大华技术股份有限公司 场景状态的确定方法、装置、存储介质及电子装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209852A (en) * 1974-11-11 1980-06-24 Hyatt Gilbert P Signal processing and memory arrangement
WO1991003795A1 (en) * 1989-08-28 1991-03-21 Eastman Kodak Company Digital image noise reduction of luminance and chrominance based on overlapping planar approximation
JP3067275B2 (ja) * 1991-05-23 2000-07-17 日本放送協会 シーンチェンジ検出装置
JP3067043B2 (ja) * 1991-08-01 2000-07-17 日本電信電話株式会社 動画のカット自動分割方法
JPH0778804B2 (ja) * 1992-05-28 1995-08-23 日本アイ・ビー・エム株式会社 シーン情報入力システムおよび方法
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
JP2518503B2 (ja) * 1993-03-08 1996-07-24 日本電気株式会社 画面切り替え検出方法
JP3108585B2 (ja) * 1993-07-28 2000-11-13 日本電信電話株式会社 ビデオ画像プリントアクセス方法およびシステム
US5550965A (en) * 1993-12-27 1996-08-27 Lucent Technologies Inc. Method and system for operating a data processor to index primary data in real time with iconic table of contents
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence

Also Published As

Publication number Publication date
JPH07288840A (ja) 1995-10-31
US5732146A (en) 1998-03-24

Similar Documents

Publication Publication Date Title
JP2914170B2 (ja) 映像変化点検出方法
JP4954206B2 (ja) ビデオオブジェクトのカットアンドペースト
JP4981128B2 (ja) 映像からのキーフレーム抽出
JP3461626B2 (ja) 特定画像領域抽出方法及び特定画像領域抽出装置
US6342904B1 (en) Creating a slide presentation from full motion video
US9398349B2 (en) Comment information generation device, and comment display device
JP3656036B2 (ja) Ｍｐｅｇ圧縮ビデオ環境でのディゾルブ／フェード検出方法
US7974470B2 (en) Method and apparatus for processing an image
JP2006510072A (ja) 一様なカラーセグメントを検出するための方法及びシステム
KR20090006861A (ko) 영상의 특수 효과 검출 장치, 특수 효과 검출 방법, 특수 효과 검출 프로그램을 저장한 기록 매체 및 영상 재생 장치
JP2003502957A (ja) 要約映像生成のための方法とシステム
CN111027395A (zh) 手势识别方法、装置、终端设备及计算机可读存储介质
JP3240871B2 (ja) 映像要約方法
CN111723713B (zh) 一种基于光流法的视频关键帧提取方法及系统
JP2003348528A (ja) 代表画像選択方法，代表画像選択装置，代表画像選択プログラムおよび代表画像選択プログラムの記録媒体
JP2971724B2 (ja) 動画像のカット点検出装置
JPH0993530A (ja) 映像変化点検出装置および映像変化点検出方法
Samanta et al. A Novel Approach of Entropy based Adaptive Thresholding Technique for Video Edge Detection
CN110310303B (zh) 图像分析多目标跟踪方法
KR100340030B1 (ko) 대표이미지를 이용한 요약비디오 생성 시스템 및 그 방법
JP3126961B2 (ja) 動画像のカット画面グループ検出装置
JP2000132692A (ja) 曲線の特徴点抽出方法及びこの方法を記録した記録媒体
JP3504874B2 (ja) 文字領域判定方法および装置および記録媒体
JP5111269B2 (ja) 画像処理装置、画像処理方法
JP2000069420A (ja) 映像処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080416

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees