JPH08214210A

JPH08214210A - 映像カット点検出方法及び装置

Info

Publication number: JPH08214210A
Application number: JP31297694A
Authority: JP
Inventors: Yukinobu Taniguchi; 行信谷口; Yoshinobu Tonomura; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-12-17
Filing date: 1994-12-16
Publication date: 1996-08-20
Anticipated expiration: 2013-12-16
Also published as: JP2839132B2

Abstract

(57)【要約】【目的】時間的にゆっくりとしたシーンの変化を検出
でき、テレシネ変換された映像、フラッシュ光を含む映
像を統一的に実時間処理可能とする。【構成】バッファメモリ１１は、フレーム毎の画像デ
ータ列Ｉ₀ ，Ｉ₁ ，…を順次シフトしながらバッファリ
ングし、古いものから破棄していく。画像間距離算出部
１２はバッファメモリ１１の各画像データの間の距離d
(t-i,t-j)を計算し、順次、距離テーブル部１３に格納
する。シーン変化率算出部１４は、距離テーブル１３を
参照しながら時刻ｔにおけるシーン変化率Ｃ(t-j_C)を算
出する。判別部１５はこのシーン変化率Ｃ(t-j_C)をあら
かじめ定めた閾値と比較することで、j_Cフレーム前の画
像がカット点であるか否か判別する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像カット点検出方法及
び装置に係わり、詳しくは、複数枚の画像データの列か
らそのカット点（シーンが切り替わる点）を検出する方
法及び装置に関する。

【０００２】

【従来の技術】映像中のカメラのオン・オフや映像編集
のつなぎ目（フェード、ワイプ等）によりシーンが切り
替わる点をカット点という。カメラの動き（パン、ズー
ム等）及び画像中の物体の移動はカットとは見なさな
い。この様な映像カット点の検出はシーンチェンジ検出
とも呼ばれ、従来から様々な方法が提案されている。

【０００３】代表的な方法としては、取り込まれた一連
の画像中の時間的に隣合う２枚の画像I_t，I_t-1の各対応
する画素における輝度値の差を計算して、その絶対値の
画面全体に渡る和（フレーム間差分）をＤ(t) とする
と、Ｄ(t) がある与えられた閾値よりも大きいとき、ｔ
をカット点とみなす方法がある（大辻、外村、大庭：
「輝度情報を使った動画像ブラウジング」、電気情報通
信学会技術報告、IE90-103,1991)。なお、この場合、フ
レーム間差分の代わりに、画素変化面積、輝度ヒストグ
ラム差分、ブロック別色相関、χ² 検定量などがＤ(t)
として使われることもある（大辻、外村：「映像カット
自動検出方式の検討」、テレビジョン学会技術報告、Vo
l.16,No.43,pp.7-12）。この方法は、画像中に物体の激
しい移動やフラッシュ光があってもカットとして誤って
検出してしまう問題がある。

【０００４】また、Ｄ(t) をそのまま閾値処理するので
はなく、各種時間フィルタをＤ(t)に対して作用した結
果を閾値処理する方法もある（K.Otsuji snd Y.Tonomur
a:"Projection Detecting Filter for Video Cut Detec
tion"Proc.of ACM Multimedia 93,1993,pp.251-257）。
この方法は、映像の中に激しく動く物体やフラッシュ光
があっても誤検出を生じにくいという特徴を持ってい
る。

【０００５】

【発明が解決しようとする課題】上記従来技術において
は、以下のような問題点があった。第１の問題点は、時
間的にゆっくりとしたシーンの変化が検出できないこと
である。これは、従来のカット点検出方法ではシーンの
変化の割合を表す量が時間的にとなり合う２フレームだ
けから算出されていて、長時間のシーンの変化がほとん
ど反映されていないからである。

【０００６】ゆっくりとしたシーン変化の代表的なもの
として、映像編集段階で挿入されるフェードイン、フェ
ードアウト、ディゾルブ、ワイプといったエフェクト
（特殊効果）がある。フェードインは映像信号レベルを
徐々に上げて画像を徐々に現す技法であり、フェードア
ウトは映像信号レベルを徐々に下げて画像を徐々に消す
技法である。ディゾルブはシーンＡからシーンＢに移る
際に、シーンＡの映像信号レベルを下げながらシーンＢ
の映像信号レベルを上げていく技法であり、シーンＡか
らシーンＢへ互いに融け合うようにしてシーンが転換し
ていく。ワイプはシーンＡの画像を一部分からぬぐい去
るように消しながら、シーンＢの画像を現していく技術
である。これらのエフェクトではシーンがゆっくり変化
する（例えばシーンが完全に転換するまでに１秒程度の
時間がかかる）ので、従来のように時間的に隣合う２枚
の画像（時間間隔は１／３０秒程度）を比較する方法で
はその変化を検出できなかった。なぜなら、ゆっくりと
したシーン変化において時間的に隣合う２枚の画像間に
みられる違いは微小で、それが雑音に起因するものか、
シーン変化に起因するものかを判別することは困難だか
らである。

【０００７】第２の問題点は、映像中にフラッシュ光が
写っていると、それをカットと誤検出してしまうことで
ある。フラッシュがたかれると一瞬、画像の輝度レベル
が上昇するので、フラッシュがたかれると前の画像とフ
ラッシュ光が写っている画像との差分が急増する。従っ
て、輝度差分の急増をカット点とみなすという従来のカ
ット点検出方法では、フラッシュ光をカット点と誤って
しまう。

【０００８】第３の問題点は、テレシネ変換された映像
のカット点が正しく検出できない（取り漏らしが生じや
すい）ことである。テレシネ変換とは、フィルムで撮影
した映像をテレビで放映するときに、フィルムのコマ数
（１秒２４コマ）と、テレビ信号のコマ数（１秒３０コ
マ）を合わせるための変換である。テレシネ変換にもい
くつかの方式があるが、ある方式では４コマに１コマの
割合でフレームを付加する。このとき挿入されるフレー
ムをその前後の画像のフィールドを合成して作るので、
画像変化が小さくなり、従来のカット点検出法では上述
したディゾルブと同様の理由でカット検出漏れを生じや
すい。

【０００９】なお、第２と第３の問題点に対しては、時
間フィルタを作用することによって誤検出、検出漏れを
防ぐ方法がある。しかし、この時間フィルタを設計する
際に映像がどの様な種類のものであるかを予め調べてお
く必要があり、リアルタイム処理に向かない、テレシネ
変換された映像にフラッシュ光が写っていたりすると誤
検出を生じる、といった問題点がある。

【００１０】

【課題を解決するための手段】本発明の目的は、上記従
来技術の問題点に鑑み、時間的にゆっくりとしたシーン
の変化を検出でき、テレシネ変換された映像、フラッシ
ュ光を含む映像などを統一的にリアルタイムに処理でき
る映像カット点検出方法及び装置を提供することにあ
る。

【００１１】上記目的を達成するために、この発明の映
像カット点検出方法によれば、入力画像データ列につい
て現時点ｔとそれよりＪフレーム前までの画像I_t,I_t-1,
…,I _t-J中の０≦ｉ＜ｊ≦Ｊを満足する全ての組の画像
データI_t-i，I_t-jの間の距離d(t-i,t-j)を計算して距離
テーブルを作成し、上記距離テーブル上の距離d(t-i,t-
j)をもとにフレームj_Cを間に含むフレーム(t-J) からｔ
までの一連の画像のシーン変化率Ｃ(t-j_C)をフレーム(t
-j_C)におけるシーン変化率として求め、そのシーン変化
率Ｃ(t-j_C)をあらかじめ定めた閾値と比較して、フレー
ム(t-j_C)がカット点であるか否かを判定する。

【００１２】この発明の映像カット点検出装置は、時間
的に連続する少なくともＪ＋１フレームの画像データを
順次バッファリングするバッファメモリ手段と、上記バ
ッファメモリ手段内の現時点ｔとそれよりＪフレーム前
までの上記画像データI_t,I_t- ₁,…,I_t-Jについて、０≦
ｉ＜ｊ≦Ｊの範囲の２つの画像I_t-i，I_t-jの画像データ
間の距離を計算する画像間距離算出手段と、上記画像間
距離算出手段で計算された画像間距離を格納する距離テ
ーブル手段と、上記距離テーブル手段を参照して、フレ
ーム(t-J) からｔまでの画像の変化をフレーム(t-j_C)に
おけるシーン変化率として算出するシーン変化率算出手
段と、上記算出されたシーン変化率をあらかじめ定めら
れた閾値と比較して、上記フレーム(t-j_C)がカット点で
あるか否か判定する判定手段とを含む。

【００１３】本発明では、画面変化量として時間的にと
なり合った２枚の画像を比べるだけでなく、時間的に離
れた画像の間の変化量を考慮してシーン変化率Ｃ(t-j_C)
を算出する。これにより、カット点を安定に検出するこ
とができる。今、画像データ列Ａ，Ｂ，＊，Ｄ，Ｅのう
ち、画像の＊の時刻にシーンが切り替わった状況を仮定
すると、カット前のＡとＢは互いに類似した画像であ
り、カット以降の＊，Ｄ，Ｅもそれぞれ互いに類似した
画像なので、距離d(A,B)，d(*,E)，d(D,E)は小さいのに
対して、画像＊をまたぐ画像間の距離d(A,*)，d(A,D)，
d(A,E)，d(B,*)，d(B,D)，d(B,E)は大きくなる。この性
質を利用してシーン変化率Ｃ(*) を求めれば、カット検
出ができる。

【００１４】このようにすればフェード、ディゾルブ、
ワイプといった時間的にゆっくりとシーンが変化する場
合も、そのシーン転換を検出可能である。即ち、時間的
にゆっくりとしたシーン変化を含む画像列Ａ，Ｂ，＊，
Ｄ，Ｅに対して、時間的に離れた２枚の画像の間の画面
変化量ｄ(A,D) ，ｄ(A,E) ，ｄ(B,D) ，ｄ(B,E) が大き
な値を取るので、これを積極的に利用することで、シー
ン転換を検出できる。

【００１５】また、フラッシュ光が映像中に写っていて
もフラッシュ光を誤ってカットとみなすことがない。フ
ラッシュ光を含んでいる画像データ列をＡ，Ｂ，＊，
Ｄ，Ｅ…とし、画像＊がフラッシュ光のために他の画像
Ａ，Ｂ，Ｄ，Ｅよりも明るくなっていると仮定すると、
画像Ａとが像Ｂの間の距離d(A,B)は小さいが、画像Ｂ，
Ｄに比べて画像＊の輝度レベルが上昇しているため、d
(B,*)，d(*,D)は大きな値を持つ。従来の方法のいくつ
かは、d(B,*)がある閾値より大きくなったところをカッ
ト点と判定するので、フラッシュ光をカット点と誤認識
してしまうという不都合があった。d(B,*)が大きくなる
のはカット点でも同様であるが、d(*,D)が大きな値を持
つことがフラッシュ光の特徴的性質であり、この性質を
利用すればカット点とフラッシュ光を区別でき、従って
誤認識を防ぐことができる。

【００１６】更に、テレシネ変換がかかった映像に対し
ても検出漏れを生じることがなくなる。テレシネ変換が
かかったＡ，Ｂ，＊，Ｄ，Ｅ…のうち、画像Ａ，Ｂと画
像＊，Ｄ，Ｅが別のシーンであると仮定すると、テレシ
ネ変換のために画像＊が画像ＢとＤを重ね合わせて合成
した画像である場合があり、この場合にはシーン変化が
あるにも関わらずそれを検出できないことが多かった。
これはとなり合った画像間の距離d(A,B)，d(B,*)，…，
d(D,E)が、普通のカットのようには急増せず、あらかじ
め定められた閾値を越えないからである。しかし、この
場合にも、画像＊をまたぐ２枚の画像の間の距離d(B,D)
が大きくなることに着目すれば時刻＊がカット点である
ことが分かる。

【００１７】

【実施例】以下、本発明の一実施例について図面を用い
て説明する。図１は、本発明の原理的構成を示すブロッ
ク図である。図１において、適当なサンプルレートで図
示してない画像信号源から取り込まれた画像データ列Ｉ
₀ ，Ｉ₁ ，…はバッファメモリ１１に入力される。ここ
では１画面毎に取り込まれた画像データを１フレームの
画像データと呼ぶことにし、これらの一連のフレームの
画像データに一連のフレーム番号を付けてある。画像の
サンプリングレート、画像フォーマット、画像サイズは
任意でよい。即ち、ＮＴＳＣ標準映像信号を３０frame/
sec でサンプリングしてもよいし、それより粗いサンプ
リングレートでサンプリングしたものでもよい。また、
画像データ列は、ＮＴＳＣのようなアナログ信号でも、
ディジタル信号でもよい。また外部の画像信号源として
は、ハードディスク、ＣＤ−ＲＯＭ等、蓄積装置に保存
されている画像ファイルであってもよい。バッファメモ
リ１１は画像データフレーム列I₀，I₁，…，I_tが順次入
力され、常に現時点ｔと、それからＪ時点前まで遡った
Ｊ＋１個の画像データI_t，I_t-1，…，I_t-Jを一時バッフ
ァリングしておく。このバッファメモリ１１は、例えば
シフトバッファアレイで構成され、入力された画像デー
タをフレーム毎に順次シフトしながらバッファリング
し、古いものから破棄していく。従って、バッファメモ
リ１１には、常に所定枚数の画像データが入力順に保持
される。なお、バッファメモリ１１は画像データを処理
して２次的に得られるデータを格納するものであっても
よい。例えば、輝度ヒストグラムや色ヒストグラムのデ
ータを格納するものであってもよいし、エッジ情報を格
納するものであってもよい。ここでは、これらも含めて
画像データで総称する。

【００１８】画像間距離算出部１２は画像データＩ_tが
入力される毎に２枚のフレームの画像データI_t-iとI_t-j
の間の距離、即ち画像間距離d(t-i,t-j)を例えば後述の
ようにｉ＝０かつｊ＝１，２，…，Ｊについてそれぞれ
計算する。画像間距離とは、いわゆる２枚の画像の間の
“違い”を表す量であり、２枚の画像I_t-i，I_t-jが全く
同じであればd(t-i,t-j)＝０となり、“違い”が大きけ
れば大きいほど大きな値を取る。画像間距離算出部１２
から出力される画像間距離d(t-i,t-j)は距離テーブルメ
モリ部１３に格納される。画像間距離算出部１２では、
バッファメモリ１１に新しいフレームの画像データＩ_t
が格納される毎に、該画像データとバッファメモリ１１
内の他のフレームの画像I_t-1，I_t-2，…との画像間距離
を算出し、距離テーブルメモリ部１３の内容を更新す
る。距離テーブルメモリ部１３には時点（フレーム番
号）ｔにおいて０≦ｉ＜ｊ≦Ｊを満足する全ての組の
ｉ，ｊについてのd(t-i,t-j)をテーブルとして一時的に
保持する。以降の説明では、距離テーブルメモリ部１３
内に作成される距離テーブルも同じ参照番号１３で表す
ものとする。図１ではＪ＝３の場合を示している。新し
いＩ_tがバッファメモリ１１に入力される毎に距離算出
部１２で計算したi=0,j=1,2,…,Jでの画像間距離d(t,t-
j)を距離テーブル１３内の位置(0,j) （テーブルメモリ
部１３のアドレスに対応させてある）にそれぞれ書き込
むと共に、距離テーブル１３内のそれまでの位置(i,j)
で指定される距離データd(t-i,t-j)を距離テーブル１３
内の位置(i+1,j+1) にシフトし、シフト先の位置(i+1,j
+1) が０≦i+1＜j+1≦Ｊの範囲外となるデータは捨て
る。

【００１９】シーン変化率算出部１４は、距離テーブル
１３を参照しながらシーン変化率Ｃ(t-j_C)を求める。シ
ーン変化率Ｃ(t-j_C)はいわゆるカット点の確からしさを
表す量であり、実施例では−１以上１以下の値を取り、
１に近いほどカットである確率が高いように構成され、
判定部１５はＣ(t-j_C)がある閾値より大きいとき、その
時刻ｔがカット点であると判定する。シーン変化率Ｃ(t
-j_C)を規定する関数は後述するようにカットの種類に応
じて最適な関数を選ぶ。

【００２０】以下に、画像間距離算出部１２、距離テー
ブルメモリ部１３、シーン変化率算出部１４の動作につ
いて具体例に基づいて説明する。いま、現時点ｔにバッ
ファメモリ１１に得られているフレーム毎の画像データ
列I_t-7，I_t-6，…，I_tは、図２に示すシーケンスになっ
ているとする。図２において、フレームI_t-7，I_t-6，I
_t-5，I_t-4は全画面が黒である画像（全画素の輝度値が
最小の０）である。I_t-3，I_t-2，I_t-1，I_tは全画面が白
（全画素の輝度値が最大のB_MAX）である。即ち、画像I
_t-3に対応するフレーム番号（時刻に対応）ｔ−３がカ
ット点t_Cである場合を考える。

【００２１】まず、画像間距離算出部１２において計算
する画像距離を規定する関数の例をいくつか以下に挙げ
る。距離関数の第１の実施例は、フレーム間の輝度差分
の絶対値の全ての画素位置(x,y) についての総和 d(t-i,t-j)=Σ_x,y｜I_i(x,y)−I_j(x,y)｜/(B_MAX×P)（１) を使うものである。ただし、Ｐは１画面の全画素数を表
し、I_i(x,y)及びI_j(x,y)はそれぞれ画像I_t-i及びI_t-jの
画素(x,y) における輝度値を表す。また輝度値は輝度に
対応した強度で表され、画像がカラー画像の場合、輝度
値はＲ，Ｇ，Ｂ画像信号の各強度で表されるものとす
る。この例ではフレーム間差分の総和を全画素が最大輝
度B_MAXの場合の明るさで正規化している。従って距離は
０≦d(t-i,t-j)≦１の範囲である。例えばB_MAX=255とす
ると、図２の画像Ｉ₀ ，Ｉ₄ 間の距離はd(t,t-4)＝Σ
_x,y｜0−B_MAX｜/(B_MAX×P)＝1.０と計算される。

【００２２】距離関数の第２の実施例は、２つの画像の
輝度値あるいは色のヒストグラムを比較する方法であ
る。輝度値のヒストグラムとは、１フレームの画像中の
各画素の輝度を予め決めたＮ個の段階の輝度にクラス分
けした場合に、それぞれの輝度のクラスに属する画素の
数（累積値又は頻度と呼ぶ）で表される。画像I_t-i及び
I_t-jの輝度値のヒストグラムをそれぞれＨ_i(n)及びＨ
_j(n)，ｎ＝１，２，…，Ｎとすると、距離関数を次式 d(t-i,t-j)=Σ｜H_i(n)−H_j(n)｜ (２) Σはｎ＝１からＮまでで表す。ただし、Ｎはヒストグラムの段階数である。カ
ラーヒストグラムの場合は、Ｒ，Ｇ，Ｂ信号レベルのヒ
ストグラムをそれぞれＨ_R(n)，Ｈ_G(n)，Ｈ_B(n)とする
と、画像間距離は次式で表される。

【００２３】 d(t-i,t-j)=Σ｛｜H_Ri(n)−H_Rj(n)｜＋｜H_Gi(n)−H_Gj(n)｜＋｜H_Bi(n)−H_Bj(n)｜｝ (３) Σはｎ＝１からＮまで距離関数の第３の実現例は、画像I_t-i，I_t-jの各画素の
差分のヒストグラムの中心からの偏りを表す統計量をd
(t-i,t-j)とする方法である。まず、２枚の画像I_t-i，I
_t-jの間の差分δ(x,y)＝I_i(x,y)−I_j(x,y) を全画素に
渡って求める。ここで、I_i(x,y）及びI_j(x,y）はそれぞ
れ画像I_t-i及びI_t-jの画素(x,y) における輝度値を表
す。この差分のヒストグラムの例を図３Ａ，３Ｂに示
す。図３Ａは、画像I_t-i，I_t-jが同じシーンに属する、
即ち２枚の画像の間にカット点を含まない場合の典型的
なヒストグラム形状を示したものである。図のように、
映像の中に写っているものが多少動いても大半の画素で
輝度値の変化は小さいから、差分は０付近に集中してい
て、０から離れるほどヒストグラムにおける累積値が小
さくなっている。これに対して、図３Ｂに、画像I_t-iと
I_t-jの間にカット点を含む場合のヒストグラム形状の一
例を示す。図のように、図３Ａとは違ってヒストグラム
が０付近に急峻な山を持たず、裾野が高く広がった山形
になる。そこで、ヒストグラムの裾野が高いほど、画像
間距離が大となるように距離を表す関数を規定すればよ
い。ヒストグラムの裾野が高いほどd(t-i,t-j)が大きく
なるような統計量の具体例としては、差分δ(x,y) の標
準偏差εを次式のように距離関数として使ってもよい。

【００２４】 d(t-i,t-j)=ε＝｛Σ_x,y[δ(x,y)−δ']²｝^1/2 (４) ただし、δ' は全画素についてのδ(x,y) の平均を表
す。また、第４の距離関数として次式 d(t-i,t-j)＝CNT_PIX｛｜δ(x,y)｜＞ε｝ (５) で表されるように、I_t-iとI_t-jの差分δ(x,y) の絶対値
が標準偏差εを越える画素数をカウントしたものを距離
としてもよい。この距離関数の例では、画像間距離を求
めるべき２つの画像I_t-iとI_t-i間の差分の標準偏差εを
使う場合を説明したが、これらの画像よりｍフレーム前
の画像I_t-i-mとI_t-j-m間の差分δ( x,y)の標準偏差ε_m
を使って上述と同様に次式 d(t-i,t-j)＝CNT_PIX｛｜δ(x,y)｜＞ε_m ｝（５′）で表されるように画像I_t-i-mとI_t-j-m間の差分の絶対値
がε_mを越える画素数を計数した値を画像間距離として
もよい。ｍは１以上の予め決めた一定整数であり、ｍ＝
０とした場合は式（５）と同じ距離関数を表すことにな
る。

【００２５】第５の距離関数として、上述のような画像
間差分の標準偏差を使って画像間距離を求める場合、次
のように距離関数を決めてもよい。即ち、距離を求める
べき画像の組I_t-iとI_t-jに対し、それらよりｋフレーム
前の画像の組I_t-i-kとI_t-j-k間の輝度差分δ(x,y）の標
準偏差ε_kをｋ＝１からｋ＝ｎまでのｎ組についてそれ
ぞれ求め、それらの標準偏差ε_kの平均値Ｔ＝Σ_kε_k/n
を上式（５′）のε_mと同様に使って次式 d(t-i,t-j)＝CNT_PIX｛δ(x,y)＞Ｔ｝ (６) で表されるように、画像I_t-iとI_t-j間の差分δ(x,y) の
絶対値がＴを越える画素数を計数して距離とする。この
方法によれば、撮影時の手ブレやカメラの急な動きに起
因する画像変化をカットして誤検出することを防ぐ効果
がある。

【００２６】更に第６の距離関数として、画像I_t-iを図
４に示すように予め決めたサイズのブロックに分割し、
各ブロック毎に画像I_t-jのどの部分とマッチするか調べ
て、いずれの部分にもマッチしないブロックを計数しそ
の計数値を距離d(t-i,t-j)とする。即ち、画像I_t-iのあ
るブロックが画像I_t-j上のどの位置に移動しているかを
検出し、移動検出できなかったブロックの数を計数して
距離とする事を意味している。画像I_t-i中の各ブロック
（例えばｐ×ｑ画素）と画像I_t-j上の任意の領域とのマ
ッチングを規定する関数としては、例えばそのブロック
のｐ×ｑ画素の輝度値の配列を１つのベクトルとし、画
像I_t-jの同じサイズの比較すべき領域の輝度値配列をも
う１つのベクトルとし、これら２つのベクトル間の距離
を次式Ｄ＝Σ_p,q｛b_j(p,q)−b_i(p,q)｝² で表し、距離Ｄが予め決めた閾値Ｄ_th以下の場合、その
ブロックと、比較した領域はマッチしたと判定し、Ｄが
Ｄ_thを越えた場合はマッチしなかったと判定する。画像
I_t-j上の比較すべき領域はマッチング距離をチェックす
る毎に予め決めた画素数ピッチで順次シフトさせること
を画像I_t-jの全面に渡って繰り返す。同様に画像I_t-iの
他のブロックについても画像I_t-j中にマッチする部分が
あるかをそれぞれ判定し、マッチングのとれなかったブ
ロックの数を２つの画像間の距離とする。従って画像間
距離を次式 d(t-i,t-j)＝CNT_BLK｛Ｄ＞Ｄ_th｝ (７) のように表すことができる。

【００２７】次に、距離テーブル１３について説明す
る。距離テーブル１３は上記画像間距離算出部１２で求
めた画像間距離d(t-i,t-j)をＪ(i=0,…,J-1)×Ｊ(j=1,
…,J)の表にしたものであり、この表のサイズはＪであ
ると呼ぶ。距離テーブル１３は例えば計算機内のメモリ
上に確保された領域に展開され、メモリを有効使用する
ために必要がなくなったデータ領域はその上に新しい距
離データを上書きして使用する。

【００２８】図２に示す画像データ列に対して、０≦ｉ
＜ｊ≦７の範囲の整数ｉ，ｊの全ての組について式(１)
で計算した画像間距離d(t-i,t-j)の値を時刻ｔで得られ
る表として図５に示す。d(t-i,t-j)は一般に対称性を持
っており、d(t-i,t-j)＝d(t-j,t-i)が成り立つので、図
５の距離テーブルのｉ＞ｊの領域は計算する必要がな
い。更に、後述のように例えば図５の距離テーブルにお
いて、０＜ｊ−ｉ≦３を満たすd(t-i,t-j)だけ求めると
いうようにしてもよい。

【００２９】図６は図５の距離テーブルの特徴を示す図
である。時点、即ちフレーム番号(t-j_C)がカット点であ
る場合（図５の例ではにはj_C＝４）、距離テーブルは、
領域Ａ１における画像間距離の値が領域Ａ２，Ａ３にお
ける画像間距離の値に比べて大きな値を持つという特徴
がある。領域Ａ１はｉ＜j_C≦ｊを満たす領域であり、領
域の左下角における画像間距離はd(t-j_C-1,t-j_C)に対応
している。領域Ａ２はｉ＜ｊ≦j_C-1を満たす領域であ
り、領域Ａ３はj_C≦ｉ＜ｊを満たす領域である。

【００３０】図７は画像データ列の別の例を示したもの
で、フレーム(t-4) に対応する画像I_t-4にフラッシュ光
が写っている例である。この画像データ列に対する式
(１)による時点ｔで得られる距離テーブルは図８のよう
になる。図９は、この距離テーブルの特徴を説明する図
で、フラッシュ光がフレーム(t-j_F)に写っている場合に
は、領域Ａ１，Ａ２，Ａ３内の画像間距離の値が領域Ａ
４で示すｉ＝j_F及びｊ＝j_F上の値に比べて小さな値を取
る。図１０は画像データ列の更に他の例で、これはテレ
シネ変換処理を受けた画像列中にカットが含まれる例で
ある。図１０において、フレーム(t-4) の画像は画像I
_t-3とI_t-5の重ね合わせにより合成されたものであり、
偶数フィールドが黒、奇数フィールドが白の縞状の画像
になっている。図１１は図１０の画像データ列に対する
式(１)による時点ｔでの距離テーブルを示し、図１２は
この距離テーブルの特徴を示す図である。画像I_t-4のよ
うなテレシネボケ画像がフレーム(t-j_T)（図１０ではj_T
＝４）にあると、図１２に示すように、領域Ａ２，Ａ３
の画像間距離の値が領域Ａ１の値に比べて小さな値を取
り、領域Ａ４で示すｉ＝j_T及びｊ＝j_T上の画像間距離の
値は領域Ａ２，Ａ３における値と領域Ａ１における値の
中間程度の値を取る。

【００３１】図１３はフェードを含む画像データ列の例
である。図１３において、画像I_t-7，I_t-6が全画面黒の
画像であり、画像I_t-2，I_t-1，I_tが全画面が白の画像で
あり、そのあいだの画像I_t-5，I_t-4，I_t-3で徐々に画面
が明るくなる。図１４は、この画像データ列に対する式
(１)による時点ｔでの距離テーブルを示し、図１５がそ
の特徴を示す図である。時刻ｔと共に画像にゆっくりと
したシーン変化が起こっていれば、図１５に示す領域Ａ
の右上角から遠ざかるほど画像間距離が小さくなる傾向
がある。

【００３２】上述の各種距離テーブルにおいて注目すべ
きことは、時点ｔにおいて得られている距離テーブル中
の各位置(i,j) の画像間距離データd(t-i,t-j)はd(t-1-
i+1,t-1-j+1)と書き換えることができることから明らか
なように、直前の時点(t-1)において作成した距離テー
ブルにおける位置(i-1,j-1) の距離データと同じである
ことである。即ち、時刻ｔが更新される毎に距離テーブ
ル中の位置(i,j) の画像間距離データd(t-i,t-j)は位置
(i+1,j+1) にシフトすると共に、最新の距離データd(t,
t-1),d(t,t-2),…,d(t,t-J)がテーブルの位置(0,1),(0,
2),…,(0,J) に書き込まれることになる。このデータの
シフトによるシフト先の位置(i+1,j+1)がテーブルの外
に出るデータは捨てられる。従って、各時点ｔで距離テ
ーブルの作成のために新たに計算する必要がある画像間
距離はd(t,t-1),d(t,t-2),…,d(t,t-J) のみである。［シーン変化率］次に、シーン変化率算出部１４につい
て説明する。シーン変化率Ｃ(t-j_C)は予め決めた関数に
より、時刻ｔで得られているＪフレーム前までの画像か
ら得た画像間距離テーブルのデータを使って計算する。
時刻ｔについて計算されたシーン変化率Ｃ(t-j_C)は現時
点からj_Cフレーム前の画像がカットであるか否かを判定
する評価量であり、予め決めた閾値Ｃ_thと比較してそれ
より大きければカットであると判定する。シーン変化率
算出部１４では、カット点、フラッシュ光、テレシネボ
ケ、ゆっくりとしたシーン変化のそれぞれについて距離
テーブル１３が上述した特徴を持つことを利用してシー
ン変化率を計算し、判定部１５は計算されたシーン変化
率Ｃ(t-j_C)を閾値Ｃ_thと比較してフレーム(t-j_C)がカッ
トであるか否かを判定する。シーン変化率算出部１４に
おけるシーン変化率を規定する関数の例を示す。j_cは０
＜j_c≦J を満足する予め決めた一定整数である。

【００３３】図５に示す瞬時カットを含む画像列による
距離テーブル、及び図１１に示すカットを含むテレシネ
変換画像列による距離テーブルの例から分かるように、
シーン変化点（カット点）がある場合、テーブルの領域
Ａ１内の画像間距離値は大きく、領域Ａ２，Ａ３内の画
像間距離値は小さい。図１４のフェードが画像列中にあ
る場合の距離テーブルにも、その距離テーブルに図６、
１３と同様な領域Ａ１，Ａ２，Ａ３を当てはめると同様
な傾向があることが分かる。これに対し、図８に示した
フラッシュを含む画像列による距離テーブルでは領域Ａ
１，Ａ２，Ａ３内の距離値は全てほぼ同じ値となってい
る。そこで、これらの領域Ａ１，Ａ２，Ａ３に着目し、
現時点ｔでＪフレーム前までの画像から図１６に示すよ
うなサイズＪの距離テーブルを０≦i＜j≦Ｊかつj-i≦
ｇの範囲で求める。ｇは０＜ｇ≦Ｊを満足する予め決
めた一定の整数であり、図１６はｇ＝j_C-1の場合を示し
ている。j_Cの値は、例えばJ/2 を越える最小の整数とす
る。この距離テーブルにおいてシーン変化率の関数を次
のように規定する。

【００３４】 C(t-j_C)＝｛a(j_C)−βMAX［b(j_C)，b'(j_C)]｝/Ｓ (８) a(j_C)＝Σ_i,jd(t-i,t-j) for 0≦i＜j_C≦j≦J，j-i≦
ｇ b(j_C)＝Σ_i,jd(t-i,t-j) for 0≦i＜j≦j_C-1，j-i≦
ｇ b'(j_C)＝Σ_i,jd(t-i,t-j) for j_C≦i＜j≦J，j-i≦ｇ a(j_C) は領域Ａ１内の×印しで示す全ての画像間距離の
和であり、b(j_C) は領域Ａ２内の△印で示す全ての画像
間距離の和であり、b'(j_C)は領域Ａ３内の△印で示す全
ての画像間距離の和である。MAX［b(j_C),b'(j_C)]はb
(j_C) とb'(j_C)のいずれか大きい方の値をとることを表
す。また、Ｓは領域Ａ１内の距離データ数（×印の数）
を表しており、図１６の例ではＳ＝(j_C-1)j_C/2である。
Ｊが奇数ならば領域Ａ２内のデータ数と領域Ａ３内のデ
ータ数は等しい。βは領域Ａ１内のデータ数Ｓと領域Ａ
２またはＡ３内のデータ数を等価にするための係数であ
る。図１６の領域Ａ１，Ａ２，Ａ３の設定によれば、Ｊ
が奇数の場合はＡ１内のデータ数、Ａ２内のデータ数及
びＡ３内のデータ数は全て等しいのでβ＝１である。

【００３５】ｇ＝Ｊの場合は、距離テーブルの右上角
(0,J) まで含む全領域を使うことになる。その場合、Ｓ
＝j_C(J-j_C+1)であり、β＝2(J-j_C+1)/(j_C-1)は約２とな
る。図２、１０、１３に示す距離テーブルの領域Ａ１内
はほぼ全面に渡って大きな距離値を示すので、ｇ＜Ｊと
なるようにｇを選ぶことにより右上角の位置(0,J) を含
むある程度の大きさの隅領域を除いても、領域Ａ１内の
距離値が領域Ａ２，Ａ３内の距離値に比べて大きな値で
ある特徴は保たれている。従って、式(８)によりカット
点を検出することができる。前述のように距離値の分布
は時刻ｔが更新される毎に右下方向に１段シフトしてい
くので、ｇ＜Ｊの場合、時刻ｔが更新される毎に距離テ
ーブルを作成するのに必要な新たに計算しなければなら
ない画像間距離はd(t,t-1),d(t,t-2),…,d(t,t-g) のｇ
個だけであり、カット検出能力を低下させずに演算量を
削減できる。ｇの値を小さく選べばそれだけ必要な演算
量は低減されるが、ｇの値が小さすぎるとカット検出の
エラーが増加するので好ましくはj_C-1≦ｇ＜Ｊの範囲と
する。

【００３６】時点ｔにおいて得られた図１６に示す距離
テーブルのデータを式(８)に代入して得られたシーン変
化率Ｃ(t-j_C)が予め決めた閾値Ｃ_thより大であればj_C前
のフレーム(t-j_C)の画像においてシーンの変化（カッ
ト）があったと判定する。例えばＪ＝５，ｇ＝j_C＝３の
場合の距離テーブル上の領域Ａ１，Ａ２，Ａ３の例を図
１７に示す。領域Ａ１のデータ数Ｓは６であり、領域Ａ
２，Ａ３のデータ数は何れも３であるので、β＝２とす
ればよい。Ｃ(t-j_C)，a(j_C)，b(j_C)及びb'(j_C)は図１７
から理解されるように次式で与えられる。

【００３７】 C(t-j_C)＝｛[a(j_C)−2MAX[b(j_C)，b'(j_C)]｝/6, (９) a(j_C)＝d(t-2,t-3)＋d(t-1,t-3)＋d(t,t-3) ＋d(t-2,t-4)＋d(t-1,t-4)＋d(t-2,t-5), b(j_C)＝d(t,t-1)＋d(t,t-2)＋d(t-1,t-2), b'(j_C)＝d(t-3,t-4)＋d(t-3,t-5)＋d(t-4,t-5) ここで、a(j_C) は図１７に示す領域Ａ１に属するd(t-i,
t-j)の和であり、b(j_C)は領域Ａ２に属するd(t-i,t-j)
の和であり、b'(j_C)は領域Ａ３に属するd(t-i,t-j)の和
である。従って画像間距離関数として式(１)を使った場
合は、シーン変化率Ｃ(t-j_C)は常に−１≦Ｃ(t-j_C)≦１
の範囲の値となる。

【００３８】上述した通り、フレーム(t-j_C)がカット点
である場合には、a(j_C) がb(j_C) 及びb'(j_C)の値より大
きくなるので、Ｃ(t-j_C)は正の値を持つ。別の言い方を
すれば、a(j_C) は６つの連続する画像の前３つと後３つ
からそれぞれ１つずつ選択したフレーム間隔が３以内の
２つのフレームの全ての組の画像間距離を加算した量で
あり、時刻(t-j_C)で大きくシーンが変わっていれば、a
(j_C) は大きな値を持つはずである。b(j_C) はフレーム
(t-j_C)とそれ以前の合計３つの画像において、全ての組
の２枚の画像間の距離を加算した量であり、フレーム(t
-j_C)以前のシーンの動きが小さければ小さいほど小さな
値を取る。b'(j_C)はフレーム(t-j_C)より後の３つの画像
において、全ての組の２枚の画像間の距離を加算した量
であり、フレーム(t-j_C)より後に現れたシーンの動きが
小さければ小さいほど小さい値を取る。

【００３９】例えば図１７の距離テーブルに基づいて式
(９)に具体的数値を適用するため、図５の距離テーブル
において図１７に示す領域パターンマップをその位置
(i,j)=(4,5) が図５のテーブルの位置(i,j)=(6,7) に一
致するように重ねて、対応する領域のデータを使って時
点(t-1) におけるシーン変化率Ｃ(t-j_C)（ただし図１７
におけるj_C＝３）を次のように計算する。

【００４０】a(3)＝0+0+0+1+1+1＝3, b(3)＝0+1+1＝2, b'(3)＝0+0+0＝0, C(t-1-3)＝(3-2×2)/6＝-1/6＝-0.16 次の時点ｔにおいては、図１７の領域パターンマップを
一段左上にシフトする。その結果、図５中の位置(1,2),
(1,3),(1,4) におけるデータ０，０，１が最新の距離デ
ータとして図１７中の位置(0,1),(0,2),(0,3) に書き込
まれる。この状態でのシーン変化率は次のように計算さ
れる。

【００４１】a(3)＝1+1+1+1+1+1＝6, b(3)＝0+0+0＝0, b'(3)＝0+0+0＝0, C(t-3)＝(6-2×0)/6＝1.0 これら２つの計算例において、時点(t-1) における距離
テーブルから計算したシーン変化率C(t-4)の値は負であ
り、カットは生じていない。これに対し、時点ｔにおけ
る距離テーブルから計算されたシーン変化率C(t-3)は１
となっており、例えば閾値Ｃ_th＝1/16と設定しておけ
ば、時点ｔにおいて３つ前のフレーム(t-3)にカットが
検出されたことを意味する。なお、閾値Ｃ_th＝1/16は判
定エラーが最も少なくなるように実験により決めた値で
ある。

【００４２】この例で分かるように、カット点のところ
でC(t-j_C) は１に近い値を取る。また、例えば手ぶれや
パン（カメラを水平に動かす操作）が映像中に存在して
も、それをカット点であると誤検出してしまうことが少
なくない。なぜなら、手ぶれやパンがある場合にもa
(j_C) が大きな値を持つが、同時にb(j_C) ，b'(j_C)が大
きな値を持つため、式(２)では互いに打ち消し合ってC
(t-j_C) が小さくなるからである。

【００４３】式(９)を図１７に適用して実際の一連の入
力画像に付いてカットを検出するには、常に現時点ｔか
ら５フレーム前までの６つのフレームに付いて図１７の
領域Ａ１，Ａ２，Ａ３内の画像間距離d(t-i,t-j)が得ら
れておればよく、しかも時刻ｔが更新される毎に図１７
中の位置(0,1),(0,2),(0,3) の画像間距離のみ新たに計
算し、それまで保持していたデータは全て一段右下にシ
フトするだけでよい。

【００４４】次に、図７に示したフラッシュ光が画像列
入っている場合の図８のデータに対し、図１７の領域パ
ターンマップを上述と同様に適用して式(９)によりシー
ン変化率を時点(t-1),t,(t+1) に付いて計算した結果を
示す。 C(t-1-3)＝(3-2×2)/6＝-1/6＝-0.16 C(t-3)＝(3-2×2)/6＝-1/6＝-0.16 C(t+1-3)＝(2-2×2)/6＝-2/6＝-0.3 この計算結果から分かるように、時点(t-1) とｔの何れ
の場合も図９に示す領域Ａ４内のｉ＝j_F上の３つの
“１”とｊ＝j_F上の４つの“１”のうちの３つとが相殺
し合うので、シーン変化率C(t-4)，C(t-3)が閾値1/16よ
り小さくなっており、フラッシュ光をカット点として誤
検出する事がない。従来方法では、図８におけるd(t-3,
t-4)が大きな値を取るのでフレーム(t-4) をカット点で
あると誤判定することが多かった。

【００４５】図１０に示したように画像列にテレシネボ
ケ画像が画像列中に入っている場合には、図１２に示す
領域Ａ４内の距離値は中間的値であるが、領域Ａ１内の
距離値が大きいのでＣ(t-j_C)は１に近い値を取る。前述
と同様に図１１の距離テーブルに対し図１７の領域パタ
ーンマップを時点(t-1), t, (t+1) の位置に重ねて式
(９)によりＣ(t-j_C)をそれぞれ算出すると、 C(t-1-3)＝(4.5-2×1)/6＝5/12＝0.4 C(t-3)＝(4.5-2×1)/6＝5/12＝0.4 C(t+1-3)＝(2-2×2)/6＝-1/3＝-0.3 が得られる。C(t-3)＞1/16，C(t-4)＞16なのでフレーム
(t-3) 及び(t-4) がカット点であると正しく判定され
る。即ち、この例では複数のフレームに渡ってカットが
続いていることを示している。図１１のd(t-3,t-4), d
(t-4,t-5)のように画像間距離が小さいと、従来方法で
はフレーム(t-4),(t-5) をカット点として検出できない
場合が多かった。

【００４６】図１３に示したように画像列にフェード等
のゆっくり変化する複数画像を含む場合は、図１５に示
す領域Ａの右上ほど大きな値をとることから、前述と同
様に図１４の距離テーブルに対し図１７の領域パターン
マップを時点(t-1), t,(t+1)の位置に重ねて式(９)によ
り計算したＣ(t-j_C)は次のようになる。 C(t-1-3)＝(3.5-2×0.8)/6＝0.31 C(t-3)＝(3.0-2×1.2)/6＝0.1 C(t+1-3)＝(2.1-2×1.0)/6＝0.016 となり、シーンが変化していることを正しく検出でき
る。

【００４７】なお、シーン変化率算出部１４が計算する
シーン変化率Ｃ(t-j_C)を規定する式としては、 C(t-j_C)＝｛a(t)−β[b(t)＋b'(t)]｝/Ｓ, (10) a(j_C)＝Σ_i,jd(t-i,t-j) for 0≦i＜j_C≦j≦J, j-i≦
ｇ b(j_C)＝Σ_i,jd(t-i,t-j) for 0≦i＜j≦j_C-1, j-i≦
ｇ b'(j_C)＝Σ_i,jd(t-i,t-j) for j_C≦i＜j≦J, j-i≦ｇを使ってもよい。

【００４８】図１８は、本発明により入力画像列中の映
像カット点をリアルタイムで検出する方法の一実施例の
処理フロー図である。ここで、処理がリアルタイムであ
ることは、映像を標準的な速度で表示、記録、転送しな
がら映像カット点検出処理ができることを意味する。ま
た、画像が１フレーム入力される毎の時刻ｔと一連の画
像のフレーム番号とは同じものとし、距離テーブル１３
は図１７に示すのと同じＪ＝５，ｇ＝j_C＝３とする。

【００４９】ステップＳ１では、時刻ｔを０に初期化す
る。即ち、処理開始時刻を０とみなす。ステップＳ２で
は時刻ｔにおける画像をバッファメモリ１１に読み込む
処理を行う。この処理には、例えば前処理として、映像
信号をＡ／Ｄ変換して処理可能なディジタルデータに変
換する処理も含まれる。ステップＳ３では、距離テーブ
ル中のデータ領域Ａ１，Ａ２，Ａ３内の各位置(i,j) の
データd(t-i,t-j)を位置(i+1,j+1) にシフトし、画像間
距離算出部１２において、j=1,2,3 について例えば式
(１)により画像間距離d(t,t-j)を求め、距離テーブル１
３の位置(0,1),(0,2),(0,3) に格納する。この場合、時
間的に隣り合う画像の間の距離d(t,t-1)だけではなく、
d(t,t-2)，d(t,t-3)などの時間的に離れた画像間の距離
を算出して利用する点で従来方法とは異なる。ステップ
Ｓ４では、シーン変化率算出部１４において、距離テー
ブル１３のデータを使って、例えば式(９)によりシーン
変化率Ｃ(t-3) を求める。ステップＳ５では、Ｃ(t-3)
が閾値1/16より大か小か比較しC(t-3)＞1/16の場合、フ
レーム(t-3) がカット点と判定し（ステップＳ６）、C
(t-3)≦1/16の場合、フレーム(t-3) はカット点でない
と判定する（ステップＳ７）。その後、ステップＳ８で
時刻ｔを１だけ増し、ステップＳ２に戻る。

【００５０】なお、上述した式(９)を用いてシーン変化
率Ｃ(t-j_C)を求める場合には、図１８の処理フローから
も分かるように、時刻ｔの時に初めて時刻(t-j_C)のカッ
ト点判定ができるので、時間的にj_C画像だけカット点検
出に遅延が生じるが、応用上問題はない。また、実際に
はステップＳ４のシーン変化率の計算とそれ以降のステ
ップＳ５〜Ｓ７の処理は、図１７に示すテーブルの領域
Ａ１，Ａ２，Ａ３がデータで満たされるまで実行せず、
ステップＳ２，Ｓ３，Ｓ８を所定回数繰り返してテーブ
ルのこれら領域がデータで満たされてからステップＳ４
〜Ｓ７の処理の実効を可能とする。図１７の場合、最初
の画像フレームが入力されてから、更に３×５フレーム
の画像が入力されると距離テーブル１３の３つの領域が
距離データで満たされる。普通、映像の開始後、数１０
フレームでカットがあることはないので、最初のフレー
ムから数１０フレームのあいだカットの検出を行わなく
ても問題はない。

【００５１】シーン変化率を規定する他の関数の例を次
ぎに説明する。図５、８、１１、１４などで説明したよ
うに、距離テーブルに示される画像間距離データは画像
列中に存在するシーン変化の種類により特徴的な分布を
示す。そこでそれらの検出したい１つ又は複数の種類の
シーン変化（カット）にそれぞれ代表的な距離データ分
布のテーブルをシーン変化率算出部１４にそれぞれ予め
用意しておく。これをテンプレートと呼ぶ。図１９Ａ，
１９Ｂ，１９Ｃはそれぞれ瞬時カット検出用テンプレー
トT_CT(i,j)、フェード検出用テンプレートT_FD(i,j)及び
フラッシュ検出用テンプレートT_FL(i,j)の例であり、い
ずれもサイズはＪ＝５の場合である。ここで示すシーン
変化率C(t-j_C) は１フレームの画像データが入力される
毎に作成したこれらと同じサイズＪの図２０に示すよう
な距離テーブルとテンプレートとの間の類似度によって
規定する。テンプレートとの類似度は、例えば相互相関
係数R(d,T)によって表す。その場合は、次式で表すこと
ができる。

【００５２】 C(t-j_C)＝R(d,T) ＝Σ_i,j｛d(t-i,t-j)−d_AV｝｛T(i,j)−T_AV｝/(σ_dσ_T)^1/2 (11) d_AV＝1/SΣ_i,jd(t-i,t-j) ： d(t-i,t-j)の平均値 T_AV＝1/SΣ_i,jT(i,j) ： T(i,j)の平均値 σ_d＝1/SΣ_i,j｛d(t-i,t-j)−d_AV｝² ： d(t-i,t-j)
の分散 σ_T＝1/SΣ_i,j｛T(i,j)−T_AV｝² ： T(i,j)の分散ただし、ｉ，ｊは０≦ｉ＜ｊ≦Ｊを満足する全ての組で
あり、Ｓはその組の数であり、Σ_i,jはその全ての組に
ついての総和を表す。この場合も、テンプレート及び距
離テーブルの領域をｊ−ｉ≦ｇ，０＜ｇ＜Ｊに制限して
もよい。

【００５３】シーン変化率算出部１４は各入力画像フレ
ーム毎に求めた図２０に示す距離テーブルと図１９Ａ，
１９Ｂ，１９Ｃ等に示すテンプレートの所望の１つ又は
複数との類似度Ｒ(d,T) をシーン変化率として式(11)に
よりそれぞれ計算し、その値が予め決めた閾値Ｒ_thより
大であれば対応するシーン変化がフレーム(t-j_C)にある
と判定する。

【００５４】図２１は上述の複数のテンプレートを使っ
てどの様なシーン変化（カット）が入力画像列中のどの
フレームに存在するかを検出する処理フローを示し、基
本的な手順は図１８と同様である。ただし、この例では
フラッシュはカットではないが、画像列中の検出対象の
１つとして加えてある。ステップＳ１で時刻ｔを０に初
期化し、ステップＳ２で現時点ｔの画像データを取り込
む。ステップＳ３で距離テーブルの全ての位置(i,j) の
距離データd(t-i,t-j)を位置(i+1,j+1) にシフトする。
バッファメモリ１１（図１）に保持されているＪフレー
ム前までのＪ＋１枚の画像フレームを使って画像間隔距
離d(t,t-j),j=1,2,…,J を例えば式(１)により計算し、
テーブル中の位置(0,j) にそれぞれ書き込むことにより
現時点ｔでの距離テーブルを得る。ステップＳ４で図１
９Ａの瞬時カット検出用テンプレートと現時点での距離
テーブルの類似度を式(11)により計算する。ステップＳ
５で類似度を所定の閾値Ｒ_thと比較し、閾値以下であれ
ば瞬時カットはなかったと判定してステップＳ６に進
み、図１９Ｂのフェード検出用テンプレートと現時点の
距離テーブルの類似度を式(11)により計算する。ステッ
プＳ７でフェード検出用テンプレートとの類似度を閾値
Ｒ_thと比較し、閾値以下であればフェードはなかったと
判定してステップＳ８に進み、図１９Ｃのフラッシュ検
出用テンプレートと現時点の距離テーブルの類似度を式
(11)により計算する。ステップＳ９でフラッシュ検出用
テンプレートとの類似度を閾値Ｒ_thと比較し、閾値以下
であればフラッシュはなかったと判定し、ステップＳ１
０で時刻ｔを更新してステップＳ２に戻る。ステップＳ
５，Ｓ７，Ｓ９のいずれにおいても類似度が閾値Ｒ_thよ
り大であった場合は、対応するシーン変化がフレーム(t
-j_C)にあったと判定し、ステップＳ１０で時刻を更新し
てステップＳ２に戻る。

【００５５】以上この発明のカット検出方法の原理を具
体例により説明したが、この発明のカット検出方法を実
施するカット検出装置は図１の構成のみでなく、以下に
説明するような構成も可能である。図２２はカット検出
装置の他の実施例であり、図１のバッファメモリ１１と
対応してJ+1 個のフレームバッファ11₀ 〜11_Jが設けら
れ、また図１の画像間距離算出部１２に対応してＪ個の
画像間距離算出部12₁ 〜12_Jが設けられている。新しい
画像フレームI_tをバッファに格納する前に、それまでフ
レームバッファ11₀〜11_J-1 に保持されている画像フレ
ームをバッファ11₁ 〜11_Jにそれぞれ転送し（従ってバ
ッファ11_Jにそれまで保持されていた画像データは捨て
られる）、新しい画像フレームI_tがバッファ11₀ に書き
込まれる。全てのバッファに画像フレームの格納が完了
すると、画像間距離算出部12₁ 〜12_Jはそれぞれフレー
ムバッファ11₁ 〜11_Jから読み出された画像フレームI
_t-1,I_t-2,…,I_t-Jが与えられると共に、フレームバッ
ファ11₀ から現時点ｔでの最新画像フレームI_tが共通に
与えられ、それぞれ画像間距離d(t,t-1),d(t,t-2),…,d
(t,t-J) を例えば式(１)を使って計算する。これらの画
像間距離は距離テーブルメモリ部１３に与えられ、図２
３に示すＪ＝５の場合の距離テーブル上の位置(0,1),
(0,2),…,(0,J)に対応するアドレス領域に書き込まれ
る。ただし、その書き込みを行う前に、既にあるテーブ
ル上の位置(i,j) のデータd(t-i,t-j)を図２３中に矢印
で示すように位置(i+1,j+1) にシフトする。このシフト
によりテーブルの外に位置することになるデータは捨て
られる。この様にして時点ｔにおいて得られた距離テー
ブルを使って、シーン変化率算出部１４は前述の所望の
シーン変化率計算方法に基づいてシーン変化率Ｃ(t-j_C)
を計算する。判定部１５は与えられたシーン変化率を閾
値と比較し、その比較結果によりシーン変化があったか
否かを判定する。

【００５６】図２２の実施例によればフレームバッファ
と画像間距離算出部を複数設ける必要があるが、画像デ
ータをパイプライン的に高速に処理することが可能であ
る。カット検出装置のもう１つの実施例を図２４に示
す。この実施例は図１に示した動作原理的構成をより実
際的に実現するために、コンピュータ構成としたもので
あり、画像列蓄積部１１、画像間距離算出部１２、距離
テーブルメモリ部１３、シーン変化率算出部１４等はバ
ス１９を介して接続された計算制御部（ＣＰＵ）２０に
よりそれらの動作が制御される。画像データ入力部１０
は入力画像データI_tを計算制御部２０の制御のもとに１
フレーム取り込んで画像列蓄積部１１に転送する。画像
列蓄積部１１は例えばコンピュータの主記憶部であり、
予め割り当てられたJ+1 フレーム分のバッファ領域11₀
〜11_Jが設けられており、最も新しいJ+1 フレーム分の
画像を保持している。図２２の場合と同様に、現時点ｔ
の新しい画像フレームが入力部１０に入力されると、ま
ず画像列蓄積部１１の領域11₀ 〜11_J-1 （図示せず）内
のデータI_t,…,I_t-J+1をそれぞれ領域11₁ 〜11_Jに書き
込み、領域11₀ に入力部１０から最新画像データを書き
込む。画像列蓄積部１１への書き込みが完了すると、計
算制御部２０は蓄積部１１から画像フレームI_tとI_t-jの
組を読みだして画像間距離算出部１２に与えて画像間距
離d(t,t-j)を計算させ、その計算結果を距離テーブルメ
モリ部１３のテーブル（図２３参照）内の位置(0,j) に
転送することをj=1,2,…,Jについて順次繰り返す。これ
によって距離テーブルメモリ部１３の距離テーブルには
Ｊ個の新しい距離データが得られる。

【００５７】

【発明の効果】以上説明したように、本発明によれば画
面変化量として時間的にとなり合った２枚の画像を比べ
るだけでなく、時間的に離れた画像の間を変化量を考慮
してシーン変化率を算出することにより、時間的にゆっ
くりと変化するシーン変化を検出でき、テレシネ変換さ
れた映像、フラッシュ光を含む映像などを統一的にリア
ルタイムに処理できる映像カット点検出方法及び装置を
提供できる効果がある。

【図面の簡単な説明】

【図１】この発明のカット検出装置の動作原理的構成を
示すブロック図。

【図２】カットを含む画像列の例を示す図。

【図３】Ａはカットのない場合の２つの画像の差分ヒス
トグラムの例を示す図、Ｂはカットのある場合の２つの
画像の差分ヒストグラムの例を示す図である。

【図４】２つの画像間のブロックマッチングを説明する
ための図。

【図５】図２の画像列により作成された距離テーブルの
例を示す図。

【図６】図５の距離テーブルの特徴を説明するための
図。

【図７】フラッシュ画像を含む画像列を示す図。

【図８】図７の画像列により作成された距離テーブルの
例を示す図。

【図９】図８の距離テーブルの特徴を説明するための
図。

【図１０】カットを含むテレシネ変換画像列の例を示す
図。

【図１１】図１０の画像列により作成された距離テーブ
ルの例を示す図。

【図１２】図１１の距離テーブルの特徴を説明するため
の図。

【図１３】フェードを含む画像列の例を示す図。

【図１４】図１３の画像列により作成された距離テーブ
ルの例を示す図。

【図１５】図１４の距離テーブルの特徴を説明するため
の図。

【図１６】距離テーブルからシーン変化率を求める方法
の例を説明するための図。

【図１７】Ｊ＝５の場合の距離テーブルによりシーン変
化率を求める方法を説明するための図。

【図１８】この発明によるカット検出方法の処理手順を
示すフロー図。

【図１９】Ａは瞬時カット検出用テンプレートを示す
図、Ｂはフェード検出用テンプレートを示す図、Ｃはフ
ラッシュ検出用テンプレートを示す図である。

【図２０】テンプレートと比較する距離テーブルの例を
示す図。

【図２１】テンプレートを使って所望のシーン変化を検
出する方法の処理手順を示すフロー図。

【図２２】この発明のカット検出装置の他の構成例を示
すブロック図。

【図２３】距離テーブルの作成を説明するための図。

【図２４】この発明のカット検出装置の更に他の構成例
を示すブロック図。

Claims

【特許請求の範囲】

【請求項１】映像データ列から映像カット点を検出す
る映像カット点検出方法において、以下の工程を含む： (a) 順次入力される一連の画像フレームの現時点ｔのフ
レームからＪフレーム前までの一連のＪ＋１個の画像
I_t,I_t-1,…,I_t-Jに対し、フレーム間隔がＪ以下の全て
の組の２つの画像I_t-i、I_t-j間の距離d(t-i,t-j)を求
め、各位置(i,j) に距離d(t-i,t-j)を有する距離テーブ
ルを作成し、Ｊは３又はそれより大の一定の整数であ
り、ｉ，ｊは０≦ｉ＜ｊ≦Ｊを満足する範囲の全ての可
変整数であり、 (b) 上記距離テーブル上の画像間距離に基づいてＪフレ
ーム前の画像I_t-Jから現時点の画像I_tまでの画像の変化
を現時刻ｔよりj_Cフレーム前におけるシーン変化率Ｃ(t
-j_C)として計算し、j_Cは０＜j_C≦Ｊを満足する範囲の予
め決めた一定の整数であり、 (c) 上記シーン変化率Ｃ(t-j_C)を予め決めた閾値と比較
し、その比較結果により現時点からj_Cフレーム前の画像
がカット点であるか否かを判定する。
【請求項２】請求項１の方法において、上記工程(a)
は、現時点ｔからｉフレーム前の画像I_t-iとｊフレーム
前の画像I_t-jの対応する各位置(x,y) における画素の輝
度の差分の絶対値を全画面に渡って加算して得た差分総
和を上記画像間距離d(t-i,t-j)に対応する値として求め
る工程を含む。
【請求項３】請求項１の方法において、上記工程(a)
は、現時点ｔからｉフレーム前の画像I_t-iとｊフレーム
前の画像I_t-jについて予め決めたクラス数の輝度値ヒス
トグラムを求め、それらのヒストグラムの対応するクラ
スの頻度の差の絶対値を全クラスに渡って加算して得た
差分総和を上記画像間距離d(t-i,t-j)に対応する値とし
て求める工程を含む。
【請求項４】請求項１の方法において、上記工程(a)
は、現時点ｔからｉフレーム前の画像I_t-iとｊフレーム
前の画像I_t-jの対応する各位置(x,y) における画素の輝
度の差分を全画面に渡って求め、それら差分の標準偏差
を上記画像間距離d(t-i,t-j)に対応する値として求める
工程を含む。
【請求項５】請求項１の方法において、上記工程(a)
は、距離を求めるべき現時点ｔからｉフレーム前の画像
I_t-iとｊフレーム前の画像I_t-jの対応する各位置(x,y)
における画素の輝度の差分を全画面に渡って求め、それ
ら差分の標準偏差を求め、上記差分が上記標準偏差を越
える画素を全画面に渡って計数し、その計数値を上記画
像間距離d(t-i,t-j)に対応する値として求める工程を含
む。
【請求項６】請求項１の方法において、上記工程
（ａ）は、現時点ｔからｉ及びｊフレーム前の距離を求
めるべき組の画像Ｉ_t-iとＩ_t-jの対応する各位置
（ｘ，ｙ）における画素の輝度の差分を第１の差分とし
て全画面に渡って求め、上記組の画像からそれぞれｍフ
レーム前の画像Ｉ_t-i-mとＩ_t-j-mの対応する各位置
（ｘ，ｙ）における画像の輝度の差分を第２の差分とし
て全画面に渡って求め、上記第２の差分の標準偏差を求
め、上記第１の差分の絶対値が上記標準偏差を越える画
素を全画面に渡って計数し、その計数値を上記画像間距
離ｄ(t-i,t-j) に対応する値として求める工程を含み、
上記ｍは１以上の予め決めた整数である。
【請求項７】請求項１の方法において、上記工程
（ａ）は現時点ｔからｉ及びｊフレーム前の距離を求め
るべき組の画像Ｉ_t-iとＩ_t-jの対応する各位置（ｘ，
ｙ）における画素の輝度の差分を第１の差分として前画
面に渡って求め、上記組の画像からそれぞれｋフレーム
前の画像Ｉ_t-i-kとＩ_t-j-kの対応する各位置（ｘ，
ｙ）における画像の輝度の差分を第２の差分として全画
面に渡って求め、その第２の差分の標準偏差ε_kを求
め、上記第２差分とその標準偏差を求めることをｋ＝
１，２，…，ｎのそれぞれの組の画像について繰り返し
それによって得られたｎ個の標準偏差の平均を平均標準
偏差として求め、上記第１の差分の絶対値が上記平均標
準偏差を越える画素を全画面に渡って計数し、その計数
値を上記画像間距離d(t-i,t-j)に対応する値として求め
る工程を含み、上記ｎは２以上の予め決めた整数であ
る。
【請求項８】請求項１の方法において、上記工程(a)
は、現時点ｔからｉフレーム前の画像I_t-iを予め決めた
ｐ×ｑ画素のブロックに分割し、各上記ブロックとマッ
チする部分がｊフレーム前の画像I_t-j内にあるか判定す
ることを全ての上記ブロックについて繰り返してマッチ
しないブロックの数を計数し、その計数値を上記画像間
距離d(t-i,t-j)に対応する値として求める工程を含む。
【請求項９】請求項１の方法において、上記工程(a)
は、時点ｔ−１での上記テーブル内の位置(i,j) の距離
のデータを位置(i+1,j+1) にシフトし、現時点ｔで上記
距離としてd(t,t-1),d(t,t-2),…,d(t,t-J) を計算し、
それらの計算値を上記テーブルの位置(0,1),(0,2),…,
(0,J)に書き込むことにより時点ｔでの上記テーブルを
作成する工程を含む。
【請求項１０】請求項１の方法において、上記工程
(a) における上記画像間距離を求める範囲は更にj-i≦
ｇを満たす範囲に限定し、ｇはＪより小の予め決めた
一定の正の整数である。
【請求項１１】請求項１０の方法において、上記工程
(a) は、時点ｔ−１での上記テーブル内の位置(i,j) の
距離のデータを位置(i+1,j+1) にシフトし、現時点ｔで
上記距離としてd(t,t-1),d(t,t-2),…,d(t,t-g) を計算
し、それらの計算値を上記テーブルの位置(0,1),(0,2),
…,(0,g)に書き込むことにより時点ｔでの上記テーブル
を作成する工程を含む。
【請求項１２】請求項１１の方法において、上記工程
(b) は、上記テーブル上にj_C≦ｊ≦Ｊ，０≦ｉ＜j_C，j-
i≦ｇにより第１の領域を規定し、その第１領域内の距
離の総和をa(j_C)と表し、0≦i＜j≦j_C-1，j-i≦ｇによ
り第２の領域を規定し、その第２領域内の距離の総和を
b(j_C)と表し、j_C≦i＜j≦J，j-i≦ｇにより第３の領域
を規定し、その第３領域内の距離の総和をb'(j_C)と表す
と、上記シーン変化率としてＣ(t-j_C)＝｛a(j_C)−βMAX[b(j_C)，b'(j_C)]｝/Ｓを計算する工程を含み、βは上記第１領域と上記第２又
は第３領域のデータ数を等価するための予め決めた係数
であり、Ｓは上記第１領域内のデータの数を表す。
【請求項１３】請求項１１の方法において、上記工程
(b) は、上記テーブル上にj_C≦j ≦J，0≦i＜j_C，j-i≦
ｇにより第１の領域を規定し、その第１領域内の距離の
総和をa(j_C）と表し、0≦i＜j≦j_C-1，j-i≦ｇにより第
２の領域を規定し、その第２領域内の距離の総和をb
(j_C）と表し、j_C≦i＜j≦J，j-i≦ｇにより第３の領域
を規定し、その第３領域内の距離の総和をb'(j_C)と表す
と、上記シーン変化率としてＣ(t-j_C)＝｛a(j_C)−β[b(j_C)＋b'(j_C)]｝/Ｓを計算する工程を含み、βは上記第１領域と、上記第２
及び第３領域のデータ数を等価するための予め決めた係
数であり、Ｓは上記第１領域内のデータの数を表す。
【請求項１４】請求項９の方法において、上記工程
(b) は、上記距離テーブルと同じサイズで少なくとも１
つの所望の種類の予め決められたカット検出用テンプレ
ートと、時点ｔで得られた上記距離テーブルとの類似度
を上記シーン変化率として計算する工程を含む。
【請求項１５】請求項１４の方法において、上記類似
度は上記距離テーブルと上記テンプレートとの相互相関
係数である。
【請求項１６】画像データ列から映像カット点を検出
する映像カット点検出装置において、時間的に連続する少なくともＪ＋１フレームの画像デー
タを順次バッファリングするバッファメモリ手段と、上記バッファメモリ手段内の現時点ｔからＪフレーム前
までの上記画像データI_t,I_t-1,…，Ｉ_t-Jについて、0
≦i＜j≦Jの範囲の２つの画像I_t-i,I_t-jの画像データ
間の距離d(t-i,t-j)を計算する画像間距離算出手段と、上記画像間距離算出手段で計算された画像間距離を格納
する距離テーブル手段と、上記距離テーブル手段を参照して、フレーム(t-J) から
ｔまでの画像の変化をフレーム(t-j_C)におけるシーン変
化率として算出するシーン変化率算出手段と、j_Cは０＜
j_C≦Ｊを満足する予め決めた一定の整数であり、上記算出されたシーン変化率をあらかじめ定められた閾
値と比較して、上記フレーム(t-j_C)がカット点であるか
否か判定する判定手段とを含む。
【請求項１７】請求項１６の装置において、上記バッ
ファメモリ手段はフレームｔから(t-J) 前までの少なく
ともＪ＋１フレームの画像データI_t,I_t-1,…,I_t-Jをそ
れぞれ１フレームづつ一時的に保持する第１〜第Ｊ＋１
フレームバッファを含み、上記画像間距離算出手段は上
記第２〜第Ｊ＋１フレームバッファからそれぞれ画像デ
ータI_t-1,…,I_t-Jが与えられ、上記第１フレームバッフ
ァから画像データI_tがそれぞれ共通に与えられ、それぞ
れ画像データI_tと画像データI_t _-1,…,I_t-J間の距離d(t,
t-1),…,d(t,t-J)をそれぞれ算出する第１〜第Ｊ画像間
距離算出部を含み、上記距離テーブル手段は上記テーブ
ル上の位置(i,j) の距離データを位置(i+1,j+1) にシフ
トすると共に上記画像間距離算出部からの距離データを
それぞれ上記テーブル上の位置(0,1),…,(0,J)に書き込
むことにより上記距離テーブルを作成する手段である。
【請求項１８】請求項１６の装置において、上記画像
間距離算出手段は更に限定されたj-i≦ｇを満たす範囲
において上記画像間距離を算出する手段であり、ｇはＪ
より小予め決めた一定の正の整数である。
【請求項１９】請求項１８の装置において、上記距離
テーブル手段は、時点ｔ−１での上記テーブル内の位置
(i,j) の距離データを位置(i+1,j+1) にシフトし、現時
点ｔで上記画像間距離算出手段により算出した上記画像
間距離d(t,t-1),d(t,t-2),…,d(t,t-g) を上記テーブル
の位置(0,1),(0,2),…,(0,g)に書き込むことにより時点
ｔでの上記テーブルを作成する手段である。
【請求項２０】請求項１９の装置において、上記シー
ン変化率算出手段は、上記テーブル上にj_C≦j ≦J，0≦
i＜j_C，j-i≦ｇにより第１の領域を規定し、その第１領
域内の距離の総和をa(j_C) と表し、0≦i＜j≦j_C-1，j-i
≦ｇにより第２の領域を規定し、その第２領域内の距離
の総和をb(j_C)と表し、j_C≦i＜j≦J，j-i≦ｇにより第
３の領域を規定し、その第３領域内の距離の総和をb'(j
_C)と表すと、上記シーン変化率として C(t-j_C)＝｛a(j_C)−βMAX[b(j_C)，b'(j_C)]｝/Ｓを計算する手段であり、βは上記第１領域と上記第２又
は第３領域のデータ数を等価するための予め決めた係数
であり、Ｓは上記第１領域内のデータの数を表す。
【請求項２１】請求項１９の装置において、上記シー
ン変化率算出手段は、上記テーブル上にj_C≦j ≦J，0≦
i＜j_C，j-i≦ｇにより第１の領域を規定し、その第１領
域内の距離の総和をa(j_C) と表し、0≦i＜j≦j_C-1，j-i
≦ｇにより第２の領域を規定し、その第２領域内の距離
の総和をb(j_C) と表し、j_C≦i＜j≦J，j-i≦ｇにより第
３の領域を規定し、その第３領域内の距離の総和をb'(j
_C)と表すと、上記シーン変化率として C(t-j_C)＝｛a(j_C)−β[b(j_C)＋b'(j_C)]｝/Ｓを計算する手段であり、βは上記第１領域と、上記第２
及び第３領域のデータ数を等価するための予め決めた係
数であり、Ｓは上記第１領域内のデータの数を表す。
【請求項２２】請求項１６の装置において、上記シー
ン変化率算出手段は、上記距離テーブルと同じサイズで
少なくとも１つの所望の種類の予め決められたカット検
出用テンプレートとを有し、時点ｔで得られた上記距離
テーブルとの類似度を上記シーン変化率として計算する
手段である。