JP2839132B2 - Video cut point detection method and apparatus - Google Patents

Video cut point detection method and apparatus

Info

Publication number
JP2839132B2
JP2839132B2 JP31297694A JP31297694A JP2839132B2 JP 2839132 B2 JP2839132 B2 JP 2839132B2 JP 31297694 A JP31297694 A JP 31297694A JP 31297694 A JP31297694 A JP 31297694A JP 2839132 B2 JP2839132 B2 JP 2839132B2
Authority
JP
Japan
Prior art keywords
image
distance
table
step
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31297694A
Other languages
Japanese (ja)
Other versions
JPH08214210A (en
Inventor
佳伸 外村
行信 谷口
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP31766393 priority Critical
Priority to JP6-297533 priority
Priority to JP5-317663 priority
Priority to JP29753394 priority
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP31297694A priority patent/JP2839132B2/en
Publication of JPH08214210A publication Critical patent/JPH08214210A/en
Application granted granted Critical
Publication of JP2839132B2 publication Critical patent/JP2839132B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は映像カット点検出方法及び装置に係わり、詳しくは、複数枚の画像データの列からそのカット点(シーンが切り替わる点)を検出する方法及び装置に関する。 The present invention relates relates to a method and apparatus for detecting video cut point, more particularly, to a method and apparatus for detecting the cut point from a column of a plurality of image data (that scene is switched).

【0002】 [0002]

【従来の技術】映像中のカメラのオン・オフや映像編集のつなぎ目(フェード、ワイプ等)によりシーンが切り替わる点をカット点という。 BACKGROUND OF THE INVENTION joint of the camera on and off and video editing in the video (fade, wipe, etc.) by a point at which switching is a scene that cut point. カメラの動き(パン、ズーム等)及び画像中の物体の移動はカットとは見なさない。 Movement of the object of the camera motion (pan, zoom, etc.), and the image is not regarded as cuts. この様な映像カット点の検出はシーンチェンジ検出とも呼ばれ、従来から様々な方法が提案されている。 Detection of such a video cut point is also referred to as a scene change detection, various methods have been proposed.

【0003】代表的な方法としては、取り込まれた一連の画像中の時間的に隣合う2枚の画像I t ,I t-1の各対応する画素における輝度値の差を計算して、その絶対値の画面全体に渡る和(フレーム間差分)をD(t) とすると、D(t) がある与えられた閾値よりも大きいとき、t As a typical method, two images I t adjacent temporally in a series of images captured, by calculating the difference in luminance values of each corresponding pixel in I t-1, the when the sum over the entire screen of the absolute value (frame difference) and D (t), is greater than the given threshold which is D (t), t
をカット点とみなす方法がある(大辻、外村、大庭: There is a method regarded as a cut point (Otsuji, Tonomura, Ohba:
「輝度情報を使った動画像ブラウジング」、電気情報通信学会技術報告、IE90-103,1991)。 "Video image browsing using the luminance information", electrical, Information and Communication Engineers Technical Report, IE90-103,1991). なお、この場合、フレーム間差分の代わりに、画素変化面積、輝度ヒストグラム差分、ブロック別色相関、χ 2検定量などがD(t) In this case, instead of the inter-frame difference, pixel change area, the luminance histogram difference, block-specific color correlation, and chi 2 test amount D (t)
として使われることもある(大辻、外村:「映像カット自動検出方式の検討」、テレビジョン学会技術報告、Vo There is also be used as a (Otsuji, Tonomura: "Study of the video cut automatic detection system", the Institute of Television Engineers Technical Report, Vo
l.16,No.43,pp.7-12)。 l.16, No.43, pp.7-12). この方法は、画像中に物体の激しい移動やフラッシュ光があってもカットとして誤って検出してしまう問題がある。 This method is even intense movement and flash light of the object in the image will be detected erroneously as a cut problem.

【0004】また、D(t) をそのまま閾値処理するのではなく、各種時間フィルタをD(t)に対して作用した結果を閾値処理する方法もある(K.Otsuji snd Y.Tonomur Further, instead of directly threshold the D (t), the various time filters is also a method for thresholding the result of effect on D (t) (K.Otsuji snd Y.Tonomur
a:"Projection Detecting Filter for Video Cut Detec a: "Projection Detecting Filter for Video Cut Detec
tion"Proc.of ACM Multimedia 93,1993,pp.251-257)。 tion "Proc.of ACM Multimedia 93,1993, pp.251-257).
この方法は、映像の中に激しく動く物体やフラッシュ光があっても誤検出を生じにくいという特徴を持っている。 This method has the feature that it is hard to occur even erroneous detection if there is an object or flashlight moving violently in the image.

【0005】 [0005]

【発明が解決しようとする課題】上記従来技術においては、以下のような問題点があった。 In THE INVENTION to be solved INVENTION The above prior art, the following problems. 第1の問題点は、時間的にゆっくりとしたシーンの変化が検出できないことである。 The first problem is the inability to detect changes in temporally slow scene. これは、従来のカット点検出方法ではシーンの変化の割合を表す量が時間的にとなり合う2フレームだけから算出されていて、長時間のシーンの変化がほとんど反映されていないからである。 This is, in the conventional cut point detection method is calculated from only two frames quantity representing the rate of change in the scene is adjacent in time, because the changes in the long scene is hardly reflected.

【0006】ゆっくりとしたシーン変化の代表的なものとして、映像編集段階で挿入されるフェードイン、フェードアウト、ディゾルブ、ワイプといったエフェクト(特殊効果)がある。 [0006] as slow representative of a scene change, fade-in to be inserted in the video editing stage, fade-out, dissolve, there is an effect (special effects) such as wipes. フェードインは映像信号レベルを徐々に上げて画像を徐々に現す技法であり、フェードアウトは映像信号レベルを徐々に下げて画像を徐々に消す技法である。 Fade-in is a technique that represents gradually the image gradually raise the video signal level, fade-out is a technique to erase gradually the image is gradually decreased the video signal level. ディゾルブはシーンAからシーンBに移る際に、シーンAの映像信号レベルを下げながらシーンB A dissolve when moving from scene A to scene B, scene B while lowering the video signal level of the scene A
の映像信号レベルを上げていく技法であり、シーンAからシーンBへ互いに融け合うようにしてシーンが転換していく。 Of a technique that will increase the video signal level, gradually converted scene as mutually melted together from the scene A to scene B. ワイプはシーンAの画像を一部分からぬぐい去るように消しながら、シーンBの画像を現していく技術である。 Wipe while erasing as wiped off from a portion of the image of the scene A, it is a technique that will reveal an image of a scene B. これらのエフェクトではシーンがゆっくり変化する(例えばシーンが完全に転換するまでに1秒程度の時間がかかる)ので、従来のように時間的に隣合う2枚の画像(時間間隔は1/30秒程度)を比較する方法ではその変化を検出できなかった。 These are in effect scene changes slowly (eg scene takes time of about one second until the complete conversion), a conventional manner temporally adjacent two images (time interval 1/30 sec could not be detected the change in the method of comparing the degree). なぜなら、ゆっくりとしたシーン変化において時間的に隣合う2枚の画像間にみられる違いは微小で、それが雑音に起因するものか、 This is because the difference found between two adjacent pictures temporally in the scene slow changes are very small, whether it be due to noise,
シーン変化に起因するものかを判別することは困難だからである。 This is because it is difficult to determine due to a scene change.

【0007】第2の問題点は、映像中にフラッシュ光が写っていると、それをカットと誤検出してしまうことである。 The second problem is that when that flash light captured in the video, erroneously detected it and cut. フラッシュがたかれると一瞬、画像の輝度レベルが上昇するので、フラッシュがたかれると前の画像とフラッシュ光が写っている画像との差分が急増する。 Moment when the flash is Taka, the luminance level of the image increases, the difference between the image that is reflected the previous image and the flash light when the flash is Taka increases rapidly. 従って、輝度差分の急増をカット点とみなすという従来のカット点検出方法では、フラッシュ光をカット点と誤ってしまう。 Therefore, in the conventional cut point detection method that the rapid increase of the luminance difference is regarded as a cut point, resulting in erroneously cut point flash light.

【0008】第3の問題点は、テレシネ変換された映像のカット点が正しく検出できない(取り漏らしが生じやすい)ことである。 [0008] The third problem is that it can not be detected cut point of the telecine converted video correctly (easy to take leak occurs). テレシネ変換とは、フィルムで撮影した映像をテレビで放映するときに、フィルムのコマ数(1秒24コマ)と、テレビ信号のコマ数(1秒30コマ)を合わせるための変換である。 The telecine conversion, when broadcast footage captured by the film on television, the number of frames of the film and (1 sec 24 frames), a conversion for matching the number of frames of the television signal (1 sec 30 frames). テレシネ変換にもいくつかの方式があるが、ある方式では4コマに1コマの割合でフレームを付加する。 There are several methods to telecine conversion, but adds a frame at the rate of one frame in four frames in some manner. このとき挿入されるフレームをその前後の画像のフィールドを合成して作るので、 Since the frames to be inserted at this time made by combining the fields before and after the image,
画像変化が小さくなり、従来のカット点検出法では上述したディゾルブと同様の理由でカット検出漏れを生じやすい。 Image change becomes small, prone to cut undetected for the same reason as dissolve described above the conventional cut point detection method.

【0009】なお、第2と第3の問題点に対しては、時間フィルタを作用することによって誤検出、検出漏れを防ぐ方法がある。 [0009] Incidentally, for the second and third problems, erroneous detection by acting time filter, there is a way to prevent detection omission. しかし、この時間フィルタを設計する際に映像がどの様な種類のものであるかを予め調べておく必要があり、リアルタイム処理に向かない、テレシネ変換された映像にフラッシュ光が写っていたりすると誤検出を生じる、といった問題点がある。 However, there need to know whether it is of any such type video designed this time filter in advance, it is not suitable for real-time processing, and they happen to flash light reflected in the telecine converted video erroneously produces a detectable, there is a problem that.

【0010】 [0010]

【課題を解決するための手段】本発明の目的は、上記従来技術の問題点に鑑み、時間的にゆっくりとしたシーンの変化を検出でき、テレシネ変換された映像、フラッシュ光を含む映像などを統一的にリアルタイムに処理できる映像カット点検出方法及び装置を提供することにある。 An object of the present invention, in order to solve the problems] In view of the problems of the prior art, can detect changes temporally slow scene, telecine converted video, and video including the flash light unified manner is to provide a video cut point detection method and apparatus which can process in real time.

【0011】上記目的を達成するために、この発明の映像カット点検出方法によれば、入力画像データ列について現時点tとそれよりJフレーム前までの画像I t ,I t-1 , [0011] To achieve the above object, according to the video cut detection method of the present invention, the input image data stream currently t and it than J frame before previous image I t, I t-1,
…,I ..., I tJ中の0≦i<j≦Jを満足する全ての組の画像データI ti ,I tjの間の距離d(ti,tj)を計算して距離テーブルを作成し、上記距離テーブル上の距離d(ti,t- All sets of image data I ti satisfying the 0 ≦ i <j ≦ J in tJ, to create a distance table by calculating the distance d (ti, tj) between the I tj, distance on the distance table d (ti, t-
j)をもとにフレームj Cを間に含むフレーム(tJ) からt t from the frame (tJ), including in between based on the frame j C and j)
までの一連の画像のシーン変化率C(tj C )をフレーム(t A series of scene change rate C (tj C) frames of image up (t
-j C )におけるシーン変化率として求め、そのシーン変化率C(tj C )をあらかじめ定めた閾値と比較して、フレーム(tj C )がカット点であるか否かを判定する。 -j determined as a scene change rate of C), as compared to a predetermined threshold the scene change rate C (tj C), determines whether the frame (tj C) is cut point.

【0012】この発明の映像カット点検出装置は、時間的に連続する少なくともJ+1フレームの画像データを順次バッファリングするバッファメモリ手段と、上記バッファメモリ手段内の現時点tとそれよりJフレーム前までの上記画像データI t ,I t- 1 ,…,I tJについて、0≦ [0012] Video cut detection apparatus according to the present invention, a buffer memory means for sequentially buffering image data of at least J + 1 frames temporally consecutive, to date t and it than J-frame before in the buffer memory means the image data I t, I t- 1, ... , the I tJ, 0 ≦
i<j≦Jの範囲の2つの画像I ti ,I tjの画像データ間の距離を計算する画像間距離算出手段と、上記画像間距離算出手段で計算された画像間距離を格納する距離テーブル手段と、上記距離テーブル手段を参照して、フレーム(tJ) からtまでの画像の変化をフレーム(tj C )におけるシーン変化率として算出するシーン変化率算出手段と、上記算出されたシーン変化率をあらかじめ定められた閾値と比較して、上記フレーム(tj C )がカット点であるか否か判定する判定手段とを含む。 i <j 2 two images I ti ranging ≦ J, the distance table for storing the inter-image distance calculating means for calculating the distance between the image data of the I tj, the calculated image distance above the inter-image distance calculating means means and, by referring to the distance table means, frame and scene change rate calculating means for calculating a scene change rate changes in the image from (tJ) to t in the frame (tj C), the scene change rate is the calculated compared to a predetermined threshold, the frame (tj C) comprises a determining means whether or not the cut point.

【0013】本発明では、画面変化量として時間的にとなり合った2枚の画像を比べるだけでなく、時間的に離れた画像の間の変化量を考慮してシーン変化率C(tj C ) [0013] In the present invention, not only comparing the two images adjacent in time as the screen change amount, the scene change rate in consideration of the amount of change between temporally distant image C (tj C)
を算出する。 It is calculated. これにより、カット点を安定に検出することができる。 Thus, it is possible to stably detect a cut point. 今、画像データ列A,B,*,D,Eのうち、画像の*の時刻にシーンが切り替わった状況を仮定すると、カット前のAとBは互いに類似した画像であり、カット以降の*,D,Eもそれぞれ互いに類似した画像なので、距離d(A,B),d(*,E),d(D,E)は小さいのに対して、画像*をまたぐ画像間の距離d(A,*),d(A,D), Now, the image data sequence A, B, *, D, of the E, assuming a situation where scene image * time is switched, before cutting of the A and B are similar images together, and later cut * , D, E the also an image similar to each other, the distance d (a, B), d (*, E), d (D, E) relative to the small distance between the image across the image * d ( A, *), d (A, D),
d(A,E),d(B,*),d(B,D),d(B,E)は大きくなる。 d (A, E), d (B, *), d (B, D), d (B, E) increases. この性質を利用してシーン変化率C(*) を求めれば、カット検出ができる。 By obtaining a scene change rate C (*) By utilizing this property, it is cut detection.

【0014】このようにすればフェード、ディゾルブ、 [0014] fade In this way, dissolve,
ワイプといった時間的にゆっくりとシーンが変化する場合も、そのシーン転換を検出可能である。 May temporally slow scene such wipes is changed, it is possible to detect the scene conversion. 即ち、時間的にゆっくりとしたシーン変化を含む画像列A,B,*, That is, the image sequence A comprising a scene change in a temporally slow, B, *,
D,Eに対して、時間的に離れた2枚の画像の間の画面変化量d(A,D) ,d(A,E) ,d(B,D) ,d(B,E) が大きな値を取るので、これを積極的に利用することで、シーン転換を検出できる。 D, with respect to E, the screen change amount between two images temporally separated d (A, D), d (A, E), d (B, D), d (B, E) is so it takes a large value, by using this positively, can detect the scene conversion.

【0015】また、フラッシュ光が映像中に写っていてもフラッシュ光を誤ってカットとみなすことがない。 [0015] In addition, not be regarded as a cut by mistake a flash light even if the flash light is not reflected in the video. フラッシュ光を含んでいる画像データ列をA,B,*, The image data column containing flash light A, B, *,
D,E…とし、画像*がフラッシュ光のために他の画像A,B,D,Eよりも明るくなっていると仮定すると、 D, E ... and other image A for image * flash light, B, D, assuming that brighter than E,
画像Aとが像Bの間の距離d(A,B)は小さいが、画像B, The distance d (A, B) between the images A Togazo B is small, the image B,
Dに比べて画像*の輝度レベルが上昇しているため、d Because in comparison with the D image * brightness level is rising, d
(B,*),d(*,D)は大きな値を持つ。 (B, *), d (*, D) has a large value. 従来の方法のいくつかは、d(B,*)がある閾値より大きくなったところをカット点と判定するので、フラッシュ光をカット点と誤認識してしまうという不都合があった。 Some conventional methods, since the determination d (B, *) and was greater than a certain threshold value the cut point, there is a disadvantage that misrecognized as a cut point flash light. d(B,*)が大きくなるのはカット点でも同様であるが、d(*,D)が大きな値を持つことがフラッシュ光の特徴的性質であり、この性質を利用すればカット点とフラッシュ光を区別でき、従って誤認識を防ぐことができる。 d (B, *) is the larger are the same in the cut point, d (*, D) is a characteristic property of the flash light to have a large value, and the cut point by utilizing this property indistinguishable flash light, therefore erroneous recognition can be prevented.

【0016】更に、テレシネ変換がかかった映像に対しても検出漏れを生じることがなくなる。 Furthermore, also there is no cause false negative on the video took telecine conversion. テレシネ変換がかかったA,B,*,D,E…のうち、画像A,Bと画像*,D,Eが別のシーンであると仮定すると、テレシネ変換のために画像*が画像BとDを重ね合わせて合成した画像である場合があり、この場合にはシーン変化があるにも関わらずそれを検出できないことが多かった。 Telecine conversion is applied A, B, *, D, E ... among the images A, B and the image *, D, when E is assumed to be another scene, an image * image B for the telecine It may be the composite image by superposing D, and this case was often not able to detect it in spite of scene change.
これはとなり合った画像間の距離d(A,B),d(B,*),…, This distance between adjacent image d (A, B), d (B, *), ...,
d(D,E)が、普通のカットのようには急増せず、あらかじめ定められた閾値を越えないからである。 d (D, E) is not rapidly as normal cut is because not exceed a predetermined threshold. しかし、この場合にも、画像*をまたぐ2枚の画像の間の距離d(B,D) However, even in this case, the distance between the two images across the image * d (B, D)
が大きくなることに着目すれば時刻*がカット点であることが分かる。 If attention is paid to the fact that the larger time * is it can be seen that a cut point.

【0017】 [0017]

【実施例】以下、本発明の一実施例について図面を用いて説明する。 EXAMPLES The following will be described with reference to the drawings an embodiment of the present invention. 図1は、本発明の原理的構成を示すブロック図である。 Figure 1 is a block diagram showing the basic configuration of the present invention. 図1において、適当なサンプルレートで図示してない画像信号源から取り込まれた画像データ列I In Figure 1, a suitable sample rate image data stream captured from the image signal source not shown in the I
0 ,I 1 ,…はバッファメモリ11に入力される。 0, I 1, ... are inputted to the buffer memory 11. ここでは1画面毎に取り込まれた画像データを1フレームの画像データと呼ぶことにし、これらの一連のフレームの画像データに一連のフレーム番号を付けてある。 This will call the image data of one frame of image data captured for each screen, you are given a series of frame numbers to image data of the series of frames. 画像のサンプリングレート、画像フォーマット、画像サイズは任意でよい。 Image sampling rate, image format, image size may be arbitrary. 即ち、NTSC標準映像信号を30frame/ In other words, 30frame the NTSC standard video signal /
sec でサンプリングしてもよいし、それより粗いサンプリングレートでサンプリングしたものでもよい。 May be sampled at sec, it may be obtained by sampling a coarse sampling rate than that. また、 Also,
画像データ列は、NTSCのようなアナログ信号でも、 Image data stream is also an analog signal such as NTSC,
ディジタル信号でもよい。 Or a digital signal. また外部の画像信号源としては、ハードディスク、CD−ROM等、蓄積装置に保存されている画像ファイルであってもよい。 As the external image signal source, a hard disk, CD-ROM or the like, or an image file stored in the storage device. バッファメモリ11は画像データフレーム列I 0 ,I 1 ,…,I tが順次入力され、常に現時点tと、それからJ時点前まで遡ったJ+1個の画像データI t ,I t-1 ,…,I tJを一時バッファリングしておく。 Buffer memory 11 the image data frame sequence I 0, I 1, ..., I t are sequentially input, always present time t and, then going back to the front J point J + 1 pieces of image data I t, I t-1, ..., keep temporary buffer ring I tJ. このバッファメモリ11は、例えばシフトバッファアレイで構成され、入力された画像データをフレーム毎に順次シフトしながらバッファリングし、古いものから破棄していく。 The buffer memory 11, for example, a shift buffer array, and buffering while sequentially shifting the input image data for each frame, it will be discarded from the older ones. 従って、バッファメモリ11には、常に所定枚数の画像データが入力順に保持される。 Therefore, the buffer memory 11 always image data of a predetermined number of sheets are held in the input order. なお、バッファメモリ11は画像データを処理して2次的に得られるデータを格納するものであってもよい。 The buffer memory 11 may be adapted to store data obtained by processing the image data in secondary. 例えば、輝度ヒストグラムや色ヒストグラムのデータを格納するものであってもよいし、エッジ情報を格納するものであってもよい。 For example, it may be adapted to store the data of the luminance histogram and a color histogram may be configured to store edge information. ここでは、これらも含めて画像データで総称する。 Here, these are also collectively referred to by the image data including.

【0018】画像間距離算出部12は画像データI tが入力される毎に2枚のフレームの画像データI tiとI tj The image data I ti of two frame image distance calculating unit 12 every time the image data I t is input and I tj
の間の距離、即ち画像間距離d(ti,tj)を例えば後述のようにi=0かつj=1,2,…,Jについてそれぞれ計算する。 The distance between, namely the inter-image distance d (ti, tj), for example, i = 0 and j = 1, 2, as described below, ... are calculated respectively for J. 画像間距離とは、いわゆる2枚の画像の間の“違い”を表す量であり、2枚の画像I ti ,I tjが全く同じであればd(ti,tj)=0となり、“違い”が大きければ大きいほど大きな値を取る。 The image distance is an amount representing the "difference" between the so-called two images, two images I ti, if the identical I tj d (ti, tj) = 0 , and the "difference "takes a larger value as large as possible. 画像間距離算出部12 Inter-image distance calculation section 12
から出力される画像間距離d(ti,tj)は距離テーブルメモリ部13に格納される。 Image distance d (ti, tj) that is output from is stored in the distance table memory part 13. 画像間距離算出部12では、 In the inter-image distance calculation section 12,
バッファメモリ11に新しいフレームの画像データI t Image data I t of the new frame in the buffer memory 11
が格納される毎に、該画像データとバッファメモリ11 Each but stored, the image data and the buffer memory 11
内の他のフレームの画像I t-1 ,I t-2 ,…との画像間距離を算出し、距離テーブルメモリ部13の内容を更新する。 Image I t-1 of the other frames of the inner, I t-2, and calculates the inter-image distance ... and updates the contents of the distance table memory part 13. 距離テーブルメモリ部13には時点(フレーム番号)tにおいて0≦i<j≦Jを満足する全ての組のi,jについてのd(ti,tj)をテーブルとして一時的に保持する。 Distance all pairs of i in the table memory unit 13 that satisfies 0 ≦ i <j ≦ J at time (frame number) t, d for j (ti, tj) is temporarily held as a table. 以降の説明では、距離テーブルメモリ部13 In the following description, the distance table memory part 13
内に作成される距離テーブルも同じ参照番号13で表すものとする。 Even if the distance table generated within shall be represented by the same reference numerals 13. 図1ではJ=3の場合を示している。 Shows the case of Figure 1, J = 3. 新しいI tがバッファメモリ11に入力される毎に距離算出部12で計算したi=0,j=1,2,…,Jでの画像間距離d(t,t- The new I t was calculated by the distance calculation unit 12 each time it is input to the buffer memory 11 i = 0, j = 1,2 , ..., between images in J distances d (t, t-
j)を距離テーブル13内の位置(0,j) (テーブルメモリ部13のアドレスに対応させてある)にそれぞれ書き込むと共に、距離テーブル13内のそれまでの位置(i,j) The j) position of the distance table 13 (0, j) (writes each are made to correspond to the address of the table memory unit 13), the position of the far distance table 13 (i, j)
で指定される距離データd(ti,tj)を距離テーブル13 In the distance data d to be specified (ti, tj) of the distance table 13
内の位置(i+1,j+1) にシフトし、シフト先の位置(i+1,j It shifted to a position (i + 1, j + 1) of the inner, position of the shift destination (i + 1, j
+1) が0≦i+1<j+1≦Jの範囲外となるデータは捨てる。 Data +1) outside the bounds of 0 ≦ i + 1 <j + 1 ≦ J is discarded.

【0019】シーン変化率算出部14は、距離テーブル13を参照しながらシーン変化率C(tj C )を求める。 The scene change rate calculating section 14 calculates a scene change ratio C (tj C) with reference to the distance table 13. シーン変化率C(tj C )はいわゆるカット点の確からしさを表す量であり、実施例では−1以上1以下の値を取り、 Scene change rate C (tj C) is a quantity representing the certainty of the so-called cut point, it takes a value of 1 or less than -1 in the embodiment,
1に近いほどカットである確率が高いように構成され、 Probability of cutting closer to 1 is configured to be higher,
判定部15はC(tj C )がある閾値より大きいとき、その時刻tがカット点であると判定する。 Determining unit 15 is greater than a certain threshold value C (tj C), it determines the time t is to be cut point. シーン変化率C(t Scene change rate C (t
-j C )を規定する関数は後述するようにカットの種類に応じて最適な関数を選ぶ。 function defining the -j C) chooses the optimal function according to the type of cut, as will be described later.

【0020】以下に、画像間距離算出部12、距離テーブルメモリ部13、シーン変化率算出部14の動作について具体例に基づいて説明する。 [0020] Hereinafter, the inter-image distance calculation section 12, the distance table memory part 13 will be described with reference to specific examples of the operation of the scene change rate calculating section 14. いま、現時点tにバッファメモリ11に得られているフレーム毎の画像データ列I t-7 ,I t-6 ,…,I tは、図2に示すシーケンスになっているとする。 Now, the image data string I t-7, I t- 6 for each frame is obtained in the buffer memory 11 to the present time t, ..., I t is assumed to become the sequence shown in FIG. 図2において、フレームI t-7 ,I t-6 ,I 2, the frame I t-7, I t- 6, I
t-5 ,I t-4は全画面が黒である画像(全画素の輝度値が最小の0)である。 t-5, I t-4 is an image full screen is black (0 luminance value a minimum of all the pixels). I t-3 ,I t-2 ,I t-1 ,I tは全画面が白(全画素の輝度値が最大のB MAX )である。 I t-3, I t- 2, I t-1, I t is the entire screen white (B MAX luminance value maximum of all pixels). 即ち、画像I In other words, the image I
t-3に対応するフレーム番号(時刻に対応)t−3がカット点t Cである場合を考える。 frame number (corresponding to time) t-3 corresponding to the t-3 is considered to be a cut point t C.

【0021】まず、画像間距離算出部12において計算する画像距離を規定する関数の例をいくつか以下に挙げる。 Firstly, given an example of a function that defines the image distance calculated in the inter-image distance calculation section 12 to some less. 距離関数の第1の実施例は、フレーム間の輝度差分の絶対値の全ての画素位置(x,y) についての総和 d(ti,tj)=Σ x,y |I i (x,y)−I j (x,y)|/(B MAX ×P) The first embodiment of the distance function, all the pixel positions of the absolute value of the luminance difference between frames (x, y) the sum d (ti, tj) for = Σ x, y | I i (x, y) -I j (x, y) | / (B MAX × P) (1) を使うものである。 (1) is intended to use. ただし、Pは1画面の全画素数を表し、I i (x,y)及びI j (x,y)はそれぞれ画像I ti及びI tjの画素(x,y) における輝度値を表す。 However, P is represents the total number of pixels of one screen, representing a luminance value in I i (x, y) and I j (x, y) respectively images I ti and I tj of pixels (x, y). また輝度値は輝度に対応した強度で表され、画像がカラー画像の場合、輝度値はR,G,B画像信号の各強度で表されるものとする。 The luminance value is represented by intensity corresponding to the brightness, if the image is a color image, the luminance value is assumed to be represented by each intensity of R, G, B image signals. この例ではフレーム間差分の総和を全画素が最大輝度B MAXの場合の明るさで正規化している。 All pixels the sum of inter-frame difference in this example is normalized by the brightness in the case of the maximum luminance B MAX. 従って距離は0≦d(ti,tj)≦1の範囲である。 Thus the distance is 0 ≦ d (ti, tj) range of ≦ 1. 例えばB MAX =255とすると、図2の画像I 0 ,I 4間の距離はd(t,t-4)=Σ For example, the B MAX = 255, the distance between the image I 0, I 4 in FIG. 2 d (t, t-4) = Σ
x,y |0−B MAX |/(B MAX ×P)=1.0と計算される。 x, y | calculated as / (B MAX × P) = 1.0 | 0-B MAX.

【0022】距離関数の第2の実施例は、2つの画像の輝度値あるいは色のヒストグラムを比較する方法である。 Second embodiment of the [0022] distance function is a method of comparing the luminance value or color histograms of two images. 輝度値のヒストグラムとは、1フレームの画像中の各画素の輝度を予め決めたN個の段階の輝度にクラス分けした場合に、それぞれの輝度のクラスに属する画素の数(累積値又は頻度と呼ぶ)で表される。 A histogram of brightness values, 1 when classified in brightness of the N stages predetermined luminance of each pixel in the image frame, the number (cumulative value or frequency of the pixels belonging to the class of the respective luminance represented by called). 画像I ti及び Images I ti and
I tjの輝度値のヒストグラムをそれぞれH i (n)及びH A histogram of luminance values of I tj respectively H i (n) and H
j (n),n=1,2,…,Nとすると、距離関数を次式 d(ti,tj)=Σ|H i (n)−H j (n)| (2) Σはn=1からNまで で表す。 j (n), n = 1,2 , ..., when the N, the distance function equation d (ti, tj) = Σ | H i (n) -H j (n) | (2) Σ is n = represented by from 1 to N. ただし、Nはヒストグラムの段階数である。 However, N is the number of stages of the histogram. カラーヒストグラムの場合は、R,G,B信号レベルのヒストグラムをそれぞれH R (n),H G (n),H B (n)とすると、画像間距離は次式で表される。 For color histogram, R, G, a histogram of the B signal levels respectively H R (n), H G (n), when the H B (n), the inter-image distance is expressed by the following equation.

【0023】 d(ti,tj)=Σ{|H Ri (n)−H Rj (n)|+|H Gi (n)−H Gj (n)| +|H Bi (n)−H Bj (n)|} (3) Σはn=1からNまで 距離関数の第3の実現例は、画像I ti ,I tjの各画素の差分のヒストグラムの中心からの偏りを表す統計量をd [0023] d (ti, tj) = Σ {| H Ri (n) -H Rj (n) | + | H Gi (n) -H Gj (n) | + | H Bi (n) -H Bj ( n) |} (3) Σ third implementation of the distance function from n = 1 to n, the image I ti, a statistical quantity representing the deviation from the center of the histogram of the difference of each pixel of the I tj d
(ti,tj)とする方法である。 It is (ti, tj) and methods. まず、2枚の画像I ti ,I First, the two images I ti, I
tjの間の差分δ(x,y)=I i (x,y)−I j (x,y) を全画素に渡って求める。 difference δ (x, y) between the tj = I i (x, y ) -I j (x, y) determined over all pixels. ここで、I i (x,y)及びI j (x,y)はそれぞれ画像I ti及びI tjの画素(x,y) における輝度値を表す。 Here, it represents a luminance value at I i (x, y) and I j (x, y) respectively images I ti and I tj of pixels (x, y). この差分のヒストグラムの例を図3A,3Bに示す。 An example of a histogram of the difference Figure 3A, the 3B. 図3Aは、画像I ti ,I tjが同じシーンに属する、 Figure 3A is an image I ti, I tj belong to the same scene,
即ち2枚の画像の間にカット点を含まない場合の典型的なヒストグラム形状を示したものである。 That shows a typical histogram shape when free of the cut point between the two images. 図のように、 As shown in the figure,
映像の中に写っているものが多少動いても大半の画素で輝度値の変化は小さいから、差分は0付近に集中していて、0から離れるほどヒストグラムにおける累積値が小さくなっている。 Since the majority of the pixels even those slightly moving that is reflected in the image change of the luminance value is small, the difference is not concentrated near 0, the accumulated value is smaller in the histogram farther from zero. これに対して、図3Bに、画像I ti In contrast, in Figure 3B, an image I ti
I tjの間にカット点を含む場合のヒストグラム形状の一例を示す。 It shows an example of a histogram shape of the case including the cut point between the I tj. 図のように、図3Aとは違ってヒストグラムが0付近に急峻な山を持たず、裾野が高く広がった山形になる。 As shown in the figure, does not have a steep mountain to near zero histogram unlike the FIG. 3A, will foot has spread high Yamagata. そこで、ヒストグラムの裾野が高いほど、画像間距離が大となるように距離を表す関数を規定すればよい。 Therefore, the higher the base of the histogram, may be define a function that represents the distance to image distance becomes larger. ヒストグラムの裾野が高いほどd(ti,tj)が大きくなるような統計量の具体例としては、差分δ(x,y) の標準偏差εを次式のように距離関数として使ってもよい。 The higher the base of the histogram d (ti, tj) Examples of statistics that is larger, the difference [delta] (x, y) may be used the standard deviation ε as a distance function as follows.

【0024】 d(ti,tj)=ε={Σ x,y [δ(x,y)−δ'] 21/2 (4) ただし、δ' は全画素についてのδ(x,y) の平均を表す。 [0024] d (ti, tj) = ε = {Σ x, y [δ (x, y) -δ '] 2} 1/2 (4) However, [delta]' is for all pixels [delta] (x, y It represents an average of). また、第4の距離関数として次式 d(ti,tj)=CNT PIX {|δ(x,y)|>ε} (5) で表されるように、I tiとI tjの差分δ(x,y) の絶対値が標準偏差εを越える画素数をカウントしたものを距離としてもよい。 Further, the following equation d (ti, tj) as a fourth distance function = CNT PIX {| δ (x , y) |> ε} as expressed by (5), I ti and I tj of the difference [delta] ( x, may be used as the distance that the absolute value of y) has counted the number of pixels exceeding the standard deviation epsilon. この距離関数の例では、画像間距離を求めるべき2つの画像I tiとI ti間の差分の標準偏差εを使う場合を説明したが、これらの画像よりmフレーム前の画像I timとI tjm間の差分δ( x,y)の標準偏差ε m In the example of this distance function, a case has been described to use the standard deviation of the difference ε between the two images I ti and I ti should seek image distance, prior m frames from these picture I tim and I TJM the standard deviation of the difference between δ (x, y) ε m
を使って上述と同様に次式 d(ti,tj)=CNT PIX {|δ(x,y)|>ε m } (5′) で表されるように画像I timとI tjm間の差分の絶対値がε mを越える画素数を計数した値を画像間距離としてもよい。 The use in the same way as described above following formula d (ti, tj) = CNT PIX {| δ (x, y) |> ε m} images I tim as represented by (5 ') and the difference between I TJM the value which the absolute value has counted the number of pixels exceeding the epsilon m of may be the inter-image distance. mは1以上の予め決めた一定整数であり、m= m is 1 or more predetermined constant integer, m =
0とした場合は式(5)と同じ距離関数を表すことになる。 If it is a 0 would represent the same distance function as equation (5).

【0025】第5の距離関数として、上述のような画像間差分の標準偏差を使って画像間距離を求める場合、次のように距離関数を決めてもよい。 [0025] As a fifth distance function, when obtaining the image distance with a standard deviation of the inter-image difference, as described above, it may be determined the distance function as follows. 即ち、距離を求めるべき画像の組I tiとI tjに対し、それらよりkフレーム前の画像の組I tikとI tjk間の輝度差分δ(x,y)の標準偏差ε kをk=1からk=nまでのn組についてそれぞれ求め、それらの標準偏差ε kの平均値T=Σ k ε k /n That is, the distance to the set I ti and I tj of the image to be obtained and the standard deviation epsilon k k = 1 of the luminance difference between the set I tik and I tjk thereof than k frames before the image [delta] (x, y) respectively obtained for n sets of up to k = n from the average value of their standard deviation ε k T = Σ k ε k / n
を上式(5′)のε mと同様に使って次式 d(ti,tj)=CNT PIX {δ(x,y)>T} (6) で表されるように、画像I tiとI tj間の差分δ(x,y) の絶対値がTを越える画素数を計数して距離とする。 The use as with epsilon m of the above equation (5 ') as represented by the following formula d (ti, tj) = CNT PIX {δ (x, y)> T} (6), an image I ti the absolute value of the difference δ (x, y) between I tj is the distance by counting the number of pixels exceeding the T. この方法によれば、撮影時の手ブレやカメラの急な動きに起因する画像変化をカットして誤検出することを防ぐ効果がある。 According to this method, the effect of preventing the erroneous detection by cutting the image variation due to the sudden movement of the hand shake and camera during shooting.

【0026】更に第6の距離関数として、画像I tiを図4に示すように予め決めたサイズのブロックに分割し、 Furthermore as a function of the distance sixth, dividing an image I ti into blocks of predetermined size, as shown in FIG. 4,
各ブロック毎に画像I tjのどの部分とマッチするか調べて、いずれの部分にもマッチしないブロックを計数しその計数値を距離d(ti,tj)とする。 Examine part and one matching image I tj throat for each block, counting the block does not match any part to the count value distance d (ti, tj) and. 即ち、画像I tiのあるブロックが画像I tj上のどの位置に移動しているかを検出し、移動検出できなかったブロックの数を計数して距離とする事を意味している。 That is, a picture I ti blocks which means that the distance by counting the number of blocks to detect whether the moved to any position on the image I tj, could not be moved detected. 画像I ti中の各ブロック(例えばp×q画素)と画像I tj上の任意の領域とのマッチングを規定する関数としては、例えばそのブロックのp×q画素の輝度値の配列を1つのベクトルとし、画像I tjの同じサイズの比較すべき領域の輝度値配列をもう1つのベクトルとし、これら2つのベクトル間の距離を次式 D=Σ p,q {b j (p,q)−b i (p,q)} 2で表し、距離Dが予め決めた閾値D th以下の場合、そのブロックと、比較した領域はマッチしたと判定し、DがD thを越えた場合はマッチしなかったと判定する。 Any The function defining the matching between the region, for example, one vector the sequence of the luminance values of p × q pixels of the block on the image I tj each block (e.g. p × q pixels) in an image I ti and then, the luminance value sequence of a region to be compared with the same size of the image I tj and another vector, these two distances between vectors equation D = Σ p, q {b j (p, q) -b i represents (p, q)} 2, the distance when D is less than a predetermined threshold D th, and the block area compared is determined that the matched, unmatched if D exceeds the D th It determines that. 画像 image
I tj上の比較すべき領域はマッチング距離をチェックする毎に予め決めた画素数ピッチで順次シフトさせることを画像I tjの全面に渡って繰り返す。 Regions to be compared on the I tj repeats across the sequentially shifting in predetermined number of pixels pitch each time to check the matching distance on the entire surface of the image I tj. 同様に画像I tiの他のブロックについても画像I tj中にマッチする部分があるかをそれぞれ判定し、マッチングのとれなかったブロックの数を2つの画像間の距離とする。 Similarly for other block of the image I ti whether there is a portion that matches the image I tj be determined respectively, the number of blocks not take the matching with the distance between the two images. 従って画像間距離を次式 d(ti,tj)=CNT BLK {D>D th } (7) のように表すことができる。 Thus the image distance equation d (ti, tj) = CNT BLK {D> D th} (7) can be expressed as in the.

【0027】次に、距離テーブル13について説明する。 [0027] Next, the distance table 13 will be described. 距離テーブル13は上記画像間距離算出部12で求めた画像間距離d(ti,tj)をJ(i=0,…,J-1)×J(j=1, Distance table 13 is the inter-image distance d (ti, tj) obtained by the image distance calculation section 12 a J (i = 0, ..., J-1) × J (j = 1,
…,J)の表にしたものであり、この表のサイズはJであると呼ぶ。 ..., which has a table of J), the size of this table is referred to as being J. 距離テーブル13は例えば計算機内のメモリ上に確保された領域に展開され、メモリを有効使用するために必要がなくなったデータ領域はその上に新しい距離データを上書きして使用する。 Distance table 13 is expanded in an area reserved on the example of the calculation machine memory, the data area no longer needed in order to effectively use the memory are used to overwrite the new distance data over it.

【0028】図2に示す画像データ列に対して、0≦i [0028] the image data train shown in FIG. 2, 0 ≦ i
<j≦7の範囲の整数i,jの全ての組について式(1) <Integer i ranging j ≦ 7, for all sets of j Equation (1)
で計算した画像間距離d(ti,tj)の値を時刻tで得られる表として図5に示す。 In calculated inter-image distance d (ti, tj) as a table obtained values ​​at time t shown in FIG. d(ti,tj)は一般に対称性を持っており、d(ti,tj)=d(tj,ti)が成り立つので、図5の距離テーブルのi>jの領域は計算する必要がない。 d (ti, tj) is has a generally symmetrical, d (ti, tj) = d (tj, ti) so holds, the region of the distance table of i> j in FIG. 5 does not need to be calculated. 更に、後述のように例えば図5の距離テーブルにおいて、0<j−i≦3を満たすd(ti,tj)だけ求めるというようにしてもよい。 Further, in the distance table of for example FIG. 5 as will be described later, 0 <satisfy j-i ≦ 3 d (ti, tj) may be referred to as obtaining only.

【0029】図6は図5の距離テーブルの特徴を示す図である。 [0029] FIG. 6 is a diagram showing a characteristic of a distance table of FIG. 時点、即ちフレーム番号(tj C )がカット点である場合(図5の例ではにはj C =4)、距離テーブルは、 Point, that is, when the frame number (tj C) is cut point (j C = 4 in the example of FIG. 5), the distance table,
領域A1における画像間距離の値が領域A2,A3における画像間距離の値に比べて大きな値を持つという特徴がある。 It is characterized in that the value of the inter-image distance in the area A1 has a larger value than the value of the inter-image distance in the region A2, A3. 領域A1はi<j C ≦jを満たす領域であり、領域の左下角における画像間距離はd(tj C -1,tj C )に対応している。 Region A1 is a region that satisfies i <j C ≦ j, the inter-image distance in the lower left corner of the area corresponds to d (tj C -1, tj C ). 領域A2はi<j≦j C -1を満たす領域であり、領域A3はj C ≦i<jを満たす領域である。 Region A2 is a region that satisfies i <j ≦ j C -1, region A3 is a region that satisfies j C ≦ i <j.

【0030】図7は画像データ列の別の例を示したもので、フレーム(t-4) に対応する画像I t-4にフラッシュ光が写っている例である。 [0030] FIG. 7 shows another example of the image data stream, an example in which flash light is reflected in the image I t-4 corresponding to the frame (t-4). この画像データ列に対する式 The equation for this image data column
(1)による時点tで得られる距離テーブルは図8のようになる。 (1) Distance obtained at time t by the table is as shown in FIG. 図9は、この距離テーブルの特徴を説明する図で、フラッシュ光がフレーム(tj F )に写っている場合には、領域A1,A2,A3内の画像間距離の値が領域A Figure 9 is a view illustrating features of this distance table, when the flash light is reflected in the frame (tj F), the area A1, A2, the value of the inter-image distance in A3 is the area A
4で示すi=j F及びj=j F上の値に比べて小さな値を取る。 Compared to values on the i = j F and j = j F indicated by 4 takes a small value. 図10は画像データ列の更に他の例で、これはテレシネ変換処理を受けた画像列中にカットが含まれる例である。 Figure 10 is a further example of the image data sequence, which is an example that includes cut in the image sequence received a telecine conversion process. 図10において、フレーム(t-4) の画像は画像I 10, the image is an image I of a frame (t-4)
t-3とI t-5の重ね合わせにより合成されたものであり、 It has been synthesized by superposition of t-3 and I t-5,
偶数フィールドが黒、奇数フィールドが白の縞状の画像になっている。 Even field black, odd field is striped image white. 図11は図10の画像データ列に対する式(1)による時点tでの距離テーブルを示し、図12はこの距離テーブルの特徴を示す図である。 Figure 11 shows the distance table at the time t according to equation (1) for the image data sequence of FIG. 10, FIG. 12 is a diagram showing a characteristic of this distance table. 画像I t-4のようなテレシネボケ画像がフレーム(tj T )(図10ではj T Tereshineboke image frames such as an image I t-4 (tj T) ( FIG. 10 j T
=4)にあると、図12に示すように、領域A2,A3 = When in 4), as shown in FIG. 12, regions A2, A3
の画像間距離の値が領域A1の値に比べて小さな値を取り、領域A4で示すi=j T及びj=j T上の画像間距離の値は領域A2,A3における値と領域A1における値の中間程度の値を取る。 Values of image distance takes a smaller value than the value of the area A1, the value of the inter-image distance on i = j T and j = j T indicated by a region A4 is in the value and the region A1 in the region A2, A3 take an intermediate degree of value of value.

【0031】図13はフェードを含む画像データ列の例である。 [0031] FIG. 13 is an example of an image data stream including gradual. 図13において、画像I t-7 ,I t-6が全画面黒の画像であり、画像I t-2 ,I t-1 ,I tが全画面が白の画像であり、そのあいだの画像I t-5 ,I t-4 ,I t-3で徐々に画面が明るくなる。 13, the image I t-7, I t- 6 is an image of the entire screen black image I t-2, I t- 1, I t is the entire screen is white image, that during the image gradually the screen is bright and I t-5, I t- 4, I t-3. 図14は、この画像データ列に対する式 Figure 14 is a formula for the image data sequence
(1)による時点tでの距離テーブルを示し、図15がその特徴を示す図である。 (1) shows the distance table at the time t by a diagram 15 shows its features. 時刻tと共に画像にゆっくりとしたシーン変化が起こっていれば、図15に示す領域A If slow scene change in the image occurred together with the time t, the region A shown in FIG. 15
の右上角から遠ざかるほど画像間距離が小さくなる傾向がある。 Inter-image distance as the distance from the upper-right corner of tends to decrease.

【0032】上述の各種距離テーブルにおいて注目すべきことは、時点tにおいて得られている距離テーブル中の各位置(i,j) の画像間距離データd(ti,tj)はd(t-1- [0032] It should be noted in the above-described various distance table, the inter-image distance data d (ti, tj) at each position in the distance table which is obtained at time t (i, j) is d (t-1 -
i+1,t-1-j+1)と書き換えることができることから明らかなように、直前の時点(t-1)において作成した距離テーブルにおける位置(i-1,j-1) の距離データと同じであることである。 i + 1, t-1-j + 1) and as evidenced by the can be rewritten, the distance data at the position at the distance table generated at the immediately preceding time (t-1) (i-1, j-1) it is that it is the same as that. 即ち、時刻tが更新される毎に距離テーブル中の位置(i,j) の画像間距離データd(ti,tj)は位置 That is, the inter-image distance data d (ti, tj) of the position in the distance table for each of the time t is updated (i, j) is located
(i+1,j+1) にシフトすると共に、最新の距離データd(t, (I + 1, j + 1) as well as shifts, the latest distance data d (t,
t-1),d(t,t-2),…,d(t,tJ)がテーブルの位置(0,1),(0, t-1), d (t, t-2), ..., d (t, tJ) the position of the table (0,1), (0,
2),…,(0,J) に書き込まれることになる。 2), ..., it will be written to (0, J). このデータのシフトによるシフト先の位置(i+1,j+1)がテーブルの外に出るデータは捨てられる。 Data position of the shift destination of the shift of the data (i + 1, j + 1) is out of the table is discarded. 従って、各時点tで距離テーブルの作成のために新たに計算する必要がある画像間距離はd(t,t-1),d(t,t-2),…,d(t,tJ) のみである。 Accordingly, the inter-image distance that need to be newly calculated for the generation of the distance table at each time point t is d (t, t-1), d (t, t-2), ..., d (t, tJ) only. [シーン変化率]次に、シーン変化率算出部14について説明する。 Scene change rate is described next scene change rate calculating section 14. シーン変化率C(tj C )は予め決めた関数により、時刻tで得られているJフレーム前までの画像から得た画像間距離テーブルのデータを使って計算する。 The scene change rate C (tj C) is predetermined function, calculated using the data of the inter-image distance table obtained from the image up to the previous J frame is obtained at time t.
時刻tについて計算されたシーン変化率C(tj C )は現時点からj Cフレーム前の画像がカットであるか否かを判定する評価量であり、予め決めた閾値C thと比較してそれより大きければカットであると判定する。 Scene change rate was calculated for the time t C (tj C) is an evaluation amount is determined whether j C-frame preceding image is cut from the present time, than compared with predetermined threshold value C th larger judged to be cut. シーン変化率算出部14では、カット点、フラッシュ光、テレシネボケ、ゆっくりとしたシーン変化のそれぞれについて距離テーブル13が上述した特徴を持つことを利用してシーン変化率を計算し、判定部15は計算されたシーン変化率C(tj C )を閾値C thと比較してフレーム(tj C )がカットであるか否かを判定する。 In the scene change rate calculating section 14 calculates a scene change ratio based on the fact that with the cut point, the flashlight, Tereshineboke, features distance table 13 described above for each of the slow scene change, the determination unit 15 calculate scene change rate C (tj C) compared with the threshold C th frame (tj C) determines whether it is cut. シーン変化率算出部14におけるシーン変化率を規定する関数の例を示す。 An example of a function that defines the scene change rate of a scene change rate calculating section 14. j cは0 j c 0
<j c ≦J を満足する予め決めた一定整数である。 <A predetermined constant integer satisfying j c ≦ J.

【0033】図5に示す瞬時カットを含む画像列による距離テーブル、及び図11に示すカットを含むテレシネ変換画像列による距離テーブルの例から分かるように、 The distance by the image sequence containing an instantaneous cut shown in FIG. 5 table, and as can be seen from the example of the distance table by the telecine transfer image sequence containing a cut shown in FIG. 11,
シーン変化点(カット点)がある場合、テーブルの領域A1内の画像間距離値は大きく、領域A2,A3内の画像間距離値は小さい。 If there is a scene change point (cut point), the inter-image distance value in the area A1 of the table is large, the inter-image distance values ​​in the areas A2, A3 is small. 図14のフェードが画像列中にある場合の距離テーブルにも、その距離テーブルに図6、 Also the distance table when fade of FIG. 14 is in the image sequence, Figure 6 on the distance table,
13と同様な領域A1,A2,A3を当てはめると同様な傾向があることが分かる。 13 it can be seen that there is a similar tendency Applying similar areas A1, A2, A3 and. これに対し、図8に示したフラッシュを含む画像列による距離テーブルでは領域A In contrast, the region in the distance table by image sequence includes a flash as shown in FIG. 8 A
1,A2,A3内の距離値は全てほぼ同じ値となっている。 1, A2, the distance values ​​in A3 are all almost the same value. そこで、これらの領域A1,A2,A3に着目し、 Therefore, paying attention to these areas A1, A2, A3,
現時点tでJフレーム前までの画像から図16に示すようなサイズJの距離テーブルを0≦i<j≦Jかつji≦ 0 ≦ i the distance table of the size J, such as shown in FIG. 16 from the image up to the previous J frame currently t <j ≦ J and ji ≦
g の範囲で求める。 Determined by the range of g. gは0<g≦Jを満足する予め決めた一定の整数であり、図16はg=j C -1の場合を示している。 g is a predetermined constant integer which satisfies 0 <g ≦ J, FIG. 16 shows a case of g = j C -1. j Cの値は、例えばJ/2 を越える最小の整数とする。 The value of j C is, for example, the smallest integer exceeding J / 2. この距離テーブルにおいてシーン変化率の関数を次のように規定する。 Defining a function of the scene change rate as follows in this distance table.

【0034】 C(tj C )={a(j C )−βMAX[b(j C ),b'(j C )]}/S (8) a(j C )=Σ i,j d(ti,tj) for 0≦i<j C ≦j≦J,ji≦ [0034] C (tj C) = {a (j C) -βMAX [b (j C), b '(j C)]} / S (8) a (j C) = Σ i, j d (ti , tj) for 0 ≦ i < j C ≦ j ≦ J, ji ≦
g b(j C )=Σ i,j d(ti,tj) for 0≦i<j≦j C -1,ji≦ g b (j C) = Σ i, j d (ti, tj) for 0 ≦ i <j ≦ j C -1, ji ≦
g b'(j C )=Σ i,j d(ti,tj) for j C ≦i<j≦J,ji≦g a(j C ) は領域A1内の×印しで示す全ての画像間距離の和であり、b(j C ) は領域A2内の△印で示す全ての画像間距離の和であり、b'(j C )は領域A3内の△印で示す全ての画像間距離の和である。 g b '(j C) = Σ i, j d (ti, tj) for j C ≦ i <j ≦ J, ji ≦ g a (j C) is between all of the image shown by the mark × in the area A1 distance is the sum of, b (j C) is the sum of the distances between all of the image shown by △ mark in the region A2, b '(j C) all inter-image distances indicated by △ mark in the region A3 it is the sum of. MAX[b(j C ),b'(j C )]はb MAX [b (j C), b '(j C)] is b
(j C ) とb'(j C )のいずれか大きい方の値をとることを表す。 represents a (j C) and b 'take any larger of (j C). また、Sは領域A1内の距離データ数(×印の数) Further, S is the distance data number in the area A1 (× number of marks)
を表しており、図16の例ではS=(j C -1)j C /2である。 The represents, in the example of FIG. 16 is a S = (j C -1) j C / 2.
Jが奇数ならば領域A2内のデータ数と領域A3内のデータ数は等しい。 J is the number of data of the data number and the area A3 of the region A2, if odd equal. βは領域A1内のデータ数Sと領域A Data number S and the area A in the β region A1
2またはA3内のデータ数を等価にするための係数である。 The number of data in the 2 or A3 is a coefficient for the equivalent. 図16の領域A1,A2,A3の設定によれば、J According to the setting of regions A1, A2, A3 in FIG. 16, J
が奇数の場合はA1内のデータ数、A2内のデータ数及びA3内のデータ数は全て等しいのでβ=1である。 There number of data in the A1 in the case of an odd number of data of the data number and the A3 in A2 is because beta = 1 all equal.

【0035】g=Jの場合は、距離テーブルの右上角 [0035] In the case of g = J, the upper-right corner of the distance table
(0,J) まで含む全領域を使うことになる。 (0, J) be using the entire region, including up. その場合、S In that case, S
=j C (Jj C +1)であり、β=2(Jj C +1)/(j C -1)は約2となる。 = J is C (Jj C +1), β = 2 (Jj C +1) / (j C -1) is about 2. 図2、10、13に示す距離テーブルの領域A1内はほぼ全面に渡って大きな距離値を示すので、g<Jとなるようにgを選ぶことにより右上角の位置(0,J) を含むある程度の大きさの隅領域を除いても、領域A1内の距離値が領域A2,A3内の距離値に比べて大きな値である特徴は保たれている。 Because the area A1 of the distance table shown in FIG 2,10,13 shows a large distance value substantially over the entire surface, including the position in the upper right corner (0, J) by selecting g so that g <J even excluding the corner region of a certain size, features are maintained distance values ​​in the area A1 is larger value than the distance values ​​in the areas A2, A3. 従って、式(8)によりカット点を検出することができる。 Therefore, it is possible to detect a cut point by equation (8). 前述のように距離値の分布は時刻tが更新される毎に右下方向に1段シフトしていくので、g<Jの場合、時刻tが更新される毎に距離テーブルを作成するのに必要な新たに計算しなければならない画像間距離はd(t,t-1),d(t,t-2),…,d(t,tg) のg Since the distribution of the distance values ​​as described above continue to first shift stage and to the right each time the time t is updated, if the g <J, to create a distance table for each of the time t is updated newly calculated image distance must require d (t, t-1), d (t, t-2), ..., g of d (t, tg)
個だけであり、カット検出能力を低下させずに演算量を削減できる。 Number is only possible to reduce the calculation amount without reducing the cut detection capability. gの値を小さく選べばそれだけ必要な演算量は低減されるが、gの値が小さすぎるとカット検出のエラーが増加するので好ましくはj C -1≦g<Jの範囲とする。 correspondingly required calculation amount be selected values small g but is reduced, since the value of g is too small, an error of the cut detection increases preferably in the range of j C -1 ≦ g <J.

【0036】時点tにおいて得られた図16に示す距離テーブルのデータを式(8)に代入して得られたシーン変化率C(tj C )が予め決めた閾値C thより大であればj C前のフレーム(tj C )の画像においてシーンの変化(カット)があったと判定する。 [0036] If larger in than the threshold value C th obtained scene change rate obtained by substituting the equation (8) the data of the distance table shown in FIG. 16 C (tj C) is predetermined at time t j It determines that there is a change of scene (cut) in the C image of the previous frame (tj C). 例えばJ=5,g=j C =3の場合の距離テーブル上の領域A1,A2,A3の例を図17に示す。 For example illustrating an example of a J = 5, g = j area on C = 3 in the distance when the table A1, A2, A3 in FIG. 17. 領域A1のデータ数Sは6であり、領域A Data number S in the area A1 is 6, the area A
2,A3のデータ数は何れも3であるので、β=2とすればよい。 Since 2, the number of data of A3 are both is 3 may be the beta = 2. C(tj C ),a(j C ),b(j C )及びb'(j C )は図17 C (tj C), a ( j C), b (j C) and b '(j C) is 17
から理解されるように次式で与えられる。 It is given by: As can be seen from.

【0037】 C(tj C )={[a(j C )−2MAX[b(j C ),b'(j C )]}/6, (9) a(j C )=d(t-2,t-3)+d(t-1,t-3)+d(t,t-3) +d(t-2,t-4)+d(t-1,t-4)+d(t-2,t-5), b(j C )=d(t,t-1)+d(t,t-2)+d(t-1,t-2), b'(j C )=d(t-3,t-4)+d(t-3,t-5)+d(t-4,t-5) ここで、a(j C ) は図17に示す領域A1に属するd(ti, [0037] C (tj C) = {[ a (j C) -2MAX [b (j C), b '(j C)]} / 6, (9) a (j C) = d (t-2 , t-3) + d (t-1, t-3) + d (t, t-3) + d (t-2, t-4) + d (t-1, t-4) + d (t-2, t -5), b (j C) = d (t, t-1) + d (t, t-2) + d (t-1, t-2), b '(j C) = d (t-3, t-4) + d (t -3, t-5) + d (t-4, t-5) where, a (j C) belongs to region A1 shown in FIG. 17 d (ti,
tj)の和であり、b(j C )は領域A2に属するd(ti,tj) the sum of tj), b (j C) belong to the region A2 d (ti, tj)
の和であり、b'(j C )は領域A3に属するd(ti,tj)の和である。 Is the sum of, b '(j C) is the sum of d (ti, tj) that belongs to the area A3. 従って画像間距離関数として式(1)を使った場合は、シーン変化率C(tj C )は常に−1≦C(tj C )≦1 When using equation (1) as the inter-image distance function thus, the scene change rate C (tj C) is always -1 ≦ C (tj C) ≦ 1
の範囲の値となる。 Is a value in the range of.

【0038】上述した通り、フレーム(tj C )がカット点である場合には、a(j C ) がb(j C ) 及びb'(j C )の値より大きくなるので、C(tj C )は正の値を持つ。 [0038] As described above, when the frame (tj C) is cut point, because a (j C) is greater than the value of b (j C) and b '(j C), C (tj C ) has a positive value. 別の言い方をすれば、a(j C ) は6つの連続する画像の前3つと後3つからそれぞれ1つずつ選択したフレーム間隔が3以内の2つのフレームの全ての組の画像間距離を加算した量であり、時刻(tj C )で大きくシーンが変わっていれば、a In other words, a and (j C) is between all pairs of images of six two frames of frame intervals selected from previous three 3 after bract one each within three successive images distance an amount obtained by adding, if a large scene change at time (tj C), a
(j C ) は大きな値を持つはずである。 (j C) should have a large value. b(j C ) はフレーム b (j C) frame
(tj C )とそれ以前の合計3つの画像において、全ての組の2枚の画像間の距離を加算した量であり、フレーム(t In (tj C) and earlier total of three images, an amount obtained by adding the distance between two images of all the sets, frame (t
-j C )以前のシーンの動きが小さければ小さいほど小さな値を取る。 -j C) the movement of the previous scene is take a small enough small value is smaller. b'(j C )はフレーム(tj C )より後の3つの画像において、全ての組の2枚の画像間の距離を加算した量であり、フレーム(tj C )より後に現れたシーンの動きが小さければ小さいほど小さい値を取る。 In b '(j C) three images after the frame (tj C), an amount obtained by adding the distance between two images of all the sets, the movement of the scene appearing after the frame (tj C) take a small smaller value is smaller.

【0039】例えば図17の距離テーブルに基づいて式 [0039] For example equation based on the distance table of Fig. 17
(9)に具体的数値を適用するため、図5の距離テーブルにおいて図17に示す領域パターンマップをその位置 (9) for applying specific numerical values ​​to its position area pattern map shown in FIG. 17 in the distance table of Fig. 5
(i,j)=(4,5) が図5のテーブルの位置(i,j)=(6,7) に一致するように重ねて、対応する領域のデータを使って時点(t-1) におけるシーン変化率C(tj C )(ただし図17 (I, j) = (4,5) is superimposed to match the position (i, j) = (6,7) in the table of FIG. 5, when using the data of the corresponding area (t-1 scene change rate C in) (tj C) (although Fig. 17
におけるj C =3)を次のように計算する。 J C = 3) a calculated as follows in.

【0040】a(3)=0+0+0+1+1+1=3, b(3)=0+1+1=2, b'(3)=0+0+0=0, C(t-1-3)=(3-2×2)/6=-1/6=-0.16 次の時点tにおいては、図17の領域パターンマップを一段左上にシフトする。 [0040] a (3) = 0 + 0 + 0 + 1 + 1 + 1 = 3, b (3) = 0 + 1 + 1 = 2, b '(3) = 0 + 0 + 0 = 0, C in (t-1-3) = (3-2 × 2) /6=-1/6=-0.16 order time t, shift the area pattern map of FIG. 17 in one stage upper left. その結果、図5中の位置(1,2), As a result, the position in FIG. 5 (2),
(1,3),(1,4) におけるデータ0,0,1が最新の距離データとして図17中の位置(0,1),(0,2),(0,3) に書き込まれる。 (1,3), Data 0,0,1 in (1,4) position in FIG. 17 as the latest distance data (0,1), (0,2), are written to the (0,3). この状態でのシーン変化率は次のように計算される。 Scene change rate in this state is calculated as follows.

【0041】a(3)=1+1+1+1+1+1=6, b(3)=0+0+0=0, b'(3)=0+0+0=0, C(t-3)=(6-2×0)/6=1.0 これら2つの計算例において、時点(t-1) における距離テーブルから計算したシーン変化率C(t-4)の値は負であり、カットは生じていない。 [0041] a (3) = 1 + 1 + 1 + 1 + 1 + 1 = 6, b (3) = 0 + 0 + 0 = 0, b '(3) = 0 + 0 + 0 = 0, C (t-3) = (6-2 × 0) /6=1.0 in these two calculation examples, the value of time (t-1) scene change rate was calculated from the distance table at the C (t-4) is a negative Yes, cut does not occur. これに対し、時点tにおける距離テーブルから計算されたシーン変化率C(t-3)は1 In contrast, the scene change rate C (t-3) calculated from the distance table at time t 1
となっており、例えば閾値C th =1/16と設定しておけば、時点tにおいて3つ前のフレーム(t-3)にカットが検出されたことを意味する。 Has become, for example, by setting the threshold C th = 1/16, it means that the cut is detected in three previous frame (t-3) at time t. なお、閾値C th =1/16は判定エラーが最も少なくなるように実験により決めた値である。 Incidentally, a value determined by the threshold C th = 1/16 are determined error the least so as experimentally.

【0042】この例で分かるように、カット点のところでC(tj C ) は1に近い値を取る。 [0042] As can be seen in this example, C (tj C) at a cut point takes a value close to 1. また、例えば手ぶれやパン(カメラを水平に動かす操作)が映像中に存在しても、それをカット点であると誤検出してしまうことが少なくない。 Further, for example, be shake or pan (camera horizontally moving operation) is present in video, it is not rare that erroneously detected as a cut point. なぜなら、手ぶれやパンがある場合にもa This is because, a even in the case where there is a shake and bread
(j C ) が大きな値を持つが、同時にb(j C ) ,b'(j C )が大きな値を持つため、式(2)では互いに打ち消し合ってC (j C) but has a large value, at the same time b (j C), since the b '(j C) has a large value, cancel each other in Formula (2) C
(tj C ) が小さくなるからである。 This is because (tj C) decreases.

【0043】式(9)を図17に適用して実際の一連の入力画像に付いてカットを検出するには、常に現時点tから5フレーム前までの6つのフレームに付いて図17の領域A1,A2,A3内の画像間距離d(ti,tj)が得られておればよく、しかも時刻tが更新される毎に図17 [0043] Equation (9) to detect a cut with the application to the actual series of input images in Figure 17 is a region A1 in Fig. 17 always with the six frames from the present time t to 5 frames before , A2, image distance d (ti, tj) in the A3 it is sufficient to obtain, yet each of the time t is updated 17
中の位置(0,1),(0,2),(0,3) の画像間距離のみ新たに計算し、それまで保持していたデータは全て一段右下にシフトするだけでよい。 Position in the (0,1), (0,2), it is only the inter-image distance only newly calculated shift all one stage lower right data which has been held until that of (0,3).

【0044】次に、図7に示したフラッシュ光が画像列入っている場合の図8のデータに対し、図17の領域パターンマップを上述と同様に適用して式(9)によりシーン変化率を時点(t-1),t,(t+1) に付いて計算した結果を示す。 Next, with respect to the data of Figure 8 when the flash light as shown in FIG. 7 is on the image sequence, a scene change rate by the equation (9) by applying the area pattern map of FIG. 17 in the same manner as described above the time (t-1), t, shows the result of calculation with the (t + 1). C(t-1-3)=(3-2×2)/6=-1/6=-0.16 C(t-3)=(3-2×2)/6=-1/6=-0.16 C(t+1-3)=(2-2×2)/6=-2/6=-0.3 この計算結果から分かるように、時点(t-1) とtの何れの場合も図9に示す領域A4内のi=j F上の3つの“1”とj=j F上の4つの“1”のうちの3つとが相殺し合うので、シーン変化率C(t-4),C(t-3)が閾値1/16より小さくなっており、フラッシュ光をカット点として誤検出する事がない。 C (t-1-3) = (3-2 × 2) /6=-1/6=-0.16 C (t-3) = (3-2 × 2) /6=-1/6=-0.16 C (t + 1-3) = (2-2 × 2) /6=-2/6=-0.3 as can be seen from the calculation results, in any case the time (t-1) and t in FIG. 9 since bract 3 of the four "1" on the three "1" and j = j F on i = j F in the area A4 indicated cancel, the scene change rate C (t-4), C (t-3) and is smaller than the threshold value 1/16, have never erroneously detecting flashlight as the cut point. 従来方法では、図8におけるd(t-3, In the conventional method, d in FIG. 8 (t-3,
t-4)が大きな値を取るのでフレーム(t-4) をカット点であると誤判定することが多かった。 t-4) that were often misjudged frame (t-4) as the cut point so takes a large value.

【0045】図10に示したように画像列にテレシネボケ画像が画像列中に入っている場合には、図12に示す領域A4内の距離値は中間的値であるが、領域A1内の距離値が大きいのでC(tj C )は1に近い値を取る。 [0045] When the Tereshineboke image in the image sequence as shown in FIG. 10 is entered into the image sequence, the distance values ​​in the area A4 shown in FIG. 12 is an intermediate value, the distance in the area A1 since the value is greater C (tj C) takes a value close to 1. 前述と同様に図11の距離テーブルに対し図17の領域パターンマップを時点(t-1), t, (t+1) の位置に重ねて式 Time area pattern map of FIG. 17 with respect to the distance table the same way as described above FIG. 11 (t-1), t, superimposed on the position of (t + 1) wherein
(9)によりC(tj C )をそれぞれ算出すると、 C(t-1-3)=(4.5-2×1)/6=5/12=0.4 C(t-3)=(4.5-2×1)/6=5/12=0.4 C(t+1-3)=(2-2×2)/6=-1/3=-0.3 が得られる。 After calculating C a (tj C), respectively by (9), C (t- 1-3) = (4.5-2 × 1) /6=5/12=0.4 C (t-3) = (4.5-2 × 1) /6=5/12=0.4 C (t + 1-3) = (2-2 × 2) /6=-1/3=-0.3 is obtained. C(t-3)>1/16,C(t-4)>16なのでフレーム C (t-3)> 1/16, C (t-4)> 16 because frame
(t-3) 及び(t-4) がカット点であると正しく判定される。 (T-3) and (t-4) is correctly determined as a cut point. 即ち、この例では複数のフレームに渡ってカットが続いていることを示している。 That is, in this example indicates that the subsequent cut across multiple frames. 図11のd(t-3,t-4), d Figure 11 d (t-3, t-4), d
(t-4,t-5)のように画像間距離が小さいと、従来方法ではフレーム(t-4),(t-5) をカット点として検出できない場合が多かった。 If (t-4, t-5) inter-image distance is less like, in the conventional method frame (t-4), in many cases not be detected as a cut point (t-5).

【0046】図13に示したように画像列にフェード等のゆっくり変化する複数画像を含む場合は、図15に示す領域Aの右上ほど大きな値をとることから、前述と同様に図14の距離テーブルに対し図17の領域パターンマップを時点(t-1), t,(t+1)の位置に重ねて式(9)により計算したC(tj C )は次のようになる。 [0046] When including a plurality of images to be slowly varying fades, such as the image sequence as shown in FIG. 13, since taking a larger value as the upper right of the region A shown in FIG. 15, the distance 14 in the same manner as described above time area pattern map of FIG. 17 with respect to the table (t-1), t, (t + 1) C calculated by equation (9) superimposed on the position of (tj C) is as follows. C(t-1-3)=(3.5-2×0.8)/6=0.31 C(t-3)=(3.0-2×1.2)/6=0.1 C(t+1-3)=(2.1-2×1.0)/6=0.016 となり、シーンが変化していることを正しく検出できる。 C (t-1-3) = (3.5-2 × 0.8) /6=0.31 C (t-3) = (3.0-2 × 1.2) /6=0.1 C (t + 1-3) = (2.1- 2 × 1.0) /6=0.016 next, it can properly detect that the scene has changed.

【0047】なお、シーン変化率算出部14が計算するシーン変化率C(tj C )を規定する式としては、 C(tj C )={a(t)−β[b(t)+b'(t)]}/S, (10) a(j C )=Σ i,j d(ti,tj) for 0≦i<j C ≦j≦J, ji≦ [0047] Note that the expression for defining the scene change rate calculating a scene change rate calculating section 14 C (tj C), C (tj C) = {a (t) -β [b (t) + b '( t)]} / S, ( 10) a (j C) = Σ i, j d (ti, tj) for 0 ≦ i <j C ≦ j ≦ J, ji ≦
g b(j C )=Σ i,j d(ti,tj) for 0≦i<j≦j C -1, ji≦ g b (j C) = Σ i, j d (ti, tj) for 0 ≦ i <j ≦ j C -1, ji ≦
g b'(j C )=Σ i,j d(ti,tj) for j C ≦i<j≦J, ji≦g を使ってもよい。 g b '(j C) = Σ i, j d (ti, tj) for j C ≦ i <j ≦ J, may use ji ≦ g.

【0048】図18は、本発明により入力画像列中の映像カット点をリアルタイムで検出する方法の一実施例の処理フロー図である。 [0048] Figure 18 is a process flow diagram of one embodiment of a method for detecting a video cut point in the input image sequence in accordance with the present invention in real time. ここで、処理がリアルタイムであることは、映像を標準的な速度で表示、記録、転送しながら映像カット点検出処理ができることを意味する。 Here, that a process is real time, displaying an image in a standard speed, the recording means can be the video scene change detection process while transferring. また、画像が1フレーム入力される毎の時刻tと一連の画像のフレーム番号とは同じものとし、距離テーブル13 The image is the same as the frame number of the time t and a set of images for each of the one frame input, distance table 13
は図17に示すのと同じJ=5,g=j C =3とする。 The same J = 5, g = j C = 3 as is shown in FIG. 17.

【0049】ステップS1では、時刻tを0に初期化する。 [0049] In step S1, the time t is initialized to 0. 即ち、処理開始時刻を0とみなす。 In other words, the processing start time regarded as 0. ステップS2では時刻tにおける画像をバッファメモリ11に読み込む処理を行う。 It performs a process of reading an image in the buffer memory 11 in step S2 the time t. この処理には、例えば前処理として、映像信号をA/D変換して処理可能なディジタルデータに変換する処理も含まれる。 This process, for example, as a pretreatment, also includes a process for converting a video signal A / D converted and can be processed digital data. ステップS3では、距離テーブル中のデータ領域A1,A2,A3内の各位置(i,j) のデータd(ti,tj)を位置(i+1,j+1) にシフトし、画像間距離算出部12において、j=1,2,3 について例えば式 In step S3, the position of the data area A1, A2, the A3 in the distance table (i, j) data d (ti, tj) of the shift in the position (i + 1, j + 1), the inter-image distance in calculation unit 12, for j = 1, 2, 3 for example formula
(1)により画像間距離d(t,tj)を求め、距離テーブル1 (1) determine the image distance d (t, tj), the distance table 1
3の位置(0,1),(0,2),(0,3) に格納する。 3 positions (0,1), (0,2), and stores it in the (0,3). この場合、時間的に隣り合う画像の間の距離d(t,t-1)だけではなく、 In this case, the distance d (t, t-1) between adjacent images in time not only
d(t,t-2),d(t,t-3)などの時間的に離れた画像間の距離を算出して利用する点で従来方法とは異なる。 d (t, t-2), different from the d (t, t-3) Distance conventional methods in that it utilizes to calculate the between temporally distant images, such as. ステップS4では、シーン変化率算出部14において、距離テーブル13のデータを使って、例えば式(9)によりシーン変化率C(t-3) を求める。 In step S4, the scene change rate calculating section 14, using the data of the distance table 13, obtains the scene change rate C (t-3), for example, by Equation (9). ステップS5では、C(t-3) In step S5, C (t-3)
が閾値1/16より大か小か比較しC(t-3)>1/16の場合、フレーム(t-3) がカット点と判定し(ステップS6)、C There Compares than atmospheric or small threshold 1/16 C For (t-3)> 1/16, frame (t-3) is determined to cut point (step S6), C
(t-3)≦1/16の場合、フレーム(t-3) はカット点でないと判定する(ステップS7)。 For (t-3) ≦ 1/16, frame (t-3) is determined not to be cut point (step S7). その後、ステップS8で時刻tを1だけ増し、ステップS2に戻る。 Then, the time t increases by 1 at step S8, the flow returns to step S2.

【0050】なお、上述した式(9)を用いてシーン変化率C(tj C )を求める場合には、図18の処理フローからも分かるように、時刻tの時に初めて時刻(tj C )のカット点判定ができるので、時間的にj C画像だけカット点検出に遅延が生じるが、応用上問題はない。 [0050] Note that when using equation (9) described above obtaining the scene changing ratio C (tj C), as can be seen from the processing flow of FIG. 18, the first time at time t of (tj C) since it is cut point determination, but temporally delayed only cut detection j C image occurs, applications there is no problem. また、実際にはステップS4のシーン変化率の計算とそれ以降のステップS5〜S7の処理は、図17に示すテーブルの領域A1,A2,A3がデータで満たされるまで実行せず、 Moreover, in practice the process of calculation and subsequent step S5~S7 scene change rate of the step S4 is not executed until region A1, A2, A3 of the table shown in FIG. 17 is filled with data,
ステップS2,S3,S8を所定回数繰り返してテーブルのこれら領域がデータで満たされてからステップS4 Step S2, S3, S8 step S4 from these regions of the predetermined number of repeated table is filled with data
〜S7の処理の実効を可能とする。 To enable the effective processing of ~S7. 図17の場合、最初の画像フレームが入力されてから、更に3×5フレームの画像が入力されると距離テーブル13の3つの領域が距離データで満たされる。 For Figure 17, three regions from the input of the first image frame, further 3 × 5 frame of image is input distance table 13 are filled with distance data. 普通、映像の開始後、数10 Usually, after the start of the video, number 10
フレームでカットがあることはないので、最初のフレームから数10フレームのあいだカットの検出を行わなくても問題はない。 Since there is no possibility that a cut in the frame, there is no problem even without the detection of between cuts having 10 frames from the first frame.

【0051】シーン変化率を規定する他の関数の例を次ぎに説明する。 [0051] will be described in following the example of other functions that define the scene change rate. 図5、8、11、14などで説明したように、距離テーブルに示される画像間距離データは画像列中に存在するシーン変化の種類により特徴的な分布を示す。 As described with reference to FIG. 5,8,1 1, 14, the inter-image distance data shown in the distance table indicates the characteristic distribution depending on the type of scene change to be present in the image sequence. そこでそれらの検出したい1つ又は複数の種類のシーン変化(カット)にそれぞれ代表的な距離データ分布のテーブルをシーン変化率算出部14にそれぞれ予め用意しておく。 So keep one or more kinds of scene changes each representative distance data distribution (cut) table want their detection are prepared in advance respectively in the scene change rate calculating section 14. これをテンプレートと呼ぶ。 This is referred to as a template. 図19A, FIG. 19A,
19B,19Cはそれぞれ瞬時カット検出用テンプレートT CT (i,j)、フェード検出用テンプレートT FD (i,j)及びフラッシュ検出用テンプレートT FL (i,j)の例であり、いずれもサイズはJ=5の場合である。 19B, 19C are examples of the instantaneous cut detection template T CT respectively (i, j), a fade detection template T FD (i, j) and a flash detection template T FL (i, j), any size it is the case of J = 5. ここで示すシーン変化率C(tj C ) は1フレームの画像データが入力される毎に作成したこれらと同じサイズJの図20に示すような距離テーブルとテンプレートとの間の類似度によって規定する。 Here the scene change rate indicating C (tj C) is defined by the degree of similarity between the distance table and the template as shown in FIG. 20 of the same size J as those created each time the image data of one frame is input . テンプレートとの類似度は、例えば相互相関係数R(d,T)によって表す。 Similarity to the template, for example, represented by the cross-correlation coefficient R (d, T). その場合は、次式で表すことができる。 In that case, it can be expressed by the following equation.

【0052】 C(tj C )=R(d,T) =Σ i,j {d(ti,tj)−d AV }{T(i,j)−T AV }/(σ d σ T ) 1/2 (11) d AV =1/SΣ i,j d(ti,tj) : d(ti,tj)の平均値 T AV =1/SΣ i,j T(i,j) : T(i,j)の平均値 σ d =1/SΣ i,j {d(ti,tj)−d AV2 : d(ti,tj) [0052] C (tj C) = R ( d, T) = Σ i, j {d (ti, tj) -d AV} {T (i, j) -T AV} / (σ d σ T) 1 / 2 (11) d AV = 1 / SΣ i, j d (ti, tj): d (ti, tj) mean T AV = 1 / SΣ i of, j T (i, j) : T (i, the average value of j) σ d = 1 / SΣ i, j {d (ti, tj) -d AV} 2: d (ti, tj)
の分散 σ T =1/SΣ i,j {T(i,j)−T AV2 : T(i,j)の分散 ただし、i,jは0≦i<j≦Jを満足する全ての組であり、Sはその組の数であり、Σ i,jはその全ての組についての総和を表す。 Distributed σ T = 1 / SΣ i, j {T (i, j) -T AV} 2: T (i, j) dispersion, however, i, j are all satisfying the 0 ≦ i <j ≦ J a set, S is the number of the set, Σ i, j represents the sum of all pairs. この場合も、テンプレート及び距離テーブルの領域をj−i≦g,0<g<Jに制限してもよい。 Again, the area of ​​the template and the distance table j-i ≦ g, 0 <g <may be limited to J.

【0053】シーン変化率算出部14は各入力画像フレーム毎に求めた図20に示す距離テーブルと図19A, [0053] The scene change rate calculating unit 14 distance table and Figure 19A shown in FIG. 20 determined for each input image frame,
19B,19C等に示すテンプレートの所望の1つ又は複数との類似度R(d,T) をシーン変化率として式(11)によりそれぞれ計算し、その値が予め決めた閾値R thより大であれば対応するシーン変化がフレーム(tj C )にあると判定する。 19B, the similarity R (d, T) of the desired one or more template shown in 19C, etc. Each calculated by Equation (11) as a scene change rate, at greater than the threshold R th of the value is predetermined It determines that a scene change corresponding if there is a frame (tj C).

【0054】図21は上述の複数のテンプレートを使ってどの様なシーン変化(カット)が入力画像列中のどのフレームに存在するかを検出する処理フローを示し、基本的な手順は図18と同様である。 [0054] Figure 21 shows a process flow of detecting what kind of scene change with the above plurality of templates (cut) is present in which frame in the input image sequence, a basic procedure 18 it is the same. ただし、この例ではフラッシュはカットではないが、画像列中の検出対象の1つとして加えてある。 However, although the flash is not a cut in this example, it is added as one of the detection target in the image sequence. ステップS1で時刻tを0に初期化し、ステップS2で現時点tの画像データを取り込む。 Initialize the time t to 0 in step S1, capturing image data of the current t in step S2. ステップS3で距離テーブルの全ての位置(i,j) の距離データd(ti,tj)を位置(i+1,j+1) にシフトする。 All positions of the distance table at the step S3 (i, j) the distance data d (ti, tj) of the shift in the position (i + 1, j + 1).
バッファメモリ11(図1)に保持されているJフレーム前までのJ+1枚の画像フレームを使って画像間隔距離d(t,tj),j=1,2,…,J を例えば式(1)により計算し、 Buffer memory 11 image interval distance by using J + 1 image frames up to the previous J frame held in (FIG. 1) d (t, tj), j = 1,2, ..., J, for example, equation (1) calculated by,
テーブル中の位置(0,j) にそれぞれ書き込むことにより現時点tでの距離テーブルを得る。 Obtaining a distance table at the present time t by writing respective positions in the table (0, j). ステップS4で図1 FIG Step S4 1
9Aの瞬時カット検出用テンプレートと現時点での距離テーブルの類似度を式(11)により計算する。 An instantaneous cut detection template and the similarity of the distance table at the current time of 9A calculated by equation (11). ステップS Step S
5で類似度を所定の閾値R thと比較し、閾値以下であれば瞬時カットはなかったと判定してステップS6に進み、図19Bのフェード検出用テンプレートと現時点の距離テーブルの類似度を式(11)により計算する。 5 a similarity with a predetermined threshold value R th, the process proceeds to step S6 it is determined that the abrupt scene was not as long below the threshold, wherein the similarity of fading detection template and the current distance table of FIG. 19B ( calculated by 11). ステップS7でフェード検出用テンプレートとの類似度を閾値R thと比較し、閾値以下であればフェードはなかったと判定してステップS8に進み、図19Cのフラッシュ検出用テンプレートと現時点の距離テーブルの類似度を式 The similarity between the fade detection template in step S7 is compared with a threshold value R th, the process proceeds to step S8 it is determined that the fade was not as long below the threshold, similar flash detection template and the current distance table of Fig. 19C degree an expression
(11)により計算する。 Calculated by (11). ステップS9でフラッシュ検出用テンプレートとの類似度を閾値R thと比較し、閾値以下であればフラッシュはなかったと判定し、ステップS1 The similarity between the flash detection template at step S9 is compared with a threshold value R th, determines that the flash was not as long below the threshold, step S1
0で時刻tを更新してステップS2に戻る。 0 to update the time t in the flow returns to step S2. ステップS Step S
5,S7,S9のいずれにおいても類似度が閾値R thより大であった場合は、対応するシーン変化がフレーム(t 5, S7, if the degree of similarity in any of S9, was greater than the threshold value R th, corresponding scene change frame (t
-j C )にあったと判定し、ステップS10で時刻を更新してステップS2に戻る。 It determines that were in -j C), the flow returns to step S2 to update the time in step S10.

【0055】以上この発明のカット検出方法の原理を具体例により説明したが、この発明のカット検出方法を実施するカット検出装置は図1の構成のみでなく、以下に説明するような構成も可能である。 [0055] Although the principles of the cut detection method of the invention has been described by specific examples, cut detection apparatus for performing the cut detection method of the present invention is not only the configuration of FIG. 1, it can also be configured as described below it is. 図22はカット検出装置の他の実施例であり、図1のバッファメモリ11と対応してJ+1 個のフレームバッファ11 0 〜11 Jが設けられ、また図1の画像間距離算出部12に対応してJ個の画像間距離算出部12 1 〜12 Jが設けられている。 Figure 22 shows another embodiment of the cut detection apparatus, J + 1 frames buffer 11 0 to 11 J are provided corresponding buffer memory 11 in FIG. 1, also the inter-image distance calculation section 12 of FIG. 1 the J inter-image distance calculation section 12 1 to 12 J are provided corresponding to. 新しい画像フレームI tをバッファに格納する前に、それまでフレームバッファ11 0 〜11 J-1に保持されている画像フレームをバッファ11 1 〜11 Jにそれぞれ転送し(従ってバッファ11 Jにそれまで保持されていた画像データは捨てられる)、新しい画像フレームI tがバッファ11 0に書き込まれる。 The new image frame I t before storing in the buffer, the image frame stored in the frame buffer 11 0 ~11 J-1 transferred respectively to the buffer 11 1 to 11 J (hence far into the buffer 11 J until then image data that has been held is discarded), the new image frame I t is written into the buffer 11 0. 全てのバッファに画像フレームの格納が完了すると、画像間距離算出部12 1 〜12 Jはそれぞれフレームバッファ11 1 〜11 Jから読み出された画像フレームI When storage of image frames for all buffers is completed, the inter-image distance calculation section 12 1 to 12 J an image frame I read from the frame buffer 11 1 to 11 J, respectively
t-1 ,I t-2 ,…,I tJが与えられると共に、フレームバッファ11 0から現時点tでの最新画像フレームI tが共通に与えられ、それぞれ画像間距離d(t,t-1),d(t,t-2),…,d t-1, I t-2, ..., with I tJ is given, the most recent image frame I t at the current time t from the frame buffer 11 0 is supplied with a common, each inter-image distance d (t, t-1) , d (t, t-2), ..., d
(t,tJ) を例えば式(1)を使って計算する。 (T, tJ) to calculate, for example, using Equation (1). これらの画像間距離は距離テーブルメモリ部13に与えられ、図2 Between these images distance is given to the distance table memory part 13, FIG. 2
3に示すJ=5の場合の距離テーブル上の位置(0,1), Position on the distance table when the J = 5 shown in 3 (0,1),
(0,2),…,(0,J)に対応するアドレス領域に書き込まれる。 (0,2), ..., are written in the address area corresponding to the (0, J). ただし、その書き込みを行う前に、既にあるテーブル上の位置(i,j) のデータd(ti,tj)を図23中に矢印で示すように位置(i+1,j+1) にシフトする。 However, the shift before performing the write data d (ti, tj) position on already table (i, j) to the position (i + 1, j + 1) as shown by arrows in FIG. 23 to. このシフトによりテーブルの外に位置することになるデータは捨てられる。 Data which is to be located outside of the table by this shift is discarded. この様にして時点tにおいて得られた距離テーブルを使って、シーン変化率算出部14は前述の所望のシーン変化率計算方法に基づいてシーン変化率C(tj C ) Using the distance table obtained at time t in this manner, the scene change rate scene change rate calculating unit 14 based on the desired scene change rate calculation method described above C (tj C)
を計算する。 To calculate. 判定部15は与えられたシーン変化率を閾値と比較し、その比較結果によりシーン変化があったか否かを判定する。 Determination unit 15 compares a threshold scene change rate given, determines whether a scene change by the comparison result.

【0056】図22の実施例によればフレームバッファと画像間距離算出部を複数設ける必要があるが、画像データをパイプライン的に高速に処理することが可能である。 [0056] It is necessary to provide a plurality of frame buffers and inter-image distance calculation section according to the embodiment of FIG. 22, it is possible to process the image data into the pipeline at high speed. カット検出装置のもう1つの実施例を図24に示す。 Another embodiment of the cut detection apparatus shown in FIG. 24. この実施例は図1に示した動作原理的構成をより実際的に実現するために、コンピュータ構成としたものであり、画像列蓄積部11、画像間距離算出部12、距離テーブルメモリ部13、シーン変化率算出部14等はバス19を介して接続された計算制御部(CPU)20によりそれらの動作が制御される。 This embodiment in order to more practically realizing the operation principle configuration shown in FIG. 1, is obtained by a computer arrangement, the image sequence storage unit 11, the inter-image distance calculation section 12, the distance table memory part 13, the scene change rate calculating section 14, etc. these operations are controlled by the calculation control unit (CPU) 20 connected via a bus 19. 画像データ入力部10 Image data input unit 10
は入力画像データI tを計算制御部20の制御のもとに1 The original control of the input image data I t the calculation control unit 20 1
フレーム取り込んで画像列蓄積部11に転送する。 And transfers the image sequence storage unit 11 takes in the frame. 画像列蓄積部11は例えばコンピュータの主記憶部であり、 Image sequence storage unit 11 is a main storage unit, for example a computer,
予め割り当てられたJ+1 フレーム分のバッファ領域11 0 Buffer region 11 of the pre-assigned J + 1 frame 0
〜11 Jが設けられており、最も新しいJ+1 フレーム分の画像を保持している。 To 11 J is provided, and holds the most recent J + 1 frame image. 図22の場合と同様に、現時点t As in the case of FIG. 22, the present time t
の新しい画像フレームが入力部10に入力されると、まず画像列蓄積部11の領域11 0 〜11 J-1 (図示せず)内のデータI t ,…,I t-J+1をそれぞれ領域11 1 〜11 Jに書き込み、領域11 0に入力部10から最新画像データを書き込む。 When a new image frame is input to the input unit 10, first data I t in the region 11 of the image sequence storage unit 11 0 ~11 J-1 (not shown), ..., I t-J + 1 each writing in the area 11 1 to 11 J, and writes the latest image data from the input unit 10 to the region 11 0. 画像列蓄積部11への書き込みが完了すると、計算制御部20は蓄積部11から画像フレームI tとI tjの組を読みだして画像間距離算出部12に与えて画像間距離d(t,tj)を計算させ、その計算結果を距離テーブルメモリ部13のテーブル(図23参照)内の位置(0,j) に転送することをj=1,2,…,Jについて順次繰り返す。 When writing to the image sequence storage unit 11 is completed, the calculation control unit 20 is an image frame from the storage unit 11 I t and between given by reading a set of I tj in the inter-image distance calculation section 12 image distance d (t, tj) is calculated and the calculation result of the length position in the table (see FIG. 23) of the table memory unit 13 (0, to transfer to j) j = 1, 2, ..., sequentially repeated for J. これによって距離テーブルメモリ部13の距離テーブルにはJ個の新しい距離データが得られる。 This is the distance table of the distance table memory part 13 is the J new distance data obtained.

【0057】 [0057]

【発明の効果】以上説明したように、本発明によれば画面変化量として時間的にとなり合った2枚の画像を比べるだけでなく、時間的に離れた画像の間を変化量を考慮してシーン変化率を算出することにより、時間的にゆっくりと変化するシーン変化を検出でき、テレシネ変換された映像、フラッシュ光を含む映像などを統一的にリアルタイムに処理できる映像カット点検出方法及び装置を提供できる効果がある。 As described above, according to the present invention, not only comparing the two images adjacent in time as the screen change amount according to the present invention, in consideration of the variation between the temporally separated images Te by calculating the scene change rate, can detect temporally slowly changing scene changes that, telecine converted video, unified video cut point can be processed in real-time detection method and apparatus and a video containing flashlight there is an effect that can offer.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】この発明のカット検出装置の動作原理的構成を示すブロック図。 1 is a block diagram showing the operating principle construction of cut detection apparatus according to the present invention.

【図2】カットを含む画像列の例を示す図。 FIG. 2 shows an example of an image sequence containing a cut.

【図3】Aはカットのない場合の2つの画像の差分ヒストグラムの例を示す図、Bはカットのある場合の2つの画像の差分ヒストグラムの例を示す図である。 [3] A is a diagram showing an example of the difference histograms of the two images in the absence of cuts, B is a diagram showing an example of the difference histograms of the two images when a cut.

【図4】2つの画像間のブロックマッチングを説明するための図。 Diagram for explaining a block matching between the [4] two images.

【図5】図2の画像列により作成された距離テーブルの例を示す図。 5 is a diagram showing an example of a distance table generated by the image sequence of FIG.

【図6】図5の距離テーブルの特徴を説明するための図。 6 is a diagram for explaining the characteristics of the distance table of Fig.

【図7】フラッシュ画像を含む画像列を示す図。 FIG. 7 is a diagram showing an image column that contains the flash image.

【図8】図7の画像列により作成された距離テーブルの例を示す図。 8 is a diagram showing an example of a distance table generated by the image sequence of FIG.

【図9】図8の距離テーブルの特徴を説明するための図。 Figure 9 is a diagram for explaining the characteristics of the distance table of Fig.

【図10】カットを含むテレシネ変換画像列の例を示す図。 10 is a view showing an example of a telecine converted image sequence containing a cut.

【図11】図10の画像列により作成された距離テーブルの例を示す図。 11 is a diagram showing an example of a distance table generated by the image sequence of FIG. 10.

【図12】図11の距離テーブルの特徴を説明するための図。 Figure 12 is a diagram for explaining the characteristics of the distance table of Fig. 11.

【図13】フェードを含む画像列の例を示す図。 13 is a diagram showing an example of an image sequence containing a fade.

【図14】図13の画像列により作成された距離テーブルの例を示す図。 14 illustrates an example of a distance table generated by the image sequence of FIG. 13.

【図15】図14の距離テーブルの特徴を説明するための図。 Figure 15 is a diagram for explaining the characteristics of the distance table of Fig. 14.

【図16】距離テーブルからシーン変化率を求める方法の例を説明するための図。 Figure 16 is a diagram for explaining an example of how the distance table obtains a scene change rate.

【図17】J=5の場合の距離テーブルによりシーン変化率を求める方法を説明するための図。 [17] J = 5 diagram for explaining a method of determining the scene change rate by the distance table when the.

【図18】この発明によるカット検出方法の処理手順を示すフロー図。 Figure 18 is a flow chart showing the procedure of the cut detection method according to the invention.

【図19】Aは瞬時カット検出用テンプレートを示す図、Bはフェード検出用テンプレートを示す図、Cはフラッシュ検出用テンプレートを示す図である。 19 A is a diagram showing an instantaneous cut detection template, B is a diagram showing a fade detection template, C is a diagram showing a flash detection template.

【図20】テンプレートと比較する距離テーブルの例を示す図。 FIG. 20 shows an example of a distance table to be compared with the template.

【図21】テンプレートを使って所望のシーン変化を検出する方法の処理手順を示すフロー図。 Figure 21 is a flow chart showing a processing sequence of a method for detecting a desired scene change by using a template.

【図22】この発明のカット検出装置の他の構成例を示すブロック図。 Figure 22 is a block diagram illustrating another configuration example of the cut detection apparatus according to the present invention.

【図23】距離テーブルの作成を説明するための図。 [23] distance diagram for explaining the creation of the table.

【図24】この発明のカット検出装置の更に他の構成例を示すブロック図。 Figure 24 is a block diagram showing still another configuration example of the cut detection apparatus according to the present invention.

フロントページの続き (56)参考文献 1. Of the front page Continued (56) References 1. 大辻、外村「映像カット自動検出 方式の検討」テレビジョン学会技術報告 Vo1.16,No. Otsuji, Tonomura "Study of the video cut automatic detection system" Television Society Technical Report Vo1.16, No. 43,pp. 43, pp. 7−12 〔1992年7月) 2. 7-12 [July 1992) 2. K. K. Otsuji and Y. Tonomura”Projectio n Detecting Filter for Video Cut Det ection”Proc. Otsuji and Y. Tonomura "Projectio n Detecting Filter for Video Cut Det ection" Proc. of ACM Multimedia 93,1993,p p251−257 (1993年) (58)調査した分野(Int.Cl. 6 ,DB名) H04N 5/262 - 5/28 of ACM Multimedia 93,1993, p p251-257 ( 1993 years) (58) investigated the field (Int.Cl. 6, DB name) H04N 5/262 - 5/28

Claims (22)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 映像データ列から映像カット点を検出する映像カット点検出方法において、以下の工程を含む: (a) 順次入力される一連の画像フレームの現時点tのフレームからJフレーム前までの一連のJ+1個の画像 1. A video cut detection method for detecting a video cut point from a video data stream, comprising the steps of: (a) from the present time t of the frame of the series of image frames that are sequentially inputted to the front J frame a series of J + 1 pieces of image
    I t ,I t-1 ,…,I tJに対し、フレーム間隔がJ以下の全ての組の2つの画像I ti 、I tj間の距離d(ti,tj)を求め、各位置(i,j) に距離d(ti,tj)を有する距離テーブルを作成し、Jは3又はそれより大の一定の整数であり、i,jは0≦i<j≦Jを満足する範囲の全ての可変整数であり、 (b) 上記距離テーブル上の画像間距離に基づいてJフレーム前の画像I tJから現時点の画像I tまでの画像の変化を現時刻tよりj Cフレーム前におけるシーン変化率C(t I t, I t-1, ..., with respect to I tJ, calculated frame interval is J or less all the sets of two images I ti, the distance d (ti, tj) between I tj to each position (i, j) the distance d (ti, to create a distance table having tj), J is a constant integer of 3 or more large, i, j are all ranges satisfying 0 ≦ i <j ≦ J is variable integer, (b) a scene change rate of j C frame prior to the distance based on the inter-image distance on the table J-frame preceding image I from tJ current image I t to the current time t changes in image C (t
    -j C )として計算し、j Cは0<j C ≦Jを満足する範囲の予め決めた一定の整数であり、 (c) 上記シーン変化率C(tj C )を予め決めた閾値と比較し、その比較結果により現時点からj Cフレーム前の画像がカット点であるか否かを判定する。 calculated as -j C), j C is predetermined constant integer in the range satisfying the 0 <j C ≦ J, compared with predetermined threshold (c) the scene change rate C (tj C) and, j C-frame preceding image from the current time by the comparison result determines whether the cut point.
  2. 【請求項2】 請求項1の方法において、上記工程(a) 2. A method according to claim 1, said step (a)
    は、現時点tからiフレーム前の画像I tiとjフレーム前の画像I tjの対応する各位置(x,y) における画素の輝度の差分の絶対値を全画面に渡って加算して得た差分総和を上記画像間距離d(ti,tj)に対応する値として求める工程を含む。 Is obtained by adding across each corresponding position of the image I tj before image I ti and j frames before i frame from the present time t (x, y) the absolute value of the difference of the luminances of pixels in the entire screen the difference sum comprises the step of obtaining a value corresponding to the image distance d (ti, tj).
  3. 【請求項3】 請求項1の方法において、上記工程(a) 3. A method according to claim 1, said step (a)
    は、現時点tからiフレーム前の画像I tiとjフレーム前の画像I tjについて予め決めたクラス数の輝度値ヒストグラムを求め、それらのヒストグラムの対応するクラスの頻度の差の絶対値を全クラスに渡って加算して得た差分総和を上記画像間距離d(ti,tj)に対応する値として求める工程を含む。 Obtains a luminance value histogram of the predetermined number of classes for the i-th frame preceding image I ti and j frame preceding image I tj from the present time t, all classes the absolute value of the difference between the frequency of the corresponding class of their histograms the difference sum obtained by adding over comprises the step of obtaining a value corresponding to the image distance d (ti, tj).
  4. 【請求項4】 請求項1の方法において、上記工程(a) 4. A method according to claim 1, said step (a)
    は、現時点tからiフレーム前の画像I tiとjフレーム前の画像I tjの対応する各位置(x,y) における画素の輝度の差分を全画面に渡って求め、それら差分の標準偏差を上記画像間距離d(ti,tj)に対応する値として求める工程を含む。 Obtains across the corresponding luminance differences of the pixel at each position (x, y) of the i-th frame preceding image I ti and j frame preceding image I tj from the current time t to the full screen, the standard deviation of their differences comprising the step of obtaining a value corresponding to the image distance d (ti, tj).
  5. 【請求項5】 請求項1の方法において、上記工程(a) 5. A method according to claim 1, said step (a)
    は、距離を求めるべき現時点tからiフレーム前の画像 Is, i frames before the image from the current time t to determine the distance
    I tiとjフレーム前の画像I tjの対応する各位置(x,y) Each corresponding position of the I ti and j frame preceding image I tj (x, y)
    における画素の輝度の差分を全画面に渡って求め、それら差分の標準偏差を求め、上記差分が上記標準偏差を越える画素を全画面に渡って計数し、その計数値を上記画像間距離d(ti,tj)に対応する値として求める工程を含む。 Calculated over the difference in brightness of pixels in the entire screen in, a standard deviation of those differences, the pixel in which the difference exceeds the standard deviation were counted over the entire screen, the count value of the inter-image distance d ( ti, comprising the step of obtaining a value corresponding to tj).
  6. 【請求項6】 請求項1の方法において、上記工程(a)は、現時点tからi及びjフレーム前の距離を求めるべき組の画像I tiとI tjの対応する各位置(x,y)における画素の輝度の差分を第1の差分として全画面に渡って求め、上記組の画像からそれぞれmフレーム前の画像I timとI tjmの対応する各位置(x,y)における画像の輝度の差分を第2の差分として全画面に渡って求め、上記第2の差分の標準偏差を求め、上記第1の差分の絶対値が上記標準偏差を越える画素を全画面に渡って計数し、その計数値を上記画像間距離d(ti,tj) に対応する値として求める工程を含み、 6. The method of claim 1, said step (a), each corresponding position of the set of image I ti and I tj should seek i and j frames previous distance from the present time t (x, y) across the difference of the luminance of the pixels in the entire screen as a first difference in calculated, each corresponding position of the set of the image before m frames each image I tim and I tjm (x, y) in the image luminance of determined over the full screen the difference as a second difference, a standard deviation of said second difference, the absolute value of the first difference counted over the entire screen pixels exceeding the standard deviation, the the count includes the step of obtaining a value corresponding to the image distance d (ti, tj),
    上記mは1以上の予め決めた整数である。 It said m is 1 or more predetermined integer.
  7. 【請求項7】 請求項1の方法において、上記工程(a)は現時点tからi及びjフレーム前の距離を求めるべき組の画像I tiとI tjの対応する各位置(x, 7. The method of claim 1, said step (a) each corresponding position of the set of image I ti and I tj should seek i and j frames previous distance from the present time t (x,
    y)における画素の輝度の差分を第1の差分として前画面に渡って求め、上記組の画像からそれぞれkフレーム前の画像I tikとI tjkの対応する各位置(x, obtains a luminance difference of pixels in y) over a previous screen as a first difference, each corresponding position of the sets from each of the image k frames before the image I tik and I tjk (x,
    y)における画像の輝度の差分を第2の差分として全画面に渡って求め、その第2の差分の標準偏差ε kを求め、上記第2差分とその標準偏差を求めることをk= It obtains a luminance difference between the image in y) over the entire screen as the second difference, a standard deviation epsilon k of the second difference, the determination of the standard deviation and the second difference k =
    1,2,…,nのそれぞれの組の画像について繰り返しそれによって得られたn個の標準偏差の平均を平均標準偏差として求め、上記第1の差分の絶対値が上記平均標準偏差を越える画素を全画面に渡って計数し、その計数値を上記画像間距離d(ti,tj)に対応する値として求める工程を含み、上記nは2以上の予め決めた整数である。 1,2, ..., repeated for each set of image n to determine the average of n standard deviations obtained by it as a mean standard deviation, a pixel where the absolute value of the first difference exceeds the average standard deviation were counted over the entire screen, the count value comprises the step of obtaining a value corresponding to the image distance d (ti, tj), the n is 2 or more predetermined integer.
  8. 【請求項8】 請求項1の方法において、上記工程(a) 8. The method of claim 1, said step (a)
    は、現時点tからiフレーム前の画像I tiを予め決めたp×q画素のブロックに分割し、各上記ブロックとマッチする部分がjフレーム前の画像I tj内にあるか判定することを全ての上記ブロックについて繰り返してマッチしないブロックの数を計数し、その計数値を上記画像間距離d(ti,tj)に対応する値として求める工程を含む。 All that from the present time t is divided into blocks of predetermined p × q pixels i frames before the image I ti, each said block and matching parts to determine whether in the image I tj before j frame of repeated for the block counts the number of unmatched blocks, comprising the step of determining the count value as a value corresponding to the image distance d (ti, tj).
  9. 【請求項9】 請求項1の方法において、上記工程(a) 9. The method of claim 1, said step (a)
    は、時点t−1での上記テーブル内の位置(i,j) の距離のデータを位置(i+1,j+1) にシフトし、現時点tで上記距離としてd(t,t-1),d(t,t-2),…,d(t,tJ) を計算し、 Is shifted to a position in the table at the time t-1 (i, j) position data of the distance (i + 1, j + 1), d as the distance at the present time t (t, t-1 ), d (t, t-2), ..., to calculate the d (t, tJ),
    それらの計算値を上記テーブルの位置(0,1),(0,2),…, Position of the table values ​​computed (0,1), (0,2), ...,
    (0,J)に書き込むことにより時点tでの上記テーブルを作成する工程を含む。 Comprising the step of creating the table at the time t by writing to (0, J).
  10. 【請求項10】 請求項1の方法において、上記工程 10. A method according to claim 1, said step
    (a) における上記画像間距離を求める範囲は更にji≦ Range to determine the distance between the images in (a) further ji ≦
    g を満たす範囲に限定し、gはJより小の予め決めた一定の正の整数である。 Limited to a range satisfying g, g is a constant positive integer determined in advance of less than J.
  11. 【請求項11】 請求項10の方法において、上記工程 11. The method of claim 10, the step
    (a) は、時点t−1での上記テーブル内の位置(i,j) の距離のデータを位置(i+1,j+1) にシフトし、現時点tで上記距離としてd(t,t-1),d(t,t-2),…,d(t,tg) を計算し、それらの計算値を上記テーブルの位置(0,1),(0,2), (A), the position in the table at the time t-1 (i, j) position data of the distance (i + 1, j + 1) to shift, d (t as the distance at the present time t, t-1), d (t, t-2), ..., d (t, calculates the tg), the position of the table values ​​computed (0,1), (0,2),
    …,(0,g)に書き込むことにより時点tでの上記テーブルを作成する工程を含む。 ..., comprising the step of creating the table at the time t by writing to (0, g).
  12. 【請求項12】 請求項11の方法において、上記工程 12. A method according to claim 11, the step
    (b) は、上記テーブル上にj C ≦j≦J,0≦i<j C ,j- (b) is on the table j C ≦ j ≦ J, 0 ≦ i <j C, j-
    i≦g により第1の領域を規定し、その第1領域内の距離の総和をa(j C )と表し、0≦i<j≦j C -1,ji≦gにより第2の領域を規定し、その第2領域内の距離の総和を i ≦ g by defining a first region, it represents the sum of the length of the first region and a (j C), 0 ≦ i <j ≦ j C -1, the second region by ji ≦ g defining, and the sum of the distances of the second region
    b(j C )と表し、j C ≦i<j≦J,ji≦gにより第3の領域を規定し、その第3領域内の距離の総和をb'(j C )と表すと、上記シーン変化率として C(tj C )={a(j C )−βMAX[b(j C ),b'(j C )]}/S を計算する工程を含み、βは上記第1領域と上記第2又は第3領域のデータ数を等価するための予め決めた係数であり、Sは上記第1領域内のデータの数を表す。 represents a b (j C), j C ≦ i <j ≦ J, defining a third region by ji ≦ g, to represent the sum of the distances of the third region b 'and (j C), the C (tj C) as a scene change rate = {a (j C) -βMAX [b (j C), b '(j C)]} / S comprises the step of calculating, beta is the first region and the a predetermined factor to equalize the number of data of the second or third region, S is representative of the number of data in the first region.
  13. 【請求項13】 請求項11の方法において、上記工程 The method of claim 13 claim 11, the step
    (b) は、上記テーブル上にj C ≦j ≦J,0≦i<j C ,ji≦ (b) is on the table j C ≦ j ≦ J, 0 ≦ i <j C, ji ≦
    gにより第1の領域を規定し、その第1領域内の距離の総和をa(j C )と表し、0≦i<j≦j C -1,ji≦gにより第2の領域を規定し、その第2領域内の距離の総和をb g by defining a first region, represents the sum of the length of the first region and a (j C), 0 ≦ i <j ≦ j C -1, defines the second region by ji ≦ g , the sum of the distance of the second region b
    (j C )と表し、j C ≦i<j≦J,ji≦gにより第3の領域を規定し、その第3領域内の距離の総和をb'(j C )と表すと、上記シーン変化率として C(tj C )={a(j C )−β[b(j C )+b'(j C )]}/S を計算する工程を含み、βは上記第1領域と、上記第2 (j C) and represents, j C ≦ i <j ≦ J, defining a third region by ji ≦ g, to represent the sum of the distances of the third region b 'and (j C), the scene include C (tj C) = {a (j C) -β [b (j C) + b '(j C)]} / S to calculate the process as the rate of change, beta is in the first region, said first 2
    及び第3領域のデータ数を等価するための予め決めた係数であり、Sは上記第1領域内のデータの数を表す。 And the number of data of the third region is a predetermined coefficient to equivalently, S is representative of the number of data in the first region.
  14. 【請求項14】 請求項9の方法において、上記工程 14. The method of claim 9, said step
    (b) は、上記距離テーブルと同じサイズで少なくとも1 (B) at least 1 of the same size as the distance table
    つの所望の種類の予め決められたカット検出用テンプレートと、時点tで得られた上記距離テーブルとの類似度を上記シーン変化率として計算する工程を含む。 One of the desired type of predetermined cut detection template, the degree of similarity between the distance table obtained at time t comprising the step of calculating as the scene change rate.
  15. 【請求項15】 請求項14の方法において、上記類似度は上記距離テーブルと上記テンプレートとの相互相関係数である。 15. The method of claim 14, said degree of similarity is cross-correlation coefficient between the distance table and said template.
  16. 【請求項16】 画像データ列から映像カット点を検出する映像カット点検出装置において、 時間的に連続する少なくともJ+1フレームの画像データを順次バッファリングするバッファメモリ手段と、 上記バッファメモリ手段内の現時点tからJフレーム前までの上記画像データI t ,I t-1 ,…,I tJについて、0 16. A video cut detection apparatus which detects the image data stream the video cut point, and buffer memory means for sequentially buffering image data of at least J + 1 frames temporally consecutive, presently in the buffer memory means the image data I t, I t-1 from t before J frame, ..., the I tJ, 0
    ≦i<j≦Jの範囲の2つの画像I ti, I tjの画像データ間の距離d(ti,tj)を計算する画像間距離算出手段と、 上記画像間距離算出手段で計算された画像間距離を格納する距離テーブル手段と、 上記距離テーブル手段を参照して、フレーム(tJ) からtまでの画像の変化をフレーム(tj C )におけるシーン変化率として算出するシーン変化率算出手段と、j Cは0< ≦ i <j 2 two images I ti ranging ≦ J, and the inter-image distance calculating means for calculating the distance d (ti, tj) between image data of I tj, image calculated by the inter-image distance calculating means distance table means for storing between distance, by referring to the distance table means, and a scene change rate calculating means for calculating a scene change rate of the frame the frame changes in the image from (tJ) to t (tj C), j C 0 <
    j C ≦Jを満足する予め決めた一定の整数であり、 上記算出されたシーン変化率をあらかじめ定められた閾値と比較して、上記フレーム(tj C )がカット点であるか否か判定する判定手段とを含む。 a predetermined constant integer satisfying j C ≦ J, as compared to the predetermined threshold a scene change rate that is the calculated, the frame (tj C) determines whether a scene change and a judgment means.
  17. 【請求項17】 請求項16の装置において、上記バッファメモリ手段はフレームtから(tJ) 前までの少なくともJ+1フレームの画像データI t ,I t-1 ,…,I tJをそれぞれ1フレームづつ一時的に保持する第1〜第J+1 The apparatus of claim 17 according to claim 16, the image data I t of at least J + 1 frames of said buffer memory means from frame t to (tJ) before, I t-1, ..., each time one frame one by one the I tJ first to J hold to + 1
    フレームバッファを含み、上記画像間距離算出手段は上記第2〜第J+1フレームバッファからそれぞれ画像データI t-1 ,…,I tJが与えられ、上記第1フレームバッファから画像データI tがそれぞれ共通に与えられ、それぞれ画像データI tと画像データI t -1 ,…,I tJ間の距離d(t, Includes a frame buffer, the inter-image distance calculating means each image data I t-1 from the second to J + 1 frame buffers, ..., given I tJ, the image data I t from said first frame buffer is common respectively given, each image data I t and the image data I t -1, ..., the distance between I tJ d (t,
    t-1),…,d(t,tJ)をそれぞれ算出する第1〜第J画像間距離算出部を含み、上記距離テーブル手段は上記テーブル上の位置(i,j) の距離データを位置(i+1,j+1) にシフトすると共に上記画像間距離算出部からの距離データをそれぞれ上記テーブル上の位置(0,1),…,(0,J)に書き込むことにより上記距離テーブルを作成する手段である。 t-1), ..., d (t, including the first to J inter-image distance calculation section that calculates tJ) respectively, the said distance table means position the distance data position on the table (i, j) each position on the table the distance data from the inter-image distance calculating unit with shifted (i + 1, j + 1) to (0,1), ..., the distance table by writing to (0, J) it is a means to create.
  18. 【請求項18】 請求項16の装置において、上記画像間距離算出手段は更に限定されたji≦g を満たす範囲において上記画像間距離を算出する手段であり、gはJ The apparatus of 18. The method of claim 16, said inter-image distance calculating means is means for calculating the distance between the image in the range satisfying the more limited ji ≦ g, g is J
    より小予め決めた一定の正の整数である。 It is a constant positive integer a smaller predetermined.
  19. 【請求項19】 請求項18の装置において、上記距離テーブル手段は、時点t−1での上記テーブル内の位置 The apparatus of claim 19 according to claim 18, said distance table means, the position in the table at the time t-1
    (i,j) の距離データを位置(i+1,j+1) にシフトし、現時点tで上記画像間距離算出手段により算出した上記画像間距離d(t,t-1),d(t,t-2),…,d(t,tg) を上記テーブルの位置(0,1),(0,2),…,(0,g)に書き込むことにより時点tでの上記テーブルを作成する手段である。 Position (i, j) the distance data of the (i + 1, j + 1) to shift, between the images is calculated by the inter-image distance calculating means at the present time t the distance d (t, t-1), d ( t, t-2), ..., d (t, tg) the position of the table (0,1), (0,2), ..., to the table at the time t by writing to (0, g) it is a means to create.
  20. 【請求項20】 請求項19の装置において、上記シーン変化率算出手段は、上記テーブル上にj C ≦j ≦J,0≦ The apparatus of 20. The method of claim 19, said scene change rate calculating means on the table j C ≦ j ≦ J, 0
    i<j C ,ji≦gにより第1の領域を規定し、その第1領域内の距離の総和をa(j C ) と表し、0≦i<j≦j C -1,ji i <j C, defining a first region by ji ≦ g, it represents the sum of the length of the first region and a (j C), 0 ≦ i <j ≦ j C -1, ji
    ≦gにより第2の領域を規定し、その第2領域内の距離の総和をb(j C )と表し、j C ≦i<j≦J,ji≦gにより第3の領域を規定し、その第3領域内の距離の総和をb'(j ≦ g by defining a second region, represents the sum of the distances of the second region b and (j C), j C ≦ i <j ≦ J, defining a third region by ji ≦ g, the b '(j sum of the length of the third region
    C )と表すと、上記シーン変化率として C(tj C )={a(j C )−βMAX[b(j C ),b'(j C )]}/S を計算する手段であり、βは上記第1領域と上記第2又は第3領域のデータ数を等価するための予め決めた係数であり、Sは上記第1領域内のデータの数を表す。 Expressed as C), C (tj as the scene change rate C) = a {a (j C) -βMAX [ b (j C), b '(j C)]} / S means for calculating, beta is a predetermined coefficient for the equivalent number of data of the first region and the second or third region, S is representative of the number of data in the first region.
  21. 【請求項21】 請求項19の装置において、上記シーン変化率算出手段は、上記テーブル上にj C ≦j ≦J,0≦ The apparatus of 21. The method of claim 19, said scene change rate calculating means on the table j C ≦ j ≦ J, 0
    i<j C ,ji≦gにより第1の領域を規定し、その第1領域内の距離の総和をa(j C ) と表し、0≦i<j≦j C -1,ji i <j C, defining a first region by ji ≦ g, it represents the sum of the length of the first region and a (j C), 0 ≦ i <j ≦ j C -1, ji
    ≦gにより第2の領域を規定し、その第2領域内の距離の総和をb(j C ) と表し、j C ≦i<j≦J,ji≦gにより第3の領域を規定し、その第3領域内の距離の総和をb'(j ≦ g by defining a second region, represents the sum of the distances of the second region b and (j C), j C ≦ i <j ≦ J, defining a third region by ji ≦ g, the b '(j sum of the length of the third region
    C )と表すと、上記シーン変化率として C(tj C )={a(j C )−β[b(j C )+b'(j C )]}/S を計算する手段であり、βは上記第1領域と、上記第2 Expressed as C), C (tj as the scene change rate C) a = {a (j C) -β [b (j C) + b '(j C)]} / S means for computing, beta is and said first region, said second
    及び第3領域のデータ数を等価するための予め決めた係数であり、Sは上記第1領域内のデータの数を表す。 And the number of data of the third region is a predetermined coefficient to equivalently, S is representative of the number of data in the first region.
  22. 【請求項22】 請求項16の装置において、上記シーン変化率算出手段は、上記距離テーブルと同じサイズで少なくとも1つの所望の種類の予め決められたカット検出用テンプレートとを有し、時点tで得られた上記距離テーブルとの類似度を上記シーン変化率として計算する手段である。 The apparatus of 22. The method of claim 16, said scene change rate calculating means, and at least one desired type of predetermined cut detection template of the same size as the distance table at the time t the similarity between the obtained the distance table is a means for calculating as the scene change rate.
JP31297694A 1993-12-17 1994-12-16 Video cut point detection method and apparatus Expired - Lifetime JP2839132B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP31766393 1993-12-17
JP6-297533 1994-11-30
JP5-317663 1994-11-30
JP29753394 1994-11-30
JP31297694A JP2839132B2 (en) 1993-12-17 1994-12-16 Video cut point detection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31297694A JP2839132B2 (en) 1993-12-17 1994-12-16 Video cut point detection method and apparatus

Publications (2)

Publication Number Publication Date
JPH08214210A JPH08214210A (en) 1996-08-20
JP2839132B2 true JP2839132B2 (en) 1998-12-16

Family

ID=27338152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31297694A Expired - Lifetime JP2839132B2 (en) 1993-12-17 1994-12-16 Video cut point detection method and apparatus

Country Status (1)

Country Link
JP (1) JP2839132B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7038736B2 (en) 2000-09-21 2006-05-02 Canon Kabushiki Kaisha Moving image processing apparatus and method, and computer readable memory
JP2006330795A (en) * 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for creating image topic interval information, and recording medium
JP2011066487A (en) * 2009-09-15 2011-03-31 Ricoh Co Ltd Apparatus, method and program for preparing moving picture thumbnail

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR052601A1 (en) 2005-03-10 2007-03-21 Qualcomm Inc Classification of content for multimedia processing
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
JP2007221538A (en) * 2006-02-17 2007-08-30 Fujitsu Ltd Device and method for scene change determination data transfer device, and data transfer method
CN101449587A (en) * 2006-06-08 2009-06-03 汤姆逊许可公司 Detection of scene switching for video
CN103780801A (en) * 2012-10-25 2014-05-07 特克特朗尼克公司 Heuristic method for scene cut detection in digital baseband video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1.大辻、外村「映像カット自動検出方式の検討」テレビジョン学会技術報告Vo1.16,No.43,pp.7−12〔1992年7月)
2.K.Otsuji and Y.Tonomura"Projection Detecting Filter for Video Cut Detection"Proc.of ACM Multimedia 93,1993,pp251−257 (1993年)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7038736B2 (en) 2000-09-21 2006-05-02 Canon Kabushiki Kaisha Moving image processing apparatus and method, and computer readable memory
US7466365B2 (en) 2000-09-21 2008-12-16 Canon Kabushiki Kaisha Moving image processing apparatus and method, and computer readable memory
US8525935B2 (en) 2000-09-21 2013-09-03 Canon Kabushiki Kaisha Moving image processing apparatus and method, and computer readable memory
JP2006330795A (en) * 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> Device, method, and program for creating image topic interval information, and recording medium
JP2011066487A (en) * 2009-09-15 2011-03-31 Ricoh Co Ltd Apparatus, method and program for preparing moving picture thumbnail

Also Published As

Publication number Publication date
JPH08214210A (en) 1996-08-20

Similar Documents

Publication Publication Date Title
US5929908A (en) Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
US6952234B2 (en) Image pickup apparatus and method for broadening apparent dynamic range of video signal
US5418574A (en) Video signal correction apparatus which detects leading and trailing edges to define boundaries between colors and corrects for bleeding
CN101366027B (en) Method and system for producing a video synopsis
US6211912B1 (en) Method for detecting camera-motion induced scene changes
US9020261B2 (en) Video segmentation using statistical pixel modeling
US7551770B2 (en) Image conversion and encoding techniques for displaying stereoscopic 3D images
US5576950A (en) Video image search method and system using the same
US8494054B2 (en) Motion vector computation for video sequences
EP0597450B1 (en) A recording medium, an apparatus for recording a moving image, an apparatus and a system for generating a digest of a moving image, and a method of the same
JP3862140B2 (en) Method and apparatus for segmenting a pixelated image, and a recording medium, a program, an image capture device
JP3810546B2 (en) Histogram equalization method and device in contrast expansion device of the image processing system
EP1042736B1 (en) Sprite-based video coding system
JP2863818B2 (en) The method of the change point detection motion picture
US5179449A (en) Scene boundary detecting apparatus
US6362850B1 (en) Interactive movie creation from one or more still images in a digital imaging device
US5262856A (en) Video image compositing techniques
US5625411A (en) Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal
JP4315971B2 (en) Imaging device
EP0940978B1 (en) High resolution camera
US8401336B2 (en) System and method for rapid image sequence depth enhancement with augmented computer-generated elements
EP0780776B1 (en) Apparatus for detecting a cut in a video
KR100233553B1 (en) Video signal processing apparatus
Teodosio et al. Salient video stills: Content and context preserved
US5767922A (en) Apparatus and process for detecting scene breaks in a sequence of video frames

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071016

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081016

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091016

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101016

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101016

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111016

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111016

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 15

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term