JP4690250B2

JP4690250B2 - Fade detection device

Info

Publication number: JP4690250B2
Application number: JP2006148253A
Authority: JP
Inventors: 和久井口; 慎一境田; 奈緒中島; 清一合志
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2006-05-29
Filing date: 2006-05-29
Publication date: 2011-06-01
Anticipated expiration: 2026-05-29
Also published as: JP2007318634A

Description

本発明は、動画像処理又は映像符号化におけるフェード検出装置、特に、あるフレームと、その前後のフレームとの関係から、ディゾルブ／フェードを検出するフェード検出装置に関するものである。 The present invention relates to a fade detection apparatus for moving image processing or video encoding, and more particularly to a fade detection apparatus for detecting a dissolve / fade from a relationship between a certain frame and frames before and after the frame.

従来より、動画像処理又は映像符号化には、幾つかのフェード検出方法又は装置が提案されている。例えば動画像処理にあたって、効果的にフェード検出を行うことができれば、効率よく編集作業が進む。また、情報、特にディジタル情報を符号化して記録媒体に記録、又は放送電波を介して伝送するにあたって、効果的にフェード検出を行うことができれば、フェード画像に特有の符号化手段等を行って画像劣化を低減させることもできる。 Conventionally, several fade detection methods or apparatuses have been proposed for moving image processing or video encoding. For example, in the moving image processing, if the fade detection can be performed effectively, the editing work can proceed efficiently. Also, if information can be effectively detected when fading is detected when encoding information, particularly digital information, and recording it on a recording medium or transmitting it via broadcast radio waves, it is possible to perform an image by performing coding means specific to the faded image. Degradation can also be reduced.

例えば、動画像のディジタル圧縮符号化においては、動画像信号の時間冗長性を抑制する手段として、動き補償フレーム間予測が用いられる。このフレーム間予測では、通常、符号化対象画像を 16画素×16画素等のブロックに区切り、各ブロック毎に参照画像との間の動き量（動きベクトル）を検出し、参照画像を動きベクトル分シフトして生成した予測画像と符号化対象画像との差分（動き補償予測誤差）信号を符号化する。動き補償フレーム間予測により動画像のフレーム間相関は飛躍的に向上し、単純フレーム間予測に比べ大幅な情報圧縮が得られる。更に、動き補償予測誤差信号に対して離散コサイン変換(DCT：Discrete Cosine Transform)や、サブバンド分割を施すことにより、空間方向の冗長性も抑圧され、一層の情報圧縮が図られた。このため、テレビ電話、会議用ビデオ符号化（ITU−T勧告H．261）、蓄積用ビデオ符号化(ISO／IEC 11172(MPEG−1))、蓄積、放送、通信向け汎用ビデオ符号化(ISO／IEC 13818(MPEG−2))等では、動き補償フレーム間予測による残差信号をDCT符号化するハイブリッド符号化構成が採用されている。これらの動画像の圧縮符号化の処理においても、動画像に含まれる原画像（画像）をブロックと呼ばれる所定の領域に分割し、この分割したブロックを単位にして動き補償予測やDCT変換処理を施すことは知られている（例えば、特許文献１）。 For example, in digital compression coding of moving images, motion compensated interframe prediction is used as means for suppressing temporal redundancy of moving image signals. In this inter-frame prediction, the encoding target image is usually divided into blocks of 16 pixels × 16 pixels, the amount of motion (motion vector) between each block is detected, and the reference image is divided into motion vectors. A difference (motion compensation prediction error) signal between the prediction image generated by the shift and the encoding target image is encoded. The motion compensation inter-frame prediction dramatically improves the inter-frame correlation of the moving image, and can provide much information compression compared to the simple inter-frame prediction. Furthermore, by applying Discrete Cosine Transform (DCT) and subband division to the motion compensated prediction error signal, the redundancy in the spatial direction is suppressed and further information compression is achieved. For this reason, video coding for conference calls (ITU-T recommendation H.261), video coding for storage (ISO / IEC 11172 (MPEG-1)), general-purpose video coding for storage, broadcasting and communication (ISO / IEC 13818 (MPEG-2)) adopts a hybrid coding configuration in which a residual signal obtained by motion compensation interframe prediction is DCT-coded. Even in the compression encoding process of these moving images, the original image (image) included in the moving image is divided into predetermined areas called blocks, and motion compensation prediction and DCT conversion processing are performed in units of the divided blocks. Application is known (for example, Patent Document 1).

動画像のディジタル圧縮符号化において、輝度値が最低値から最高値へ、または最高値から最低値へ一方向に変化する、いわゆるフェード画像や、2種類の映像の混合比が徐々に変化することで、一方の映像から他方の映像に変化する、いわゆるディゾルブ画像に対して、MPEG等の動画像符号化を行うと、ブロック歪が見える等の画像劣化が生じやすくなることが知られている。そのため、フェード画像に適した圧縮率に変更するか、フェード画像に適した動き補償を行うなどの手段が用いられてきた。従って、符号化対象の画像からフェードを検出することが重要となる。 In digital compression encoding of moving images, so-called fade images in which the luminance value changes in one direction from the lowest value to the highest value, or from the highest value to the lowest value, and the mixing ratio of the two types of video gradually change. Thus, it is known that when a moving image encoding such as MPEG is performed on a so-called dissolve image that changes from one video to the other, image degradation such as visible block distortion is likely to occur. Therefore, means such as changing to a compression rate suitable for a faded image or performing motion compensation suitable for a faded image have been used. Therefore, it is important to detect a fade from an image to be encoded.

符号化対象の画像からフェードを検出する方法又は装置について、先行技術を2つに大別することができる。１つの検出手法は、2つのフレーム間における同一位置での画素（又はブロック）の輝度（又は色差）の差を検出する方法であり、以下、「動き補償を伴わないフレーム間差」を検出する方法と称する。もう１つの検出手法は、2つのフレーム間について動き補償を行った後で、動き補償後の2つのフレーム間における同一位置での画素（又はブロック）の輝度（又は色差）の差を検出する方法であり、以下、「動き補償を伴うフレーム間差」を検出する方法と称する。単に「フレーム間差」というときは、2つのフレーム間における同一位置での画素（又はブロック）の輝度（又は色差）の差をいう。 Prior arts can be broadly classified into two methods or apparatuses for detecting a fade from an image to be encoded. One detection method is a method of detecting a difference in luminance (or color difference) of pixels (or blocks) at the same position between two frames. Hereinafter, “difference between frames without motion compensation” is detected. This is called a method. Another detection method is a method of detecting a difference in luminance (or color difference) of pixels (or blocks) at the same position between two frames after motion compensation after performing motion compensation between the two frames. Hereinafter, this is referred to as a method of detecting “interframe difference with motion compensation”. The term “inter-frame difference” simply refers to a difference in luminance (or color difference) of pixels (or blocks) at the same position between two frames.

「動き補償を伴わないフレーム間差」を検出する方法には、以下の先行技術がある。 As a method for detecting “difference between frames without motion compensation”, there are the following prior arts.

隣接するフレームの、全画素の輝度総和の差の絶対値が第1の閾値より大きく、且つ、各画素の差の絶対値の総和が第2の閾値より小さいとき、フェードと判定する方法（例えば、特許文献2）や、第1のフレームと、第1のフレームに先行する第2のフレームの画素値の平均値間の差の絶対値を、第1のフレームの画素値の平均値で割った平均変化が閾値より大きい時にフェードと判定する方法（例えば、特許文献3）などがある。 A method for determining a fade when the absolute value of the difference in luminance sum of all pixels in an adjacent frame is greater than a first threshold and the sum of absolute values of differences in each pixel is smaller than a second threshold (for example, 2), and the absolute value of the difference between the average values of the pixel values of the first frame and the second frame preceding the first frame is divided by the average value of the pixel values of the first frame. For example, there is a method of determining a fade when the average change is larger than a threshold (for example, Patent Document 3).

「動き補償を伴うフレーム間差」を検出する方法には、以下の先行技術がある。 There are the following prior arts for detecting the “inter-frame difference with motion compensation”.

動き補償予測が合致したブロックの輝度差について、輝度差の変化する方向が一定であり続ける領域が画面に占める割合として大きい場合に、フェードと判定する方法（例えば、特許文献4）などがある。 There is a method of determining a fade (for example, Patent Document 4) when the luminance difference of blocks that match motion compensation prediction is large as a ratio of the area in which the luminance difference changes in a constant direction to the screen is large.

また、「動き補償を伴うフレーム間差」を検出する方法、及び、「動き補償を伴わないフレーム間差」を検出する方法の変形として、フレーム間差の一画面分の和が第1の基準値より小さく、動き補償を行った後のフレーム間差の一画面分の和が第2の基準値より大きいフレームが複数連続した場合にフェードと判定する方法が開示されている（例えば、特許文献5）。 In addition, as a modification of the method for detecting “difference between frames with motion compensation” and the method for detecting “difference between frames without motion compensation”, the sum of one frame difference between frames is the first reference. A method is disclosed in which a fade is determined when a plurality of frames that are smaller than the value and the sum of one frame difference after motion compensation is greater than the second reference value are consecutive (for example, patent document) Five).

ところで、後述する幾つかの用語について、予め定義する。一般に、ビデオ映像は、論理的に構成されたシーンの連結で構成されており、それぞれのシーンは複数のショットの連結により構成されている。そのようなショットの連結方式に従って、多様な編集効果を得ることができる。ここで、ショットとは、一つのカメラから得られた連続するビデオフレームの単位を表し、映像を分析、又は編集する最も基本となる単位をいう。 By the way, some terms described later are defined in advance. In general, a video image is composed of a concatenation of logically configured scenes, and each scene is composed of a concatenation of a plurality of shots. Various editing effects can be obtained according to such a shot linking method. Here, a shot represents a unit of continuous video frames obtained from one camera, and is the most basic unit for analyzing or editing video.

そのビデオ編集効果としては、カットチェンジと、シーンチェンジとに大別される。 The video editing effects are roughly divided into cut changes and scene changes.

カットチェンジは、現在の画面から他の画面に急に切り換える技法であり、ハードカットとも称される。 Cut change is a technique for suddenly switching from the current screen to another screen, and is also referred to as a hard cut.

シーンチェンジは、現在の画面から他の画面に連続的に切り換える技法であり、例えば、フェード（フェードイン、フェードアウト）、ディゾルブ、ワイプなどがある。 The scene change is a technique for continuously switching from the current screen to another screen, such as fade (fade in, fade out), dissolve, wipe, and the like.

ディゾルブとは、第1の映像の輝度(及び色差)に、第2の映像の輝度(及び色差)を徐々に混合して、最後には第2の映像にする映像効果をいう。ディゾルブはオーバーラップとも称される。 The dissolve refers to a video effect in which the luminance (and color difference) of the first video is gradually mixed with the luminance (and color difference) of the second video, and finally the second video is obtained. A dissolve is also called an overlap.

フェードとは、通常の映像の輝度を徐々に大きく(小さく)して最後に白画像(黒画像)にする事、または、白画像(黒画像)の輝度を徐々に小さく(大きく)して最後に通常の映像にする映像効果をいう。 Fade is the process of gradually increasing (decreasing) the brightness of a normal image to the end of a white image (black image), or decreasing the brightness of a white image (black image) gradually (to increase). Refers to the video effect that makes a normal video.

従って、フェードは、第2の映像または第1の映像が白画像又は黒画像であるようなディゾルブ(又は、オーバーラップ)の一態様と考えることができ、以下、フェード、ディゾルブ、及びオーバーラップを区別せずに、全て「フェード」と称する。 Therefore, a fade can be considered as an aspect of a dissolve (or overlap) in which the second image or the first image is a white image or a black image. Hereinafter, fade, dissolve, and overlap are referred to as fade. All are called “fade” without distinction.

尚、緩やかに変化するシーンチェンジでも、映像が融合する過程を経ずに一部の内容を連続に入れ替えるようなワイプは、フェードとは区別して扱う。 Note that even with a slowly changing scene change, a wipe that replaces part of the content continuously without going through the process of merging the images is handled separately from the fade.

また、この分割したブロックを単位にして動画像を扱う技法は、用途に応じて広く用いられており、16画素×16画素のブロックに限らず、4画素×4画素、8画素×8画素のブロック、他にも64画素×64画素のブロックが用いられることもある。以下、ブロックと称するときには、任意の画素で構成されたブロックをいう。 In addition, a technique for handling a moving image in units of divided blocks is widely used depending on the application, and is not limited to a block of 16 pixels × 16 pixels, but of 4 pixels × 4 pixels, 8 pixels × 8 pixels. In some cases, a block of 64 pixels × 64 pixels may be used. Hereinafter, the term “block” refers to a block composed of arbitrary pixels.

特開2005-236459JP2005-236459 特許第3724956号Patent No. 3724956 特開平6-30333JP-A-6-30333 特許第3339544号Patent No. 3339544 特開2000-261810JP2000-261810

しかしながら、従来の「動き補償を伴わないフレーム間差」を検出する方法では、フェード画像でなくても、パンニング画像のように画面全体が変化する映像ではフレーム間差が大きな値となるため、フェードを過検出する問題がある。また、従来の「動き補償を伴うフレーム間差」を検出する方法では、動き補償に用いる動きベクトルがフレーム間の輝度差又は色差が最小になるように選択されるため、動き補償後のフレーム間差は、フェード画像であっても小さな値となり、フェードの検出漏れを生じる間題がある。 However, in the conventional method of detecting “difference between frames without motion compensation”, even if the image is not a fade image, the difference between frames becomes a large value in a video whose entire screen changes like a panning image. There is a problem of overdetecting. In addition, in the conventional method of detecting the “frame difference with motion compensation”, the motion vector used for motion compensation is selected so that the luminance difference or color difference between frames is minimized. The difference becomes a small value even in a fade image, and there is a problem that a detection failure of fade occurs.

本発明は、このような過検出や検出漏れが少ない動画像のフェード検出方法又は装置を提供することを目的とする。 It is an object of the present invention to provide a moving image fade detection method or apparatus with less over-detection or detection omission.

本発明によるフェード検出装置は、複数のフレーム画像の空間的及び時間的相関関係に基づいて、前記フレーム画像からフェードを検出するフェード検出装置であって、動画像を特定の大きさのブロック単位に分割した第１のフレーム画像と前記第１のフレーム画像の時間的に前の第2のフレーム画像との間で、前記分割したブロック毎に第１の動きベクトルを検出する手段と、前記第１のフレーム画像と前記第１のフレーム画像の時間的に後の第3のフレーム画像との間で、前記分割したブロック毎に第2の動きベクトルを検出する手段と、前記第1の動きベクトルと前記第2の動きベクトルとの間の動きベクトルの差を計算し、前記動きベクトルの差が第1の閾値を越えるブロックの総数を計算する手段と、前記第1の閾値を越えるブロックの総数と前記分割したブロックの総数との比が、第2の閾値を越える場合に第1の真値を出力する手段と、前記複数のフレーム画像毎に、前記第1の真値が出力される期間の連続するフレーム数を計算する手段とを備えている。そして、前記真値フレーム数が第3の閾値を越えたときに、フェードと判定する。 A fade detection device according to the present invention is a fade detection device that detects a fade from a frame image based on a spatial and temporal correlation between a plurality of frame images, and the moving image is divided into blocks of a specific size. Means for detecting a first motion vector for each of the divided blocks between the divided first frame image and the second frame image temporally previous to the first frame image; Means for detecting a second motion vector for each of the divided blocks between a frame image of the first frame image and a third frame image temporally after the first frame image, and the first motion vector; Means for calculating a motion vector difference with respect to the second motion vector, calculating a total number of blocks in which the motion vector difference exceeds a first threshold, and a total number of blocks exceeding the first threshold. And a means for outputting a first true value when the ratio of the divided blocks to the total number of blocks exceeds a second threshold, and a period during which the first true value is output for each of the plurality of frame images Means for calculating the number of consecutive frames. Then, when the number of true value frames exceeds the third threshold, it is determined as a fade.

本発明によれば、「動き補償を伴わないフレーム間差」を検出する方法では、フェードを過検出するようなパンニング画像のように、画面全体が変化する映像についてもフェードと過検出することを低減できる。 According to the present invention, in the method for detecting “difference between frames without motion compensation”, it is possible to overdetect a video whose entire screen changes, such as a panning image in which a fade is overdetected. Can be reduced.

また、「動き補償を伴うフレーム間差」を検出する方法では、フェード画像であるにも関らず、動き補償後のフレーム間の輝度差又は色差が小さい値である場合に、フェードの検出漏れを生じるような映像についてもフェードの検出漏れを低減できる。 In addition, in the method of detecting “difference between frames with motion compensation”, even if the image is a faded image, the fade detection omission is detected when the luminance difference or color difference between the frames after motion compensation is a small value. This can reduce the omission of the fade detection even for the video that causes the problem.

まず、本発明の動作原理について説明する。 First, the operation principle of the present invention will be described.

図4に、本発明による基本的な機能を説明する複数のフレーム間における分割したブロックの動きベクトルの模式図を示す。図4において、時間的に順次、連続する5つのフレーム画像、即ち、F1、F2、F3、F4、及びF5が示されている。双方向予測の動きベクトルを考えるとき、第1のフレーム画像をF3とする。第１のフレーム画像の時間的に前の第2のフレーム画像としては、符号化参照画像はF1又はF2である。第１のフレーム画像の時間的に後の第3のフレーム画像としては、符号化参照画像はF4又はF5である。 FIG. 4 shows a schematic diagram of motion vectors of divided blocks between a plurality of frames for explaining basic functions according to the present invention. In FIG. 4, five consecutive frame images, that is, F1, F2, F3, F4, and F5 are shown sequentially in time. When considering a motion vector for bidirectional prediction, the first frame image is F3. As the second frame image temporally before the first frame image, the encoded reference image is F1 or F2. As a third frame image temporally after the first frame image, the encoded reference image is F4 or F5.

フレーム画像F3には、例示的に4つの分割したブロックE、F、G、及びHを示してある。分割したブロック毎に、第1のフレーム画像と符号化参照画像との間で、当該ブロックに対応する参照画像のブロックが探索され、各ブロック毎に複数フレームで動きベクトルを算出することができる。第1のフレームと第2のフレームとの間で、各ブロックE、F、G、及びHの動きベクトルは、それぞれ図示241、242、243、及び244である。また、第1のフレームと第3のフレームとの間で、各ブロックE、F、G、及びHの動きベクトルは、それぞれ図示245、246、247、及び248である。 In the frame image F3, four divided blocks E, F, G, and H are exemplarily shown. For each divided block, a reference image block corresponding to the block is searched between the first frame image and the encoded reference image, and a motion vector can be calculated for each block in a plurality of frames. Between the first frame and the second frame, the motion vectors of the blocks E, F, G, and H are illustrated as 241, 242, 243, and 244, respectively. Also, the motion vectors of the blocks E, F, G, and H between the first frame and the third frame are 245, 246, 247, and 248, respectively, illustrated.

図4に示すように、フレーム画像に対して水平方向をｘ軸、垂直方向をy軸としたとき、ある動きベクトルが、第１のフレームのあるブロック位置(x_n,y_n) と第2 のフレーム（又は第3のフレーム）のあるブロック位置(x_n+Δx, y_n+Δy)から構成されるとする。その場合に、その動きベクトルは、(Δx,Δy)となる値により、大きさ及び方向が定まる。 As shown in FIG. 4, when the horizontal direction is the x-axis and the vertical direction is the y-axis with respect to the frame image, a certain motion vector corresponds to a certain block position (x _n , y _n ) and the second position of the first frame. It is assumed that a certain block position (x _n + Δx, y _n + Δy) of the frame (or the third frame) is included. In that case, the magnitude and direction of the motion vector are determined by the values (Δx, Δy).

フレーム画像F3のブロックEの基準位置を(x_n,y_n)としたとき、動きベクトル241が基準位置を(x_n,y_n)に対して（-4, +5）なる値を有し、動きベクトル245が基準位置を(x_n,y_n)に対して（+4, -5）なる値を有すると仮定する。その場合、フレーム間距離F1-F3の動きベクトル241とフレーム間距離F3-F5の動きベクトル245とはフレーム間距離が等しく、動きベクトル241と動きベクトル245は、「一直線上」に並んでいることになる。 When the reference position of the block E of the frame image F3 is (x _n , y _n ), the motion vector 241 has a value (−4, +5) with respect to the reference position (x _n , y _n ) Assume that the motion vector 245 has a value (+4, −5) with respect to (x _n , y _n ) as a reference position. In this case, the motion vector 241 having the inter-frame distance F1-F3 and the motion vector 245 having the inter-frame distance F3-F5 have the same inter-frame distance, and the motion vector 241 and the motion vector 245 are aligned on a straight line. become.

次に、フレーム画像F3のブロックFの基準位置を(x_n,y_n)としたとき、動きベクトル242が基準位置を(x_n,y_n)に対して（-4,+5）なる値を有し、動きベクトル246が基準位置を(x_n,y_n)に対して（+2,-2.5）なる値を有すると仮定する。その場合、フレーム間距離F1-F3の動きベクトル242とフレーム間距離F3-F4の動きベクトル246とはフレーム間距離が異なるから、例えば動きベクトル242のフレーム間距離をF2-F3（又はF3-F4）に正規化すれば、動きベクトル242の値は、（-2,+2.5）に相当し、動きベクトル242と動きベクトル246は、「一直線上」に並んでいることになる。 Next, when the reference position of the block F of the frame image F3 is (x _n , y _n ), the motion vector 242 is a value (−4, +5) with respect to the reference position (x _n , y _n ). And the motion vector 246 has a reference position having a value of (+2, −2.5) with respect to (x _n , y _n ). In this case, since the inter-frame distance differs between the motion vector 242 having the inter-frame distance F1-F3 and the motion vector 246 having the inter-frame distance F3-F4, for example, the inter-frame distance of the motion vector 242 is set to F2-F3 (or F3-F4 ), The value of the motion vector 242 corresponds to (−2, +2.5), and the motion vector 242 and the motion vector 246 are aligned “on a straight line”.

次に、フレーム画像F3のブロックGの基準位置を(x_n,y_n)としたとき、動きベクトル243が基準位置を(x_n,y_n)に対して（-2,+6）なる値を有し、動きベクトル247が基準位置を(x_n,y_n)に対して（-4,+12）なる値を有すると仮定する。その場合、フレーム間距離F2-F3の動きベクトル243とフレーム間距離F3-F5の動きベクトル247とはフレーム間距離が異なるから、例えば動きベクトル247のフレーム間距離をF3-F5（又はF2-F3）に正規化すれば、動きベクトル247の値は、（-2,+6）に相当し、動きベクトル243と動きベクトル247は、「一直線上」に並んでいないことになる。 Next, when the reference position of the block G of the frame image F3 is (x _n , y _n ), the motion vector 243 is a value (−2, +6) with respect to the reference position (x _n , y _n ). And the motion vector 247 has a reference position having a value of (−4, + 12) with respect to (x _n , y _n ). In this case, since the inter-frame distance differs between the motion vector 243 having the inter-frame distance F2-F3 and the motion vector 247 having the inter-frame distance F3-F5, for example, the inter-frame distance of the motion vector 247 is F3-F5 (or F2-F3 ), The value of the motion vector 247 corresponds to (−2, +6), and the motion vector 243 and the motion vector 247 are not aligned “on a straight line”.

次に、フレーム画像F3のブロックHの基準位置を(x_n,y_n)としたとき、動きベクトル244が基準位置を(x_n,y_n)に対して（0,+8）なる値を有し、動きベクトル248が基準位置を(x_n,y_n)に対して（0,+8）なる値を有すると仮定する。その場合、フレーム間距離F2-F3の動きベクトル244とフレーム間距離F3-F4の動きベクトル248とはフレーム間距離が等しいが、動きベクトル244と動きベクトル248は、「一直線上」に並んでいないことになる。 Next, _assuming that the reference position of the block H in the frame image F3 is (x _n , y _n ), the motion vector 244 has a value (0, ₊₈ ) with respect to the reference position (x _n , y _n ). And the motion vector 248 has a reference position having a value of (0, + 8) with respect to (x _n , y _n ). In this case, the motion vector 244 of the inter-frame distance F2-F3 and the motion vector 248 of the inter-frame distance F3-F4 have the same inter-frame distance, but the motion vector 244 and the motion vector 248 are not aligned on a “straight line”. It will be.

このようにして、本発明によれば、あるフレームのブロック毎に、その前後のフレームとの間での動きベクトルを各々検出し、動きベクトルのフレーム間距離を正規化し、各々の動きベクトルの値から、「一直線上」であるか否かを判定する。「一直線上」にならないブロックの数が、当該フレームにおいて多数を占める場合には、動きあるフレーム画像はフェードと判断する。それに反して、「一直線上」になるブロックの数が、当該フレームにおいて多数を占める場合には、動きあるフレーム画像はフェードではないと判定する。一般に、数フレーム間の動画像において、ほとんどの画像が、「一直線上」に変化する（物体が直線的に移動する）ことが多い。そのため、本発明では、「一直線上」となりにくいフレーム画像のフェードを判定する手段として、動きベクトル検出を応用している。 In this way, according to the present invention, for each block of a certain frame, the motion vector between the previous and subsequent frames is detected, the inter-frame distance of the motion vector is normalized, and the value of each motion vector is detected. From this, it is determined whether or not it is “on a straight line”. When the number of blocks that are not “on a straight line” occupies a large number in the frame, the moving frame image is determined to be a fade. On the other hand, if the number of blocks “on a straight line” occupies a large number in the frame, it is determined that the moving frame image is not a fade. In general, in a moving image between several frames, most of the images often change “on a straight line” (an object moves linearly). Therefore, in the present invention, motion vector detection is applied as means for determining a fade of a frame image that is difficult to be “on a straight line”.

尚、前述では、例えば動きベクトル241が（-4,5）なる値を有し、動きベクトル245が（+4,-5）なる値を有すると仮定して、「一直線」と判定しているが、判定基準に所定の閾値（後述する第1の閾値）を設けることにより、動きベクトル245が（+3.8,-5.2）であっても「一直線」と判定する。 In the above description, for example, assuming that the motion vector 241 has a value of (−4, 5) and the motion vector 245 has a value of (+4, −5), it is determined as “straight line”. However, by providing a predetermined threshold value (first threshold value described later) in the determination criterion, it is determined that the motion vector 245 is “+3.8, −5.2” as “straight line”.

従来の「動き補償を伴わないフレーム間差」によるフェード判定では、カメラの方向を変えながら撮影したパンニング画像のように、上下左右、方向を問わず、画面のほとんどが移動するような画像に対しても輝度差（又は色差）が大きくなり、フェードと判定しうる。本発明によれば、パンニング画像であっても容易に動きベクトルを検出ができ、且つ、パンニング画像であれば「一直線」となるフレーム間の動きベクトルを有するブロックが多くなるため、フェードと誤検出することが低減する。 In the conventional fade judgment based on “difference between frames without motion compensation”, for panning images taken while changing the direction of the camera, images that move most of the screen regardless of direction, up, down, left, or right However, the luminance difference (or color difference) increases, and it can be determined as a fade. According to the present invention, even if it is a panning image, a motion vector can be easily detected, and in the case of a panning image, there are many blocks having motion vectors between frames that are “in a straight line”. To reduce.

また、従来の「動き補償を伴うフレーム間差」によるフェード判定では、フェード画像であっても、輝度差（又は色差）が大きくならないため、フェードの検出漏れが生じやすい。本発明によれば、フェード画像であれば、「一直線」とならないフレーム間の動きベクトルを有するブロックが多くなるため、フェードの検出漏れが低減する。 Further, in the conventional fade determination based on “difference between frames with motion compensation”, even if it is a fade image, the luminance difference (or color difference) does not increase, and therefore, fading detection is likely to be missed. According to the present invention, in the case of a fade image, the number of blocks having motion vectors between frames that do not become “straight line” increases.

尚、図4で説明した動作は、双方向予測に限らず、片方向予測、又はフレーム間スケーリングを行う場合にも応用できることは言うまでもない。 Needless to say, the operation described with reference to FIG. 4 is applicable not only to bidirectional prediction but also to unidirectional prediction or inter-frame scaling.

次に、実施例１について説明する。 Next, Example 1 will be described.

(実施例1)
実施例１のフェード検出装置は、複数のフレーム画像の空間的及び時間的相関関係に基づいて、フレーム画像からフェードを検出するフェード検出装置であって、動画像を特定の大きさのブロック単位に分割した第１のフレーム画像と第１のフレーム画像の時間的に前の第2のフレーム画像との間で、分割したブロック毎に第１の動きベクトルを検出する手段と、第１のフレーム画像と第１のフレーム画像の時間的に後の第3のフレーム画像との間で、分割したブロック毎に第2の動きベクトルを検出する手段と、第1の動きベクトルと第2の動きベクトルとの間の動きベクトルの差を計算し、その動きベクトルの差が第1の閾値を越えるブロックの総数を計算する手段と、第1の閾値を越えるブロックの総数と分割したブロックの総数との比が、第2の閾値を越える場合に「第1の真値」を出力する手段と、複数のフレーム画像毎に、「第1の真値」が出力される期間の連続するフレーム数（以下、第1の真値フレーム数とも称する）を計算する手段とを備えている。そして、第1の真値フレーム数が第3の閾値を越えたときに、フェードと判定する。 (Example 1)
The fade detection apparatus according to the first embodiment is a fade detection apparatus that detects a fade from a frame image based on a spatial and temporal correlation between a plurality of frame images. The fade image is a block unit having a specific size. Means for detecting a first motion vector for each divided block between the divided first frame image and the second frame image temporally preceding the first frame image; and the first frame image Detecting a second motion vector for each divided block between the first frame image and a third frame image temporally after the first frame image, and a first motion vector and a second motion vector, Means for calculating the motion vector difference between the two, and calculating the total number of blocks whose motion vector difference exceeds the first threshold, and the ratio of the total number of blocks exceeding the first threshold to the total number of divided blocks But second A means for outputting a “first true value” when the threshold value is exceeded, and the number of consecutive frames during which the “first true value” is output for each of a plurality of frame images (hereinafter referred to as a first true value) Means for calculating (also referred to as the number of frames). Then, when the first true frame number exceeds the third threshold value, it is determined as a fade.

図1に、本発明を実施するフェード検出装置200の一例を示す。フェード検出装置200は、フレームディレイ201及び202と、第1の動きベクトル検出部203と、第2の動きベクトル検出部204と、動きベクトル正規化部207と、動きベクトル比較部205と、ブロックカウンタ208と、フレーム数カウンタ206とを備える。尚、フェード検出装置200は、フレームディレイ201及び202と、第1の動きベクトル検出部203と、第2の動きベクトル検出部204と、動きベクトル正規化部207と、動きベクトル比較部205と、ブロックカウンタ208とを備えるブロックを映像判定部209と称することとする。 FIG. 1 shows an example of a fade detection apparatus 200 that implements the present invention. Fade detection apparatus 200 includes frame delays 201 and 202, a first motion vector detection unit 203, a second motion vector detection unit 204, a motion vector normalization unit 207, a motion vector comparison unit 205, a block counter 208 and a frame number counter 206. The fade detection apparatus 200 includes frame delays 201 and 202, a first motion vector detection unit 203, a second motion vector detection unit 204, a motion vector normalization unit 207, a motion vector comparison unit 205, A block including the block counter 208 is referred to as a video determination unit 209.

フレームディレイ201の入カは、第１のフレーム画像の時間的に後の第3のフレーム画像に相当する輝度信号であり、所定のフレーム分遅延したフレーム画像に相当する輝度信号を出力する。フレームディレイ202の入カは、第１のフレーム画像に相当する輝度信号であり、所定のフレーム分遅延したフレーム画像（即ち、第１のフレーム画像の時間的に前の第2のフレーム画像）に相当する輝度信号を出力する。尚、所定のフレーム分遅延とは、1フレーム遅延、2フレーム遅延など、連続するフレーム間の動きベクトルを検出するのに好適な値とすることができる。 The input of the frame delay 201 is a luminance signal corresponding to a third frame image temporally after the first frame image, and outputs a luminance signal corresponding to a frame image delayed by a predetermined frame. The input of the frame delay 202 is a luminance signal corresponding to the first frame image, and is converted into a frame image delayed by a predetermined frame (that is, the second frame image temporally before the first frame image). The corresponding luminance signal is output. The predetermined frame delay can be a value suitable for detecting a motion vector between successive frames, such as a one-frame delay or a two-frame delay.

第1の動きベクトル検出部203では、まず、入力された第1のフレーム(フレームディレイ201の出カ)を所望のブロックに分割する。次に、分割した全てのブロックについて、各ブロックを基準にして、入力された第3のフレーム(フレームディレイ201の入力)を参照フレーム画像として動きベクトル検出を行う。次に、検出した動きベクトル(第2の動きベクトル)を出力する。 First motion vector detection section 203 first divides the input first frame (output of frame delay 201) into desired blocks. Next, with respect to all the divided blocks, motion vector detection is performed using the inputted third frame (input of the frame delay 201) as a reference frame image on the basis of each block. Next, the detected motion vector (second motion vector) is output.

第2の動きベクトル検出部204では、まず、入力された第1のフレーム(フレームディレイ201の出力)をブロックに分割する。次に、分割したブロック全てのブロックについて、各ブロックを基準にして、入力された第2のフレーム(フレームディレイ202の出力)を参照フレーム画像として動きベクトル検出を行う。次に、検出した動きベクトル(第1の動きベクトル)を出力する。 In the second motion vector detection unit 204, first, the input first frame (output of the frame delay 201) is divided into blocks. Next, with respect to all the divided blocks, motion vector detection is performed using the input second frame (output of the frame delay 202) as a reference frame image on the basis of each block. Next, the detected motion vector (first motion vector) is output.

動きベクトル正規化部207では、まず、入力された第1の動きベクトルを、第1のフレームと第2のフレームとの距離で割算する。次に、入力された第2の動きベクトルを、第1のフレームと第3のフレームとの距離で割算する。このようにして、第1の動きベクトルと第2の動きベクトルとの間で比較するベクトルの大きさを正規化し、各ベクトルを動きベクトル比較部205に出力する。尚、第1のフレームと第2のフレームとの距離と、第1のフレームと第3のフレームとの距離が、等しい場合は、動きベクトル正規化部207を省略することができる。 The motion vector normalization unit 207 first divides the input first motion vector by the distance between the first frame and the second frame. Next, the input second motion vector is divided by the distance between the first frame and the third frame. In this way, the magnitude of the vector to be compared between the first motion vector and the second motion vector is normalized, and each vector is output to the motion vector comparison unit 205. When the distance between the first frame and the second frame is equal to the distance between the first frame and the third frame, the motion vector normalization unit 207 can be omitted.

動きベクトル比較部205では、動きベクトル検出を行った全てのブロックについて、入力された第1の動きベクトルと入力された第2の動きベクトルの比較を行い、各動きベクトルの差が第1の閾値より大きいブロックを単位数として順次、出力する。ブロックカウンタ208で、前記単位数の総数をカウントし、その総数について動きベクトル検出を行った全てのブロックの数で割算する。その割算して得た値が第2の閾値より大きい時に真値を出カし、それ以外の時は偽値を出力する。ブロックカウンタ208の詳細については、後述する。 The motion vector comparison unit 205 compares the input first motion vector and the input second motion vector for all blocks for which motion vector detection has been performed, and the difference between the motion vectors is the first threshold value. Sequentially output larger blocks as units. The block counter 208 counts the total number of units, and divides the total number by the number of all blocks for which motion vector detection has been performed. A true value is output when the value obtained by the division is larger than the second threshold value, and a false value is output otherwise. Details of the block counter 208 will be described later.

第1の動きベクトルと第2の動きベクトルの比較は、例えば式(1)で行う。

ここで、||は絶対値を表わし、Th₁は第1の閾値を表わす。また、V_1x、V_1yは第1の動きベクトルの水平成分、垂直成分を表わし、V_2x及びV_2yは第2の動きベクトルの水平成分、垂直成分を表わす。 The comparison between the first motion vector and the second motion vector is performed by, for example, Expression (1).

Here, || represents an absolute value, and Th ₁ represents a first threshold value. V _1x and V _1y represent the horizontal and vertical components of the first motion vector, and V _2x and V _2y represent the horizontal and vertical components of the second motion vector.

尚、式(1)は、第1の動きベクトルと第2の動きベクトルとが「一直線上」になるときに、V_1xとV_2x及びV_1yとV_2yの符号の向きが反転している場合の式である。 It should be noted that the direction of the signs of V _1x and V _2x and V _1y and V _2y is reversed when the first motion vector and the second motion vector are “on a straight line”. Is the expression of the case.

動きベクトルの検出方法によっては、第1の動きベクトルと第2の動きベクトルとが「一直線上」になるときに、V_1xとV_2x及びV_1yとV_2yの符号の向きが等しい場合がある。そのような場合には、式(1)のV_2x及びV_2yの符号を反転し、式(2)のようにする。

Depending on the motion vector detection method, when the first motion vector and the second motion vector are “on a straight line”, the sign directions of V _1x and V _2x and V _1y and V _2y may be equal. . In such a case, the signs of V _2x and V _2y in equation (1) are inverted to _obtain equation (2).

第1の動きベクトルと第2の動きベクトルの比較は、ベクトルの方向と大きさの違いを判定できればよいため、式(1)以外の式を用いる事もできる。例えば、式 (3)によって判定することもできる。

ここで( )²は2乗を表わし、Th₂は式(2)に合わせた第1の閾値である。 The comparison between the first motion vector and the second motion vector only needs to be able to determine the difference between the direction and the magnitude of the vector, so that an expression other than Expression (1) can also be used. For example, it can be determined by equation (3).

Here, () ² represents the square, and Th ₂ is a first threshold value according to the expression (2).

同様に、第1の動きベクトルと第2の動きベクトルとが「一直線上」になるときに、V_1xとV_2x及びV_1yとV_2yの符号の向きが等しい場合には、式(2)に代えて、V_2x及びV_2yの符号を反転し、式(4)のようにする。

Similarly, when the direction of the signs of V _1x and V _2x and V _1y and V _2y are equal when the first motion vector and the second motion vector are “on a straight line”, Equation (2) Instead of inverting the signs of V _2x and V _2y , the equation (4) is obtained.

例えば式(3)及び(4)を変形して、それぞれ式(5)及び(6)のようにすることもできる。

ここに、Th₃は、式(5)及び(6)に適した第1の閾値である。 For example, formulas (3) and (4) can be modified to formulas (5) and (6), respectively.

Here, Th ₃ is a first threshold value suitable for equations (5) and (6).

式(1)及び(2)による動きベクトルの差の計算方法は、「第1の動きベクトルと第2の動きベクトルとの間の差分の絶対値和」とも称する。又は、式(3)及び(4)による動きベクトルの差の計算方法は、「第1の動きベクトルと第2の動きベクトルとの間の差分の2乗和」とも称する。更に、式(5)及び(6)による動きベクトルの差の計算方法は、「第1の動きベクトルと第2の動きベクトルとの間の差分の2乗和の平方根」とも称する。 The method of calculating the difference between the motion vectors according to the equations (1) and (2) is also referred to as “the absolute value sum of the differences between the first motion vector and the second motion vector”. Alternatively, the motion vector difference calculation method according to the equations (3) and (4) is also referred to as “the sum of squares of the difference between the first motion vector and the second motion vector”. Further, the method of calculating the difference between the motion vectors according to the equations (5) and (6) is also referred to as “the square root of the sum of squares of the difference between the first motion vector and the second motion vector”.

第1の閾値（Th₁ 、Th₂又はTh₃）の適切な値は、動きベクトル検出を行なうブロックのサイズ、利用する動きベクトル検出方法などにより異なる。動きベクトル検出を行うブロックのサイズが大きい場合や、利用する動きベクトル検出方法の性能が低い場合は、第1の動きベクトルと第2の動きベクトルの差は大きくなる傾向がある。このような場合に、第1の閾値の値が小さすぎると、フェードの過検出の原因となる。このように、第1の閾値の値は本発明が利用する動きベクトル検出方法や、ブロックのサイズに依存するため、フェード以外の映像について分割したブロックの第1の動きベクトルと第2の動きベクトルの差を求め、その平均値の1.5倍程度の値を第1の閾値とすると良い。 The appropriate value of the first threshold (Th ₁ , Th ₂ or Th ₃ ) differs depending on the size of the block on which motion vector detection is performed, the motion vector detection method used, and the like. When the size of the block that performs motion vector detection is large or when the performance of the motion vector detection method to be used is low, the difference between the first motion vector and the second motion vector tends to increase. In such a case, if the value of the first threshold value is too small, it causes overdetection of the fade. Thus, since the first threshold value depends on the motion vector detection method used by the present invention and the block size, the first motion vector and the second motion vector of the block divided for the video other than the fade are used. It is preferable that the difference between the two is obtained and a value about 1.5 times the average value is used as the first threshold value.

ブロックカウンタ208は、動きベクトル比較部205で動きベクトルの差が大きいと判定されたブロックの数をカウントする。そのカウントした総数を、動きベクトル検出を行ったブロックの総数で割算した値が、第2の閾値より大きい時に、「第1の真値」を出力する。 The block counter 208 counts the number of blocks determined by the motion vector comparison unit 205 as having a large motion vector difference. When the value obtained by dividing the total counted by the total number of blocks subjected to motion vector detection is larger than the second threshold, the “first true value” is output.

第2の閾値は、本発明を利用するアプリケーションによって適宜定められるものであり、ブロックサイズや各種ある動きベクトル検出方法により異なる。本発明を利用する者が、所望のフェード検出効果を得るように定めることができる。 The second threshold value is appropriately determined depending on the application using the present invention, and differs depending on the block size and various motion vector detection methods. It can be determined that a person using the present invention obtains a desired fade detection effect.

フレーム数カウンタ206は、ブロックカウンタ208が「第1の真値」が出力される期間の連続するフレーム数（第1の真値フレーム数）をカウントし、第1の真値フレーム数が第3の閾値を越えた時に、フェードと判定し、第1のフェード判定信号を出カする。第1のフェード判定信号を出力している間に、動きベクトル比較部205が偽値を出力した時には、第1のフェード判定信号の出力を停止する。 The frame number counter 206 counts the number of consecutive frames (first true frame number) during which the block counter 208 outputs the “first true value”, and the first true frame number is the third. When the threshold value is exceeded, a fade is determined and a first fade determination signal is output. When the motion vector comparison unit 205 outputs a false value while outputting the first fade determination signal, the output of the first fade determination signal is stopped.

第3の閾値は、映像のフレームレートと検出するフェードの速度、またフェード検出を利用するアプリケーションに依存する。多くのフェードは0.5秒間〜1秒間で行われるため、例えば毎秒30フレームの映像であれば、第3の閾値は10程度にすると良い。また、フェードの有無で処理を変更するようなアプリケーションのように、フェード開始後のできる限り早い時間に検出を行う必要がある場合は、第3の閾値は4程度にすると良い。 The third threshold value depends on the frame rate of the video, the speed of the fade to be detected, and the application using the fade detection. Since many fades are performed within 0.5 seconds to 1 second, for example, if the video is 30 frames per second, the third threshold value should be about 10. In addition, when it is necessary to perform detection at the earliest possible time after the start of fading, such as an application that changes processing depending on the presence or absence of fading, the third threshold value may be set to about 4.

実施例1に示す構成によれば、連続的な複数のフレームから、動きベクトルを検出し、フレーム映像の動きを把握することから、パンニング画像などをフェードと過検出することを防止できる。また、フェード検出に動きベクトルを用いるため、従来の「動き補償を伴うフレーム間差」を検出する方法では検出漏れを生じるような映像であっても、フェードの検出漏れを防止できる。 According to the configuration shown in the first embodiment, since motion vectors are detected from a plurality of continuous frames and the motion of the frame video is grasped, it is possible to prevent over-detection of panning images and the like as fading. In addition, since a motion vector is used for fading detection, it is possible to prevent a fading detection omission even in a video that causes a detection omission in the conventional method of detecting “interframe difference with motion compensation”.

次に実施例2について説明する。 Next, Example 2 will be described.

(実施例2)
実施例2では、実施例1の手段に加えて、第1の動きベクトルに基づく複数のブロックから求められる予測画像と第2のフレーム画像との間の第1の動き補償予測誤差と、第2の動きベクトルに基づく複数のブロックから求められる予測画像と第3のフレーム画像との間の第2の動き補償予測誤差とが共に、第4の閾値より小さいときに「第2の真値」を出力する手段と、複数のフレーム画像毎に、「第1の真値」と「第2の真値」が共に出力される期間の連続するフレーム数（以下、第2の真値フレーム数とも称する）を計算する手段とを更に備えている。そして、前記第2の真値フレーム数が第3の閾値を越えたときに、フェードと判定する。 (Example 2)
In the second embodiment, in addition to the means of the first embodiment, the first motion compensation prediction error between the predicted image and the second frame image obtained from the plurality of blocks based on the first motion vector, and the second When the second motion compensated prediction error between the predicted image obtained from the plurality of blocks based on the motion vector and the third frame image is smaller than the fourth threshold value, the “second true value” is set. The means for outputting and the number of consecutive frames in which both the “first true value” and the “second true value” are output for each of a plurality of frame images (hereinafter also referred to as a second true value frame number). ) Is further included. Then, when the second true number of frames exceeds the third threshold, it is determined as a fade.

本実施例における動きベクトルについて詳説しておくと、動きベクトルは、MPEG等の動き補償手段において実行される動き補償処理に用いられるものである。例えば、まず現在符号化の対象となっている第Ｎのフレーム画像を、ｎ画素×ｎ画素の画素を含む複数の対象ブロックに分割する。そして、第Ｎのフレーム画像のある対象ブロック内の各画素と、第Ｎのフレーム画像よりも先に符号化された第Ｎ−１画像の対象ブロックに対応する位置の参照ブロック内の各画素との差分の絶対値を、対象ブロック内の全ての画素について加算することにより、差分の絶対値の和を算出する。次に、第Ｎ−１画像内に、対象ブロックに対応する位置の参照ブロックを中心に所定の範囲内において位置をずらしながら、差分の絶対値の和が最小となる位置を探索する。この際、当該ブロックと値が最小となる差分の絶対値の和を有する新たな参照ブロックとの位置関係を動きベクトルとする。 The motion vector in this embodiment will be described in detail. The motion vector is used for motion compensation processing executed in motion compensation means such as MPEG. For example, first, the Nth frame image that is the current encoding target is divided into a plurality of target blocks including pixels of n pixels × n pixels. And each pixel in the target block with the Nth frame image, each pixel in the reference block at a position corresponding to the target block of the (N-1) th image encoded before the Nth frame image, Is added to all the pixels in the target block to calculate the sum of the absolute values of the differences. Next, a position where the sum of the absolute values of the differences is minimized is searched for in the N-1th image while shifting the position within a predetermined range around the reference block at the position corresponding to the target block. At this time, the positional relationship between the block and a new reference block having the sum of absolute values of differences having the smallest value is set as a motion vector.

図2に、本発明による更なる応用例である第2のフェード判定信号を出力するフェード検出装置を示す。フェード検出装置220は、映像判定部209と、第1の動き補償予測誤差算出部224と、第2の動き補償予測誤差算出部225と、動き補償予測誤差比較部226と、フレーム数カウンタ227とを備える。ここで、本実施例により動画像を扱う際に、第1のフレーム画像の画像信号の各ブロックについて、第1のフレーム画像の画像信号に対して時間的に前のフレーム画像との間での第1の動きベクトルと、第1のフレーム画像に対して時間的に後のフレーム画像との間での第2の動きベクトルとを有する状態から説明する。第1の予測画像の画像信号とは、第1の動きベクトルに基づく分割したブロックの動き補償予測画像の画像信号であり、第2の予測画像の画像信号とは、第2の動きベクトルに基づく分割したブロックの動き補償予測画像の画像信号である。第1の動き補償予測誤差算出部224は、第1の予測画像の画像信号と第1のフレーム画像の画像信号とを入力し、第1の動き補償予測誤差の値（輝度差又は色差）を出力する。同様に、第2の動き補償予測誤差算出部225は、第2の予測画像の画像信号と第1のフレーム画像の画像信号とを入力し、第2の動き補償予測誤差の値（輝度差又は色差）を出力する。動き補償予測誤差の比較部226は、第1の動き補償予測誤差算出部224と第2の動き補償予測誤差算出部225から出力される、それぞれの動き補償予測誤差の値を入力し、全てのブロックに対してそれらの値の総和を算出し、その総和の値と第4の閾値と比較し、第4の閾値より小さいときに「第2の真値」を出力する。フレーム数カウンタ227は、映像判定部209が出力する「第1の真値」と、動き補償予測誤差の比較部226が出力する「第2の真値」が共に出力される期間の連続して出力するフレーム数（第2の真値フレーム数）をカウントし、第2の真値フレーム数が第3の閾値を越えた時に、第2のフェード判定信号を出カする。 FIG. 2 shows a fade detection apparatus that outputs a second fade determination signal, which is a further application example of the present invention. The fade detection device 220 includes a video determination unit 209, a first motion compensation prediction error calculation unit 224, a second motion compensation prediction error calculation unit 225, a motion compensation prediction error comparison unit 226, and a frame number counter 227. Is provided. Here, when handling a moving image according to the present embodiment, for each block of the image signal of the first frame image, the temporally previous frame image with respect to the image signal of the first frame image A description will be given from a state having a first motion vector and a second motion vector between a frame image temporally subsequent to the first frame image. The image signal of the first predicted image is the image signal of the motion compensated predicted image of the divided block based on the first motion vector, and the image signal of the second predicted image is based on the second motion vector It is an image signal of the motion compensation prediction image of the divided block. The first motion compensation prediction error calculation unit 224 inputs the image signal of the first prediction image and the image signal of the first frame image, and calculates the value (luminance difference or color difference) of the first motion compensation prediction error. Output. Similarly, the second motion compensation prediction error calculation unit 225 receives the image signal of the second prediction image and the image signal of the first frame image, and inputs the second motion compensation prediction error value (luminance difference or Color difference). The motion compensation prediction error comparison unit 226 receives the values of the respective motion compensation prediction errors output from the first motion compensation prediction error calculation unit 224 and the second motion compensation prediction error calculation unit 225, and outputs all of them. The sum of these values is calculated for the block, and the sum is compared with the fourth threshold value. When the sum is smaller than the fourth threshold value, the “second true value” is output. The frame number counter 227 continues for a period during which both the “first true value” output from the video determination unit 209 and the “second true value” output from the motion compensation prediction error comparison unit 226 are output. The number of frames to be output (second true value frame number) is counted, and when the second true value frame number exceeds the third threshold value, the second fade determination signal is output.

ここで、本実施例では、フェード検出装置220は、動きベクトルを検出する際に算出した各ブロックにおける差分の絶対値の和を、１つのフレーム画像分について合計して、予測誤差を算出する。第1の動きベクトルに基づく複数のブロックから求められる予測画像と第2のフレーム画像との間の第1の動き補償予測誤差と、第2の動きベクトルに基づく複数のブロックから求められる予測画像と第3のフレーム画像との間の第2の動き補償予測誤差とが、第4の閾値より小さいときに「第2の真値」を出力する。フレーム数カウンタ227は、前述した動作に基づいて図1に示すブロックカウンタ208が出力する第1の真値と、動き補償予測誤差の比較器226が出力する第2の真値との双方について連続して出力された第2の真値フレーム数と称する）をカウントし、第2の真値フレーム数が第3の閾値を越えた時に、フェードと判定し、第2のフェード判定信号を出カする。 Here, in the present embodiment, the fade detection device 220 calculates the prediction error by adding the sum of the absolute values of the differences in each block calculated when detecting the motion vector for one frame image. A first motion-compensated prediction error between a predicted image obtained from a plurality of blocks based on a first motion vector and a second frame image, and a predicted image obtained from a plurality of blocks based on a second motion vector; When the second motion compensation prediction error between the third frame image and the third frame image is smaller than the fourth threshold value, a “second true value” is output. The frame number counter 227 is continuous for both the first true value output from the block counter 208 shown in FIG. 1 and the second true value output from the motion compensation prediction error comparator 226 based on the above-described operation. (Referred to as the second number of true frames output), and when the second number of true frames exceeds the third threshold, it is determined as a fade, and the second fade determination signal is output. To do.

実施例2に示す構成によれば、実施例1に示す構成に加え、動き補償予測誤差が有する輝度の差又は色差の成分をも考慮することになり、フェード判定の精度向上が可能となる。 According to the configuration shown in the second embodiment, in addition to the configuration shown in the first embodiment, the luminance difference or color difference component of the motion compensation prediction error is also taken into consideration, and the accuracy of fade determination can be improved.

即ち、様々な動きある複雑な画像（例えば、人込みなど）では、動きベクトルが正しく検出されないことが考えられる。そのような場合に、双方向の動きベクトルの値が直線的とならないために、実施例1の方法においてもフェードであると誤判定しうる。しかしながら、そのような複雑な画像では動き補償予測誤差の値が大きくなることが多く、実施例2に示す構成によれば、フェードでないことを判定できるようになる。つまり、フェード検出装置220は、フェード判定装置200の過検出を抑制する効果がある。 That is, it is conceivable that a motion vector is not correctly detected in a complex image with various motions (for example, crowds). In such a case, since the value of the bidirectional motion vector is not linear, it can be erroneously determined to be a fade in the method of the first embodiment. However, in such a complex image, the value of the motion compensation prediction error often increases, and according to the configuration shown in the second embodiment, it can be determined that it is not a fade. That is, the fade detection device 220 has an effect of suppressing overdetection of the fade determination device 200.

第4の閾値の適切な値は、動きベクトル検出を行なうブロックのサイズ、利用する動きベクトル検出方法、またシーンチェンジなどにより異なる。本発明を利用する者が、所望のフェード検出効果を得るように定めることができる。実施例2の第3の閾値は、実施例1の第3の閾値と同様の要素と考えてよい。 The appropriate value of the fourth threshold varies depending on the size of the block for which motion vector detection is performed, the motion vector detection method used, the scene change, and the like. It can be determined that a person using the present invention obtains a desired fade detection effect. The third threshold value in the second embodiment may be considered as the same element as the third threshold value in the first embodiment.

次に実施例3について説明する。 Next, Example 3 will be described.

（実施例3）
実施例3では、実施例1〜2のいずれかに加えて、フレーム画像のカットチェンジ直後に、フレーム分割したブロックの第1の動きベクトルと第2の動きベクトルとの差の平均値を算出する手段を更に備え、その平均値に基づいて前記第1の閾値を変化させることにより、フェードと判定する。 (Example 3)
In the third embodiment, in addition to any of the first and second embodiments, immediately after the frame image cut change, an average value of the difference between the first motion vector and the second motion vector of the block divided into frames is calculated. A means is further provided, and the first threshold value is changed based on the average value to determine a fade.

ここで、第1の動きベクトルと第2の動きベクトルとの差は、前述の式(1)〜(6)のいずれかを用いる。平均値の算出には、全部ブロックから算出してもよく、特定のブロック（例えばフレーム中央）についての平均値とすることもできる。 Here, as the difference between the first motion vector and the second motion vector, any one of the aforementioned equations (1) to (6) is used. The average value may be calculated from all blocks or may be an average value for a specific block (for example, the center of the frame).

第1の動きベクトルと第2の動きベクトルの差は、映像が激しい動きやズームを含んでいる場合にも大きくなる。そこで、フレーム画像のカットチェンジ直後では、実施例3による方法又は装置により、第1の動きベクトルと第2の動きベクトルとの差の平均値に基づいて第1の閾値を変化させることにより、更にフェード検出の精度を高めることができる。 The difference between the first motion vector and the second motion vector is large even when the video includes intense motion or zoom. Therefore, immediately after the frame image cut change, by changing the first threshold based on the average value of the difference between the first motion vector and the second motion vector by the method or apparatus according to the third embodiment, The accuracy of fade detection can be increased.

実施例3においては、カットチェンジ検出を行い、カットチェンジ直後の複数フレームの第1の動きベクトルと第2の動きベクトルの差の平均値に応じて、第1の閾値を設定する。例えば平均値の1.5倍程度の値を第1の閾値とする。これにより、カットチェンジにより映像の傾向が変化した場合も、第1の閾値を適した値とする事ができる。尚、前記複数フレームは、4〜5フレーム程度で十分である。また、第1の閾値を、複数フレームにおける第1の動きベクトルと第2の動きベクトルの差の平均値と、それ以前の第1の閾値の値の平均値とする事で、第1の閾値の値が急激に変化することを防ぐこともできる。また、前述したカットチェンジ直後の複数フレームの期間は、第1の閾値の値が不適切な場合があるため、複数フレームの期間は第1のフェード判定信号の出力を停止しても良い。尚、カットチェンジの検出方法は、周知の方法で良いことは言うまでもない。 In the third embodiment, cut change detection is performed, and the first threshold value is set according to the average value of the difference between the first motion vector and the second motion vector of a plurality of frames immediately after the cut change. For example, a value about 1.5 times the average value is set as the first threshold value. As a result, even when the video tendency changes due to a cut change, the first threshold value can be set to a suitable value. Note that about 4-5 frames are sufficient for the plurality of frames. In addition, the first threshold value is defined as an average value of a difference between the first motion vector and the second motion vector in a plurality of frames and an average value of the previous first threshold value. It is also possible to prevent a sudden change in the value of. In addition, since the value of the first threshold value may be inappropriate during the period of the plurality of frames immediately after the cut change described above, the output of the first fade determination signal may be stopped during the period of the plurality of frames. It goes without saying that a known method may be used as the cut change detection method.

次に実施例4について説明する。 Next, Example 4 will be described.

(実施例4)
実施例１〜3とは更に別な態様として、実施例4では、前記第1の動きベクトルが、予め検出された双方向動きベクトルのうち、一方の動きベクトルであり、前記第2の動きベクトルが、前記双方向動きベクトルのうち、他方の動きベクトルであることにより、フェードと判定する。 (Example 4)
As yet another aspect from the first to third embodiments, in the fourth embodiment, the first motion vector is one of the previously detected bidirectional motion vectors, and the second motion vector Is determined to be a fade because it is the other motion vector of the bidirectional motion vectors.

図3に、双方向動き検出を伴う動きベクトルを用いた、本発明による更なる応用例であるフェード検出装置の一例を示す。MPEG-2エンコーダなど、双方向動き検出を伴う映像処理装置に本発明を利用する場合は、映像処理装置が有している双方向動きベクトル検出の結果を利用する事が可能である。実施例4のフェード検出装置は、実施例1〜3で説明した映像判定部209の代わりに、動きベクトル正規化部307と、動きベクトル比較部305と、ブロックカウンタ308とを有する映像判定部309を備える。動きベクトル正規化部307の機能は、実施例1で説明した動きベクトル正規化部207と同様である。また、動きベクトル比較部305の機能は、実施例1で説明した動きベクトル比較部205と同様である。また、ブロックカウンタ308の機能は、ブロックカウンタ208と同様である。 FIG. 3 shows an example of a fade detection apparatus which is a further application example of the present invention using a motion vector with bidirectional motion detection. When the present invention is used in a video processing apparatus that involves bidirectional motion detection, such as an MPEG-2 encoder, the result of bidirectional motion vector detection possessed by the video processing apparatus can be used. The fade detection apparatus according to the fourth embodiment includes a video determination unit 309 including a motion vector normalization unit 307, a motion vector comparison unit 305, and a block counter 308 instead of the video determination unit 209 described in the first to third embodiments. Is provided. The function of the motion vector normalization unit 307 is the same as that of the motion vector normalization unit 207 described in the first embodiment. The function of the motion vector comparison unit 305 is the same as that of the motion vector comparison unit 205 described in the first embodiment. The function of the block counter 308 is the same as that of the block counter 208.

動きベクトル比較部305では、各1ブロックについてエンコーダが求めた順方向動きベクトルと、逆方向動きベクトルと、予測方向の信号を入カとする。予測方向の信号は、そのブロックが、順方向予測、逆方向予測、双方向予測のいずれを行うかを示す信号である。順方向動きベクトルまたは逆方向動きベクトルのいずれか一方を第1の動きベクトルとし、残りの一方を第2の動きベクトルとする。 The motion vector comparison unit 305 receives the forward direction motion vector, reverse direction motion vector, and prediction direction signal obtained by the encoder for each block. The signal in the prediction direction is a signal indicating whether the block performs forward prediction, backward prediction, or bidirectional prediction. One of the forward motion vector and the backward motion vector is set as the first motion vector, and the remaining one is set as the second motion vector.

第1の動きベクトルの参照フレームを第2のフレームとし、第2の動きベクトルの参照フレームを第3のフレームとする。動きベクトル比較部305は、双方向予測を行うブロックのみを対象として、動きベクトルの比較を行う。 The reference frame for the first motion vector is the second frame, and the reference frame for the second motion vector is the third frame. The motion vector comparison unit 305 compares motion vectors only for blocks for which bidirectional prediction is performed.

双方向予測を行うブロックについて、実施例1で説明した処理と同様である。即ち、動きベクトル比較部305では、動きベクトル検出を行った全てのブロックについて、入力された第1の動きベクトルと第2の動きベクトルの比較を行い、そのベクトルの差が第1の閾値より大きいブロックを単位数として順次、出力する。ブロックカウンタ308で、その単位数の総数をカウントする。そして、その総数について双方向予測を行った全てのブロックの数で割算した値が第2の閾値より大きい時に「第1の真値」を出カし、それ以外の時は偽値を出力する。このように構成する事で、実施例１と同様の効果を得ることができる。尚、実施例4の第1の閾値と第2の閾値は、実施例1で説明した要素と同様と考えてよい。 About the block which performs bidirectional | two-way prediction, it is the same as that of the process demonstrated in Example 1. FIG. That is, the motion vector comparison unit 305 compares the input first motion vector and the second motion vector for all the blocks for which motion vector detection has been performed, and the difference between the vectors is greater than the first threshold value. Sequentially output blocks as units. The block counter 308 counts the total number of units. Then, when the value divided by the number of all blocks that have been bi-directionally predicted for the total number is larger than the second threshold value, the "first true value" is output, otherwise the false value is output. To do. By configuring in this way, the same effect as in the first embodiment can be obtained. Note that the first threshold value and the second threshold value in the fourth embodiment may be considered to be the same as the elements described in the first embodiment.

実施例１〜3において、動きベクトルを検出するブロックは画面全体を隙間無く覆う必要はない。画面全体がパンニング画像である場合などでは、画面の端の動きベクトルは乱れ、第1の動きベクトルと第2の動きベクトルの差は大きくなる傾向がある。一方、フェードは画面全体で行われるため、動きベクトル検出は、画面の中央付近のブロックだけで行っても、本発明の効果を得る事ができる。同様に、動きベクトルを検出するブロックの間に隙間があっても、本発明の効果を得ることができる。 In the first to third embodiments, the block for detecting a motion vector does not need to cover the entire screen without a gap. When the entire screen is a panning image, the motion vector at the edge of the screen is disturbed, and the difference between the first motion vector and the second motion vector tends to increase. On the other hand, since fading is performed on the entire screen, the effect of the present invention can be obtained even if motion vector detection is performed only on the block near the center of the screen. Similarly, the effect of the present invention can be obtained even if there is a gap between blocks that detect motion vectors.

尚、本明細書では説明を簡単にするため、全てフレーム画像について説明したが、フィールド画像についても、同様の効果を得ることができる。即ち、本明細書の「フレーム」を「フィールド」と置換することで適用可能である。ただし、フィールド画像についての第1の動きベクトルと第2の動きベクトルを比較する動きベクトル比較部205又は305については、フィールド構造に適合させるべく、増減する動きベクトルの垂直成分の値を加減算する必要がある。 In this specification, for the sake of simplicity, all frame images have been described. However, the same effect can be obtained for field images. That is, the present invention can be applied by replacing “frame” in this specification with “field”. However, for the motion vector comparison unit 205 or 305 that compares the first motion vector and the second motion vector for the field image, it is necessary to add or subtract the value of the vertical component of the motion vector to be increased or decreased to match the field structure. There is.

上述の実施例については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Accordingly, the invention should not be construed as limited by the embodiments described above, but only by the claims.

本発明により、動き補償を伴わないフレーム画像において、パンニング画像のように画面全体が変化する映像であっても、フェードと過検出することを防止できる。また、動き補償後のフレーム間差が小さい値となるような映像であっても、フェードの検出漏れを防ぐことができ、動画像処理又は動画像の符号化処理において有用である。 According to the present invention, in a frame image without motion compensation, it is possible to prevent over-detection of fading even for a video whose entire screen changes like a panning image. Further, even for a video in which the difference between frames after motion compensation is a small value, it is possible to prevent the detection of fading from being missed, which is useful in moving image processing or moving image encoding processing.

本発明を実施するフェード検出装置の一例を示す図である。It is a figure which shows an example of the fade detection apparatus which implements this invention. 本発明による更なる応用例であるフェード検出装置の一例を示す図である。It is a figure which shows an example of the fade detection apparatus which is the further application example by this invention. 双方向動き検出を伴う動きベクトルを用いた、本発明による更なる応用例であるフェード検出装置の一例を示す図である。It is a figure which shows an example of the fade detection apparatus which is the further application example by this invention using the motion vector with a bidirectional | two-way motion detection. 本発明による基本的な機能を説明する複数のフレーム間における分割したブロックの動きベクトルの模式図である。It is a schematic diagram of the motion vector of the block divided | segmented between several frames explaining the basic function by this invention.

Explanation of symbols

２００フェード検出装置
２０１フレームディレイ
２０２フレームディレイ
２０３第1の動きベクトル検出部
２０４第2の動きベクトル検出部
２０５動きベクトル比較部
２０６フレーム数カウンタ
２０７動きベクトル正規化部
２０８ブロックカウンタ
２０９映像判定部
２２０フェード検出装置
２２４第1の動き補償予測誤差算出部
２２５第2の動き補償予測誤差算出部
２２６動き補償予測誤差の比較部
２２７フレーム数カウンタ
３０５動きベクトル比較部
３０７動きベクトル正規化部
３０８ブロックカウンタ
３０９映像判定部 200 Fade Detection Device 201 Frame Delay 202 Frame Delay 203 First Motion Vector Detection Unit 204 Second Motion Vector Detection Unit 205 Motion Vector Comparison Unit 206 Frame Number Counter 207 Motion Vector Normalization Unit 208 Block Counter 209 Video Determination Unit 220 Fade Detection device 224 First motion compensation prediction error calculation unit 225 Second motion compensation prediction error calculation unit 226 Motion compensation prediction error comparison unit 227 Frame counter 305 Motion vector comparison unit 307 Motion vector normalization unit 308 Block counter 309 Video Judgment part

Claims

A fade detection device for detecting a fade from the frame image based on a spatial and temporal correlation between a plurality of frame images,
Between the first frame image obtained by dividing the moving image into blocks of a specific size and the second frame image temporally preceding the first frame image, the first frame image is divided for each of the divided blocks. Means for detecting a motion vector;
Means for detecting a second motion vector for each of the divided blocks between the first frame image and a third frame image temporally subsequent to the first frame image;
Means for calculating a motion vector difference between the first motion vector and the second motion vector, and calculating a total number of blocks in which the motion vector difference exceeds a first threshold;
Means for outputting a first true value when the ratio of the total number of blocks exceeding the first threshold and the total number of divided blocks exceeds a second threshold;
Means for calculating the number of consecutive frames of the period during which the first true value is output for each of the plurality of frame images;
A fade detection device that determines a fade when the number of frames exceeds a third threshold.

The difference between the motion vectors is a sum of absolute values of differences between the first motion vector and the second motion vector, 2 of the difference between the first motion vector and the second motion vector. 2. The fade detection apparatus according to claim 1, wherein the fade detection apparatus comprises either a sum of multiplications or a square root of a sum of squares of a difference between the first motion vector and the second motion vector.

Obtained from the plurality of blocks based on the first motion compensated prediction error between the predicted image obtained from the plurality of blocks based on the first motion vector and the second frame image, and the second motion vector Means for outputting a second true value when both the second motion compensated prediction error between the predicted image and the third frame image are less than a fourth threshold;
Means for calculating the number of consecutive frames in a period in which the first true value and the second true value are output together for each of the plurality of frame images;
2. The fade detection device according to claim 1, wherein when the number of frames exceeds a third threshold value, a fade is determined.

Immediately after the cut change of the frame image, further comprising means for calculating an average value of the motion vector differences for any of the divided blocks, and changing the first threshold based on the average value. Item 4. The fade detection device according to any one of Items 1 to 3.

The first motion vector is one of motion vectors detected in advance, and the second motion vector is the other motion vector of the motion vectors. Item 5. The fade detection device according to any one of Items 1 to 4.