JP4589291B2

JP4589291B2 - Video evaluation device

Info

Publication number: JP4589291B2
Application number: JP2006303778A
Authority: JP
Inventors: 吉彦河合
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2006-11-09
Filing date: 2006-11-09
Publication date: 2010-12-01
Anticipated expiration: 2026-11-09
Also published as: JP2008124611A

Description

本発明は、動画像を評価する装置に関し、特に、動画像におけるショット境界のあいまい性（ショット境界の検出の難しさ）を算出する装置に関する。 The present invention relates to an apparatus for evaluating a moving image, and more particularly to an apparatus for calculating ambiguity of shot boundaries in a moving image (difficulty in detecting shot boundaries).

一般に、１台のカメラを用いて連続して撮影した動画像の区間をショットといい、その切り替え点をショット境界という。動画像からこのショット境界を検出して画像の切り替えを行う手法が知られている。例えば、瞬時にショットの切り替えを行うカット、複数のフレームに渡って徐々に動画像の切り替えを行うディゾルブやワイプの手法がある。ショットは動画像の基本単位であるから、動画像の要約や検索等を行う際には、動画像をショットに分割するために、ショット境界の検出が必要不可欠となる。 In general, a section of a moving image continuously photographed using one camera is called a shot, and a switching point is called a shot boundary. A technique is known in which the shot boundary is detected from a moving image and the image is switched. For example, there are a cut method in which shots are switched instantaneously, and a dissolve and wipe method in which moving images are gradually switched over a plurality of frames. Since a shot is a basic unit of a moving image, it is indispensable to detect a shot boundary in order to divide the moving image into shots when summarizing or searching for a moving image.

ショット境界は、動画像を構成する連続したフレームの類似性を求めることにより検出することができる。これは、同じショットの区間に属する連続した２枚のフレームは類似性が高く、ショット境界の２枚のフレームは類似性が低いという知識によるものである。ショット境界を正確に検出するためには、連続したフレームの類似性を求めるアルゴリズム、及びショット境界であることを判定する場合の閾値となる類似性の程度について検討する必要がある。 A shot boundary can be detected by determining the similarity of consecutive frames constituting a moving image. This is due to the knowledge that two consecutive frames belonging to the same shot section have high similarity and two frames at the shot boundary have low similarity. In order to accurately detect a shot boundary, it is necessary to consider an algorithm for obtaining the similarity between consecutive frames and the degree of similarity that is a threshold value when determining a shot boundary.

しかしながら、前述したフレームの類似性を求める手法では、対象とする動画像の内容によって大きく影響を受けてしまう。例えば、スポーツを対象とする動画像では、被写体及びカメラが激しく動くから、ショット境界と被写体等の動きとを正確に区別できるようにするため、多くの計算時間を要するブロックマッチング等の複雑なアルゴリズムを用いる必要がある。これに対し、カメラの動きがほとんどない動画像では、輝度差分和等のような単純で高速に演算可能なアルゴリズムを用いればよい。 However, the above-described method for obtaining the similarity of frames is greatly influenced by the content of the target moving image. For example, in a moving image for sports, the subject and the camera move violently, so in order to be able to accurately distinguish between the shot boundary and the movement of the subject, a complicated algorithm such as block matching that requires a lot of calculation time Must be used. On the other hand, a simple and high-speed algorithm such as a luminance difference sum may be used for a moving image with little camera movement.

ここで、スポーツを対象とする動画像のように、ショット境界とそれ以外とを区別することが困難な動画像を、ショット境界があいまいな動画像という。この場合、動画像におけるショット境界のあいまい性（ショット境界の検出の難しさ）を示す値は大きくなり、ショット境界の検出は難しくなる。 Here, a moving image in which it is difficult to distinguish a shot boundary from the rest, such as a moving image targeting sports, is referred to as a moving image having an ambiguous shot boundary. In this case, the value indicating the ambiguity of shot boundaries in a moving image (difficulty in detecting shot boundaries) becomes large, and detection of shot boundaries becomes difficult.

従来、動画像評価装置は、動画像におけるフレーム間の類似性の程度を示すフレーム間類似度を、以下の（１）式に示すような輝度差分和等の単純な演算式により算出し、ショット境界を検出し（非特許文献１及び２を参照）、その検出率及び誤検出率に基づいてショット境界のあいまい性を算出していた。

ここで、Ｄｉｆｆはフレーム間類似度を示し、ｆ_ｔ（ｘ，ｙ）は、フレームｔにおいて、そのフレームの座標（ｘ，ｙ）における画素値（例えば輝度値）を示す。 2. Description of the Related Art Conventionally, a moving image evaluation apparatus calculates an interframe similarity indicating a degree of similarity between frames in a moving image by a simple arithmetic expression such as a luminance difference sum as shown in the following equation (1). The boundary is detected (see Non-Patent Documents 1 and 2), and the ambiguity of the shot boundary is calculated based on the detection rate and the false detection rate.

Here, Diff indicates the similarity between frames, and f _t (x, y) indicates a pixel value (for example, a luminance value) at the coordinates (x, y) of the frame in the frame t.

また、人が動画像を閲覧し、カメラの動きや画像の変化量等を総合的に観ることにより、ショット境界のあいまい性を評価する手法もある。 There is also a method of evaluating the ambiguity of shot boundaries by allowing a person to browse a moving image and comprehensively view the movement of the camera, the amount of change in the image, and the like.

大辻清太、他２名、「突出フィルタを用いた映像カット点検出法」、電子情報通信学会論文誌Ｄ−II、Ｖｏｌ．Ｊ７７−ｄ−II、Ｎｏ．３、ｐｐ５１９−５２８、１９９４年３月Seita Otsuki, two others, “Video cut point detection method using protruding filter”, IEICE Transactions D-II, Vol. J77-d-II, no. 3, pp 519-528, March 1994 長坂晃朗、田中譲、「カラービデオ映像における自動索引付け法と物体探索法」、情報処理学会論文誌、Ｖｏｌ．３３、Ｎｏ．４、Ａｐｒ．１９９２Goro Nagasaka and Joe Tanaka, “Automatic Indexing and Object Searching in Color Video Images”, Transactions of Information Processing Society of Japan, Vol. 33, no. 4, Apr. 1992

従来のショット境界のあいまい性を算出する動画像評価装置は、輝度差分和等の演算式を用いているから、定量的な算出が可能である。しかしながら、動画像に含まれる全てのショット境界の正確な位置を事前に把握しておく必要があり、必ずしもその位置を事前に把握することができないという問題があった。 Since the conventional moving image evaluation apparatus for calculating the ambiguity of the shot boundary uses an arithmetic expression such as a luminance difference sum, it can be quantitatively calculated. However, there is a problem that it is necessary to grasp in advance the exact positions of all shot boundaries included in the moving image, and the positions cannot always be grasped in advance.

また、閾値等の変数が存在する場合には、あらゆる動画像に対して良好な算出結果を得るために、適切な変数を決定しておく必要があるが、変数を決定するための規則を検討する必要があり、その決定が困難であるという問題があった。 In addition, when there are variables such as thresholds, it is necessary to determine appropriate variables in order to obtain good calculation results for all moving images. However, consider rules for determining variables. There was a problem that it was necessary to do that and it was difficult to determine.

さらに、人が主観的にあいまい性を評価する手法では、同一人物が評価した複数の動画像に対して相対的に比較して評価することが可能であるが、その評価の基準は人の感性によるところが大きく、定量的に評価することができないという問題があった。 Furthermore, in the method in which a person subjectively evaluates ambiguity, it is possible to evaluate by relatively comparing multiple moving images evaluated by the same person, but the evaluation standard is human sensitivity. There is a problem that it cannot be quantitatively evaluated.

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、動画像におけるショット境界のあいまい性を定量的に算出することにより、その動画像の質を評価する際の指標の一つとして利用可能な動画像評価装置を提供することにある。 Therefore, the present invention has been made to solve the above-mentioned problems, and its purpose is to provide an index for evaluating the quality of a moving image by quantitatively calculating the ambiguity of shot boundaries in the moving image. Another object is to provide a moving image evaluation apparatus that can be used.

上記課題を解決するため、本発明は、動画像を構成する隣接した２つのフレームについて、ショット境界を含む場合のフレーム間の画素における差分値の分布と、ショット境界を含まない場合のフレーム間の画素における差分値の分布とを算出し、これらの分布の近接度合い（距離）によってショット境界に対するあいまい性を算出する。 In order to solve the above-described problem, the present invention provides a distribution of difference values between pixels when two adjacent frames constituting a moving image include a shot boundary and between frames when a shot boundary is not included. The difference value distribution in the pixel is calculated, and the ambiguity with respect to the shot boundary is calculated based on the proximity degree (distance) of these distributions.

すなわち、本発明による動画像評価装置は、動画像におけるショット境界のあいまい性を評価する動画像評価装置において、動画像におけるショット境界を判定するショット境界判定部、動画像を構成する隣接した２つのフレームについて、ショット境界を含む場合のフレーム間の画素における差分値の分布を算出すると共に、ショット境界を含まない場合のフレーム間の画素における差分値の分布を算出する画素差分分布算出部、及び、動画像を構成する全てのフレームについて、前記ショット境界を含む場合のフレーム間の画素における差分値の分布と、前記ショット境界を含まない場合のフレーム間の画素における差分値の分布との間の近接度合いを、あいまい性の値として算出するあいまい性算出部を備えたことを特徴とする。 That is, the moving image evaluation apparatus according to the present invention is a moving image evaluation apparatus that evaluates the ambiguity of shot boundaries in a moving image, a shot boundary determination unit that determines a shot boundary in a moving image, and two adjacent two that constitute a moving image. For a frame, a pixel difference distribution calculation unit that calculates a distribution of difference values in pixels between frames when including a shot boundary, and calculates a distribution of difference values in pixels between frames when not including a shot boundary, and Proximity between the distribution of difference values in pixels between frames when the shot boundary is included and the distribution of difference values in pixels between frames when the shot boundary is not included for all frames constituting the moving image An ambiguity calculation unit for calculating the degree as an ambiguity value is provided.

また、ショット境界が事前に判明している場合は、前記ショット境界判定部が、予め設定されたショット境界のフレーム番号に基づいてショット境界を判定することが好適である。また、ショット境界が事前に判明していない場合は、前記ショット境界判定部が、予め設定された時間間隔のタイミングにて、動画像におけるショット境界であると判定することが好適である。 When the shot boundary is known in advance, it is preferable that the shot boundary determination unit determines the shot boundary based on a preset frame number of the shot boundary. In addition, when the shot boundary is not known in advance, it is preferable that the shot boundary determination unit determines that it is a shot boundary in a moving image at a timing of a preset time interval.

また、前記画素差分分布算出部が、ショット境界を含む場合及び含まない場合のフレーム間の画素における差分値の分布を、その画素の輝度値、色相値及び彩度のうちのいずれかにより算出することが好適である。 Further, the pixel difference distribution calculation unit calculates a distribution of difference values between pixels when the shot boundary is included and when the shot boundary is not included, by any one of the luminance value, the hue value, and the saturation of the pixel. Is preferred.

また、前記画素差分分布算出部が、動画像を構成する隣接した２つのフレームについて、ショット境界を含む場合及び含まない場合のフレーム間の画素における差分値の出現頻度を該差分値毎に算出し、前記算出した差分値毎の出現頻度を、動画像を構成する全てのフレームについて加算して正規化し、動画像全体に対する差分値毎の分布を算出し、前記あいまい性算出部が、前記ショット境界を含む場合の動画像全体に対する差分値毎の分布と、前記ショット境界を含まない場合の動画像全体に対する差分値毎の分布との間の近接度合いを、あいまい性の値として算出することが好適である。 In addition, the pixel difference distribution calculation unit calculates, for each difference value, the frequency of appearance of the difference value in the pixel between the frames when the adjacent two frames constituting the moving image include and do not include the shot boundary. The appearance frequency for each calculated difference value is normalized by adding all frames constituting the moving image, and the distribution for each difference value with respect to the entire moving image is calculated. It is preferable to calculate the degree of proximity between the distribution for each difference value with respect to the entire moving image in the case of including the image and the distribution for each difference value with respect to the entire moving image in the case of not including the shot boundary as an ambiguity value. It is.

以上のように、本発明によれば、動画像におけるショット境界のあいまい性を定量的に算出することができ、その動画像の質を評価する際の指標の一つとして利用可能な動画像評価装置を実現することが可能となる。 As described above, according to the present invention, it is possible to quantitatively calculate the ambiguity of shot boundaries in a moving image, and the moving image evaluation that can be used as one of indices for evaluating the quality of the moving image. An apparatus can be realized.

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
本発明を実施するための最良の形態は、実施例１及び実施例２により具現化できる。実施例１は、動画像に含まれるショット境界が事前に判明している場合を想定しており、実施例２は、動画像に含まれるショット境界が事前に判明していない場合を想定している。実施例１では、動画像のフレーム間にショット境界を含む場合の画素差分分布、及びショット境界を含まない場合の画素差分分布に基づいてショット境界のあいまい性を算出する。これに対し、実施例２では、動画像において経験的に得られているショット境界の出現頻度により、仮想的なショット境界（以下、みなしショット境界という。）を設定する。そして、動画像のフレーム間にみなしショット境界を含む場合の画素差分分布、及びみなしショット境界を含まない場合のフレーム間の画素差分分布に基づいてショット境界のあいまい性を算出する。以下、実施例１及び２について詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.
The best mode for carrying out the present invention can be realized by the first embodiment and the second embodiment. The first embodiment assumes a case where the shot boundary included in the moving image is known in advance, and the second embodiment assumes a case where the shot boundary included in the moving image is not known in advance. Yes. In the first embodiment, the ambiguity of the shot boundary is calculated based on the pixel difference distribution when the shot boundary is included between the frames of the moving image and the pixel difference distribution when the shot boundary is not included. On the other hand, in the second embodiment, a virtual shot boundary (hereinafter referred to as a deemed shot boundary) is set based on the appearance frequency of shot boundaries obtained empirically in a moving image. Then, the ambiguity of the shot boundary is calculated based on the pixel difference distribution when the deemed shot boundary is included between the frames of the moving image and the pixel difference distribution between the frames when the deemed shot boundary is not included. Hereinafter, Examples 1 and 2 will be described in detail.

まず、実施例１について説明する。前述のように、実施例１は、動画像に含まれるショット境界が事前に判明している場合の例である。図１は、本発明の実施の形態による実施例１の動画像評価装置の構成を示すブロック図である。また、図２は、実施例１の処理手順を示すフローチャート図である。この動画像評価装置１は、動画像入力部１１、ショット境界判定部１２、画素差分分布算出部１３、ショット境界あいまい性算出部１４、ショット境界情報記憶部２１、フレーム記憶部２２、及び画素差分分布記憶部２３を備えている。 First, Example 1 will be described. As described above, the first embodiment is an example when the shot boundary included in the moving image is known in advance. FIG. 1 is a block diagram showing a configuration of a moving image evaluation apparatus of Example 1 according to the embodiment of the present invention. FIG. 2 is a flowchart showing the processing procedure of the first embodiment. The moving image evaluation apparatus 1 includes a moving image input unit 11, a shot boundary determination unit 12, a pixel difference distribution calculation unit 13, a shot boundary ambiguity calculation unit 14, a shot boundary information storage unit 21, a frame storage unit 22, and a pixel difference. A distribution storage unit 23 is provided.

動画像入力部１１は、番組単位または映像クリップ単位の動画像を入力し、この動画像からフレームを時系列に順次取り出し、取り出したフレームをショット境界判定部１２に出力する（ステップＳ２１）。 The moving image input unit 11 inputs moving images in units of programs or video clips, sequentially extracts frames from the moving images in time series, and outputs the extracted frames to the shot boundary determination unit 12 (step S21).

ショット境界判定部１２は、動画像入力部１１からフレームを入力し、ショット境界情報記憶部２１からショット境界情報を読み出す。ここで、ショット境界情報記憶部２１には、ショット境界となるフレーム番号（ショットにおける先頭のフレーム番号）であるショット境界情報が予め格納されている。そして、ショット境界判定部１２は、入力したフレーム及びショット境界情報に基づいて、そのフレームの番号がショットの先頭フレーム番号であるか否か（そのフレームがショットの先頭フレームであるか否か）を判定し、そのフレームが先頭フレームである場合はショット境界有の信号を画素差分分布算出部１３に出力し、そのフレームが先頭フレームでない場合はショット境界無の信号を画素差分分布算出部１３に出力する（ステップＳ２１）。また、そのフレームを現フレームとしてフレーム記憶部２２に格納する。これにより、フレーム記憶部２２には、時系列のフレームが格納される。 The shot boundary determination unit 12 inputs a frame from the moving image input unit 11 and reads shot boundary information from the shot boundary information storage unit 21. Here, the shot boundary information storage unit 21 stores in advance shot boundary information that is a frame number that is a shot boundary (the first frame number in a shot). Then, based on the input frame and shot boundary information, the shot boundary determination unit 12 determines whether the frame number is the first frame number of the shot (whether the frame is the first frame of the shot). When the frame is the first frame, a signal having a shot boundary is output to the pixel difference distribution calculating unit 13, and when the frame is not the first frame, a signal having no shot boundary is output to the pixel difference distribution calculating unit 13. (Step S21). The frame is stored in the frame storage unit 22 as the current frame. Thus, the frame storage unit 22 stores time-series frames.

画素差分分布算出部１３は、ショット境界判定部１２からショット境界有無信号を入力し、フレーム記憶部２２から現フレーム及び直前フレーム（現フレームの直前にフレーム記憶部２２に格納されたフレーム）を読み出す。 The pixel difference distribution calculation unit 13 receives the shot boundary presence / absence signal from the shot boundary determination unit 12 and reads the current frame and the immediately preceding frame (the frame stored in the frame storage unit 22 immediately before the current frame) from the frame storage unit 22. .

そして、ショット境界有の信号の場合（現フレームがショットの先頭フレームである場合）に、直前フレーム（直前のショットの最終フレーム）と現フレーム（ショットの先頭フレーム）との間の画素の差分を算出し（ステップＳ２２）、フレーム間にショット境界を含む場合の分布として画素差分分布記憶部２３に格納する（ステップＳ２３）。また、ショット境界無の信号の場合（現フレームがショットの先頭フレームでない場合）に、直前フレームと現フレーム（直前フレームが属するショットと同一のショットのフレーム）との間の画素の差分を算出し（ステップＳ２２）、フレーム間にショット境界を含まない場合の分布として画素差分分布記憶部２３に格納する（ステップＳ２３）。このようにして、画素差分分布記憶部２３には、動画像全体の画素差分分布が、ショット境界を含む場合と含まない場合とに区別して格納される。 In the case of a signal with a shot boundary (when the current frame is the first frame of a shot), the pixel difference between the previous frame (the last frame of the previous shot) and the current frame (the first frame of the shot) is calculated. It is calculated (step S22) and stored in the pixel difference distribution storage unit 23 as a distribution when a shot boundary is included between frames (step S23). Also, in the case of a signal with no shot boundary (when the current frame is not the first frame of a shot), the pixel difference between the previous frame and the current frame (the same shot frame as the shot to which the previous frame belongs) is calculated. (Step S22), the distribution in the case where no shot boundary is included between frames is stored in the pixel difference distribution storage unit 23 (Step S23). In this way, the pixel difference distribution storage unit 23 stores the pixel difference distribution of the entire moving image by distinguishing between the case where the shot boundary is included and the case where the shot boundary is not included.

具体的には、画素差分分布算出部１３は、以下の式により、直前フレームと現フレームとの間の画素の差分から、フレーム間の画素差分分布を、ショット境界を含む場合と含まない場合とに区別してそれぞれ算出する。

ここで、ｆ_ｔ１（ｘ，ｙ）は直前フレームｔ１の座標（ｘ，ｙ）における画素値を示し、ｆ_ｔ２（ｘ，ｙ）は現フレームｔ２の座標（ｘ，ｙ）における画素値を示し、ｖは座標（ｘ，ｙ）におけるフレーム間の画素差分値を示す。また、Ｈｉｓｔｇｒａｍは、フレームｔ１とフレームｔ２との間の画素差分分布であり、画素差分値がｖであるものの出現頻度を示す。 Specifically, the pixel difference distribution calculation unit 13 calculates whether or not the pixel difference distribution between frames includes and does not include a shot boundary from the difference in pixels between the immediately preceding frame and the current frame according to the following formula. They are calculated separately.

Here, f _t1 (x, y) indicates the pixel value at the coordinate (x, y) of the immediately preceding frame t1, and f _t2 (x, y) indicates the pixel value at the coordinate (x, y) of the current frame t2. , V indicates a pixel difference value between frames at coordinates (x, y). Histgram is a pixel difference distribution between the frame t1 and the frame t2, and indicates the appearance frequency of a pixel difference value of v.

尚、画素差分分布算出部１３は、画素値ｆ_ｔ１（ｘ，ｙ），ｆ_ｔ２（ｘ，ｙ）を用いて画素差分分布を算出するようにしたが、この画素値は輝度値、色相値、彩度を含む概念である。また、画素差分分布算出部１３は、画素値の差分の絶対値｜ｆ_ｔ１（ｘ，ｙ）−ｆ_ｔ２（ｘ，ｙ）｜を用いて画素差分分布を算出するようにしたが、画素値の差分の絶対値の代わりに、画素値の差分の絶対値の２乗を用いて画素差分分布を算出するようにしてもよい。 The pixel difference distribution calculation unit 13 calculates the pixel difference distribution using the pixel values f _t1 (x, y) and f _t2 (x, y). The pixel values are the luminance value and the hue value. It is a concept that includes saturation. Further, the pixel difference distribution calculating unit 13 calculates the pixel difference distribution using the absolute value | f _t1 (x, y) −f _t2 (x, y) | Instead of the absolute value of the difference, the pixel difference distribution may be calculated using the square of the absolute value of the pixel value difference.

また、画素差分分布算出部１３は、以下の式により、前述の（２）式に示すフレーム間の画素差分分布をそれぞれ加算し、動画像全体のフレーム数で正規化することにより、動画像全体に対する画素差分分布を、ショット境界を含む場合と含まない場合とに区別してそれぞれ算出する。

ここで、Ｈｉｓｔは動画像全体に対する画素差分分布を示し、ｔｎはフレーム番号ｎのフレームを示し、Ｔは、動画像全体におけるショット境界を含む場合のフレーム総数または含まない場合のフレーム総数を示す。 In addition, the pixel difference distribution calculation unit 13 adds the pixel difference distributions between the frames shown in the above-described equation (2) by the following formulas, and normalizes them by the number of frames of the whole moving images, thereby obtaining the whole moving images. The pixel difference distribution with respect to is calculated separately with and without the shot boundary.

Here, Hist indicates the pixel difference distribution for the entire moving image, tn indicates the frame of frame number n, and T indicates the total number of frames when the shot boundary is included in the entire moving image or the total number of frames when it does not include.

図５は、画素差分分布算出部１３により算出された動画像全体における画素差分分布Ｈｉｓｔ（ｖ）例を示す図である。横軸が画素の差分値、縦軸がその出現頻度を示している。尚、縦軸の画素の差分値は、画素値を０から２５５までの２５６段階で量子化されている。図５によれば、ショット境界を含む場合には、画素の差分値が０に近い箇所で小さなピークになり、全体的に均一な出現頻度となっていることがわかる。これに対し、ショット境界を含まない場合には、画素の差分値が０に近い箇所で突出したピークになっていることがわかる。 FIG. 5 is a diagram illustrating an example of the pixel difference distribution Hist (v) in the entire moving image calculated by the pixel difference distribution calculating unit 13. The horizontal axis indicates the pixel difference value, and the vertical axis indicates the appearance frequency. Note that the pixel difference value on the vertical axis is quantized in 256 steps from 0 to 255. As can be seen from FIG. 5, when the shot boundary is included, the pixel difference value has a small peak at a position close to 0, and the appearance frequency is uniform throughout. On the other hand, when the shot boundary is not included, it can be seen that the pixel difference value has a peak protruding at a position close to zero.

図１及び図２に戻って、画素差分分布算出部１３は、動画像全体の全フレームについて前述の処理が完了すると（ステップＳ２４）、全フレーム完了の信号をショット境界あいまい性算出部１４に出力する。 Returning to FIGS. 1 and 2, when the above-described processing is completed for all frames of the entire moving image (Step S <b> 24), the pixel difference distribution calculation unit 13 outputs a signal indicating completion of all frames to the shot boundary ambiguity calculation unit 14. To do.

ショット境界あいまい性算出部１４は、画素差分分布算出部１３から全フレーム完了の信号を入力すると、画素差分分布記憶部２３からショット境界を含む場合の画素差分分布及びショット境界を含まない場合の画素差分分布を読み出し、以下の式により動画像におけるショット境界のあいまい性を算出する（ステップＳ２５）。

ここで、Ｏｂｓはあいまい性、ｔｈｒは画素差分値の閾値、Ｖは画素差分値の量子化ステップ数をそれぞれ示す。また、Ｈｉｓｔ_ＳＢ（ｖ）は、ショット境界を含む場合の分布において値がｖであるときの出現頻度（出現確率）を示し、Ｈｉｓｔ_ＮＳＢ（ｖ）はショット境界を含まない場合の分布において値がｖであるときの出現頻度を示す（（３）式により算出された動画像全体に対する画素差分分布を示す）。尚、あいまい性は、０≦Ｏｂｓ≦１００の範囲の値である。 When the shot boundary ambiguity calculation unit 14 receives a signal indicating completion of all frames from the pixel difference distribution calculation unit 13, the pixel difference distribution when the shot boundary is included from the pixel difference distribution storage unit 23 and the pixel when the shot boundary is not included The difference distribution is read out, and the ambiguity of the shot boundary in the moving image is calculated by the following equation (step S25).

Here, Obs is an ambiguity, thr is a threshold value of the pixel difference value, and V is a quantization step number of the pixel difference value. Hist _SB (v) indicates the appearance frequency (appearance probability) when the value is v in the distribution when the shot boundary is included, and Hist _NSB (v) has a value in the distribution when the shot boundary is not included. The appearance frequency when v is shown (the pixel difference distribution for the entire moving image calculated by the equation (3) is shown). The ambiguity is a value in the range of 0 ≦ Obs ≦ 100.

図６は、ドラマ番組を対象とする動画像の場合の画素差分分布Ｈｉｓｔ（ｖ）例及びあいまい性の値を示す図である。また、図７は、サッカー番組を対象とする動画像の場合の画素差分分布Ｈｉｓｔ（ｖ）例及びあいまい性を示す図である。図６及び図７によれば、カメラの動きがほとんどない図６の動画像の方が、カメラの動きが激しい図７の動画像よりも、ショット境界を含む場合の分布と含まない場合の分布とが近接していないことがわかる。この場合、前述の（４）式により、図６のあいまい性は３．２８２８であり、図７のあいまい性は９．７４３６である。したがって、カメラの動きがほとんどないドラマ番組や教育番組の場合にはあいまい性の値は小さくなり、カメラの動きが激しいスポーツ番組の場合にはあいまい性の値は大きくなる。 FIG. 6 is a diagram illustrating an example of a pixel difference distribution Hist (v) and a value of ambiguity in the case of a moving image targeting a drama program. FIG. 7 is a diagram illustrating an example of pixel difference distribution Hist (v) and ambiguity in the case of a moving image targeting a soccer program. According to FIGS. 6 and 7, the moving image of FIG. 6 with little camera movement includes the distribution with and without the shot boundary than the moving image of FIG. It can be seen that and are not close to each other. In this case, the ambiguity of FIG. 6 is 3.2828 and the ambiguity of FIG. Therefore, the value of ambiguity is small for a drama program or an educational program with little camera movement, and the value of ambiguity is large for a sports program with intense camera movement.

図８は、画素差分分布算出部１３により算出された動画像全体における画素差分分布Ｈｉｓｔ（ｖ）において、ショット境界の検出が容易な例及び困難な例を示す図である。図７左図に示すように、ショット境界を含む場合の分布と含まない場合の分布とが近接していないときは、ショット境界が明確になり、あいまい性の値は小さくなり、その検出は容易になる。一方、右図に示すように、両分布が近接しているときは、ショット境界があいまいになり、あいまい性の値は大きくなり、その検出は困難になる。 FIG. 8 is a diagram illustrating an example in which shot boundary detection is easy and difficult in the pixel difference distribution Hist (v) in the entire moving image calculated by the pixel difference distribution calculation unit 13. As shown in the left diagram of FIG. 7, when the distribution including the shot boundary and the distribution not including the shot boundary are not close to each other, the shot boundary becomes clear, the ambiguity value becomes small, and the detection is easy. become. On the other hand, as shown in the right figure, when the two distributions are close to each other, the shot boundary becomes ambiguous, the value of the ambiguity becomes large, and the detection becomes difficult.

以上のように、図１に示した実施例１の動画像評価装置１によれば、動画像におけるショット境界のあいまい性を定量的に算出することができ、その動画像の質を評価する際の指標の一つとして利用することが可能となる。例えば、どの程度の難しさの動画像に対してどの程度の性能を得られるかといった評価や、ある動画像に対して最適な装置を選択する等の用途に利用することができる。 As described above, according to the moving image evaluation apparatus 1 of the first embodiment shown in FIG. 1, the ambiguity of shot boundaries in a moving image can be calculated quantitatively, and the quality of the moving image is evaluated. It can be used as one of the indicators. For example, the present invention can be used for evaluations such as how difficult a moving image can be obtained for, and for selecting an optimum device for a certain moving image.

また、図１に示した実施例１の動画像評価装置１によれば、動画像におけるショット境界のあいまい性を定量的に算出することにより、そのあいまい性の値に応じて処理を分岐させたり、閾値を変更したりすることができる。たとえば、あいまい性の値が大きい場合にブロックマッチング法を選択したり、その値が小さい場合に輝度差分を用いた手法を選択したり、その値が中間値の場合にヒストグラムを用いた手法を選択したり等、あいまい性の値に応じて処理を分岐させることができる。 Further, according to the moving image evaluation apparatus 1 of the first embodiment shown in FIG. 1, the ambiguity of the shot boundary in the moving image is quantitatively calculated, so that the processing is branched according to the value of the ambiguity. The threshold value can be changed. For example, select the block matching method when the ambiguity value is large, select the method using the luminance difference when the value is small, or select the method using the histogram when the value is intermediate The processing can be branched according to the value of ambiguity.

また、図１に示した実施例１の動画像評価装置１によれば、動画像におけるショット境界のあいまい性を定量的に算出することにより、テレビ番組や映画等の制作者は、このあいまい性の値を、制作したコンテンツの質を評価するための指標として利用することができる。 In addition, according to the moving image evaluation apparatus 1 of the first embodiment shown in FIG. 1, the ambiguity of a TV program or a movie can be obtained by quantitatively calculating the ambiguity of shot boundaries in a moving image. Can be used as an index to evaluate the quality of the produced content.

また、図１に示した実施例１の動画像評価装置１によれば、動画像におけるショット境界のあいまい性を定量的に算出することにより、このあいまい性の値を、瞬時にショットの切り替えを行うカットの場合だけでなく、複数のフレームに渡って徐々に動画像の切り替えを行うディゾルブやワイプの場合における評価の指標として利用することができる。 Further, according to the moving image evaluation apparatus 1 of the first embodiment shown in FIG. 1, the ambiguity value of the shot boundary in the moving image is quantitatively calculated, and this ambiguity value is instantaneously switched. It can be used as an evaluation index not only in the case of cut to be performed but also in the case of dissolve or wipe in which moving images are gradually switched over a plurality of frames.

次に、実施例２について説明する。前述のように、実施例２は、動画像に含まれるショット境界が事前に判明していない場合の例である。図３は、本発明の実施の形態による実施例２の動画像評価装置の構成を示すブロック図である。また、図４は、実施例２の処理手順を示すフローチャート図である。この動画像評価装置２は、動画像入力部１１、ショット境界判定部３２、画素差分分布算出部１３、ショット境界あいまい性算出部１４、フレーム記憶部２２、及び画素差分分布記憶部２３を備えている。図１に示した実施例１の動画像評価装置１とこの実施例２の動画像評価装置２とを比較すると、両装置とも、動画像入力部１１、画素差分分布算出部１３、ショット境界あいまい性算出部１４、フレーム記憶部２２及び画素差分分布記憶部２３を備えている点で同一であるが、実施例２の動画像評価装置２が、ショット境界判定部１２とは異なるショット境界判定部３２を備えている点、及びショット境界情報記憶部２１を備えていない点で相違する。 Next, Example 2 will be described. As described above, the second embodiment is an example where the shot boundary included in the moving image is not known in advance. FIG. 3 is a block diagram showing a configuration of the moving image evaluation apparatus of Example 2 according to the embodiment of the present invention. FIG. 4 is a flowchart illustrating a processing procedure according to the second embodiment. The moving image evaluation apparatus 2 includes a moving image input unit 11, a shot boundary determination unit 32, a pixel difference distribution calculation unit 13, a shot boundary ambiguity calculation unit 14, a frame storage unit 22, and a pixel difference distribution storage unit 23. Yes. Comparing the moving image evaluation apparatus 1 of the first embodiment shown in FIG. 1 with the moving image evaluation apparatus 2 of the second embodiment, both apparatuses have a moving image input section 11, a pixel difference distribution calculation section 13, a shot boundary ambiguity. A shot boundary determination unit different from the shot boundary determination unit 12 in that the moving image evaluation apparatus 2 of the second embodiment is the same in that it includes a sex calculation unit 14, a frame storage unit 22, and a pixel difference distribution storage unit 23. 32 and the point that the shot boundary information storage unit 21 is not provided.

また、実施例２の動画像評価装置２は、動画像に含まれるショット境界が事前に判明していない場合に、仮想的なショット境界であるみなし境界を設定し、フレーム間の画素差分分布をみなしショット境界を含む場合と含まない場合とに区別してそれぞれ算出し、動画像全体に対する画素差分分布をみなしショット境界を含む場合と含まない場合とに区別してそれぞれ算出し、そして、動画像に対するあいまい性を算出する。以下、具体的に説明する。尚、動画像入力部１１、画素差分分布算出部１３、ショット境界あいまい性算出部１４、フレーム記憶部２２及び画素差分分布記憶部２３は、図１に示した実施例１のものと同一であるので、ここでは説明を省略する。 The moving image evaluation apparatus 2 according to the second embodiment sets a deemed boundary that is a virtual shot boundary when the shot boundary included in the moving image is not known in advance, and calculates a pixel difference distribution between frames. Calculated separately for cases with and without deemed shot boundaries, calculated pixel difference distributions for the entire moving image separately for cases with and without deemed shot boundaries, and ambiguity for moving images Calculate gender. This will be specifically described below. The moving image input unit 11, the pixel difference distribution calculation unit 13, the shot boundary ambiguity calculation unit 14, the frame storage unit 22, and the pixel difference distribution storage unit 23 are the same as those in the first embodiment shown in FIG. Therefore, explanation is omitted here.

ショット境界判定部３２は、動画像入力部１１からフレームを入力し、図示しないタイマーにより時間をカウントし、予め設定された時間（例えば１０秒）が経過する毎に、その入力したフレームがショットの先頭フレームであると仮想的に判定し（ステップＳ３１）、ショット境界有の信号を画素差分分布算出部１３に出力する。また、予め設定された時間が経過していない場合は、ショット境界無の信号を画素差分分布算出部１３に出力する。すなわち、予め設定された時間のタイミングのフレームをショット境界のフレームであるとみなし、みなしショット境界有の信号を出力する。それ以外のタイミングではショット境界でないとみなし、みなしショット境界無の信号を出力する。 The shot boundary determination unit 32 inputs a frame from the moving image input unit 11, counts the time with a timer (not shown), and every time a preset time (for example, 10 seconds) elapses, the input frame is shot. It is virtually determined that it is the first frame (step S31), and a signal having a shot boundary is output to the pixel difference distribution calculation unit 13. If the preset time has not elapsed, a signal indicating no shot boundary is output to the pixel difference distribution calculation unit 13. In other words, a frame having a preset timing is regarded as a shot boundary frame, and a signal having an assumed shot boundary is output. At other timings, it is regarded as not a shot boundary, and a signal with no deemed shot boundary is output.

画素差分分布算出部１３は、ショット境界判定部３２により判定されたみなしショット境界有無の信号を入力し、この信号を用いて、図１に示した実施例１の場合と同様に、（２）式によりフレーム間の画素差分分布をみなしショット境界を含む場合と含まない場合とに区別してそれぞれ算出し、（３）式により動画像全体に対する画素差分分布をみなしショット境界を含む場合と含まない場合とに区別してそれぞれ算出する（ステップＳ３２，３３，３４）。また、ショット境界あいまい性算出部１４は、図１に示した実施例１の場合と同様に、（４）式により動画像に対するあいまい性を算出する（ステップＳ３５）。 The pixel difference distribution calculation unit 13 inputs a signal indicating the presence / absence of the deemed shot boundary determined by the shot boundary determination unit 32, and uses this signal as in the case of the first embodiment illustrated in FIG. A case where the pixel difference distribution between frames is considered to be calculated according to the formula and a case where the shot boundary is not included is calculated separately, and a case where the pixel difference distribution for the whole moving image is considered to include the shot boundary according to the formula (3) Are calculated separately (steps S32, 33, and 34). Further, the shot boundary ambiguity calculation unit 14 calculates the ambiguity with respect to the moving image by the expression (4), similarly to the case of the first embodiment shown in FIG. 1 (step S35).

ここで、ショット境界判定部３２において、予め設定された時間は、１０秒であることが望ましい。これは、通常のコンテンツの動画像において、ショット境界のタイミングは１０秒に１回程度であることが統計的及び経験的に認識されているからである。この場合、３０フレーム／秒の動画像では、ショット境界の発生頻度が０．３％程度となる。したがって、画素差分分布算出部１３が（３）式により算出する、みなしショット境界を含まない場合の動画像全体に対する画素差分分布は、実際のショット境界の画素差分分布が含まれるとしてもその誤差が０．３％程度に過ぎないから、ほぼ正確な分布になると考えられる。また、みなしショット境界を含まない場合の動画像全体に対する画素差分分布の算出においては、１つのショット内に複数のみなしショット境界が含まれる可能性はあるが、動画像が十分に長い（動画像のフレームの数が十分に多い）場合には、１つのショット内に複数のみなしショット境界が含まれることによる誤差は無視できるものとなる。つまり、みなしショット境界を含まない場合の動画像全体に対する画素差分分布は、動画像が時間的に長くなればなる程、正確な分布に近くなると考えられる。 Here, it is desirable that the preset time in the shot boundary determination unit 32 is 10 seconds. This is because it is statistically and empirically recognized that a shot boundary timing is about once every 10 seconds in a moving image of a normal content. In this case, in the case of a 30 frames / second moving image, the occurrence frequency of shot boundaries is about 0.3%. Therefore, the pixel difference distribution for the entire moving image calculated by the expression (3) by the pixel difference distribution unit 13 when it does not include the deemed shot boundary includes an error even if the pixel difference distribution at the actual shot boundary is included. Since it is only about 0.3%, it is considered that the distribution is almost accurate. In addition, in the calculation of the pixel difference distribution for the entire moving image when the assumed shot boundary is not included, there is a possibility that only one or more shot boundaries are included in one shot, but the moving image is sufficiently long (moving image In the case where the number of frames is sufficiently large), an error due to the inclusion of only a plurality of shot boundaries in one shot is negligible. In other words, it is considered that the pixel difference distribution for the entire moving image when the deemed shot boundary is not included becomes closer to an accurate distribution as the moving image becomes longer in time.

以上のように、図３に示した実施例２の動画像評価装置２によれば、動画像に含まれるショット境界が事前に判明していない場合であっても、動画像におけるショット境界のあいまい性を定量的に算出することができ、その動画像の質を評価する際の指標の一つとして利用することが可能となる。また、図３に示した実施例２の動画像評価装置２によれば、図１に示した実施例１の動画像評価装置１と同様の効果を奏する。 As described above, according to the moving image evaluation apparatus 2 of the second embodiment shown in FIG. 3, even when the shot boundary included in the moving image is not known in advance, the shot boundary in the moving image is ambiguous. Therefore, it is possible to quantitatively calculate the image quality and use it as one of indices for evaluating the quality of the moving image. Moreover, according to the moving image evaluation apparatus 2 of Example 2 shown in FIG. 3, there exists an effect similar to the moving image evaluation apparatus 1 of Example 1 shown in FIG.

尚、実施例１の動画像評価装置１及び実施例２の動画像評価装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。動画像評価装置１に備えた動画像入力部１１、ショット境界判定部１２、画素差分分布算出部１３、ショット境界あいまい性算出部１４、ショット境界情報記憶部２１、フレーム記憶部２２及び画素差分分布記憶部２３の各機能、及び、動画像評価装置２に備えた動画像入力部１１、ショット境界判定部３２、画素差分分布算出部１３、ショット境界あいまい性算出部１４、フレーム記憶部２２及び画素差分分布記憶部２３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。 The moving image evaluation apparatus 1 according to the first embodiment and the moving image evaluation apparatus 2 according to the second embodiment include a volatile storage medium such as a CPU and a RAM, a non-volatile storage medium such as a ROM, an interface, and the like. Consists of. A moving image input unit 11, a shot boundary determination unit 12, a pixel difference distribution calculation unit 13, a shot boundary ambiguity calculation unit 14, a shot boundary information storage unit 21, a frame storage unit 22, and a pixel difference distribution provided in the moving image evaluation apparatus 1 Each function of the storage unit 23, and the moving image input unit 11, the shot boundary determination unit 32, the pixel difference distribution calculation unit 13, the shot boundary ambiguity calculation unit 14, the frame storage unit 22, and the pixels included in the moving image evaluation apparatus 2 Each function of the difference distribution storage unit 23 is realized by causing the CPU to execute a program describing these functions. These programs can also be stored and distributed in a storage medium such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, or the like.

本発明の実施の形態による実施例１の動画像評価装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image evaluation apparatus of Example 1 by embodiment of this invention. 図１の動画像評価装置による処理手順を示すフローチャート図である。It is a flowchart figure which shows the process sequence by the moving image evaluation apparatus of FIG. 本発明の実施の形態による実施例２の動画像評価装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image evaluation apparatus of Example 2 by embodiment of this invention. 図３の動画像評価装置による処理手順を示すフローチャート図である。It is a flowchart figure which shows the process sequence by the moving image evaluation apparatus of FIG. 画素差分分布算出部により算出される画素差分分布例を示す図である。It is a figure which shows the pixel difference distribution example calculated by the pixel difference distribution calculation part. ドラマ番組を対象とする動画像の場合の画素差分分布例及びあいまい性を示す図である。It is a figure which shows the example of pixel difference distribution in the case of the moving image which targets a drama program, and ambiguity. サッカー番組を対象とする動画像の場合の画素差分分布例及びあいまい性を示す図である。It is a figure which shows the example of pixel difference distribution in the case of the moving image which makes a soccer program object, and ambiguity. ショット境界の検出が容易な画素差分分布例及び困難な画素差分分布例を示す図である。It is a figure which shows the pixel difference distribution example with easy detection of a shot boundary, and the pixel difference distribution example with difficulty.

Explanation of symbols

１，２動画像評価装置
１１動画像入力部
１２，３２ショット境界判定部
１３画素差分分布算出部
１４ショット境界あいまい性算出部
２１ショット境界情報記憶部
２２フレーム記憶部
２３画素差分分布記憶部 DESCRIPTION OF SYMBOLS 1, 2 Moving image evaluation apparatus 11 Moving image input part 12, 32 Shot boundary determination part 13 Pixel difference distribution calculation part 14 Shot boundary ambiguity calculation part 21 Shot boundary information storage part 22 Frame storage part 23 Pixel difference distribution storage part

Claims

In a moving image evaluation apparatus that evaluates ambiguity of shot boundaries in moving images,
A shot boundary determination unit for determining a shot boundary in a moving image;
For two adjacent frames that make up a moving image, calculate the distribution of difference values between pixels when the shot boundary is included, and calculate the distribution of difference values between pixels when the shot boundary is not included A pixel difference distribution calculating unit, and
Proximity between the distribution of difference values in pixels between frames when the shot boundary is included and the distribution of difference values in pixels between frames when the shot boundary is not included for all frames constituting the moving image A moving image evaluation apparatus comprising an ambiguity calculation unit that calculates a degree as an ambiguity value.

The moving image evaluation apparatus according to claim 1,
The moving image evaluation apparatus, wherein the shot boundary determination unit determines a shot boundary based on a preset frame number of the shot boundary.

The moving image evaluation apparatus according to claim 1,
The moving image evaluation apparatus, wherein the shot boundary determination unit determines that it is a shot boundary in a moving image at a timing of a preset time interval.

In the moving image evaluation device according to any one of claims 1 to 3,
The pixel difference distribution calculation unit calculates a distribution of difference values in pixels between frames when the shot boundary is included and when the shot boundary is not included, by any one of the luminance value, hue value, and saturation of the pixel. A moving image evaluation apparatus.

In the moving image evaluation device according to any one of claims 1 to 4,
The pixel difference distribution calculating unit calculates, for each difference value, the frequency of appearance of a difference value in pixels between frames when a shot boundary is included and not included for two adjacent frames constituting a moving image, The calculated appearance frequency for each difference value is added and normalized for all the frames constituting the moving image, and the distribution for each difference value for the entire moving image is calculated,
The degree of proximity between the distribution for each difference value for the entire moving image when the ambiguity calculation unit includes the shot boundary and the distribution for each difference value for the entire moving image when the shot boundary is not included, A moving image evaluation apparatus characterized by being calculated as an ambiguity value.