JP6588745B2 - Scene change detection device and program thereof - Google Patents

Scene change detection device and program thereof Download PDF

Info

Publication number
JP6588745B2
JP6588745B2 JP2015126987A JP2015126987A JP6588745B2 JP 6588745 B2 JP6588745 B2 JP 6588745B2 JP 2015126987 A JP2015126987 A JP 2015126987A JP 2015126987 A JP2015126987 A JP 2015126987A JP 6588745 B2 JP6588745 B2 JP 6588745B2
Authority
JP
Japan
Prior art keywords
frame
scene change
section
determination
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015126987A
Other languages
Japanese (ja)
Other versions
JP2017011587A (en
Inventor
和博 千田
和博 千田
井口 和久
和久 井口
境田 慎一
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2015126987A priority Critical patent/JP6588745B2/en
Publication of JP2017011587A publication Critical patent/JP2017011587A/en
Application granted granted Critical
Publication of JP6588745B2 publication Critical patent/JP6588745B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像のシーンチェンジを検出するシーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラムに関する。   The present invention relates to a scene change detection device, a scene change detection method, and a program for detecting a scene change of a moving image.

シーンチェンジ検出はシーンの転換点を検出する技術であり、動画像の符号化装置においては、符号化パラメータを制御するために用いられる。また民生用の映像レコーダでは、コマーシャルメッセージと番組プログラムの転換点の検出や、再符号化時の符号化パラメータ制御等で用いられる。   Scene change detection is a technique for detecting a turning point of a scene, and is used to control encoding parameters in a moving image encoding apparatus. Further, in a consumer video recorder, it is used for detecting a turning point of a commercial message and a program program, encoding parameter control at the time of re-encoding, and the like.

シーンチェンジ検出の方法としては、フレーム間の画素値変化を利用したものがある。例えば、フレーム間の画素値変化を利用したものでは、隣接する2フレームで画素値を比較し、差が大きい場合にシーンチェンジとするものがある(例えば、非特許文献1参照)。   As a method for detecting a scene change, there is a method using a change in pixel value between frames. For example, in the case of using a pixel value change between frames, a pixel change is compared between two adjacent frames, and a scene change is made when the difference is large (see, for example, Non-Patent Document 1).

符号化された映像信号についても一度復号することで、非特許文献1の技法を用いることができるが、一度復号するため計算量が大きいという課題がある。また、非特許文献1の技法では、動きの大きな映像で誤検出されやすいという課題がある。そこで、符号化された映像信号のシーンチェンジ検出に、符号化パラメータのうちDCT(離散コサイン変換)係数の相関を用いるものや動きベクトル方向を用いるものがある。例えば、例えばイントラ予測フレーム(Intra:以下、「Iフレーム」と称し、画面内予測のみを用いて符号化するフレームを云う)のDCT係数の相関を用いる技法(例えば、非特許文献2参照)や、「Pフレーム」(Predicted:片方向から予測符号化可能なフレームを云う)、或いは「Bフレーム」(Bi‐Directional Predicted:過去及び未来の双方向から予測符号化可能なフレームを云う)の動きベクトル方向を用いる技法がある(例えば、非特許文献3参照)。   By decoding once the encoded video signal, the technique of Non-Patent Document 1 can be used, but there is a problem that the calculation amount is large because the technique is decoded once. Further, the technique of Non-Patent Document 1 has a problem that it is easy to be erroneously detected in a video with a large movement. Therefore, there are coding parameters that use DCT (discrete cosine transform) coefficient correlation and motion vector directions among the coding parameters for scene change detection of the coded video signal. For example, for example, a technique (for example, refer to Non-Patent Document 2) using a correlation of DCT coefficients of an intra prediction frame (Intra: hereinafter referred to as “I frame”, which is a frame encoded using only intra prediction). , “P frame” (Predicted: a frame that can be predictively encoded from one direction) or “B frame” (Bi-Directional Predicted: a frame that can be predictively encoded from the past and the future) There is a technique using a vector direction (see, for example, Non-Patent Document 3).

更には、Bフレームにおいて、フレーム内のマクロブロックごとに動きベクトルの参照フレームをカウントし、この統計量の変化を基にシーンチェンジ検出する技法(例えば、特許文献1参照)や、マクロブロックのタイプ別にマクロブロック数をカウントし、動き補償の予測方向に偏りがあることを用いてシーンチェンジ検出する技法がある(例えば、特許文献2参照)。   Furthermore, in the B frame, a motion vector reference frame is counted for each macroblock in the frame, and a scene change is detected based on the change in the statistics (see, for example, Patent Document 1), or the type of macroblock Another technique is to detect the scene change by counting the number of macroblocks and using the bias in the motion compensation prediction direction (see, for example, Patent Document 2).

特開平6−54315号公報JP-A-6-54315 特開2011−66682号公報JP 2011-66682 A

長坂晃朗、田中譲, “カラービデオ映像における自動索引付け法と物体探索法”, 一般社団法人情報処理学会,情報処理学会論文誌, Vol.33, No.4, pp.543-550,1992年4月15日発行Nagasaka Goro and Tanaka Joe, “Automatic Indexing and Object Searching in Color Video Images”, Information Processing Society of Japan, Journal of Information Processing Society of Japan, Vol.33, No.4, pp.543-550, 1992 Issued on April 15 Boon-Lock Yeo, et al., “Rapid scene analysis on compressed video”, IEEE,Circuits and Systems for Video Technology, IEEE Transactions on Volume 5; Issue:6, pp.533-544, 1995年12月.Boon-Lock Yeo, et al., “Rapid scene analysis on compressed video”, IEEE, Circuits and Systems for Video Technology, IEEE Transactions on Volume 5; Issue: 6, pp.533-544, December 1995. 金子敏光、堀修、“動きベクトル符号量を用いたMPEG動画像からの高速カット検出”,一般社団法人電子情報通信学会,電子情報通信学会技術研究報告,PRMU, パターン認識・メディア理解, Vol.96, No.385, pp.55-62, 1996年11月22日発行Toshimitsu Kaneko, Osamu Hori, “High-speed cut detection from MPEG video using motion vector coding”, IEICE, IEICE technical report, PRMU, Pattern recognition / media understanding, Vol. 96, No.385, pp.55-62, Published November 22, 1996

前述したように、非特許文献1の技法では、一度復号するため計算量が大きいという問題や、動きの大きな映像で誤検出されやすいという問題がある。   As described above, the technique of Non-Patent Document 1 has a problem that a calculation amount is large because decoding is performed once, and a problem that false detection is likely to occur in a video with a large motion.

また、非特許文献2,3、並びに特許文献1,2など、符号化パラメータのうちDCT係数の相関を用いる技法や動きベクトル方向を用いる技法では、いずれもDCT係数や動きベクトルなどを得るため、部分的に復号しなければならず、計算量が大きくなるという問題があり、また、検出可能なGOP(Group Of Pictures)構造が、GOP長M=3(I/P,B,B,P/I等)など一部の構造に限られており、GOP構造が階層構造をとる場合には適用することができないという問題がある。   In addition, in the technique using the correlation of DCT coefficients and the technique using the motion vector direction among the encoding parameters such as Non-Patent Documents 2 and 3 and Patent Documents 1 and 2, in order to obtain DCT coefficients and motion vectors, There is a problem that the amount of calculation must be increased due to partial decoding, and a detectable GOP (Group Of Pictures) structure has a GOP length M = 3 (I / P, B, B, P / I) and the like, and there is a problem that it cannot be applied when the GOP structure has a hierarchical structure.

従って、GOP構造が階層構造を持つか否かに関わらず、符号化されたストリーム中の符号化パラメータから少ない計算量でシーンチェンジのフレームを特定する技法が望まれる。   Therefore, there is a demand for a technique for specifying a scene change frame with a small amount of calculation from encoding parameters in an encoded stream regardless of whether the GOP structure has a hierarchical structure.

そこで、本発明は上述の問題に鑑みて為されたものであり、本発明の目的は、任意のGOP構造の動画像に対して、効率よくシーンチェンジを検出するシーンチェンジ検出装置、シーンチェンジ検出方法及びそのプログラムを提供することにある。   Accordingly, the present invention has been made in view of the above-described problems, and an object of the present invention is to provide a scene change detection apparatus and scene change detection that efficiently detect a scene change for a moving image having an arbitrary GOP structure. It is to provide a method and a program thereof.

本発明は、包括的には、任意のGOP構造の動画像における連続する同種フレーム間(例えば、Iフレーム間、Pフレーム間、Bフレーム間等)における符号化単位ブロック数に関する統計量の変化を基に、シーンチェンジを検出する。   The present invention generally includes a change in a statistic related to the number of coding unit blocks between consecutive similar frames (for example, between I frames, between P frames, between B frames, etc.) in a video having an arbitrary GOP structure. Based on this, a scene change is detected.

本発明のシーンチェンジ検出装置は、動画像のシーンチェンジを検出するシーンチェンジ検出装置であって、動画像における連続する同種フレーム間におけ符号化単位ブロックの数についてフレーム毎に集計した統計量の変化を、フレーム種別に応じた閾値と比較してシーンチェンジ区間を判定する同種フレーム間判定処理手段と、全てのフレーム種別で判定した前記シーンチェンジ区間の重複区間によりシーンチェンジフレームを特定するシーンチェンジ検出手段と、を備え、前記同種フレーム間判定処理手段は、フレームを構成する全てのブロックサイズのうち最小サイズの符号化単位ブロックの数を前記統計量として、前記フレーム種別に応じた閾値と比較し、前記シーンチェンジ区間の有無を判定するよう構成され、前記動画像がGOP構造として最上位のIフレームに対しPフレーム、Bフレーム、及び非参照Bフレームのうちいずれか1以上の下位のフレームを含む階層構造を有するときは、前記階層構造の最上位に位置するIフレームから順に前記統計量の変化に基づくシーンチェンジ区間を判定し、上位のフレームで前記シーンチェンジ区間が有るとして判定された時のみ下位のフレームで前記シーンチェンジ区間の有無を判定する手段と、前記動画像がGOP構造として全てがIフレームからなるときは、連続するIフレーム毎に前記統計量の変化に基づくシーンチェンジ区間を判定する手段と、を有することを特徴とする。 Scene change detection device of the present invention, there is provided a scene change detection device for detecting a scene change of a moving image, statistic compiled for each frame the number of put that coded unit block in allogeneic consecutive frames in the video A scene for identifying a scene change frame by means of the same frame inter-frame determination processing means for determining a scene change section by comparing the change in a threshold according to the frame type, and an overlapping section of the scene change section determined by all frame types Change detection means, and the same-type inter-frame determination processing means uses, as the statistic, the number of coding unit blocks having the smallest size among all block sizes constituting a frame, and a threshold value according to the frame type. Comparing and determining the presence or absence of the scene change section, the moving image is When the OP structure has a hierarchical structure including one or more lower frames of the P frame, the B frame, and the non-reference B frame with respect to the highest I frame, the I located at the highest level of the hierarchical structure Means for determining a scene change section based on a change in the statistic in order from a frame, and determining whether or not the scene change section exists in a lower frame only when it is determined that the scene change section exists in an upper frame; all the moving image as the GOP structure when consisting of I frames, and wherein Rukoto that Yusuke means for determining scene change interval based on the change of the statistical amount for each I consecutive frames, the.

更に、本発明のプログラムは、コンピュータを、本発明のシーンチェンジ検出装置として機能させるためのプログラムである。
Furthermore, the program of the present invention is a program for causing a computer to function as the scene change detection device of the present invention .

本発明によれば、DCT等の負荷の高い計算を必要とせず、符号化単位ブロック数の比較による負荷の軽い処理のみで、任意のGOP構造のシーンチェンジを検出することができる。   According to the present invention, it is possible to detect a scene change of an arbitrary GOP structure only by processing with a light load by comparing the number of encoding unit blocks without requiring a high load calculation such as DCT.

本発明による一実施形態のシーンチェンジ検出装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the scene change detection apparatus of one Embodiment by this invention. 本発明による一実施形態のシーンチェンジ検出装置の動作例を示すメインルーチンのフローチャートである。It is a flowchart of the main routine which shows the operation example of the scene change detection apparatus of one Embodiment by this invention. 本発明による一実施形態のシーンチェンジ検出装置の動作例を示すサブルーチンのフローチャートである。It is a flowchart of the subroutine which shows the operation example of the scene change detection apparatus of one Embodiment by this invention. 本発明による一実施形態のシーンチェンジ検出装置の動作例を示すサブルーチンのフローチャートである。It is a flowchart of the subroutine which shows the operation example of the scene change detection apparatus of one Embodiment by this invention. 本発明による一実施形態のシーンチェンジ検出装置における一実施例の同種フレーム間判定処理の動作を示す図である。It is a figure which shows the operation | movement of the same kind frame determination process of one Example in the scene change detection apparatus of one Embodiment by this invention. 本発明による一実施形態のシーンチェンジ検出装置における一実施例のシーンチェンジ検出結果を示す図である。It is a figure which shows the scene change detection result of one Example in the scene change detection apparatus of one Embodiment by this invention.

以下、図面を参照して、本発明による一実施形態のシーンチェンジ検出装置1を説明する。図1は、本発明による一実施形態のシーンチェンジ検出装置1の概略構成を示すブロック図である。   Hereinafter, a scene change detection apparatus 1 according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a scene change detection apparatus 1 according to an embodiment of the present invention.

(装置構成)
シーンチェンジ検出装置1は、任意のGOP構造の動画像における連続する同種フレーム間における符号化単位ブロック(以下、「CB: Coding Block」とも称する)の数に関する統計量の変化を基に、シーンチェンジを検出する装置であり、連続する同種フレーム間で符号化パラメータの1つとすることができるCB数が絵柄によって大きく異なることに着目している。
(Device configuration)
The scene change detection apparatus 1 performs scene change based on a change in a statistic regarding the number of coding unit blocks (hereinafter also referred to as “CB: Coding Block”) between consecutive similar frames in a moving image having an arbitrary GOP structure. The number of CBs that can be set as one of the encoding parameters between consecutive similar frames is greatly different depending on the design.

そして、シーンチェンジ検出装置1は、連続する同種フレーム間でCB数を比較し、CB数が大きく変化する区間を「シーンチェンジ区間」として判定する。また、本例では、フレーム種別として、Iフレーム、Pフレーム、Bフレーム、及び、非参照Bフレーム(以下、「NRBフレーム」: Bフレームであって、他のフレームから参照されないフレームを云う)を扱うことができる。即ち、シーンチェンジ検出装置1は、Iフレーム、Pフレーム、Bフレーム、及び、非参照Bフレーム間でシーンチェンジ区間を有するか否かの判定を行い、全てのフレーム種別において、シーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出する。尚、CB数が大きく変化するとは、或るフレーム種別(Xフレーム)における比較する2フレーム間のCB数の差がフレーム種別ごとに設定された閾値Th(X)を超えることを云う。   Then, the scene change detection apparatus 1 compares the number of CBs between consecutive similar frames, and determines a section where the CB number greatly changes as a “scene change section”. In this example, as frame types, an I frame, a P frame, a B frame, and a non-reference B frame (hereinafter referred to as “NRB frame”: a B frame that is not referred to by other frames). Can be handled. That is, the scene change detection apparatus 1 determines whether or not there is a scene change section between the I frame, the P frame, the B frame, and the non-reference B frame, and determines that it is a scene change section in all frame types. The detected frame is detected as a scene change frame. Note that the CB number greatly changes means that the difference in the CB number between two frames to be compared in a certain frame type (X frame) exceeds the threshold Th (X) set for each frame type.

より具体的には、図1に示すように、本実施形態のシーンチェンジ検出装置1は、同種フレーム間判定処理部11及びシーンチェンジ検出部12を備える。同種フレーム間判定処理部11は、同種フレーム抽出部111、ブロック数算出部112、及びシーンチェンジ区間検出部113を備える。   More specifically, as shown in FIG. 1, the scene change detection device 1 according to the present embodiment includes an inter-frame determination processing unit 11 and a scene change detection unit 12. The homogenous interframe determination processing unit 11 includes a homogenous frame extraction unit 111, a block number calculation unit 112, and a scene change section detection unit 113.

同種フレーム間判定処理部11は、任意のGOP構造を有する動画像の映像信号を入力し、シーンチェンジの判定を行う所定のフレーム数(例えば、32フレーム)を「検出対象区間」として記憶し、この検出対象区間でフレーム種別ごとにシーンチェンジ区間の有無を逐次判定し、シーンチェンジ区間を有するか否かの旨、及びシーンチェンジ区間を有する際には、そのシーンチェンジ区間を示すフレーム番号をシーンチェンジ検出部12に出力する機能部である。ここで、シーンチェンジの判定を行う検出対象区間は、Iフレームを跨って連続する、Iフレーム以外の他の同種フレーム間のCB数の比較が可能であれば任意のフレーム数とすることができる。   The inter-frame determination processing unit 11 inputs a video signal of a moving image having an arbitrary GOP structure, stores a predetermined number of frames (for example, 32 frames) for determining a scene change as a “detection target section”, and In this detection target section, the presence / absence of a scene change section is sequentially determined for each frame type. This is a functional unit that outputs to the change detection unit 12. Here, the detection target section for determining the scene change can be any number of frames as long as the number of CBs between the same type frames other than the I frame that are continuous across the I frames can be compared. .

同種フレーム抽出部111は、或るフレーム種別(Xフレーム)におけるシーンチェンジ区間の有無を判定するために、検出対象区間に存する連続するXフレームを順次抽出する機能部である。   The homogeneous frame extraction unit 111 is a functional unit that sequentially extracts consecutive X frames existing in a detection target section in order to determine whether or not there is a scene change section in a certain frame type (X frame).

ブロック数算出部112は、同種フレーム抽出部111によって順次抽出された連続するXフレームのCB数をそれぞれカウントする機能部である。   The block number calculation unit 112 is a functional unit that counts the number of CBs of consecutive X frames that are sequentially extracted by the homogeneous frame extraction unit 111.

シーンチェンジ区間検出部113は、ブロック数算出部112によってカウントされた連続するXフレームのCB数を比較し、そのCB数の差がフレーム種別ごとに設定された閾値Th(X)を超える際に、シーンチェンジ区間として決定する機能部である。   The scene change section detection unit 113 compares the number of CBs of consecutive X frames counted by the block number calculation unit 112, and when the difference in the number of CBs exceeds a threshold Th (X) set for each frame type. This is a functional unit that determines the scene change section.

これら同種フレーム抽出部111、ブロック数算出部112、及びシーンチェンジ区間検出部113の機能により、検出対象区間でフレーム種別ごとにシーンチェンジ区間の有無を逐次判定し、シーンチェンジ区間を有する際には、そのシーンチェンジ区間を示すフレーム番号を判定することができる。   By using the functions of the same frame extraction unit 111, the block number calculation unit 112, and the scene change section detection unit 113, the presence / absence of a scene change section is sequentially determined for each frame type in the detection target section. The frame number indicating the scene change section can be determined.

同種フレーム間判定処理部11は、入力される映像信号のGOP構造が予め分かっているときは、当該GOP構造に関するフレーム種別のみを対象にシーンチェンジ区間を判定すればよいが、入力される映像信号のGOP構造が予め分かっていないときは、まず、フレーム種別を識別して、フレーム種別ごとにシーンチェンジ区間の有無を判定する。フレーム種別の識別は、例えば、各GOPの先頭のGOPヘッダや各フレームの先頭のフレームヘッダを参照して識別すればよい。   When the GOP structure of the input video signal is known in advance, the homogenous interframe determination processing unit 11 may determine the scene change section only for the frame type related to the GOP structure. When the GOP structure is not known in advance, the frame type is first identified, and the presence / absence of a scene change section is determined for each frame type. For example, the frame type may be identified by referring to the leading GOP header of each GOP or the leading frame header of each frame.

このため、同種フレーム間判定処理部11は、或る検出対象区間のシーンチェンジ判定が終了すると、次の検出対象区間のシーンチェンジ判定へと移行する。これらの検出対象区間に跨って連続する同種フレーム間で、そのCB数の比較を可能とするには、例えば連続する検出対象区間で、少なくとも1つのGOPが重複して含まれるようにすればよい。   For this reason, when the scene change determination of a certain detection target section is completed, the same-type inter-frame determination processing unit 11 proceeds to the scene change determination of the next detection target section. In order to make it possible to compare the number of CBs between the same type of frames that are continuous across these detection target sections, for example, at least one GOP may be included in the continuous detection target sections. .

シーンチェンジ検出部12は、所定のフレーム数(例えば、32フレーム)の検出対象区間内で、同種フレーム間判定処理部11によってフレーム種別ごとにシーンチェンジ区間が有ると判定されたときのシーンチェンジ区間の重複区間を求め、全てのフレーム種別においてシーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出し、そのフレーム番号を検出結果として出力する機能部である。ただし、シーンチェンジ検出部12は、このシーンチェンジフレームを検出結果とするよう構成する以外にも、シーンチェンジの判定を行う検出対象区間ごとに、シーンチェンジフレームが検出されたか否かを示す検出結果を出力するよう構成することもできる。   The scene change detection section 12 is a scene change section when the same frame inter-frame determination processing section 11 determines that there is a scene change section for each frame type within a predetermined number of frames (for example, 32 frames). This is a functional unit that obtains overlapping sections, detects a frame determined to be a scene change section in all frame types as a scene change frame, and outputs the frame number as a detection result. However, the scene change detection unit 12 is configured to detect whether or not a scene change frame has been detected for each detection target section in which a scene change is determined, in addition to configuring the scene change frame as a detection result. Can also be configured to output.

(装置動作)
以下、図2乃至図3を参照して、本実施形態のシーンチェンジ検出装置1の動作例を説明する。図2は、本実施形態のシーンチェンジ検出装置1の動作例を示すメインルーチンのフローチャートであり、図3及び図4は、そのサブルーチンのフローチャートである。
(Device operation)
Hereinafter, an operation example of the scene change detection apparatus 1 according to the present embodiment will be described with reference to FIGS. 2 to 3. FIG. 2 is a flowchart of a main routine showing an operation example of the scene change detection apparatus 1 of the present embodiment, and FIGS. 3 and 4 are flowcharts of the subroutine.

ここで、シーンチェンジ判定区間に含まれるフレーム種別Xのフレームを、fX(n)={x,x,x,…,x}として説明する。つまり、Iフレームは、fI(n)={i,i,i,…,i}、Pフレームは、fP(n)={p,p,p,…,p}、Bフレームは、fB(n)={b,b,b,…,b}、NRBフレームは、fNRB(n)={nrb,nrb,nrb,…,nrb}とする。また、或るフレームxにおけるCB数をCBとする。尚、nは0以上の整数でありフレーム種別ごとに検出対象区間内のフレーム順を示すものであり、動画像のフレーム番号を対応付けることができるものとする。mは、0〜nのうち判定対象の値を示す。 Here, the frame type X frame included in the scene change determination section is described as fX (n) = {x 0 , x 1 , x 2 ,..., X n }. That is, the I frame is fI (n) = {i 0 , i 1 , i 2 ,..., I n }, and the P frame is fP (n) = {p 0 , p 1 , p 2 ,. }, B frame is fB (n) = {b 0 , b 1 , b 2 ,..., B n }, NRB frame is fNRB (n) = {nrb 0 , nrb 1 , nrb 2 ,..., Nrb n }. Moreover, the CB number in a certain frame x m and CB. Note that n is an integer greater than or equal to 0 and indicates the frame order within the detection target section for each frame type, and the frame number of the moving image can be associated. m represents a value to be determined among 0 to n.

また、シーンチェンジ判定区間を[xm−1,x]としたとき、CB数の差分をdiffCB[xm−1,x]と表し、式(1)によって算出することができる。 Further, when the scene change determination section is [x m−1 , x m ], the difference in the number of CBs is expressed as diffCB [x m−1 , x m ] and can be calculated by the equation (1).

diffCB[xm−1,x]=|CB(x)−CB(xm−1)| (1) diffCB [x m−1 , x m ] = | CB (x m ) −CB (x m−1 ) | (1)

また、シーンチェンジ区間が有るとして判定した旨及びそのフレーム番号を示すシーンチェンジ判定フラグは、CCf[xm−1,x]と表すこととする。 The scene change determination flag indicating that it is determined that there is a scene change section and the frame number is represented by CCf [x m−1 , x m ].

そして、シーンチェンジ区間の判定に用いる閾値Th(X)は、動画像の解像度や絵柄に応じた固定値とすることができ、もしくは予め定めた統計値、例えば式(2)で算出した値とすることができる。   The threshold value Th (X) used for determining the scene change section can be a fixed value corresponding to the resolution and the picture of the moving image, or a predetermined statistical value, for example, a value calculated by equation (2). can do.

Th(X)=(diffCB[xm−1,x]の平均値)
+2×(diffCB[xm−1,x]の標準偏差) (2)
Th (X) = (average value of diffCB [x m−1 , x m ])
+ 2 × (standard deviation of diffCB [x m−1 , x m ]) (2)

図2に示すシーンチェンジ検出におけるメインフローに対して、図3及び図4は、シーンチェンジ検出におけるサブフローを示しているが、図4におけるフレーム種別Wは、フレーム種別Xの一つ上位の符号化階層にあたるフレーム種別を示す。例えばXがPフレームを示す場合にはWはIフレームを、XがBフレームを示す場合には、WはPフレームを表し、XがNRBフレームを示す場合には、WはBフレームを示す。   3 and 4 show the subflows in the scene change detection with respect to the main flow in the scene change detection shown in FIG. 2, but the frame type W in FIG. Indicates the frame type corresponding to the hierarchy. For example, when X indicates a P frame, W indicates an I frame, when X indicates a B frame, W indicates a P frame, and when X indicates an NRB frame, W indicates a B frame.

まず、図2を参照するに、シーンチェンジ検出装置1は、同種フレーム間判定処理部11の同種フレーム抽出部111により、或る検出対象区間において、シーンチェンジの判定開始とともに、先ずは連続するIフレームを抽出し、この連続するIフレーム間でのシーンチェンジ判定、即ちフレーム間判定(I)を行う(ステップS1,S2)。フレーム間判定(I)は、図3に示したサブルーチンにより行う。   First, referring to FIG. 2, the scene change detection apparatus 1 uses a similar frame extraction unit 111 of the same frame inter-frame determination processing unit 11 to start a continuous I when a scene change determination starts in a certain detection target section. Frames are extracted, and scene change determination between successive I frames, that is, interframe determination (I) is performed (steps S1 and S2). Inter-frame determination (I) is performed by the subroutine shown in FIG.

図3を参照するに、同種フレーム間判定処理部11は、ブロック数算出部112により、検出対象区間内の或る連続する2つのIフレーム[im−1,i]のCB数をそれぞれカウントして、シーンチェンジ区間検出部113により、ブロック数算出部112によってカウントされた連続するIフレームのCB数の差分絶対値diffCB[im−1,i](式(1))を算出する(ステップS11)。続いて、同種フレーム間判定処理部11は、シーンチェンジ区間検出部113により、diffCB[im−1,i]とTh(I)を比較して、シーンチェンジの有無を判定する(ステップS12)。シーンチェンジが無いと判定すれば(ステップS12:No)、シーンチェンジ判定フラグCCf[im−1,i]=偽(False)とし(ステップS13)、シーンチェンジが有ると判定すれば(ステップS12:Yes)、シーンチェンジ判定フラグCCf[im−1,i]=真(True)とする(ステップS14)。 Referring to FIG. 3, the inter-frame determination processing unit 11 uses the block number calculation unit 112 to calculate the number of CBs of two consecutive I frames [i m−1 , i m ] in the detection target section. Counting is performed, and the scene change section detecting unit 113 calculates the difference absolute value diffCB [i m−1 , i m ] (equation (1)) of the CB number of consecutive I frames counted by the block number calculating unit 112. (Step S11). Subsequently, the inter-frame determination processing unit 11 uses the scene change section detection unit 113 to compare diffCB [i m−1 , i m ] with Th (I) to determine the presence / absence of a scene change (step S12). ). If determined that there is no scene change (step S12: No), the scene change decision flag CCf [i m-1, i m] = a false (False) (step S13), and if it is determined that a scene-change has occurred (step S12: Yes), the scene change determination flag CCf [i m−1 , i m ] = true (True) (step S14).

即ち、図2を参照するに、先ずは、シーンチェンジ判定区間[i,i]においてdiffCB[i,i]を求め、シーンチェンジが無かったと判定した場合は(ステップS2:False)、次のシーンチェンジ判定区間[i,i]でフレーム間判定(I)を行う(ステップS3,S4を経てS1,S2)。つまり、シーンチェンジがあったと判定するか(ステップS2:True)、又は検出対象区間内に存する全てのIフレームに関するシーンチェンジ判定が終了するまで(換言すれば、im+1>iとなるまで)、フレーム間判定(I)を行う(ステップS3:No、及びS4を経てS1)。或るシーンチェンジ判定区間[im−1,i]でシーンチェンジがあったと判定した場合は(ステップS2:True)、シーンチェンジ判定フラグCCf[im−1,i]=真(True)とし(即ち、図3に示すステップS14)、Pフレーム間でのシーンチェンジ判定、即ちフレーム間判定(P)へ移行する(ステップS5,S6)。尚、フレーム間判定(I)において、検出対象区間内で最後までシーンチェンジが無かったと判定された場合(ステップS3:Yes)、判定区間内にシーンチェンジは無かったと判定し、処理を終了する(動画像の次の検出対象区間に移行する)。 That is, referring to FIG. 2, first, diffCB [i 0 , i 1 ] is obtained in the scene change determination section [i 0 , i 1 ], and when it is determined that there is no scene change (step S2: False). Then, the inter-frame determination (I) is performed in the next scene change determination section [i 1 , i 2 ] (S1, S2 through steps S3, S4). That is, whether it is determined that a scene change (step S2: True), or for all of I-frames existing in the detection target interval until the scene change determination is completed (in other words, until i m + 1> i n) Then, the inter-frame determination (I) is performed (step S3: S1 through No and S4). A scene change determination section [i m-1, i m ] If it is determined that the scene change (step S2: True), the scene change decision flag CCf [i m-1, i m] = True (True (That is, step S14 shown in FIG. 3), the process shifts to scene change determination between P frames, that is, determination between frames (P) (steps S5 and S6). In the inter-frame determination (I), when it is determined that there is no scene change until the end within the detection target section (step S3: Yes), it is determined that there is no scene change within the determination section, and the process is terminated ( It moves to the next detection target section of the moving image).

フレーム間判定(P)は、図4に示したサブルーチンにより行う。ここでは、図4に示すxをpと置き換え、wをiと置き換えることができる。   Inter-frame determination (P) is performed by the subroutine shown in FIG. Here, x shown in FIG. 4 can be replaced with p, and w can be replaced with i.

図4を参照するに、この時の判定開始フレームはIフレームのシーンチェンジ判定区間[im−1,i]に含まれるPフレームのうち、フレーム番号が最小となるものをフレームPとする(ステップS21)。フレーム間判定(P)では、同種フレーム間判定処理部11は、ブロック数算出部112により、検出対象区間内の或る連続する2つのPフレーム[pk−1,p]のCB数をそれぞれカウントして、シーンチェンジ区間検出部113により、ブロック数算出部112によってカウントされた連続するPフレームのCB数の差分絶対値diffCB[pk−1,p](式(1))を算出する(ステップS22)。続いて、同種フレーム間判定処理部11は、シーンチェンジ区間検出部113により、diffCB[pk−1,p]とTh(P)を比較して、シーンチェンジの有無を判定する(ステップS23)。シーンチェンジが無いと判定すれば(ステップS23:No)、シーンチェンジ判定フラグCCf[pk−1,p]=偽(False)とし(ステップS24)、次のシーンチェンジ判定区間[p,pk+1]でフレーム間判定(P)を行う(ステップS25,S26を経てS22,S23)。 Referring to FIG. 4, the determination start frame at this time is the frame P k having the smallest frame number among the P frames included in the scene change determination section [i m−1 , i m ] of the I frame. (Step S21). In the inter-frame determination (P), the same-type inter-frame determination processing unit 11 uses the block number calculation unit 112 to calculate the number of CBs of two consecutive P frames [p k−1 , p k ] in the detection target section. Each difference is counted, and the difference absolute value diffCB [p k−1 , p k ] (formula (1)) of the number of CBs of consecutive P frames counted by the block number calculation unit 112 is counted by the scene change section detection unit 113. Calculate (step S22). Subsequently, the inter-frame determination processing unit 11 compares the diffCB [p k−1 , p k ] with Th (P) by the scene change section detection unit 113 to determine the presence / absence of a scene change (step S23). ). If it is determined that there is no scene change (step S23: No), the scene change determination flag CCf [p k-1 , p k ] = false (false) (step S24), and the next scene change determination section [p k , p k + 1 ], the inter-frame determination (P) is performed (steps S25 and S26, and then S22 and S23).

つまり、シーンチェンジがあったと判定するか(ステップS23:Yes)、又は検出対象区間内に存する全てのPフレームに関するシーンチェンジ判定が終了するまで(換言すれば、pk−1>iとなるまで)、フレーム間判定(P)を行う(ステップS23:No、S24、S23:No及びS26を経てS22)。或るシーンチェンジ判定区間[pk−1,p]でシーンチェンジがあったと判定した場合は(ステップS23:Yes)、シーンチェンジ判定フラグCCf[pk−1,p]=真(True)とし(ステップS27、即ち図2におけるステップS6:True)、Bフレーム間でのシーンチェンジ判定、即ちフレーム間判定(B)へ移行する(図2におけるステップS7,S8)。フレーム間判定(P)において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合(ステップS25:Yes)、フレーム間判定(I)でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する(即ち図2におけるステップS6:False)。 That is, it is determined that a scene change has occurred (step S23: Yes) or until the scene change determination for all P frames existing in the detection target section is completed (in other words, p k-1 > im ). Until the inter-frame determination (P) is performed (step S23: No, S24, S23: No and S26 through S22). When it is determined that a scene change has occurred in a certain scene change determination section [p k−1 , p k ] (step S23: Yes), the scene change determination flag CCf [p k−1 , p k ] = true (True) ) (Step S27, ie, step S6: True in FIG. 2), the process shifts to a scene change determination between B frames, ie, an inter-frame determination (B) (steps S7 and S8 in FIG. 2). In the inter-frame determination (P), when it is determined that no scene change has occurred until the end of the detection target section (step S25: Yes), it is determined that the scene change detection in the inter-frame determination (I) is a false detection. (Ie, step S6: False in FIG. 2).

連続するBフレーム間でのシーンチェンジ判定であるフレーム間判定(B)は、図4に示すxをbと置き換え、wをpと置き換えることで、フレーム間判定(P)と同様に処理を行う(ステップS7,S8)。従って、フレーム間判定(B)は、或るシーンチェンジ判定区間[bk−1,b]でシーンチェンジがあったと判定した場合は、シーンチェンジ判定フラグCCf[bk−1,b]=真(True)とし(S8:True)、NRBフレーム間でのシーンチェンジ判定、即ちフレーム間判定(NRB)へ移行する。フレーム間判定(B)において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合、シーンチェンジ判定フラグCCf[bk−1,b]=偽(False)とし、フレーム間判定(I)でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する(S8:False)。 Inter-frame determination (B), which is a scene change determination between consecutive B frames, is processed in the same manner as inter-frame determination (P) by replacing x with b and w with p shown in FIG. (Steps S7 and S8). Therefore, the inter-frame determination (B) determines that a scene change has occurred in a certain scene change determination section [b k−1 , b k ], and the scene change determination flag CCf [b k−1 , b k ]. = True (S8: True), the process shifts to a scene change determination between NRB frames, that is, an inter-frame determination (NRB). In the inter-frame determination (B), when it is determined that no scene change has occurred in the detection target section, the scene change determination flag CCf [b k−1 , b k ] = false (False) and the inter-frame determination ( If the scene change detection in I) is an erroneous detection, the subflow is terminated (S8: False).

また、連続するNRBフレーム間でのシーンチェンジ判定であるフレーム間判定(NRB)は、図4に示すxをnrbと置き換え、wをbと置き換えることで、フレーム間判定(P)と同様に処理を行う(ステップS9,S10)。従って、フレーム間判定(NRB)は、或るシーンチェンジ判定区間[nrbk−1,nrb]でシーンチェンジがあったと判定した場合は、シーンチェンジ判定フラグCCf[nrbk−1,nrb]=真(True)とし(S10:True)、ステップS11へ移行する。フレーム間判定(NRB)において、検出対象区間内で最後までシーンチェンジがなかったと判定された場合、シーンチェンジ判定フラグCCf[nrbk−1,nrb]=偽(False)とし、フレーム間判定(I)でのシーンチェンジ検出が誤検出であったとしてサブフローを終了する(S10:False)。 Also, the interframe determination (NRB), which is a scene change determination between consecutive NRB frames, is processed in the same manner as the interframe determination (P) by replacing x shown in FIG. 4 with nrb and replacing w with b. (Steps S9 and S10). Accordingly, the inter-frame determination (NRB) determines that a scene change has occurred in a certain scene change determination section [nrb k−1 , nrb k ], the scene change determination flag CCf [nrb k−1 , nrb k ] = True (S10: True), the process proceeds to step S11. In the inter-frame determination (NRB), when it is determined that there has not been a scene change until the end in the detection target section, the scene change determination flag CCf [nrb k−1 , nrb k ] = false (False) and the inter-frame determination ( The subflow is terminated assuming that the scene change detection in I) is an erroneous detection (S10: False).

ここで、シーンチェンジ検出装置1は、同種フレーム間判定処理部11により、フレーム間判定(NRB)でシーンチェンジがあったと判定された場合、シーンチェンジ検出部12により、それまでの判定、即ちフレーム間判定(I)、フレーム間判定(P)、フレーム間判定(B)、及びフレーム間判定(NRB)でシーンチェンジがあったと判定された区間のうち、重複する区間を求め、全てのフレーム種別においてシーンチェンジ区間と判定されたフレームをシーンチェンジフレームとして検出する(ステップS11)。この重複区間は、動画像における隣接した2フレームとなり、この間で動画像の特徴が大きく変化することが分かる。   Here, in the scene change detection device 1, when it is determined by the inter-frame determination processing unit 11 that there is a scene change in the inter-frame determination (NRB), the scene change detection unit 12 determines the previous determination, that is, the frame Among the sections determined to have a scene change in the inter-frame determination (I), the inter-frame determination (P), the inter-frame determination (B), and the inter-frame determination (NRB), all the frame types are obtained. In step S11, the frame determined as the scene change section is detected as a scene change frame. This overlapping section is two adjacent frames in the moving image, and it can be seen that the characteristics of the moving image change greatly during this period.

以上から、シーンチェンジフレームは、当該重複区間の隣接2フレームの後フレームとして特定することができる。このように、例えば図5に示すように、GOP長M=8でランダムアクセス形式のGOP構造を有する動画像に対して、フレーム間判定(I)、フレーム間判定(P)、フレーム間判定(B)、及びフレーム間判定(NRB)の順にてシーンチェンジ区間を判定し、その重複区間でシーンチェンジフレームを特定することができることから、DCT等の負荷の高い計算を必要とせず、CB数の比較による負荷の軽い処理のみで、任意のGOP構造のシーンチェンジを検出することができる。特に、階層構造の上位から順にシーンチェンジ区間を判定するため、例えばフレーム間判定(I)にて、シーンチェンジ区間がないと判定したときは、そのフレーム間のフレーム間判定(P)、フレーム間判定(B)、及びフレーム間判定(NRB)を省略することができ、処理負担が軽減し、処理速度も向上する。   From the above, the scene change frame can be specified as the subsequent frame of the two adjacent frames in the overlapping section. In this way, for example, as shown in FIG. 5, for a moving image having a GOP structure with a GOP length M = 8 and a random access format, an interframe determination (I), an interframe determination (P), an interframe determination ( B) and inter-frame determination (NRB) can be used to determine the scene change section, and the scene change frame can be specified in the overlapping section. Therefore, no heavy load calculation such as DCT is required, and the number of CBs A scene change of an arbitrary GOP structure can be detected only by processing with a light load by comparison. In particular, in order to determine the scene change section in order from the top of the hierarchical structure, for example, when it is determined that there is no scene change section in the interframe determination (I), the interframe determination (P) between the frames, The determination (B) and the determination between frames (NRB) can be omitted, the processing load is reduced, and the processing speed is improved.

(実施例)
図6に、本実施形態のシーンチェンジ検出装置1における一実施例のシーンチェンジ検出結果を示している。図6は、HEVC/H.265で符号化した場合におけるCBサイズ別CB数の具体例を示す。横軸はフレーム番号、縦軸はCBサイズ(64×64画素、32×32画素、16×16画素、及び8×8画素)別のカウント数を表す。
(Example)
FIG. 6 shows a scene change detection result of an example in the scene change detection apparatus 1 of the present embodiment. FIG. 6 shows a specific example of the number of CBs by CB size in the case of encoding with HEVC / H.265. The horizontal axis represents the frame number, and the vertical axis represents the count number for each CB size (64 × 64 pixels, 32 × 32 pixels, 16 × 16 pixels, and 8 × 8 pixels).

尚、符号化に使用した条件は、次の通りである。
・量子化パラメータ(QP):22(固定)、
・GOP構造:ランダムアクセス方式(GOP長M=8)
・シーンチェンジ発生フレーム:140フレーム目
The conditions used for encoding are as follows.
Quantization parameter (QP): 22 (fixed),
GOP structure: Random access method (GOP length M = 8)
・ Scene change frame: 140th frame

また、fI(n),fP(n),fB(n),fNRB(n)に含まれるフレームは次の通りである。
・fI(n)={0,32,…,128,160,…}
・fP(n)={8,16,…,120,136,144,152,…}
・fB(n)={2,4,6,10,12,…,134,138,140,142,146,148,…}
・fNRB(n)={1,3,5,7,…,137,139,141,143,145,…}
The frames included in fI (n), fP (n), fB (n), and fNRB (n) are as follows.
FI (n) = {0,32, ..., 128,160, ...}
FP (n) = {8,16, ..., 120,136,144,152, ...}
・ FB (n) = {2,4,6,10,12, ..., 134,138,140,142,146,148, ...}
FNRB (n) = {1,3,5,7, ..., 137,139,141,143,145, ...}

まずシーンチェンジ判定(I)は、最初の検出対象区間となる区間[0,32]から行う。区間[0,32]でシーンチェンが検出されなければ続いて、区間[32,64]、区間[64,96]、区間[96,128]、区間[128,160]の順にシーンチェンジ判定(I)を行う。シーンチェンジ判定(I)を進めていくと、区間[128,160]において、diffCB[128,160]が大きく、或る閾値Th(I)を超えていた。このときCCf[128,160]=Trueとして、フレーム間判定(P)を行う。   First, the scene change determination (I) is performed from the section [0, 32] that is the first detection target section. If no scene chain is detected in the section [0, 32], the scene change determination (in the order of the section [32, 64], the section [64, 96], the section [96, 128], and the section [128, 160]) I). As the scene change determination (I) proceeds, diffCB [128,160] is large and exceeds a certain threshold Th (I) in the section [128,160]. At this time, CCf [128, 160] = True, and inter-frame determination (P) is performed.

フレーム間判定(P)を行う最初のpは、区間[128,160]に含まれる最小のPフレーム、つまり136フレームとなることから、シーンチェンジ判定(P)は、区間[120,136]から行い、区間[120,136]でシーンチェンジ検出されなければ次の区間[136,144]へ進む。区間[136,144]においては、diffCB[136,144]が大きく、或る閾値Th(P)を超えていた。この時CCf[136,144]=Trueとし、フレーム間判定(B)へ進む。 The first p k to perform inter-frame determining (P) is the minimum P frame included in the interval [128,160], i.e. from becoming a 136 frame, the scene change determination (P) is the interval [120,136] If no scene change is detected in the section [120, 136], the process proceeds to the next section [136, 144]. In the interval [136, 144], diffCB [136, 144] is large and exceeds a certain threshold Th (P). At this time, CCf [136,144] = True, and the process proceeds to inter-frame determination (B).

フレーム間判定(B)を行う最初のbは、区間[136, 144]に含まれる最小のBフレーム、つまり138フレームとなる。よってシーンチェンジ判定(B)は、区間[134, 138]から行い、区間[134, 138]でシーンチェンジ検出されなければ次区間[138, 140]へ進む。区間[138, 140]においては、diffCB[138, 140]が大きく、或る閾値Th(B)を超えていた。この時CCf[138, 140]=Trueとし、フレーム間判定(NRB)へ進む。 The first b k for performing the interframe determination (B) is the minimum B frame included in the section [136, 144], that is, 138 frames. Therefore, the scene change determination (B) is performed from the section [134, 138]. If no scene change is detected in the section [134, 138], the process proceeds to the next section [138, 140]. In the section [138, 140], diffCB [138, 140] is large and exceeds a certain threshold Th (B). At this time, CCf [138, 140] = True, and the process proceeds to inter-frame determination (NRB).

フレーム間判定(NRB)を行う最初のnrbは、区間[138, 140]に含まれる最小のNRBフレーム、つまり139フレームとなる。よってシーンチェンジ判定(NRB)は、区間[137, 139]から行い、区間[137, 139]でシーンチェンジ検出されなければ次区間[139, 141]へ進む。区間[139, 141]においては、diffCB[139, 141]が大きく、或る閾値Th(NRB)を超えていた。この時CCf[139, 141]=Trueとする。 The first nrb k for performing the interframe determination (NRB) is the minimum NRB frame included in the section [138, 140], that is, 139 frames. Therefore, the scene change determination (NRB) is performed from the section [137, 139]. If no scene change is detected in the section [137, 139], the process proceeds to the next section [139, 141]. In the section [139, 141], diffCB [139, 141] is large and exceeds a certain threshold Th (NRB). At this time, CCf [139, 141] = True.

以上の処理により、フレーム判定(I)では区間[128, 160]で、フレーム間判定(P)では区間[136, 144]で、フレーム間判定(B)では区間[138, 140]で、フレーム間判定(NRB)では区間[139, 141]でシーンチェンジ検出したことになる。以上の区間で全て含まれるフレームは、139,140フレームの隣接2フレームであり、この間で映像の特徴が大きく変化していることから、140フレームがシーンチェンジフレームであるとして特定できる。   With the above processing, the frame is determined in the interval [128, 160] in the frame determination (I), in the interval [136, 144] in the determination between frames (P), and in the interval [138, 140] in the determination between frames (B). In the intermediate determination (NRB), the scene change is detected in the section [139, 141]. The frames included in the above sections are two adjacent frames of 139 and 140 frames, and the video characteristics have changed greatly during this period, so that 140 frames can be specified as scene change frames.

本実施例では、GOP長M=8のランダムアクセス方式におけるシーンチェンジ検出例を示したが、全てがIフレームからなるオールイントラ(All Intra)方式におけるシーンチェンジ検出においても、フレーム間判定(I)の実施で対応できる。またIフレームとPフレームからなるローディレイ(Low Delay)方式についてもフレーム間判定(I)とフレーム間判定(P)の実施でシーンチェンジ検出が可能となる。   In the present embodiment, an example of scene change detection in the random access method with the GOP length M = 8 is shown, but inter-frame determination (I) is also possible in scene change detection in the all-intra (All Intra) method consisting of all I frames. This can be done by implementing In addition, with respect to a low delay system composed of an I frame and a P frame, a scene change can be detected by performing an inter-frame determination (I) and an inter-frame determination (P).

以上、特定の実施形態の例及び実施例を挙げて本発明を説明したが、本発明は前述の実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。   The present invention has been described with reference to specific embodiments and examples. However, the present invention is not limited to the above-described examples, and various modifications can be made without departing from the technical concept thereof.

例えば、上述した実施形態や実施例では、1フレームごとのCB数を基に、シーンチェンジ検出を行う例を説明したが、より計算量を削減したい場合は、最小サイズのCBを基にシーンチェンジ検出を行ってもよい。例えば或るCBを最小サイズのCBとした場合、HEVC/H.265では、最小サイズのCBが8×8画素となることから、8×8画素のCB数のみでシーンチェンジ検出してもよい。   For example, in the above-described embodiments and examples, an example in which scene change detection is performed based on the number of CBs for each frame has been described. However, when it is desired to further reduce the amount of calculation, scene change is performed based on the minimum size CB. Detection may be performed. For example, when a certain CB is set to the minimum size CB, in HEVC / H.265, the minimum size CB is 8 × 8 pixels. Therefore, the scene change may be detected only by the number of CBs of 8 × 8 pixels. .

また、上述した実施形態や実施例では、1フレームごとのCB数を基に、シーンチェンジ検出を行う例を説明したが、フレームを2以上の複数領域に分割し、その一部、もしくは全ての複数領域のそれぞれで、上述したシーンチェンジ検出を行うよう構成してもよい。複数領域に分割する場合、その分割形状はHEVC/H.265におけるスライス(Slice)分割や、タイル(Tile)分割による分割領域と同一でもよい。分割した領域によってシーンチェンジ検出の結果が異なる場合は、シーンチェンジ検出を行った全ての領域、もしくは多数決判定により、より多くの領域でシーンチェンジと検出されたフレームをシーンチェンジフレームと特定してもよい。例えば、フレームの一部の領域を判定対象とすることで、より計算量を削減することができる。   In the above-described embodiments and examples, an example in which scene change detection is performed based on the number of CBs for each frame has been described. However, a frame is divided into two or more regions, and some or all of them are divided. You may comprise so that the scene change detection mentioned above may be performed in each of several area | regions. In the case of dividing into a plurality of regions, the divided shape may be the same as a divided region by slice division or tile division in HEVC / H.265. If the result of scene change detection differs depending on the divided area, all the areas where scene change detection has been performed or frames that have been detected as scene changes in more areas by majority decision can be identified as scene change frames. Good. For example, the calculation amount can be further reduced by setting a partial region of the frame as a determination target.

そして、本実施形態のシーンチェンジ検出装置1をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ(図示せず)に記憶される。コンピュータに備えられる中央演算処理装置(CPU)などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のシーンチェンジ検出装置1の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。   The scene change detection apparatus 1 of the present embodiment can function as a computer, and a program for causing the computer to realize each component according to the present invention is a memory (inside or outside of the computer). (Not shown). The scene change detection device according to the present embodiment is appropriately read from a memory in which a program describing processing contents for realizing the function of each component is controlled by a central processing unit (CPU) provided in the computer. The function of each component of 1 can be realized by a computer. Here, the function of each component may be realized by a part of hardware.

本発明によれば、DCT等の負荷の高い計算を必要とせず、符号化単位ブロック数の比較による負荷の軽い処理のみで、任意のGOP構造のシーンチェンジを検出することができるので、任意のGOP構造の動画像におけるシーンチェンジの検出を要する用途に有用である。   According to the present invention, a scene change having an arbitrary GOP structure can be detected only by a light processing by comparing the number of coding unit blocks without requiring a heavy calculation such as DCT. This is useful for applications that require detection of a scene change in a GOP structure moving image.

1 シーンチェンジ検出装置
11 同種フレーム間判定処理部
12 シーンチェンジ検出部
111 同種フレーム抽出部
112 ブロック数算出部
113 シーンチェンジ区間検出部
DESCRIPTION OF SYMBOLS 1 Scene change detection apparatus 11 Homogeneous frame determination process part 12 Scene change detection part 111 Homogeneous frame extraction part 112 Block number calculation part 113 Scene change area detection part

Claims (2)

動画像のシーンチェンジを検出するシーンチェンジ検出装置であって、
動画像における連続する同種フレーム間におけ符号化単位ブロックの数についてフレーム毎に集計した統計量の変化を、フレーム種別に応じた閾値と比較してシーンチェンジ区間を判定する同種フレーム間判定処理手段と、
全てのフレーム種別で判定した前記シーンチェンジ区間の重複区間によりシーンチェンジフレームを特定するシーンチェンジ検出手段と、を備え
前記同種フレーム間判定処理手段は、
フレームを構成する全てのブロックサイズのうち最小サイズの符号化単位ブロックの数を前記統計量として、前記フレーム種別に応じた閾値と比較し、前記シーンチェンジ区間の有無を判定するよう構成され、
前記動画像がGOP構造として最上位のIフレームに対しPフレーム、Bフレーム、及び非参照Bフレームのうちいずれか1以上の下位のフレームを含む階層構造を有するときは、前記階層構造の最上位に位置するIフレームから順に前記統計量の変化に基づくシーンチェンジ区間を判定し、上位のフレームで前記シーンチェンジ区間が有るとして判定された時のみ下位のフレームで前記シーンチェンジ区間の有無を判定する手段と、
前記動画像がGOP構造として全てがIフレームからなるときは、連続するIフレーム毎に前記統計量の変化に基づくシーンチェンジ区間を判定する手段と、
を有することを特徴とするシーンチェンジ検出装置。
A scene change detection device for detecting a scene change of a moving image,
The change in the statistics were aggregated for each frame the number of put that coded unit blocks between successive homologous frame in the moving picture, inter determines allogeneic frames compared with a threshold value corresponding to the frame type of the scene change interval determination processing Means,
Scene change detection means for specifying a scene change frame by an overlapping section of the scene change section determined by all frame types, and
The same type inter-frame determination processing means includes:
The number of coding unit blocks of the minimum size among all block sizes constituting a frame is used as the statistic, and is compared with a threshold according to the frame type to determine the presence or absence of the scene change section,
When the moving picture has a hierarchical structure including one or more lower frames of the P frame, the B frame, and the non-reference B frame with respect to the highest I frame as the GOP structure, the highest level of the hierarchical structure The scene change section based on the change of the statistic is determined in order from the I frame located in the frame, and the presence or absence of the scene change section is determined in the lower frame only when it is determined that the scene change section exists in the upper frame. Means,
Means for determining a scene change section based on a change in the statistic for each successive I frame, when the moving image has a GOP structure and consists entirely of I frames;
Scene change detecting device according to claim Rukoto to have a.
コンピュータを、請求項1に記載のシーンチェンジ検出装置として機能させるためのプログラム。 A program for causing a computer to function as the scene change detection device according to claim 1 .
JP2015126987A 2015-06-24 2015-06-24 Scene change detection device and program thereof Active JP6588745B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015126987A JP6588745B2 (en) 2015-06-24 2015-06-24 Scene change detection device and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015126987A JP6588745B2 (en) 2015-06-24 2015-06-24 Scene change detection device and program thereof

Publications (2)

Publication Number Publication Date
JP2017011587A JP2017011587A (en) 2017-01-12
JP6588745B2 true JP6588745B2 (en) 2019-10-09

Family

ID=57761943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015126987A Active JP6588745B2 (en) 2015-06-24 2015-06-24 Scene change detection device and program thereof

Country Status (1)

Country Link
JP (1) JP6588745B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082268A1 (en) * 2017-10-24 2019-05-02 三菱電機株式会社 Image processing device, and image processing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2869398B2 (en) * 1996-04-30 1999-03-10 日本電信電話株式会社 Cut point detection method and device
US6125229A (en) * 1997-06-02 2000-09-26 Philips Electronics North America Corporation Visual indexing system
JP5178616B2 (en) * 2009-04-22 2013-04-10 三菱電機株式会社 Scene change detection device and video recording device
US9014277B2 (en) * 2012-09-10 2015-04-21 Qualcomm Incorporated Adaptation of encoding and transmission parameters in pictures that follow scene changes

Also Published As

Publication number Publication date
JP2017011587A (en) 2017-01-12

Similar Documents

Publication Publication Date Title
EP3075154B1 (en) Selection of motion vector precision
EP3416386B1 (en) Hash-based encoder decisions for video coding
EP2654298B1 (en) Detection of video feature based on variance metric
JP5508534B2 (en) Scene switching detection
EP3029937B1 (en) Method and encoder for video encoding of a sequence of frames
US8934548B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US9332279B2 (en) Method and digital video encoder system for encoding digital video data
US20170272771A1 (en) Method and system for encoding a video stream
US8150171B2 (en) Apparatus for and method of decoding moving picture, and computer product
KR102215627B1 (en) A method, a video encoder, and a video camera for encoding a video stream
JP5713797B2 (en) Video surveillance device
US8917766B2 (en) Picture coding apparatus, picture coding method and video camera
JP5178616B2 (en) Scene change detection device and video recording device
JP5748225B2 (en) Moving picture coding method, moving picture coding apparatus, and moving picture coding program
EP3131295A1 (en) Video encoding method and system
JP6588745B2 (en) Scene change detection device and program thereof
US8644388B2 (en) Method and device for approximating a DC coefficient of a block of pixels of a frame
US8792562B2 (en) Moving image encoding apparatus and method for controlling the same
US20150208082A1 (en) Video encoder with reference picture prediction and methods for use therewith
JP6339977B2 (en) Video encoding apparatus and video encoding program
KR101582674B1 (en) Apparatus and method for storing active video in video surveillance system
US10148954B2 (en) Method and system for determining intra mode decision in H.264 video coding
JP3941921B2 (en) Video encoding device
US9948932B2 (en) Image processing apparatus and control method of image processing apparatus
KR101629103B1 (en) Method for encoding muti-view video with non-referenced B frame

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190913

R150 Certificate of patent or registration of utility model

Ref document number: 6588745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250