KR101167645B1

KR101167645B1 - Method for detecting scene change and apparatus therof

Info

Publication number: KR101167645B1
Application number: KR1020100072361A
Authority: KR
Inventors: 백준현; 이강희; 유재욱; 박대현; 이두희; 윤 김
Original assignee: 강원대학교산학협력단; (주)자람테크놀로지
Priority date: 2010-07-27
Filing date: 2010-07-27
Publication date: 2012-07-20
Also published as: KR20120010790A

Abstract

본 발명은 동영상 내 프레임 간의 장면 전환이 발생할 때 이를 효과적으로 검출할 수 있는 장면 전환 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단함으로써 동영상 내 객체의 움직임에 강인(Robust)하게 검출하도록 하여 장면 전환 검출의 정확성을 향상시키고, 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단함으로써 동영상 내 색상 값의 변화에 강인하게 검출하도록 하여 장면 전환 검출의 효율성을 증대시키며, 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출함으로써 불필요한 비교, 판단에 자원을 소모하지 않도록 하여 실시간으로 장면 전환의 검출시 처리 속도를 높이고 부하를 감소하는 효과가 있다.The present invention relates to a scene change detection method and apparatus that can effectively detect when a scene change between frames in a video occurs, and more particularly, by determining a scene change by using a difference image of brightness values between frames in a video. Robust detection of the movement of my object improves the accuracy of scene change detection, and robustly detects the change of color value in the video by judging scene change by using the histogram difference between frames in the video. Increases the efficiency of transition detection, and sets and detects various detection constraints in comparing and judging frame feature values so as not to consume resources for unnecessary comparison and determination, thereby increasing processing speed and load in real time when detecting scene transitions. Has the effect of reducing.

Description

Scene change detection method and apparatus {METHOD FOR DETECTING SCENE CHANGE AND APPARATUS THEROF}

본 발명은 장면 전환 검출 방법 및 장치에 관한 것으로, 특히 동영상 내 프레임 간의 장면 전환이 발생할 때 이를 효과적으로 검출할 수 있는 장면 전환 검출 방법 및 장치에 관한 것이다.
The present invention relates to a method and apparatus for detecting a scene change, and more particularly, to a scene change detection method and apparatus capable of effectively detecting a scene change between frames in a video.

일반적으로 장면전환(Secene Change)이란 연속되는 동영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 동영상이 다시 시작되는 현상을 말한다. 장면 전환은, 통상 임의의 장면이 점차 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap)과, 단순장면전환 등으로 구분하기도 한다.In general, a scene change (Secene Change) refers to a phenomenon in which a video is restarted in another scene after one scene is finished in a continuous video scene. Scene transitions typically consist of a fade-out and fade-in where an arbitrary scene gradually fades away, then another scene, slowly overlapping over time in two different directions. overlap) and simple scene switching.

장면전환 검출장치란 이와 같이 동영상의 장면 간에 장면전환이 발생한 경우, 이를 검출할 수 있는 장치를 말하며, 디지털 TV, 컴퓨터 기반의 이미지 프로세싱(Image Processing), 엠펙(MPEG) 부호화 과정, 영상 크기 조절 등 여러 분야에서 응용이 가능하다.The scene change detection device refers to a device capable of detecting a scene change between scenes of a video such as a digital TV, computer-based image processing, MPEG encoding, image size adjustment, and the like. It can be applied in many fields.

예컨대, 디지털 TV 등에서 영상 신호의 콘트라스트(Contrast) 개선시, 장면전환을 검출하여 이를 반영함으로써, 콘트라스트 개선시 나타날 수 있는 Flickering 현상이나 Panning 현상에 대해 적응적으로 대응할 수 있다.For example, when the contrast of an image signal is improved in a digital TV or the like, a scene change is detected and reflected, thereby adaptively coping with flickering or panning that may occur when the contrast is improved.

또한, 엠펙(MPEG) 부호화 과정에서는, 시간축 상에서 상관관계가 깊은 데이터를 압축하기 위하여 움직임 예측 및 보상을 통한 프레임간 부호화 기술을 채택하고 있는데, 동영상의 장면 간에 장면전환이 일어나면 중복된 동일 영상 데이터의 빈도가 낮아 데이터량이 많아지게 된다. 따라서, 장면전환과 같은 특수한 영상을 반영하지 않고 엠펙 부호화를 행하면 비트의 이용률이 떨어지고, 화질이 나빠지므로 부호화 이전에 장면전환을 미리 감지하는 것이 필요하다.
In the MPEG encoding process, inter-frame encoding technology through motion prediction and compensation is adopted to compress highly correlated data on the time axis. The lower the frequency, the greater the amount of data. Therefore, when MPEG encoding is performed without reflecting a special image such as a scene change, it is necessary to detect the scene change before encoding because the bit utilization rate and the image quality deteriorate.

전술한 문제점을 개선하기 위한 본 발명 실시 예들의 목적은 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단함으로써 동영상 내 객체의 움직임에 강인(Robust)하게 검출하도록 한 장면 전환 검출 방법 및 장치를 제공하는 것이다. An object of the embodiments of the present invention to improve the above-described problem is a scene change detection method for robustly detecting the movement of the object in the video by determining the scene change by using the difference image of the brightness value between frames in the video and To provide a device.

전술한 문제점을 개선하기 위한 본 발명 실시 예들의 다른 목적은 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단함으로써 동영상 내 색상 값의 변화에 강인하게 검출하도록 한 장면 전환 검출 방법 및 장치를 제공하는 것이다. Another object of the embodiments of the present invention for improving the above-mentioned problem is to provide a scene change detection method and apparatus for robustly detecting a change in color value in a video by determining a scene change by using a histogram difference between frames in the video. It is.

전술한 문제점을 개선하기 위한 본 발명 실시 예들의 또 다른 목적은 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출함으로써 불필요한 비교, 판단에 자원을 소모하지 않도록 한 장면 전환 검출 방법 및 장치를 제공하는 것이다.
Another object of the embodiments of the present invention for improving the above-mentioned problem is to set and detect various detection constraints in comparing and determining frame feature values so as to avoid consuming resources for unnecessary comparison and determination. And to provide an apparatus.

상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 장면 전환 검출 방법은 a) 입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 단계; b) 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 단계; c) 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 단계; 및 d) 상기 비교의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 단계를 포함한다.In accordance with an aspect of the present invention, a scene change detection method includes: a) extracting brightness data for each pixel of an input current frame and calculating the current frame by calculating the brightness data for each pixel previously extracted from the previous frame; Extracting a lightness feature value of; b) calculating a histogram of brightness data for each pixel of the current frame to be input, and extracting a histogram characteristic value of the current frame by calculating a histogram of brightness data for each pixel previously calculated in a previous frame; c) comparing the brightness characteristic value and the histogram characteristic value by type, including one or more previous frames based on the current frame; And d) determining and detecting a scene change frame according to a preset rule using the result of the comparison.

상기 a)단계는 상기 현재 프레임의 픽셀별 명도 데이터와 상기 이전 프레임의 픽셀별 명도 데이터의 차이를 픽셀별로 각각 계산한 후, 상기 픽셀별 차이의 절댓값의 총합을 상기 명도 특징값으로 추출한다.In step a), the difference between the brightness data for each pixel of the current frame and the brightness data for each pixel of the previous frame is calculated for each pixel, and then the sum of absolute values of the difference for each pixel is extracted as the brightness feature value.

상기 b)단계는 상기 현재 프레임의 픽셀별 명도 데이터의 히스토그램과 상기 이전 프레임의 픽셀별 명도 데이터의 히스토그램의 차이를 빈별로 각각 계산한 후, 상기 빈별 차이의 절댓값의 총합을 상기 히스토그램 특징값으로 추출한다.In step b), the difference between the histogram of the brightness data for each pixel of the current frame and the histogram of the brightness data for each pixel of the previous frame is calculated for each bin, and then the sum of the absolute values of the difference for each bin is extracted as the histogram feature value. do.

상기 c)단계는 상기 프레임들의 명도 특징값 및 히스토그램 특징값을 종류별로 각각 비교하여 그 중 최댓값인 명도 제1 최댓값 및 히스토그램 제1 최댓값과 최댓값보다 작은 특징값들 중 최댓값인 명도 제2 최댓값 및 히스토그램 제2 최댓값을 추출한다.In the step c), the brightness characteristic value and the histogram characteristic value of the frames are compared for each type, and the brightness first maximum value and the histogram first maximum value, which are the maximum value, and the brightness second maximum value and the histogram, which are the maximum values among the smaller values. The second maximum value is extracted.

상기 d)단계는 상기 명도 제1 최댓값이 상기 명도 제2 최댓값의 소정배수 이상이고 상기 히스토그램 제1 최댓값이 상기 히스토그램 제2 최댓값의 소정배수 이상이면 해당 프레임을 장면 전환 프레임으로 판단하고 검출한다.In step d), when the brightness first maximum value is greater than or equal to a predetermined multiple of the brightness second maximum value and the histogram first maximum value is greater than or equal to a predetermined multiple of the histogram second maximum value, the frame is determined and detected as a scene change frame.

상기 장면 전환 검출 방법은 e) 상기 입력 영상의 시간적 해상도인 기 설정된 시간당 프레임 개수를 계산하거나 획득하는 단계를 더 포함하고, 상기 c)단계는 상기 명도 특징값 및 상기 히스토그램 특징값을 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 비교하는 검출제한조건을 갖는다.The scene change detection method may further include e) calculating or obtaining a predetermined number of frames per time, which is a temporal resolution of the input image, wherein step c) includes the brightness feature value and the histogram feature value per set time. The detection limit condition is compared within the number set to the number of frames or less.

상기 e)단계는 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 장면 전환 프레임이 기 발생했던 경우, 해당 장면 전환 프레임이 비교 대상이 아닐 때까지 상기 c) 단계 내지 d) 단계를 생략하는 검출제한조건을 갖는다.In step e), if a scene change frame has already occurred within a predetermined number of frames or less, the steps c) to d) are omitted until the scene change frame is not a comparison target. Has a constraint

상기 장면 전환 검출 방법은 입력되는 현재 프레임의 명도 특징값이 입력 영상 전체 픽셀 수의 소정배수 이하일 때는 상기 c) 단계 내지 d) 단계를 생략하는 검출제한조건을 갖는다.
The scene change detection method has a detection limit condition in which the steps c) to d) are omitted when the brightness characteristic value of the input current frame is equal to or less than a predetermined multiple of the total number of pixels of the input image.

또한, 상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 장면 전환 검출 장치는 입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 명도 연산부; 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 히스토그램 연산부; 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 비교부; 및 상기 비교부의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 장면전환 판단부를 포함한다.
In addition, the scene change detection apparatus according to an embodiment of the present invention for achieving the above object extracts the brightness data for each pixel of the input current frame, the current frame through the calculation with the brightness data for each pixel previously extracted from the previous frame A brightness calculator for extracting a brightness feature value of the unit; A histogram calculator configured to calculate a histogram of brightness data for each pixel of the current frame to be input, and extract a histogram feature value of the current frame by calculating a histogram of brightness data for each pixel previously calculated in a previous frame; A comparison unit for comparing the brightness characteristic value and the histogram characteristic value by type, including one or more previous frames based on the current frame; And a scene change determination unit that determines and detects a scene change frame according to a preset rule by using the result of the comparison unit.

본 발명의 실시 예에 따른 장면 전환 검출 방법 및 장치는 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단함으로써 동영상 내 객체의 움직임에 강인(Robust)하게 검출하도록 하여 장면 전환 검출의 정확성을 향상시키는 효과가 있다.The scene change detection method and apparatus according to an embodiment of the present invention determine the scene change by using the difference image of the brightness value between the frames in the video so as to robustly detect the movement of the object in the video so that the accuracy of the scene change is detected. Has the effect of improving.

본 발명의 실시 예에 따른 장면 전환 검출 방법 및 장치는 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단함으로써 동영상 내 색상 값의 변화에 강인하게 검출하도록 하여 장면 전환 검출의 효율성을 증대시키는 효과가 있다.The scene change detection method and apparatus according to an embodiment of the present invention can increase the efficiency of scene change detection by robustly detecting a change in color value by determining a scene change by using a histogram difference between frames in a video. There is.

본 발명의 실시 예에 따른 장면 전환 검출 방법 및 장치는 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출함으로써 불필요한 비교, 판단에 자원을 소모하지 않도록 하여 실시간으로 장면 전환의 검출시 처리 속도를 높이고 부하를 감소하는 효과가 있다.
The scene change detection method and apparatus according to an embodiment of the present invention sets and detects various detection limitation conditions in comparing and determining frame feature values, thereby detecting scene change in real time by not consuming resources for unnecessary comparison and determination. This increases the processing speed and reduces the load.

도 1은 장면 전환 검출의 예시도.
도 2는 본 발명의 실시 예에 따른 장면 전환 검출 방법의 순서도.
도 3은 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 1 예시도.
도 4는 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 2 예시도.
도 5는 본 발명의 실시 예에 따른 임시저장 단계, 스킵 검사 단계, 비교 단계 및 장면 전환 판단 단계의 예시도.
도 6은 본 발명의 실시 예에 따른 스킵 검사 단계의 예시도.
도 7은 본 발명의 실시 예에 따른 장면 전환 검출 장치의 구성도.1 is an exemplary diagram of scene change detection.
2 is a flowchart illustrating a scene change detection method according to an exemplary embodiment of the present invention.
3 is a first exemplary diagram of a brightness calculation step and a histogram calculation step according to an embodiment of the present invention.
4 is a second exemplary diagram of a brightness calculation step and a histogram calculation step according to an embodiment of the present invention.
5 is an exemplary view of a temporary storage step, a skip check step, a comparison step and a scene change determination step according to an embodiment of the present invention.
6 is an exemplary view of a skip check step according to an embodiment of the present invention.
7 is a block diagram of a scene change detection apparatus according to an embodiment of the present invention.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시 예들을 통해 상세히 설명하도록 한다.The present invention as described above will be described in detail with reference to the accompanying drawings and embodiments.

장면(Scene)이란 하나의 카메라가 연속적으로 촬영한 영상을 말하는 것으로, 일반적으로 장면 내의 모든 프레임(Frame)은 비슷한 영상 특징이 있기 때문에 하나의 장면은 유사한 처리가 가능하다. 따라서 정확한 장면 전환 프레임의 검출이 가능하다면, 장면별 분리를 통하여 효율적으로 동영상을 처리할 수 있다. 도 1은 장면 전환 검출의 예시도로서, N 번째의 프레임(15)에서 장면전환이 되었고, 이를 장면 전환 검출(Scene Change Detection) 방법을 통하여 검출할 수 있다.
A scene is an image taken by one camera continuously. In general, all frames in the scene have similar image characteristics, and thus one scene may be processed similarly. Therefore, if the accurate scene change frame can be detected, the moving picture can be processed efficiently by separating scenes. FIG. 1 is an exemplary diagram of scene change detection, in which the scene change is performed in the N-th frame 15, which may be detected by a scene change detection method.

도 2는 본 발명의 실시 예에 따른 장면 전환 검출 방법의 순서도로서, 입력되는 영상의 장면 전환 프레임을 검출하기 위한 장면 전환 검출 장치의 장면 전환 검출 방법을 도시한 것이다.2 is a flowchart of a scene change detection method according to an exemplary embodiment of the present invention, which illustrates a scene change detection method of a scene change detection apparatus for detecting a scene change frame of an input image.

상기 본 발명의 실시 예에 따른 장면 전환 검출 방법은 입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 명도 연산 단계(S22), 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 히스토그램 연산 단계(S23), 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 비교 단계(S26) 및 상기 비교의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 장면 전환 판단 단계(S27)를 포함한다.The scene change detection method according to an embodiment of the present invention extracts brightness data of each input pixel of the current frame and extracts brightness characteristic values of the current frame by calculating the brightness data of each pixel previously extracted from the previous frame. In the brightness calculation step (S22), a histogram of brightness data for each pixel of the current frame to be input is calculated, and a histogram for extracting a histogram characteristic value of the current frame by calculating a histogram of brightness data for each pixel previously calculated in the previous frame. A calculation step (S23), a comparison step (S26) of comparing the brightness feature value and the histogram feature value by type, including one or more previous frames based on the current frame, and a preset rule using the result of the comparison According to the scene change determination step (S27) for determining and detecting the scene change frame according to .

본 발명의 실시 예에 따른 장면 전환 검출 방법은 영상이 입력되는 단계(S21)를 더 포함할 수 있다.The scene change detection method according to an embodiment of the present invention may further include a step S21 of inputting an image.

상기 명도 연산 단계(S22)는 상기 현재 프레임의 픽셀별 명도 데이터와 상기 이전 프레임의 픽셀별 명도 데이터의 차이를 픽셀별로 각각 계산한 후, 상기 픽셀별 차이의 절댓값의 총합을 상기 명도 특징값으로 추출한다.The brightness calculating step (S22) calculates the difference between the brightness data for each pixel of the current frame and the brightness data for each pixel of the previous frame for each pixel, and then extracts the sum of absolute values of the difference for each pixel as the brightness feature value. do.

이처럼, 상기 명도 연산 단계(S22)는 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단하므로 동영상 내 객체의 움직임에 강인(Robust)하게 검출할 수 있어 장면 전환 검출의 정확성을 향상시킬 수 있다.As described above, the brightness calculation step (S22) determines the scene change using the difference image of the brightness value between the frames in the video, so that it is robust to the movement of the object in the video, thereby improving the accuracy of the scene change detection. Can be.

상기 히스토그램 연산 단계(S23)는 상기 현재 프레임의 픽셀별 명도 데이터의 히스토그램과 상기 이전 프레임의 픽셀별 명도 데이터의 히스토그램의 차이를 빈(Bin)별로 각각 계산한 후, 상기 빈별 차이의 절댓값의 총합을 상기 히스토그램 특징값으로 추출한다.The histogram calculation step S23 calculates a difference between the histogram of the brightness data for each pixel of the current frame and the histogram of the brightness data for each pixel of the previous frame for each bin, and then calculates the sum of the absolute values of the differences for each bin. The histogram feature values are extracted.

상기 히스토그램 연산 단계(S23)에서 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단하여 동영상 내 색상 값의 변화에 강인하게 검출할 수 있으므로 장면 전환 검출의 효율성을 증대시킬 수 있다.In the histogram calculation step (S23), the scene change may be determined by using the difference in the histogram between the frames in the video, and thus robust detection of the change in the color value in the video may increase the efficiency of the scene change detection.

상기 명도 연산 단계(S22) 및 히스토그램 연산 단계(S23)는 도 3 및 도 4에서 다시 자세히 설명하기로 한다.The brightness calculation step S22 and the histogram calculation step S23 will be described in detail later with reference to FIGS. 3 and 4.

상기 단계 이후, 상기 단계(S22,S23)에서 계산된 데이터를 버퍼(Buffer)와 같은 임시 저장소를 이용하여 저장하는 임시 저장 단계(S24)를 더 포함할 수도 있다.After the step, it may further include a temporary storage step (S24) for storing the data calculated in the step (S22, S23) using a temporary storage such as a buffer (Buffer).

도시하지는 않았지만, 본 발명의 실시 예에 따른 장면 전환 검출 방법은 상기 입력 영상의 시간적 해상도인 기 설정된 시간당 프레임 개수를 계산하거나 획득하는 해상도 획득 단계를 더 포함할 수 있으며, 상기 비교 단계(S26)는 상기 명도 특징값 및 상기 히스토그램 특징값을 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 비교하는 검출제한조건을 가질 수 있다.Although not shown, the scene change detection method according to an embodiment of the present invention may further include a resolution obtaining step of calculating or obtaining a predetermined number of frames per time, which is a temporal resolution of the input image, wherein the comparing step (S26) The brightness characteristic value and the histogram characteristic value may have a detection limit condition for comparing within a predetermined number of frames or less.

또한, 상기 해상도 획득 단계에서 획득한 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 장면 전환 프레임이 기 발생했던 경우, 해당 장면 전환 프레임이 비교 대상이 아닐 때까지 상기 비교 단계(S26) 내지 장면 전환 판단 단계(S27)를 생략하는 검출제한조건을 가질 수 있다.In addition, when a scene change frame has already occurred within a number set to be equal to or less than the predetermined number of frames per time obtained in the resolution obtaining step, the comparison step (S26) to scene until the scene change frame is not a comparison target. It may have a detection limit condition to omit the switching determination step (S27).

더불어, 입력되는 현재 프레임의 명도 특징값이 입력 영상 전체 픽셀 수의 소정배수 이하일 때는 상기 비교 단계(S26) 내지 장면 전환 판단 단계(S27)를 생략하는 검출제한조건을 가질 수 있으며, 본 발명의 실시 예에 따른 장면 전환 검출 방법은 상기에서 설명한 검출제한조건들을 이용하여 비교 단계(S26) 및 장면 전환 판단 단계(S27)의 수행을 제한하는 스킵 검사 단계(S25)를 더 포함할 수 있다.In addition, when the brightness characteristic value of the input current frame is less than or equal to a predetermined multiple of the total number of pixels of the input image, a detection limit condition may be omitted to omit the comparison step (S26) to the scene change determination step (S27). The scene change detection method according to the example may further include a skip check step S25 for limiting the performance of the comparison step S26 and the scene change determination step S27 using the above-described detection limitation conditions.

이처럼, 본 발명의 실시 예에 따른 장면 전환 검출 방법은 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출하도록 하여 불필요한 비교, 판단에 자원을 소모하지 않을 수 있으므로 실시간으로 장면 전환의 검출 작업을 수행해야 하는 등 속도를 요구하는 프로세스에 있어서 처리 속도를 높이고 부하를 감소할 수 있다.As described above, the scene change detection method according to an exemplary embodiment of the present invention sets and detects various detection restriction conditions in comparing and determining the frame feature value, so that unnecessary change and determination may not consume resources. It is possible to speed up processing and reduce load in processes requiring speed, such as having to perform a detection operation.

상기 비교 단계(S26)는 상기 프레임들의 명도 특징값 및 히스토그램 특징값을 종류별로 각각 비교하여 그 중 최댓값인 명도 제1 최댓값 및 히스토그램 제1 최댓값 과 최댓값보다 작은 특징값들 중 최댓값인 명도 제2 최댓값 및 히스토그램 제2 최댓값을 추출한다.In the comparing step S26, the brightness characteristic value and the histogram characteristic value of the frames are compared for each type, and the brightness first maximum value and the histogram first maximum value, which are the maximum values, and the brightness second maximum value, which is the maximum value among the feature values smaller than the maximum value. And a histogram second maximum value.

이때, 상기 장면 전환 판단 단계(S27)에서 상기 명도 제1 최댓값이 상기 명도 제2 최댓값의 소정배수 이상이고 상기 히스토그램 제1 최댓값이 상기 히스토그램 제2 최댓값의 소정배수 이상이면 해당 프레임을 장면 전환 프레임으로 판단하고 검출할 수 있다.In this case, when the brightness first maximum value is greater than or equal to a predetermined multiple of the brightness second maximum value and the histogram first maximum value is greater than or equal to a predetermined multiple of the histogram second maximum value in the scene change determination step (S27), the corresponding frame is a scene change frame. Can be determined and detected.

상기 장면 전환 판단 단계(S27)는 상기 명도 제1 최댓값 및 상기 명도 제2최댓값 과 상기 히스토그램 제1 최댓값 및 상기 히스토그램 제2 최댓값의 크기를 비교하여 판단하는 것으로서, 상기 소정배수로 검사하는 대신 임의의 임계치를 설정하여 검사하거나 소정 차이 이상으로 설정하는 등 다양하게 실시할 수 있다.The scene change determination step (S27) is performed by comparing the magnitudes of the brightness first maximum value and the brightness second maximum value with the histogram first maximum value and the histogram second maximum value. It can be carried out in various ways, such as setting and inspecting or setting a predetermined difference or more.

본 발명의 실시 예에 따른 상기 임시저장 단계(S24), 스킵 검사 단계(S25),비교 단계(S26) 및 장면 전환 판단 단계(S27)는 도 5에서 더욱 상세히 설명하기로 한다.The temporary storage step (S24), the skip check step (S25), the comparison step (S26) and the scene change determination step (S27) according to an embodiment of the present invention will be described in more detail with reference to FIG.

본 발명의 실시 예에 따른 장면 전환 방법은 영상의 입력이 중단될 경우 모든 처리 과정을 중단하는 영상 종료 단계(S28)를 더 포함할 수 있다.
The scene switching method according to an embodiment of the present invention may further include an image terminating step (S28) for stopping all processing processes when the input of the image is stopped.

도 3은 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 1 예시도로서, 상기 명도 연산 단계 및 히스토그램 연산 단계에서 장면 전환 여부를 판단하기 위하여 입력 영상인 현재 프레임(32)과 이전 프레임(31)을 이용하여 특징값을 구하는 것을 도시한 것이다.3 is a diagram illustrating a first example of a brightness calculation step and a histogram calculation step according to an exemplary embodiment of the present invention, in which the current frame 32, which is an input image, and a previous image are determined to determine whether to switch scenes in the brightness calculation step and the histogram calculation step. It is shown that the feature value is obtained using the frame 31.

이때, 상기 특징값으로 색상 값에 강인한 히스토그램 차와 움직임에 강인한 명도차를 이용한다. 명도 특징값은 현재 프레임(32)의 픽셀별 명도 데이터(34)와 이전 프레임(31)의 픽셀별 명도 데이터(33)의 차이를 픽셀별로 각각 계산한 후, 상기 픽셀별 차이의 절댓값의 총합(37)으로 구한다. 또한, 히스토그램 특징값은 상기 현재 프레임(32)의 픽셀별 명도 데이터의 히스토그램(36)과 상기 이전 프레임(31)의 픽셀별 명도 데이터의 히스토그램(35)의 차이를 빈별로 각각 계산한 후, 상기 빈별 차이의 절댓값의 총합(38)으로 구한다.
In this case, a histogram difference robust to color values and a brightness difference robust to motion are used as the feature values. The brightness characteristic value is calculated by comparing the pixel-by-pixel brightness data 34 of the current frame 32 and the pixel-by-pixel brightness data 33 of the previous frame 31 for each pixel, and then sums the absolute values of the absolute differences of the pixel-by-pixel differences ( 37). In addition, the histogram feature value is calculated by the difference between the histogram 36 of the brightness data for each pixel of the current frame 32 and the histogram 35 of the brightness data for each pixel of the previous frame 31 for each bin, and then The sum of the absolute values of the difference between bins is obtained (38).

도 4는 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 2 예시도로서, 두 개의 영상(41,43)을 이용하여 실질적으로 명도 특징값과 히스토그램 특징값을 구하는 과정을 예를 통해 보여주고 있다.FIG. 4 is a second exemplary diagram illustrating a brightness calculation step and a histogram calculation step according to an exemplary embodiment of the present invention. A process of obtaining a brightness feature value and a histogram feature value using two images 41 and 43 will be described. Is showing through.

상기 명도 특징값은 각 영상의 픽셀별 명도 값(42,44)을 추출한 후 이를 이용하여 구한다. 도4b의 왼편 그림(45)과 같이 두 영상의 명도 값(42,44)에 대한 차영상을 구한 뒤, 차영상의 전체 픽셀 값에 대한 총합을 상기 명도 특징값으로 한다. The brightness feature value is obtained by extracting brightness values 42 and 44 for each pixel of each image. After the difference image of the brightness values 42 and 44 of the two images is obtained as shown in the left figure 45 of FIG. 4B, the sum of all pixel values of the difference image is the brightness characteristic value.

상기 히스토그램 특징값은 각 영상의 히스토그램(46,47)을 이용하여 구한다. 각 영상에 대하여 히스토그램(46,47)을 구한 뒤, 도4c의 중간 그림(48)과 같이 두 히스토그램 간의 차로 생성한 새로운 히스토그램(48)을 생성한다. 이후, 해당 히스토그램의 모든 요소의 합을 상기 히스토그램 특징값으로 한다.
The histogram feature values are obtained using histograms 46 and 47 of each image. After the histograms 46 and 47 are obtained for each image, new histograms 48 generated by the difference between the two histograms are generated as shown in the middle figure 48 of FIG. 4C. The sum of all the elements of the histogram is then referred to as the histogram feature value.

도 5는 본 발명의 실시 예에 따른 임시저장 단계, 스킵 검사 단계, 비교 단계 및 장면 전환 판단 단계의 예시도다.5 is an exemplary view of a temporary storage step, a skip check step, a comparison step and a scene change determination step according to an embodiment of the present invention.

일반적인 동영상은 기설정된 시간당 프레임(예를 들어,초당 15프레임 이상)의 시간적 해상도가 있다. 이와 같은 짧은 시간 동안 연속적으로 장면 전환이 일어날 확률이 낮으므로, 이러한 특성을 이용하여 검출제한조건을 설정하면 장면 전환 여부를 결정하기 위한 특징값들의 한계 범위를 정하는 데 있어, 장면 전환 프레임이 잘못 검출될 확률을 낮출 수 있으며 속도를 향상시킬 수 있다.A typical video has a temporal resolution of a predetermined frame per hour (eg, 15 frames or more per second). Since the scene transition is unlikely to occur continuously for such a short time, when the detection limit condition is set using this characteristic, the scene change frame is incorrectly detected in determining the limit range of feature values for determining the scene change. You can lower your chances of getting better and improve your speed.

즉, 상기 기설정된 시간당 프레임의 시간적 해상도에 따라 그 이하 개수의 프레임의 특징값들을 이용하여 장면 전환 검출을 수행한다. 예를 들어, 초당 15프레임의 시간적 해상도를 갖는 동영상에 대해 10프레임 내에서는 장면 전환이 2번 이상 일어나지 않는다고 설정하여 장면 전환 검출을 수행한다.That is, the scene change detection is performed using the feature values of the lower number of frames according to the preset temporal resolution of the frame per time. For example, a scene change detection is performed by setting that a scene change does not occur more than two times within 10 frames for a video having a temporal resolution of 15 frames per second.

도 5에 도시한 바와 같이, 상기 임시저장 단계에서는 최근 10 프레임의 히스토그램 특징값과 명도 특징값을 저장하도록 크기가 10인 2가지 버퍼를 사용하여 저장할 수 있다.As shown in FIG. 5, in the temporary storage step, two buffers having a size of 10 may be stored to store histogram feature values and brightness feature values of the last 10 frames.

상기 비교 단계는 장면 전환시 특징값들의 변화가 크다는 점을 이용하여 장면 전환을 검출하기 위해 버퍼에 저장되어 있는 10개의 명도 특징값, 히스토그램 특징값 중에서 가장 큰 값인 명도 제1 최댓값(52) 및 히스토그램 제1 최댓값(56)과 두 번째로 큰 값인 명도 제2 최댓값(51) 및 히스토그램 제2 최댓값(55)을 구한다.In the comparing step, the lightness first maximum value 52 and the histogram, which are the largest values among the 10 lightness feature values and the histogram feature values stored in the buffer for detecting the scene change by using the fact that the feature values change during the scene change, are large. The first maximum value 56 and the second highest value, the brightness second maximum value 51 and the histogram second maximum value 55 are obtained.

상기 장면 전환 판단 단계는 앞에서 구한 명도 제1 최댓값(53) 및 히스토그램 제1 최댓값(57)과 명도 제2 최댓값(54) 및 히스토그램 제2 최댓값(58)을 이용하여 최종적으로 장면 전환 프레임 여부를 확인한다.In the scene change determination step, whether the scene transition frame is finally confirmed using the brightness first maximum value 53, the histogram first maximum value 57, the brightness second maximum value 54, and the histogram second maximum value 58. do.

이때, 실질적인 장면 전환 검출의 예로, 상기 명도 제1 최댓값(53) 및 히스토그램 제1 최댓값(57)이 각각 명도 제2 최댓값(54) 및 히스토그램 제2 최댓값(58)보다 소정 배수(예를 들어, 3배수) 이상(또는 소정 크기, 임의의 임계치 이상)일 때 장면 전환이 발생했다고 결정한다.In this case, as an example of the actual scene change detection, the brightness first maximum value 53 and the histogram first maximum value 57 are each a predetermined multiple (for example, the brightness second maximum value 54 and the histogram second maximum value 58). More than three times) (or a predetermined size, above a certain threshold).

또한, 상기 도 1에서 설명한 스킵 검사 단계에서 상기 현재 프레임의 명도 특징값(52)이 영상의 전체 픽셀 수의 소정배수(예를 들어, 4배) 이하(또는 소정 크기, 임의의 임계치 이하)인가를 검사하여 상기 비교 단계 및 장면 전환 판단 단계를 생략할 수 있다. 그 이하가 될 경우는 현재 프레임과 이전 프레임은 유사하다고 판단할 수 있기 때문이다.Also, in the skip checking step described with reference to FIG. 1, whether the brightness characteristic value 52 of the current frame is a predetermined multiple (for example, four times) or less (or a predetermined size, or less than a predetermined threshold) of the total number of pixels of the image. The comparison step and the scene change determination step can be omitted. If it is less than that, the current frame and the previous frame can be determined to be similar.

더불어, 일반적인 영상의 경우 짧은 시간 내에 장면 전환이 2번 이상 일어나지 않기 때문에, 처리 속도의 향상을 위해 상기 스킵 검사 단계에서 장면 전환이 최근 10 프레임 내에 일어났는지 여부를 저장하는 변수를 이용하여 장면 전환이 되었다고 결정되면, 버퍼에 새로운 장면 데이터로 저장될 때까지 상기 비교 단계 내지 장면 전환 판단 단계를 생략할 수 있다.
In addition, since a scene change does not occur more than two times within a short time in a general image, the scene change is performed using a variable that stores whether the scene change has occurred within the last 10 frames in the skip checking step to improve processing speed. If so, the comparison step or the scene change determination step may be omitted until the new scene data is stored in the buffer.

도 6은 본 발명의 실시 예에 따른 스킵 검사 단계의 예시도로서, 장면전환이 발생(61)한 후, 버퍼가 채워질 동안 프레임을 검출하지 않는 것(62,63)을 도시한 것이다.
FIG. 6 is an exemplary diagram of a skip checking step according to an exemplary embodiment of the present invention, which illustrates that frames 62 and 63 are not detected while a buffer is filled after a scene change occurs 61.

도 7은 본 발명의 실시 예에 따른 장면 전환 검출 장치의 구성도로서, 상기 본 발명의 실시 예에 따른 장면 전환 검출 장치(100)는 영상 입력부(110)를 통해 입력되는 영상의 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 명도 연산부(120), 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 히스토그램 연산부(130), 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 비교부(160) 및 상기 비교부(160)의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 장면전환 판단부(170)를 포함한다.7 is a block diagram of a scene change detection apparatus according to an embodiment of the present invention, the scene change detection apparatus 100 according to an embodiment of the present invention is a pixel of the current frame of the image input through the image input unit 110 The brightness calculator 120 extracts the brightness characteristic value of the current frame by extracting the brightness data of the star and calculating the brightness characteristic value of the current frame by calculating the brightness data of each pixel previously extracted from the previous frame, and calculates a histogram of the brightness data of each pixel of the input current frame. The histogram operation unit 130 extracts a histogram characteristic value of the current frame by calculating a histogram of brightness data for each pixel previously calculated in the previous frame, and the brightness including one or more previous frames based on the current frame. Results of the comparison unit 160 and the comparison unit 160 for comparing the feature value and the histogram feature value by type Using the group and determines a scene change frame according to the rules set includes a scene change detection judgment section 170.

또한, 계산 데이터를 임시 저장하는 버퍼부(140) 또는 도 1에서 설명한 상기 검출제한조건을 설정하는 스킵 검사부(150)을 포함할 수도 있다.In addition, it may include a buffer 140 for temporarily storing the calculation data, or a skip checker 150 for setting the detection limit condition described in FIG.

상기 장면 전환 검출 장치(100)는 상기의 구성을 통해 색상 및 움직임에 강인하게 동영상의 장면 전환을 검출할 수 있으며, 상기 검출제한조건의 제어를 제어부(180)가 수행하도록 하여 처리 속도의 향상을 꾀할 수 있다.The scene change detection apparatus 100 may detect a scene change of a video robustly to color and motion through the above configuration, and allow the controller 180 to control the detection limit condition to improve processing speed. You can do it.

상기 장면 전환 검출 장치(100)는 여러 분야에서 응용하여 사용할 수 있으나, 특히 동영상을 실시간으로 입력받아 내용 기반으로 크기를 조절하는 장치와 같이 장면 전환 검출이 필수적이나 처리 속도에 민감한 장치에 적극적으로 이용할 수 있다.
The scene change detection apparatus 100 may be applied and used in various fields. In particular, a scene change detection is essential, such as a device that receives a video in real time and adjusts the size based on content, but is actively used in a device sensitive to processing speed. Can be.

이상에서는 본 발명에 따른 바람직한 실시 예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
The foregoing embodiments and advantages are merely exemplary and are not to be construed as limiting the present invention. However, the present invention is not limited to the above-described embodiments, and various changes and modifications may be made by those skilled in the art without departing from the scope of the present invention. .

100: 장면전환 검출장치 110: 영상 입력부
120: 명도 연산부 130: 히스토그램 연산부
140: 버퍼부 150: 스킵 검사부
160: 비교부 170: 장면전환 판단부
180: 제어부100: scene change detection device 110: image input unit
120: brightness calculator 130: histogram calculator
140: buffer unit 150: skip inspection unit
160: comparison unit 170: cutaway determination unit
180:

Claims

In the scene change detection method of the scene change detection device for detecting a scene change frame of the input image,
a) extracting brightness data of each input pixel of the current frame, and extracting brightness characteristic values of the current frame through operation with the brightness data of each pixel previously extracted from the previous frame;
b) calculating a histogram of brightness data for each pixel of the current frame to be input, and extracting a histogram characteristic value of the current frame by calculating a histogram of brightness data for each pixel previously calculated in a previous frame;
c) comparing the brightness characteristic value and the histogram characteristic value by type, including one or more previous frames based on the current frame;
d) determining and detecting a scene change frame according to a preset rule using the result of the comparison; And
e) calculating or obtaining a predetermined number of frames per time that is a temporal resolution of the input image;
Step c) has a detection limit condition for comparing the brightness feature value and the histogram feature value within a predetermined number of frames or less,
In step e), if a scene change frame has already occurred within a predetermined number of frames or less, the steps c) to d) are omitted until the scene change frame is not a comparison target. Scene change detection method characterized in that it has a constraint.

The method of claim 1, wherein step a)
And calculating the difference between the brightness data for each pixel of the current frame and the brightness data for each pixel of the previous frame for each pixel, and extracting the total sum of absolute values of the difference for each pixel as the brightness feature value. Way.

The method of claim 2, wherein b)
After calculating the difference between the histogram of the brightness data for each pixel of the current frame and the histogram of the brightness data for each pixel of the previous frame for each bin, and extracting the total sum of the absolute values of the difference for each bin as the histogram feature value. Scene transition detection method.

The method of claim 3, wherein step c)
The brightness characteristic value and the histogram characteristic value of the frames are compared for each type, and the brightness first maximum value and the histogram first maximum value, which are the maximum values, and the second brightness maximum and the second maximum histogram maximum values, which are the maximum values among the smaller values, are extracted. And a scene change detection method.

The method of claim 4, wherein step d)
And when the brightness first maximum value is greater than or equal to a predetermined multiple of the brightness second maximum value and the histogram first maximum value is greater than or equal to a predetermined multiple of the histogram second maximum value, the scene is determined and detected as a scene change frame. Way.

delete

The method of claim 1,
And a step of limiting detection to omit steps c) to d) when the brightness characteristic value of the input current frame is equal to or less than a predetermined multiple of the total number of pixels of the input image.

A scene change detection device for detecting a scene change frame of an input image,
A brightness calculator for extracting brightness data for each pixel of the current frame to be input and extracting brightness characteristic values of the current frame by calculating the brightness data for each pixel previously extracted from the previous frame;
A histogram calculator configured to calculate a histogram of brightness data for each pixel of the current frame to be input, and extract a histogram feature value of the current frame by calculating a histogram of brightness data for each pixel previously calculated in a previous frame;
A comparison unit for comparing the brightness characteristic value and the histogram characteristic value by type, including one or more previous frames based on the current frame; And
A scene change determination unit which determines and detects a scene change frame according to a preset rule by using the result of the comparison unit;
Further comprising a skip inspection unit for setting a preset detection limit condition,
And comparing the brightness feature value with the histogram feature value and limiting the scene change determination when the detection limit condition is met.