KR101214000B1 - Apparatus for detecting color rolling and method thereof - Google Patents

Apparatus for detecting color rolling and method thereof Download PDF

Info

Publication number
KR101214000B1
KR101214000B1 KR1020110111231A KR20110111231A KR101214000B1 KR 101214000 B1 KR101214000 B1 KR 101214000B1 KR 1020110111231 A KR1020110111231 A KR 1020110111231A KR 20110111231 A KR20110111231 A KR 20110111231A KR 101214000 B1 KR101214000 B1 KR 101214000B1
Authority
KR
South Korea
Prior art keywords
light source
background region
image frames
detecting
color
Prior art date
Application number
KR1020110111231A
Other languages
Korean (ko)
Inventor
강문기
오현묵
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110111231A priority Critical patent/KR101214000B1/en
Application granted granted Critical
Publication of KR101214000B1 publication Critical patent/KR101214000B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: An apparatus for detecting color rolling and a method thereof are provided to detect a color rolling effect according to presumed light source information by estimating light source information based on global image change due to movement of a camera and local image change due to movement of an object. CONSTITUTION: A motion estimator estimates global motion among image frames of an input sequence. A background region extracting unit extracts a common background region without movement among image frames using a presumed global motion. A light source information estimation unit estimates set light source information by using an extracted common background region. A rolling effect detection unit detects a color rolling effect by using change of the light source information. [Reference numerals] (110) Image input unit; (120) Motion estimator; (130) Background region extracting unit; (140) Light source information estimation unit; (150) Rolling effect detection unit; (160) Cycle estimator

Description

컬러 롤링을 검출하기 위한 장치 및 그 방법{APPARATUS FOR DETECTING COLOR ROLLING AND METHOD THEREOF}Apparatus and method for detecting color rolling {APPARATUS FOR DETECTING COLOR ROLLING AND METHOD THEREOF}

본 발명은 컬러 롤링 검출 방안에 관한 것으로, 특히, 카메라의 움직임으로 인한 전역적 영상 변화와 물체의 움직임으로 인한 지역적 영상 변화를 고려하여 광원 정보를 추정하고 추정된 광원 정보에 따라 컬러 롤링 현상을 검출하고 그 컬러 롤링 현상을 검출한 후에 컬러 롤링 주기와 진폭을 추정할 수 있도록 하는 컬러 롤링을 검출하기 위한 장치 및 그 방법에 관한 것이다.The present invention relates to a color rolling detection method, and more particularly, to estimate light source information in consideration of global image change due to camera movement and local image change due to object movement, and to detect color rolling phenomenon according to the estimated light source information. The present invention relates to an apparatus and a method for detecting color rolling which enable to estimate the color rolling period and amplitude after detecting the color rolling phenomenon.

인간의 시각 체계는 시간 축 변화에 민감하기 때문에 양질의 동영상을 획득함에 있어서 인접한 프레임의 영상 사이의 유사성에 기반한 안정성 확보가 중요하다. 동영상 촬영이 실내에서 이뤄지는 경우, 주기적으로 발광하는 광원의 주기와 카메라 시스템의 샘플링 주기 간의 차이가 있는 경우 누적되는 광량이 변화하는 문제가 발생한다. 이는 동영상 시퀀스에서 색상을 변화시키는 요인이 되는데, 이처럼 동영상에서 주기적으로 컬러가 변하는 현상을 컬러 롤링 현상이라 칭한다.Since the human visual system is sensitive to changes in the time axis, it is important to secure stability based on the similarity between images of adjacent frames when acquiring a good quality video. When the video is taken indoors, there is a problem that the amount of light accumulated changes when there is a difference between the period of the light source periodically emitting light and the sampling period of the camera system. This is a factor that changes the color in the moving picture sequence, the phenomenon in which the color changes periodically in the moving picture is called a color rolling phenomenon.

예를 들어, 60 Hz의 주파수에 의해 전원을 공급받는 형광등 광원에서 59.94Hz의 샘플링 주파수를 갖는 카메라 시스템을 이용하여 영상을 촬영하는 경우 매 프레임마다 획득되는 광량이 달라지며, 영상의 전체적인 색감이 황색, 청색, 무채색으로 주기적으로 변하게 된다.For example, if a picture is taken using a camera system with a sampling frequency of 59.94Hz from a fluorescent light source powered by a frequency of 60 Hz, the amount of light acquired is different for each frame, and the overall color of the image is yellow. The color changes periodically to blue and achromatic.

이러한 경우 동영상의 항상성이 훼손됨으로 인해 시각적으로 영상을 접하는 사람에게도 양질의 영상을 제공하지 못하게 될 뿐만 아니라 보안 시스템 등에서 영상을 이용해 관심 영역을 추출하는 등의 과정에서 예상치 못한 오류를 발생하게 하는 원인이 된다. 따라서 이러한 현상을 입력 동영상으로부터 정확히 검출함으로써 추후 발생하는 오류 등에 미리 대처할 수 있도록 할 필요가 있다.In this case, due to the impairment of the homeostasis of the video, it is not only able to provide high-quality video to people who are visually exposed to the video, but also causes unexpected errors in the process of extracting the region of interest using the video in a security system. do. Therefore, it is necessary to accurately detect such a phenomenon from the input video so as to cope with an error occurring later.

컬러 롤링 현상을 검출하기 위한 방법으로써 외부 장치에 의존하는 경우가 있다. 즉, 외부 센서를 이용하여 광량의 변화를 감지하고 이를 카메라 시스템에 보내주는 방식을 사용하는 것이다. 이 경우 컬러 롤링 검출에 정확성을 보이지만, 센서의 사용 등으로 인해 제품의 단가가 오르게 되고 카메라의 부피가 증가하게 되는 단점이 있다.As a method for detecting a color rolling phenomenon, it may depend on an external device. In other words, by using an external sensor to detect the change in the amount of light and send it to the camera system. In this case, although the accuracy of color rolling detection is shown, there is a disadvantage that the cost of the product increases and the volume of the camera increases due to the use of a sensor.

외부 장치를 이용하지 않고 입력되는 영상을 분석하여 신호처리적으로 검출하기 위한 방법도 제시되었는데, 이는 컬러 롤링 현상에서 가장 크게 변하는 B 채널의 변화만을 이용하여 추정함으로써 컬러 롤링 현상을 정확히 반영하지 못할 뿐 아니라, 파란색 물체가 포함되는 경우 정확성이 떨어지는 문제가 발생하게 된다.A method for analyzing the input image without using an external device and detecting the signal is also presented. This method does not accurately reflect the color rolling phenomenon by estimating using only the B channel change, which is the largest change in the color rolling phenomenon. Rather, when the blue object is included, a problem of inaccuracy occurs.

따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 카메라의 움직임으로 인한 전역적 영상 변화와 물체의 움직임으로 인한 지역적 영상 변화를 고려하여 광원 정보를 추정하고 추정된 광원 정보에 따라 컬러 롤링 현상을 검출할 수 있도록 하는 컬러 롤링을 검출하기 위한 장치 및 그 방법을 제공하는데 있다.Therefore, to solve the problems of the prior art, an object of the present invention is to estimate the light source information in consideration of the global image change due to the movement of the camera and the local image change due to the movement of the object and color according to the estimated light source information The present invention provides an apparatus and method for detecting color rolling that can detect a rolling phenomenon.

또한, 본 발명의 다른 목적은 카메라의 움직임으로 인한 전역적 영상 변화와 물체의 움직임으로 인한 지역적 영상 변화를 고려하여 광원 정보를 추정하고 추정된 광원 정보에 따라 컬러 롤링 현상을 검출한 후에 컬러 롤링 주기와 진폭을 추정할 수 있도록 하는 컬러 롤링을 검출하기 위한 장치 및 그 방법을 제공하는데 있다.In addition, another object of the present invention is to estimate the light source information in consideration of the global image change due to the movement of the camera and the local image change due to the movement of the object and the color rolling period after detecting the color rolling phenomenon according to the estimated light source information An apparatus and method are provided for detecting color rolling that enable to estimate the amplitude and amplitude.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 컬러 롤링을 검출하기 위한 장치는 입력된 영상 시퀀스의 다수의 영상 프레임들 간의 전역 움직임을 추정하는 움직임 추정부; 추정된 상기 전역 움직임을 이용하여 다수의 영상 프레임들 간의 움직임이 없는 공통 배경 영역을 추출하는 배경영역 추출부; 추출된 상기 배경 영역을 이용하여 기 설정된 광원 정보를 추정하는 광원정보 추정부; 및 상기 다수의 영상 프레임들 간의 상기 광원 정보의 변화량을 이용하여 컬러 롤링 현상을 검출하는 롤링현상 검출부를 포함할 수 있다.In order to achieve the above objects, an apparatus for detecting color rolling according to an aspect of the present invention includes a motion estimation unit for estimating the global motion between a plurality of image frames of the input image sequence; A background region extraction unit configured to extract a common background region without movement between a plurality of image frames by using the estimated global movement; A light source information estimator configured to estimate preset light source information using the extracted background region; And a rolling phenomenon detection unit configured to detect a color rolling phenomenon by using a change amount of the light source information between the plurality of image frames.

바람직하게, 상기 움직임 추정부는 현재 영상 프레임으로부터 인접한 일정 개수의 이전 영상 프레임들에 대해 전역 움직임 정보를 추출하고, 추출한 상기 전역 움직임 정보를 이용하여 다수의 영상 프레임들 간의 공통되는 영역을 추정할 수 있다.Preferably, the motion estimator extracts global motion information for a predetermined number of previous image frames from the current image frame, and estimates a common area between a plurality of image frames by using the extracted global motion information. .

바람직하게, 상기 배경영역 추출부는 상기 다수의 영상 프레임들 간의 공통되는 영역에 대해 각 R, G, B 채널별 배경 영역을 구하여 상기 각 R, G, B 채널별 배경 영역을 이용하여 각 영상 프레임에 대한 배경 영역을 구하고, 상기 각 영상 프레임에 대한 배경 영역을 이용하여 현재 영상 프레임을 기준으로 이전 영상 프레임들 간의 공통 배경 영역을 추출할 수 있다.Preferably, the background region extracting unit obtains a background region for each R, G, and B channel with respect to a common region among the plurality of image frames, and uses the background region for each R, G, and B channel to apply to each image frame. The background area of the image frame may be obtained, and a common background area of previous image frames may be extracted based on the current image frame using the background area of each image frame.

바람직하게, 상기 광원정보 추정부는 추출된 상기 배경 영역을 이용하여 각 R, G, B 채널별 밝기 성분을 구하고 구한 상기 각 R, G, B 채널별 밝기 성분을 이용하여 각 영상 프레임에 나타나는 광원의 밝기 성분을 추정할 수 있다.Preferably, the light source information estimating unit obtains a brightness component for each of the R, G, and B channels using the extracted background region, and uses the obtained brightness component for each R, G, and B channel, The brightness component can be estimated.

바람직하게, 상기 광원정보 추정부는 상기 다수의 영상 프레임들의 공통 배경 영역에 대해 각 영상 프레임의 에지 그레디언트의 누적을 평균하여 상기 각 R, G, B 채널별 밝기 성분을 수구할 수 있다.Preferably, the light source information estimator may obtain a brightness component for each of the R, G, and B channels by averaging the accumulation of edge gradients of each image frame with respect to a common background area of the plurality of image frames.

바람직하게, 상기 광원 정보는 상기 다수의 영상 프레임들 각각에 나타나는 광원의 밝기 성분 및 색상 성분 중 적어도 하나를 포함할 수 있다.Preferably, the light source information may include at least one of a brightness component and a color component of the light source appearing in each of the plurality of image frames.

바람직하게, 상기 롤링현상 검출부는 추정된 상기 광원 정보인 시간 축으로의 밝기 변화량 및 색상 변화량을 이용하여 컬러 롤링 현상을 검출할 수 있다.Preferably, the rolling phenomenon detection unit may detect the color rolling phenomenon by using the brightness change amount and the color change amount on the time axis which are the estimated light source information.

또한, 본 발명에 따른 컬러 롤링을 검출하기 위한 장치는 검출된 상기 컬러 롤링 현상을 지속적으로 추적하여 상기 컬러 롤링 현상의 주기 및 진폭을 검출하는 주기 추정부를 더 포함할 수 있다.The apparatus for detecting color rolling according to the present invention may further include a period estimator for continuously detecting the detected color rolling phenomenon and detecting a period and an amplitude of the color rolling phenomenon.

바람직하게, 상기 주기 추정부는 각 R, G, B 채널별 인접한 영상 프레임의 밝기 차이의 누적이 동시에 '0'인 시점을 주기로 검출하고, 검출된 하나의 주기 내에서 구해지는 밝기 성분의 최대값과 최소값을 이용하여 진폭을 검출할 수 있다.
Preferably, the period estimator detects a time point at which the accumulation of brightness differences of adjacent image frames of each R, G, and B channel is '0' at the same time, and the maximum value of the brightness component obtained within one detected period. The minimum value can be used to detect the amplitude.

본 발명의 다른 한 관점에 따른 컬러 롤링을 검출하기 위한 장치는 입력된 영상 시퀀스의 다수의 영상 프레임들 간의 움직임이 없는 공통 배경 영역을 추출하는 배경영역 추출부; 추출된 상기 배경 영역을 이용하여 기 설정된 광원 정보를 추정하는 광원정보 추정부; 및 상기 다수의 영상 프레임들 간의 상기 광원 정보의 변화량을 이용하여 컬러 롤링 현상을 검출하는 롤링현상 검출부를 포함할 수 있다.
An apparatus for detecting color rolling according to another aspect of the present invention includes a background region extraction unit for extracting a common background region without movement between a plurality of image frames of the input image sequence; A light source information estimator configured to estimate preset light source information using the extracted background region; And a rolling phenomenon detection unit configured to detect a color rolling phenomenon by using a change amount of the light source information between the plurality of image frames.

본 발명의 또 다른 한 관점에 따른 컬러 롤링을 검출하기 위한 방법은 입력된 영상 시퀀스의 다수의 영상 프레임들 간의 전역 움직임을 추정하는 단계; 추정된 상기 전역 움직임을 이용하여 다수의 영상 프레임들 간의 움직임이 없는 공통 배경 영역을 추출하는 단계; 추출된 상기 배경 영역을 이용하여 기 설정된 광원 정보를 추정하는 단계; 및 상기 다수의 영상 프레임들 간의 상기 광원 정보의 변화량을 이용하여 컬러 롤링 현상을 검출하는 단계를 포함할 수 있다.According to another aspect of the present invention, a method for detecting color rolling includes estimating global motion between a plurality of image frames of an input image sequence; Extracting a common background region having no motion between a plurality of image frames by using the estimated global motion; Estimating preset light source information by using the extracted background region; And detecting a color rolling phenomenon by using a change amount of the light source information between the plurality of image frames.

바람직하게, 상기 전역 움직임을 추정하는 단계는 현재 영상 프레임으로부터 인접한 일정 개수의 이전 영상 프레임들에 대해 전역 움직임 정보를 추출하고, 추출한 상기 전역 움직임 정보를 이용하여 다수의 영상 프레임들 간의 공통되는 영역을 추정할 수 있다.Preferably, the estimating the global motion extracts global motion information for a predetermined number of previous image frames adjacent from a current image frame, and uses the extracted global motion information to determine a common area between a plurality of image frames. It can be estimated.

바람직하게, 상기 공통 배경 영역을 추출하는 단계는 상기 다수의 영상 프레임들 간의 공통되는 영역에 대해 각 R, G, B 채널별 배경 영역을 구하여 상기 각 R, G, B 채널별 배경 영역을 이용하여 각 영상 프레임에 대한 배경 영역을 구하고, 상기 각 영상 프레임에 대한 배경 영역을 이용하여 현재 영상 프레임을 기준으로 이전 영상 프레임들 간의 공통 배경 영역을 추출할 수 있다.The extracting of the common background region may include obtaining a background region for each R, G, and B channel with respect to a common region among the plurality of image frames, and using the background region for each of the R, G, and B channels. A background region for each image frame may be obtained, and a common background region between previous image frames may be extracted based on the current image frame using the background region for each image frame.

바람직하게, 상기 광원 정보를 추정하는 단계는 추출된 상기 배경 영역을 이용하여 각 R, G, B 채널별 밝기 성분을 구하고 구한 상기 각 R, G, B 채널별 밝기 성분을 이용하여 각 영상 프레임에 나타나는 광원의 밝기 성분을 추정할 수 있다.The estimating of the light source information may include obtaining brightness components for each of the R, G, and B channels using the extracted background region, and using each of the R, G, and B channels. The brightness component of the appearing light source can be estimated.

바람직하게, 상기 광원 정보를 추정하는 단계는 상기 다수의 영상 프레임들의 공통 배경 영역에 대해 각 영상 프레임의 에지 그레디언트의 누적을 평균하여 상기 각 R, G, B 채널별 밝기 성분을 구할 수 있다.Preferably, the estimating of the light source information may obtain a brightness component for each of the R, G, and B channels by averaging the accumulation of edge gradients of each image frame with respect to a common background area of the plurality of image frames.

바람직하게, 상기 광원 정보는 상기 다수의 영상 프레임들 각각에 나타나는 광원의 밝기 성분 및 색상 성분 중 적어도 하나를 포함할 수 있다.Preferably, the light source information may include at least one of a brightness component and a color component of the light source appearing in each of the plurality of image frames.

바람직하게, 상기 컬러 롤링 형상을 검출하는 단계는 추정된 상기 광원 정보인 시간 축으로의 밝기 변화량 및 색상 변화량을 이용하여 컬러 롤링 현상을 검출할 수 있다.Preferably, the detecting of the color rolling shape may detect a color rolling phenomenon by using the brightness change amount and the color change amount on the time axis which are the estimated light source information.

또한, 본 발명에 따른 컬러 롤링을 검출하기 위한 방법은 검출된 상기 컬러 롤링 현상을 지속적으로 추적하여 상기 컬러 롤링 현상의 주기 및 진폭을 검출하는 단계를 더 포함할 수 있다.In addition, the method for detecting color rolling according to the present invention may further include detecting the period and amplitude of the color rolling phenomenon by continuously tracking the detected color rolling phenomenon.

바람직하게, 상기 주기 및 진폭을 검출하는 단계는 각 R, G, B 채널별 인접한 영상 프레임의 밝기 차이의 누적이 동시에 '0'인 시점을 주기로 검출하고, 검출된 하나의 주기 내에서 구해지는 밝기 성분의 최대값과 최소값을 이용하여 진폭을 검출할 수 있다.
Preferably, the detecting of the period and the amplitude may be performed by detecting a time point at which the accumulation of brightness differences of adjacent image frames for each R, G, and B channel is simultaneously '0', and the brightness obtained within the detected one period. The maximum and minimum values of the components can be used to detect the amplitude.

본 발명의 또 다른 한 관점에 따른 컬러 롤링을 검출하기 위한 방법은 입력된 영상 시퀀스의 다수의 영상 프레임들 간의 움직임이 없는 공통 배경 영역을 추출하는 단계; 추출된 상기 배경 영역을 이용하여 기 설정된 광원 정보를 추정하는 단계; 및 상기 다수의 영상 프레임들 간의 상기 광원 정보의 변화량을 이용하여 컬러 롤링 현상을 검출하는 단계를 포함할 수 있다.According to still another aspect of the present invention, there is provided a method for detecting color rolling, comprising: extracting a common background area without motion between a plurality of image frames of an input image sequence; Estimating preset light source information by using the extracted background region; And detecting a color rolling phenomenon by using a change amount of the light source information between the plurality of image frames.

이를 통해, 본 발명은 카메라의 움직임으로 인한 전역적 영상 변화와 물체의 움직임으로 인한 지역적 영상 변화를 고려하여 광원 정보를 추정하고 추정된 광원 정보에 따라 컬러 롤링 현상을 검출함으로써, 하드웨어 추가없이 컬러 롤링을 검출할 수 있다.Through this, the present invention estimates the light source information in consideration of the global image change due to the movement of the camera and the local image change due to the movement of the object, and detects the color rolling phenomenon according to the estimated light source information. Can be detected.

또한, 본 발명은 카메라의 움직임으로 인한 전역적 영상 변화와 물체의 움직임으로 인한 지역적 영상 변화를 고려하여 광원 정보를 추정하고 추정된 광원 정보에 따라 컬러 롤링 현상을 검출함으로써, 컬러 롤링 검출의 정확성을 향상시킬 수 있다.In addition, the present invention estimates the light source information in consideration of the global image change due to the movement of the camera and the local image change due to the movement of the object and detects the color rolling phenomenon according to the estimated light source information, thereby improving the accuracy of the color rolling detection. Can be improved.

또한, 본 발명은 카메라의 움직임으로 인한 전역적 영상 변화와 물체의 움직임으로 인한 지역적 영상 변화를 고려하여 광원 정보를 추정하고 추정된 광원 정보에 따라 컬러 롤링 현상을 검출한 후에 컬러 롤링 주기와 진폭을 추정함으로써, 검출 이후에 발생되는 컬러 롤링을 제거하기 위한 정보로 이용할 수 있다.In addition, the present invention estimates the light source information in consideration of the global image change due to the movement of the camera and the local image change due to the movement of the object, and after detecting the color rolling phenomenon according to the estimated light source information, By estimating, it can use as information for removing the color rolling which generate | occur | produces after detection.

도 1은 본 발명의 일 실시예에 따른 컬러 롤링을 검출하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 전역 움직임을 추정한 결과를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 공통 배경 영역을 추출한 결과를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 색온도를 추정하는 원리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 컬러 롤링에 의한 채널 별 주기, 진폭을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 컬러 롤링을 검출하기 위한 방법을 나타내는 도면이다.1 is a diagram illustrating an apparatus for detecting color rolling according to an embodiment of the present invention.
2 is a diagram illustrating a result of estimating global motion according to an embodiment of the present invention.
3 is a diagram illustrating a result of extracting a common background region according to an embodiment of the present invention.
4 is a view for explaining the principle of estimating the color temperature according to an embodiment of the present invention.
5 is a diagram illustrating a period and amplitude for each channel due to color rolling according to an embodiment of the present invention.
6 is a diagram illustrating a method for detecting color rolling according to an embodiment of the present invention.

이하에서는, 본 발명의 실시예에 따른 컬러 롤링을 검출하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 6을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.Hereinafter, an apparatus for detecting color rolling and a method thereof according to an embodiment of the present invention will be described with reference to FIGS. 1 to 6. It will be described in detail focusing on the parts necessary to understand the operation and action according to the present invention. Like reference numerals in the drawings denote like elements throughout the specification.

본 발명에서는 카메라의 움직임으로 인한 전역적 영상 변화와 물체의 움직임으로 인한 지역적 영상 변화를 고려하여 광원 정보 예컨대, 색상, 밝기 등을 추정하고 추정된 광원 정보에 따라 컬러 롤링 현상을 검출하고, 그 컬러 롤링 현상을 검출한 후에 컬러 롤링 주기와 진폭을 추정할 수 있도록 하는 새로운 방안을 제안한다.In the present invention, the light source information, for example, the color, the brightness, etc. are estimated in consideration of the global image change due to the camera movement and the local image change due to the object movement, and the color rolling phenomenon is detected according to the estimated light source information. After detecting the rolling phenomenon, we propose a new method to estimate the color rolling period and amplitude.

도 1은 본 발명의 일 실시예에 따른 컬러 롤링을 검출하기 위한 장치를 나타내는 도면이다.1 is a diagram illustrating an apparatus for detecting color rolling according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명에 따른 컬러 롤링을 검출하기 위한 장치는 영상 입력부(110), 움직임 추정부(120), 배경영역 추출부(130), 광원정보 추정부(140), 롤링현상 검출부(150), 및 주기 추정부(160) 등을 포함하여 구성될 수 있다.As shown in FIG. 1, an apparatus for detecting color rolling according to the present invention includes an image input unit 110, a motion estimation unit 120, a background region extraction unit 130, a light source information estimation unit 140, and a rolling device. The phenomenon detection unit 150, the period estimation unit 160, and the like may be configured.

영상 입력부(110)는 영상 센서를 통해 촬영한 영상 시퀀스를 입력 받을 수 있다.
The image input unit 110 may receive an image sequence photographed through the image sensor.

움직임 추정부(110)는 입력받은 영상 시퀀스의 다수의 영상 프레임들 간의 전역 움직임(global motion)을 추정할 수 있다. 즉, 움직임 추정부(110)는 현재 영상 프레임으로부터 인접한 일정 개수의 이전 영상 프레임들에 대해 블록 매칭 알고리즘 등을 이용하여 전역 움직임 정보를 추출하게 된다.The motion estimator 110 may estimate global motion between the plurality of image frames of the input image sequence. That is, the motion estimator 110 extracts global motion information from a current image frame by using a block matching algorithm for a predetermined number of previous image frames.

n번째 현재 영상 프레임을 기준으로 k번째 이전 영상 프레임에 나타난 전역 움직임 정보를

Figure 112011084844149-pat00001
이라고 하면, 전역 움직임을 제거한 n-k번째 영상 프레임을 다음의 [수학식 1]과 같이 나타낼 수 있다.Based on the nth current video frame, the global motion information shown in the kth previous video frame
Figure 112011084844149-pat00001
In this case, the nk-th image frame from which the global motion is removed may be represented by Equation 1 below.

[수학식 1][Equation 1]

Figure 112011084844149-pat00002
Figure 112011084844149-pat00002

여기서, A는 R, G, B 채널 중 하나를 나타내고, m은 매크로 볼록을 나타낼 수 있다.Here, A may represent one of the R, G, and B channels, and m may represent the macro convex.

도 2는 본 발명의 일 실시예에 따른 전역 움직임을 추정한 결과를 나타내는 도면이다.2 is a diagram illustrating a result of estimating global motion according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 영상 시퀀스의 3개의 영상 프레임들 간의 전역 움직임을 추정한 결과를 보여주고 있다. 움직임 추정부(110)는 추출한 전역 움직임 정보를 이용하여 다수의 영상 프레임들 간의 공통되는 영역을 추정할 수 있다.As shown in FIG. 2, the result of estimating the global motion between three image frames of the image sequence is shown. The motion estimator 110 estimates a common area between the plurality of image frames by using the extracted global motion information.

예컨대, 3개의 영상 프레임들에서 실선의 사각형의 공통되는 영역을 추정할 수 있다. 가운데에 위치한 영상 프레임 내의 실선의 사각형을 기준으로 좌측에 위치한 영상 프레임과 우측에 위치한 영상 프레임 내의 실선의 사각형을 추정하게 된다.For example, a common area of a rectangle of a solid line may be estimated in three image frames. The rectangle of the solid line in the image frame located on the left and the image frame located in the right side is estimated based on the rectangle of the solid line in the center image frame.

여기서, 전역 움직임은 카메라의 움직임 즉, 팬(pan), 줌(zoom), 회전(rotation) 등을 포함하는 움직임으로 객체 단위의 움직임을 포괄하는 개념일 수 있다.
Here, the global movement may be a concept including a movement of a camera, that is, a movement including a pan, zoom, rotation, and the like.

배경영역 추출부(130)는 다수의 영상 프레임들 간의 공통되는 영역 내에서 공통 배경 영역을 추출할 수 있다. 배경영역 추출부(130)는 국부 움직임 검출 방법을 이용하되, 연산량을 줄이고 노이즈의 영향을 감소시키기 위하여 영상 프레임을 단위 블록으로 나누어 그 단위 블록마다 국부 움직임을 검출하여 공통 배경 영역을 추출하게 된다.The background region extractor 130 may extract a common background region within a region common to a plurality of image frames. The background region extraction unit 130 uses a local motion detection method, and divides an image frame into unit blocks to detect local motion for each unit block and extracts a common background area in order to reduce the amount of computation and reduce the influence of noise.

이때, n-1번째 영상 프레임에서의 m 번째 단위 블록의 밝기평균을

Figure 112011084844149-pat00003
라고 하면, 각 채널별 배경 영역
Figure 112011084844149-pat00004
을 기 설정된 임계값 Thresmotion를 이용하여 다음의 [수학식 2]와 같이 구할 수 있다.At this time, the brightness average of the m th unit block in the n-1 th image frame
Figure 112011084844149-pat00003
Speaking, background area of each channel
Figure 112011084844149-pat00004
By using the threshold threshold Thres motion can be obtained as shown in [Equation 2].

[수학식 2]&Quot; (2) "

Figure 112011084844149-pat00005
Figure 112011084844149-pat00005

상기 [수학식 2]를 통해 구한 각 채널별 배경 영역을 이용하여 각 영상 프레임에 대한 배경 영역

Figure 112011084844149-pat00006
을 다음의 [수학식 3]과 같이 구할 수 있다.Background area for each image frame using the background area of each channel obtained through Equation 2 above
Figure 112011084844149-pat00006
Can be obtained as shown in Equation 3 below.

[수학식 3]&Quot; (3) "

Figure 112011084844149-pat00007
Figure 112011084844149-pat00007

상기 [수학식 3]을 통해 구한 각 영상 프레임에 대한 배경 영역을 이용하여 현재 영상 프레임을 기준으로 이전 프레임들 간의 공통 배경 영역 Mn을 다음의 [수학식 4]와 같이 구할 수 있다.Using the background region of each image frame obtained through Equation 3, a common background region M n between previous frames can be obtained as shown in Equation 4 below based on the current image frame.

[수학식 4]&Quot; (4) "

Figure 112011084844149-pat00008
Figure 112011084844149-pat00008

도 3은 본 발명의 일 실시예에 따른 공통 배경 영역을 추출한 결과를 나타내는 도면이다.3 is a diagram illustrating a result of extracting a common background region according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 영상 시퀀스의 3개의 영상 프레임들 간의 공통 배경 영역을 추출한 결과를 보여주고 있다. 배경영역 추출부(130)는 다수의 영상 프레임들 간의 공통되는 영역 내에서 움직임이 없는 공통 배경 영역을 추출할 수 있다.As shown in FIG. 3, a result of extracting a common background region between three image frames of an image sequence is shown. The background region extractor 130 may extract a common background region having no movement within a region common to a plurality of image frames.

예컨대, 그림에서 공통 배경 영역이 하얀색으로 나타나고 있다.
For example, the common background area is shown in white in the figure.

광원정보 추정부(140)는 추출된 공통 배경 영역을 이용하여 광원 정보를 추정할 수 있다. 여기서, 광원 정보는 밝기 성분, 색상 또는 색온도 성분 등을 포함할 수 있다.The light source information estimator 140 may estimate light source information using the extracted common background area. Here, the light source information may include a brightness component, a color or a color temperature component.

앞선 과정에서 각 영상 프레임 간 움직임으로 인한 변화가 제거되었기 때문에 시간 축 밝기 변화를 추정함에 있어서 영상 프레임마다 동일한 정보에 기반하여 컬러 롤링으로 인한 밝기 변화를 검출할 수 있다. 이때 각 영상 프레임에 대해 채널별 밝기를 추정함으로써 영상 프레임별로 컬러 롤링으로 인한 밝기 및 색상 변화를 검출할 수 있다. 따라서 이러한 광원의 각 채널별 밝기는 이후 컬러 롤링을 검출하는데 있어서 핵심 정보를 제공하기 때문에 정확한 추정이 필요하다.Since the change due to the movement between each image frame is removed in the foregoing process, the brightness change due to color rolling can be detected based on the same information for each image frame in estimating the change in the brightness of the time axis. In this case, by estimating the brightness of each image frame for each channel, the brightness and the color change due to color rolling may be detected for each image frame. Therefore, since the brightness of each channel of the light source provides key information in detecting color rolling afterwards, accurate estimation is necessary.

본 발명에서는 영상 내부의 정보를 이용하여 광원 정보를 추출함에 있어 무채색 에지 가정(gray edge assumption) 방식을 이용할 수 있다. 이는 물체의 모서리 부분에서 광원이 반사되는 정보에 밝기 및 색상 정보가 포함되어 있으며 영상 전체의 에지 그레디언트(edge gradient)의 합이 무채색이라는 가정이다.In the present invention, in extracting light source information using information inside an image, a gray edge assumption method may be used. This assumes that the information reflected by the light source at the edge of the object includes brightness and color information and that the sum of edge gradients of the entire image is achromatic.

광원정보 추정부(140)는 n개의 영상 프레임의 공통 배경 영역에 대해 각 영상 프레임의 에지 그레디언트를 구해 R, G, B 채널별 밝기 성분을 다음의 [수학식 5]와 같이 추출할 수 있다.The light source information estimator 140 obtains an edge gradient of each image frame with respect to the common background region of the n image frames, and extracts the brightness components of the R, G, and B channels as shown in Equation 5 below.

[수학식 5][Equation 5]

Figure 112011084844149-pat00009
Figure 112011084844149-pat00009

여기서, N은 픽셀의 위치를 나타낼 수 있다. Here, N may represent the position of the pixel.

광원정보 추정부(140)는 각 R, G, B 채널별 밝기 성분을 이용하여 각 영상 프렘임에 나타나는 광원의 밝기 성분 In을 다음의 [수학식 6]과 같이 추정할 수 있다.The light source information estimating unit 140 may estimate the brightness component I n of the light source appearing in each image frame by using the brightness components of each R, G, and B channel as shown in Equation 6 below.

[수학식 6]&Quot; (6) "

Figure 112011084844149-pat00010
Figure 112011084844149-pat00010

여기서, αA는 각 R, G, B 채널별 비중을 나타낼 수 있다.Here, α A may represent specific gravity for each of R, G, and B channels.

또한, 광원정보 추정부(140)는 예컨대, Robertson 방법 등을 이용하여 각 영상 프레임에 나타나는 광원의 색상 성분 또는 색온도를 추정할 수 있다. 이를 설명하면, 먼저 광원정보 추정부(140)는 주어진 광원의 R, G, B 값을 이용하여 다음의 [수학식 7]과 같이 색도 변환을 수행할 수 있다.In addition, the light source information estimator 140 may estimate a color component or color temperature of a light source appearing in each image frame using, for example, the Robertson method. Referring to this, first, the light source information estimating unit 140 may perform chromaticity conversion as shown in Equation 7 using R, G, and B values of a given light source.

[수학식 7][Equation 7]

Figure 112011084844149-pat00011
Figure 112011084844149-pat00011

상기 [수학식 7]을 다음의 [수학식 8]과 같이 xn, yn의 색도 평면으로 변환할 수 있다.Equation 7 may be converted into a chromaticity plane of x n and y n as shown in Equation 8 below.

[수학식 8][Equation 8]

Figure 112011084844149-pat00012
Figure 112011084844149-pat00012

이러한 색도 평면 상 플랑크 곡선(planckian locus)에서 현재 프레임의 색온도 Tn을 다음의 [수학식 9]와 같이 추정할 수 있다.In the planckian locus on the chromaticity plane, the color temperature T n of the current frame can be estimated as shown in Equation 9 below.

[수학식 9]&Quot; (9) "

Figure 112011084844149-pat00013
Figure 112011084844149-pat00013

여기서, dl은 영상의 특정을 반영하는 점과 l번째 동일 색온도를 나타내는 선분 사이의 거리를 나타내고, dl+1은 영상의 특정을 반영하는 점과 (l+1)번째 동일 색온도를 나타내는 선분 사이의 거리를 나타낼 수 있다. 그리고 Tl은 색도 평면 상 l번째 색온도를 나타낼 수 있다.Here, d l represents the distance between the point reflecting the specification of the image and the line segment representing the l-th same color temperature, and d l + 1 represents the line segment representing the point of the image specification and the (l + 1) th same color temperature. It can represent the distance between. And T l may represent the l-th color temperature on the chromaticity plane.

도 4는 본 발명의 일 실시예에 따른 색온도를 추정하는 원리를 설명하기 위한 도면이다.4 is a view for explaining the principle of estimating the color temperature according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 현재 프레임의 색온도 Tn을 추정하기 위하여, l번째 색온도를 나타내는 Tl과 (l+1)번째 색온도를 나타내는 Tl+1, 그리고 영상의 특정을 반영하는 점과 l번째 색온도를 나타내는 선분까지의 거리 dl와 영상의 특정을 반영하는 점과 (l+1)번째 색온도를 나타내는 선분까지의 거리 dl+1를 보여주고 있다.As shown in FIG. 4, in order to estimate the color temperature T n of the current frame, T l representing the l-th color temperature and T l + 1 representing the (l + 1) -th color temperature, and points reflecting the specificity of the image; The distance d l to the line segment representing the l-th color temperature, the point reflecting the specificity of the image, and the distance d l + 1 to the line segment representing the (l + 1) th color temperature are shown.

이러한 점과 선분 또는 직선 사이의 거리는 다음의 [수학식 10]을 통해 구할 수 있다.The distance between the point and the line segment or the straight line can be obtained by the following Equation 10.

[수학식 10]&Quot; (10) "

Figure 112011084844149-pat00014

Figure 112011084844149-pat00014

롤링현상 검출부(150)는 시간 축으로의 밝기 변화량 및 색온도 변화량을 이용하여 컬러 롤링 현상을 검출할 수 있는데, 다음의 [수학식 11]을 통해 검출할 수 있다.The rolling phenomenon detection unit 150 may detect the color rolling phenomenon by using the amount of change in brightness and the change in color temperature on the time axis, and may be detected through Equation 11 below.

[수학식 11]&Quot; (11) "

Figure 112011084844149-pat00015
Figure 112011084844149-pat00015

여기서, Thres1, Thres2, Thres3, Thres4는 컬러 롤링 검출을 위한 임계값을 나타낼 수 있다.
Here, Thres 1 , Thres 2 , Thres 3 , and Thres 4 may represent thresholds for color rolling detection.

주기 추정부(160)는 검출된 컬러 롤링 현상을 지속적으로 추적하여 컬러 롤링 현상의 주기 및 진폭을 검출할 수 있다. 본 발명에서는 이러한 컬러 롤링 현상의 주기 및 진폭을 검출하여 추후에 발생하는 컬러 롤링 보정에 사용할 수 있도록 한다.The period estimator 160 may detect the period and amplitude of the color rolling phenomenon by continuously tracking the detected color rolling phenomenon. In the present invention, the period and amplitude of the color rolling phenomenon can be detected and used for color rolling correction that occurs later.

도 5는 본 발명의 일 실시예에 따른 컬러 롤링에 의한 채널 별 주기, 진폭을 나타내는 도면이다.5 is a diagram illustrating a period and amplitude for each channel due to color rolling according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 컬러 롤링에 의한 채널 별 광원 변화 예컨대, 그림 (a)에서는 색온도 변화, 그림 (b)에서는 밝기 변화와 그림 (c)에서는 그에 따른 컬러 롤링 현상의 주기 및 진폭을 보여주고 있다.As shown in FIG. 5, a light source change for each channel due to color rolling, for example, a color temperature change in FIG. (A), a brightness change in FIG. (B), and a cycle and amplitude of the color rolling phenomenon according to it in FIG. Giving.

컬러 롤링 현상의 주기를 P라고 할 때, 밝기 성분은 주기에 따라 다음의 [수학식 12]와 같이 나타낼 수 있다.When the period of the color rolling phenomenon is P, the brightness component may be expressed by Equation 12 according to the period.

[수학식 12][Equation 12]

Figure 112011084844149-pat00016
Figure 112011084844149-pat00016

주기 추정부(160)는 각 R, G, B 채널이 독립적으로 변하지만 주기는 동일하다는 점을 이용해 다음의 [수학식 13]을 만족시키는 값을 통해 주기 P를 구할 수 있다.The period estimator 160 can obtain a period P through a value satisfying the following Equation 13 using the fact that each of the R, G, and B channels changes independently, but the periods are the same.

[수학식 13]&Quot; (13) "

Figure 112011084844149-pat00017
Figure 112011084844149-pat00017

여기서, k는 시간축 상에서 프레임 위치를 나타내고,

Figure 112011084844149-pat00018
는 R 채널의 인접한 영상 프레임 간의 밝기 차이를 나타내고,
Figure 112011084844149-pat00019
는 G 채널의 인접한 영상 프레임 간의 밝기 차이를 나타내며,
Figure 112011084844149-pat00020
는 B 채널의 인접한 영상 프레임 간의 밝기 차이를 나타낼 수 있다.Where k represents the frame position on the time axis,
Figure 112011084844149-pat00018
Denotes the difference in brightness between adjacent image frames of the R channel,
Figure 112011084844149-pat00019
Indicates the difference in brightness between adjacent video frames in the G channel,
Figure 112011084844149-pat00020
Denotes a difference in brightness between adjacent image frames of the B channel.

즉, 주기 추정부는 각 R, G, B 채널별 인접한 영상 프레임의 밝기 차이의 누적이 동시에 '0'인 시점을 주기로 구할 수 있다.That is, the period estimator may obtain a time point at which the accumulation of brightness differences of adjacent image frames for each R, G, and B channel is simultaneously '0'.

위의 [수학식 13]을 만족하는 경우 한 주기 안에서 최대값, 최소값은 다음의 [수학식 14]와 같이 나타낼 수 있다.When the above Equation 13 is satisfied, the maximum value and the minimum value within one period can be expressed as Equation 14 below.

[수학식 14]&Quot; (14) "

Figure 112011084844149-pat00021
Figure 112011084844149-pat00021

주기 추정부(160)는 이렇게 구한 최대값, 최소값을 이용하여 진폭을 추정할 수 있다.The period estimator 160 may estimate the amplitude using the maximum and minimum values thus obtained.

이처럼, 본 발명은 컬러 롤링 현상이 발생되는 것으로 추정되는 경우 각 채널의 영상 프레임 간 밝기 차이의 누적값이 상쇄되는 동일 지점을 추적함으로써 컬러 롤링 주기를 추정할 수 있으며, 이러한 주기성을 갖는 것을 확인함으로써 컬러 롤링 현상 검출의 정확성을 향상시킬 수 있다. 또한, 본 발명은 컬러 롤링 현상이 발견되는 경우 컬러 롤링 검출 시 구한 주기 및 최대값, 최소값을 이용해 컬러 롤링 제거 알고리즘 등을 통하여 각 영상 프레임의 색 유동성을 보정할 수 있다.
As such, when the color rolling phenomenon is estimated to occur, the color rolling period can be estimated by tracking the same point where the cumulative value of the brightness difference between the image frames of each channel is canceled. The accuracy of color rolling phenomenon detection can be improved. In addition, when a color rolling phenomenon is found, color fluidity of each image frame may be corrected through a color rolling removal algorithm using a period, a maximum value, and a minimum value obtained when color rolling is detected.

도 6은 본 발명의 일 실시예에 따른 컬러 롤링을 검출하기 위한 방법을 나타내는 도면이다.6 is a diagram illustrating a method for detecting color rolling according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 본 발명에 따른 컬러 롤링 검출 장치(이하, 검출 장치라고 한다)는 다수의 영상 프레임들로 이루어진 영상 시퀀스(image sequence)를 입력받을 수 있다(S610).As shown in FIG. 6, the color rolling detection apparatus (hereinafter referred to as a detection apparatus) according to the present invention may receive an image sequence consisting of a plurality of image frames (S610).

다음으로, 검출 장치는 입력받은 영상 시퀀스의 다수의 영상 프레임들 간의 전역 움직임을 추정할 수 있다(S620). 즉, 검출 장치는 현재 영상 프레임으로부터 인접한 일정 개수의 이전 영상 프레임들에 대해 블록 매칭 알고리즘 등을 이용하여 전역 움직임 정보를 추출하고 추출한 전역 움직임 정보를 이용하여 다수의 영상 프레임들 간의 공통되는 영역을 추정하게 된다.Next, the detection apparatus may estimate global motion between the plurality of image frames of the input image sequence (S620). That is, the detection apparatus extracts global motion information for a predetermined number of previous image frames adjacent to the current image frame by using a block matching algorithm, and estimates a common area between the plurality of image frames using the extracted global motion information. Done.

다음으로, 검출 장치는 다수의 영상 프레임들 간의 공통되는 영역 내에서 움직임이 없는 공통 배경 영역을 추출할 수 있다(S630). 즉, 검출 장치는 각 R, G, B 채널별 배경 영역을 구하여 각 R, G, B 채널별 배경 영역을 이용하여 각 영상 프레임에 대한 배경 영역을 구하고, 각 영상 프레임에 대한 배경 영역을 이용하여 현재 영상 프레임을 기준으로 이전 영상 프레임들 간의 공통 배경 영역을 추출하게 된다.Next, the detection apparatus may extract a common background area having no motion in a common area between the plurality of image frames (S630). That is, the detection apparatus obtains a background region for each R, G, and B channel, obtains a background region for each image frame using the background region for each R, G, and B channel, and uses a background region for each image frame. The common background region between the previous image frames is extracted based on the current image frame.

다음으로, 검출 장치는 추출된 공통 배경 영역을 이용하여 광원 정보를 추정할 수 있다(S640). 여기서, 광원 정보는 밝기 성분, 색상 또는 색온도 성분 중 적어도 하나를 포함할 수 있다.Next, the detection apparatus may estimate the light source information by using the extracted common background area (S640). Here, the light source information may include at least one of a brightness component, a color, or a color temperature component.

즉, 검출 장치는 추출된 공통 배경 영역을 이용하여 각 R, G, B 채널별 밝기 성분을 구하고 각 R, G, B 채널별 밝기 성분을 이용하여 각 영상 프렘임에 나타나는 광원의 밝기 성분을 추정하고, 추출된 공통 배경 영역을 이용하여 Robertson 방법을 통해 각 영상 프레임에 나타나는 광원의 색상 성분을 추정하게 된다.That is, the detection apparatus obtains the brightness components of each R, G, and B channel using the extracted common background region, and estimates the brightness components of the light source appearing in each image frame using the brightness components of each of the R, G, and B channels. In addition, the color component of the light source appearing in each image frame is estimated by using the extracted common background region.

다음으로, 검출 장치는 다수의 영상 프레임들 간의 광원 정보의 변화량을 이용하여 컬러 롤링 현상을 검출할 수 있다(S650). 즉, 검출 장치는 추정된 광원 정보인 시간 축으로의 밝기 변화량 및 색상 변화량을 이용하여 컬러 롤링 현상을 검출하게 된다.Next, the detection apparatus may detect the color rolling phenomenon by using the amount of change in the light source information between the plurality of image frames (S650). That is, the detection apparatus detects the color rolling phenomenon by using the brightness change amount and the color change amount on the time axis which are estimated light source information.

다음으로, 검출 장치는 검출된 컬러 롤링 현상을 지속적으로 추적하여 컬러 롤링 현상의 주기 및 진폭을 검출할 수 있다(S660). 즉, 검출 장치는 각 R, G, B 채널별 인접한 영상 프레임의 밝기 차이의 누적이 동시에 '0'인 시점을 주기로 검출하고, 검출된 하나의 주기 내에서 구해지는 밝기 성분의 최대값과 최소값을 이용하여 진폭을 검출하게 된다.
Next, the detection apparatus may continuously track the detected color rolling phenomenon to detect the period and amplitude of the color rolling phenomenon (S660). That is, the detection device detects a time point at which the accumulation of brightness differences of adjacent image frames for each R, G, and B channel is '0' at the same time, and detects the maximum and minimum values of brightness components obtained within one detected period. To detect the amplitude.

본 발명에 의한 컬러 롤링을 검출하기 위한 장치 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Various modifications and variations may be made by those skilled in the art to which the apparatus and method for detecting color rolling according to the present invention belong without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

110 : 영상 입력부
120 : 움직임 추정부
130 : 배경영역 추출부
140 : 광원정보 추정부
150 : 롤링현상 검출부
160 : 주기 추정부110: video input unit
120: motion estimation unit
130: background region extraction unit
140: light source information estimation unit
150: rolling phenomenon detection unit
160: period estimation unit

Claims (20)

입력된 영상 시퀀스의 다수의 영상 프레임들 간의 전역 움직임을 추정하는 움직임 추정부;
추정된 상기 전역 움직임을 이용하여 다수의 영상 프레임들 간의 움직임이 없는 공통 배경 영역을 추출하는 배경영역 추출부;
추출된 상기 공통 배경 영역을 이용하여 기 설정된 광원 정보를 추정하는 광원정보 추정부; 및
상기 다수의 영상 프레임들 간의 상기 광원 정보의 변화량을 이용하여 컬러 롤링 현상을 검출하는 롤링현상 검출부;
를 포함하는 컬러 롤링을 검출하기 위한 장치.A motion estimator for estimating global motion between a plurality of image frames of an input image sequence;
A background region extraction unit configured to extract a common background region without movement between a plurality of image frames by using the estimated global movement;
A light source information estimator configured to estimate preset light source information by using the extracted common background region; And
A rolling phenomenon detection unit detecting a color rolling phenomenon by using a change amount of the light source information between the plurality of image frames;
Apparatus for detecting color rolling comprising a. 제1 항에 있어서,
상기 움직임 추정부는,
현재 영상 프레임으로부터 인접한 일정 개수의 이전 영상 프레임들에 대해 전역 움직임 정보를 추출하고, 추출한 상기 전역 움직임 정보를 이용하여 다수의 영상 프레임들 간의 공통되는 영역을 추정하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 장치.The method according to claim 1,
The motion estimation unit,
Detecting color rolling comprising extracting global motion information for a predetermined number of previous image frames from a current image frame and estimating a common area between a plurality of image frames using the extracted global motion information. Device for. 제1 항에 있어서,
상기 배경영역 추출부는,
상기 다수의 영상 프레임들 간의 공통되는 영역에 대해 각 R, G, B 채널별 배경 영역을 구하여 상기 각 R, G, B 채널별 배경 영역을 이용하여 각 영상 프레임에 대한 배경 영역을 구하고,
상기 각 영상 프레임에 대한 배경 영역을 이용하여 현재 영상 프레임을 기준으로 이전 영상 프레임들 간의 공통 배경 영역을 추출하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 장치.The method according to claim 1,
The background region extraction unit,
Obtaining a background region for each R, G, and B channel for a common region among the plurality of image frames, and obtaining a background region for each image frame using the background region for each of the R, G, and B channels;
And extracting a common background region between previous image frames based on the current image frame by using the background region for each image frame. 제1 항에 있어서,
상기 광원정보 추정부는,
추출된 상기 공통 배경 영역을 이용하여 각 R, G, B 채널별 밝기 성분을 구하고 구한 상기 각 R, G, B 채널별 밝기 성분을 이용하여 각 영상 프레임에 나타나는 광원의 밝기 성분을 추정하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 장치.The method according to claim 1,
The light source information estimating unit,
The brightness component of each R, G, and B channel is obtained using the extracted common background region, and the brightness component of the light source appearing in each image frame is estimated using the obtained brightness component of each of the R, G, and B channels. A device for detecting color rolling. 제4 항에 있어서,
상기 광원정보 추정부는,
상기 다수의 영상 프레임들의 공통 배경 영역에 대해 각 영상 프레임의 에지 그레디언트의 누적을 평균하여 상기 각 R, G, B 채널별 밝기 성분을 구하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 장치.5. The method of claim 4,
The light source information estimating unit,
And a brightness component for each of the R, G, and B channels is obtained by averaging the accumulation of edge gradients of each image frame with respect to a common background area of the plurality of image frames. 제1 항에 있어서,
상기 광원 정보는, 상기 다수의 영상 프레임들 각각에 나타나는 광원의 밝기 성분 및 색상 성분 중 적어도 하나를 포함하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 장치.The method according to claim 1,
And the light source information comprises at least one of a brightness component and a color component of a light source appearing in each of the plurality of image frames. 제1 항에 있어서,
상기 롤링현상 검출부는,
추정된 상기 광원 정보인 시간 축으로의 밝기 변화량 및 색상 변화량을 이용하여 컬러 롤링 현상을 검출하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 장치.The method according to claim 1,
The rolling phenomenon detection unit,
And detecting a color rolling phenomenon by using the estimated brightness change amount and color change amount on the time axis. 제1 항에 있어서,
검출된 상기 컬러 롤링 현상을 지속적으로 추적하여 상기 컬러 롤링 현상의 주기 및 진폭을 검출하는 주기 추정부;
를 더 포함하는 컬러 롤링을 검출하기 위한 장치.The method according to claim 1,
A period estimator configured to continuously track the detected color rolling phenomenon and detect a period and an amplitude of the color rolling phenomenon;
The apparatus for detecting color rolling further comprises. 제8 항에 있어서,
상기 주기 추정부는,
각 R, G, B 채널별 인접한 영상 프레임의 밝기 차이의 누적이 동시에 '0'인 시점을 주기로 검출하고, 검출된 하나의 주기 내에서 구해지는 밝기 성분의 최대값과 최소값을 이용하여 진폭을 검출하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 장치.The method of claim 8,
The period estimator,
Periodically detects when the accumulation of brightness differences of adjacent video frames for each R, G, and B channel is '0' at the same time, and detects amplitude using the maximum and minimum values of the brightness components obtained within one detected period. Apparatus for detecting color rolling, characterized in that. 삭제delete 입력된 영상 시퀀스의 다수의 영상 프레임들 간의 전역 움직임을 추정하는 단계;
추정된 상기 전역 움직임을 이용하여 다수의 영상 프레임들 간의 움직임이 없는 공통 배경 영역을 추출하는 단계;
추출된 상기 공통 배경 영역을 이용하여 기 설정된 광원 정보를 추정하는 단계; 및
상기 다수의 영상 프레임들 간의 상기 광원 정보의 변화량을 이용하여 컬러 롤링 현상을 검출하는 단계;
를 포함하는 컬러 롤링을 검출하기 위한 방법.Estimating global motion among a plurality of image frames of an input image sequence;
Extracting a common background region having no motion between a plurality of image frames by using the estimated global motion;
Estimating preset light source information by using the extracted common background area; And
Detecting a color rolling phenomenon by using a change amount of the light source information between the plurality of image frames;
And a method for detecting color rolling. 제11 항에 있어서,
상기 전역 움직임을 추정하는 단계는,
현재 영상 프레임으로부터 인접한 일정 개수의 이전 영상 프레임들에 대해 전역 움직임 정보를 추출하고, 추출한 상기 전역 움직임 정보를 이용하여 다수의 영상 프레임들 간의 공통되는 영역을 추정하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 방법.12. The method of claim 11,
Estimating the global motion,
Detecting color rolling comprising extracting global motion information for a predetermined number of previous image frames from a current image frame and estimating a common area between a plurality of image frames using the extracted global motion information. Way. 제11 항에 있어서,
상기 공통 배경 영역을 추출하는 단계는,
상기 다수의 영상 프레임들 간의 공통되는 영역에 대해 각 R, G, B 채널별 배경 영역을 구하여 상기 각 R, G, B 채널별 배경 영역을 이용하여 각 영상 프레임에 대한 배경 영역을 구하고,
상기 각 영상 프레임에 대한 배경 영역을 이용하여 현재 영상 프레임을 기준으로 이전 영상 프레임들 간의 공통 배경 영역을 추출하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 방법.12. The method of claim 11,
Extracting the common background region may include:
Obtaining a background region for each R, G, and B channel for a common region among the plurality of image frames, and obtaining a background region for each image frame using the background region for each of the R, G, and B channels;
And extracting a common background region between previous image frames based on a current image frame by using the background region for each image frame. 제11 항에 있어서,
상기 광원 정보를 추정하는 단계는,
추출된 상기 공통 배경 영역을 이용하여 각 R, G, B 채널별 밝기 성분을 구하고 구한 상기 각 R, G, B 채널별 밝기 성분을 이용하여 각 영상 프레임에 나타나는 광원의 밝기 성분을 추정하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 방법.12. The method of claim 11,
Estimating the light source information,
The brightness component of each R, G, and B channel is obtained using the extracted common background region, and the brightness component of the light source appearing in each image frame is estimated using the obtained brightness component of each of the R, G, and B channels. A method for detecting color rolling. 제14 항에 있어서,
상기 광원 정보를 추정하는 단계는,
상기 다수의 영상 프레임들의 공통 배경 영역에 대해 각 영상 프레임의 에지 그레디언트의 누적을 평균하여 상기 각 R, G, B 채널별 밝기 성분을 구하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 방법.15. The method of claim 14,
Estimating the light source information,
And a brightness component for each of the R, G, and B channels is obtained by averaging the accumulation of edge gradients of each image frame with respect to a common background area of the plurality of image frames. 제11 항에 있어서,
상기 광원 정보는, 상기 다수의 영상 프레임들 각각에 나타나는 광원의 밝기 성분 및 색상 성분 중 적어도 하나를 포함하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 방법.12. The method of claim 11,
And the light source information comprises at least one of a brightness component and a color component of a light source appearing in each of the plurality of image frames. 제11 항에 있어서,
상기 컬러 롤링 현상을 검출하는 단계는,
추정된 상기 광원 정보인 시간 축으로의 밝기 변화량 및 색상 변화량을 이용하여 컬러 롤링 현상을 검출하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 방법.12. The method of claim 11,
Detecting the color rolling phenomenon,
And detecting the color rolling phenomenon by using the estimated brightness change amount and color change amount on the time axis. 제11 항에 있어서,
검출된 상기 컬러 롤링 현상을 지속적으로 추적하여 상기 컬러 롤링 현상의 주기 및 진폭을 검출하는 단계;
를 더 포함하는 컬러 롤링을 검출하기 위한 방법.12. The method of claim 11,
Continuously tracking the detected color rolling phenomenon to detect a period and amplitude of the color rolling phenomenon;
The method for detecting color rolling further comprising. 제18 항에 있어서,
상기 주기 및 진폭을 검출하는 단계는,
각 R, G, B 채널별 인접한 영상 프레임의 밝기 차이가 모두 '0'인 시점을 주기로 검출하고, 검출된 하나의 주기 내에서 구해지는 밝기 성분의 최대값과 최소값을 이용하여 진폭을 검출하는 것을 특징으로 하는 컬러 롤링을 검출하기 위한 방법.19. The method of claim 18,
Detecting the period and amplitude,
Detecting a point in time at which the brightness difference of all adjacent image frames of each R, G, and B channel is all '0' and detecting the amplitude using the maximum and minimum values of the brightness components obtained within one detected period. A method for detecting color rolling. 삭제delete
KR1020110111231A 2011-10-28 2011-10-28 Apparatus for detecting color rolling and method thereof KR101214000B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110111231A KR101214000B1 (en) 2011-10-28 2011-10-28 Apparatus for detecting color rolling and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110111231A KR101214000B1 (en) 2011-10-28 2011-10-28 Apparatus for detecting color rolling and method thereof

Publications (1)

Publication Number Publication Date
KR101214000B1 true KR101214000B1 (en) 2012-12-20

Family

ID=47907952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110111231A KR101214000B1 (en) 2011-10-28 2011-10-28 Apparatus for detecting color rolling and method thereof

Country Status (1)

Country Link
KR (1) KR101214000B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142311A1 (en) * 2016-02-17 2017-08-24 광주과학기술원 Multi-object tracking system and multi-object tracking method using same
US9990762B2 (en) 2014-12-15 2018-06-05 Samsung Electronic Co., Ltd. Image processing apparatus and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011060167A (en) 2009-09-14 2011-03-24 Secom Co Ltd Moving object tracking device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011060167A (en) 2009-09-14 2011-03-24 Secom Co Ltd Moving object tracking device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990762B2 (en) 2014-12-15 2018-06-05 Samsung Electronic Co., Ltd. Image processing apparatus and method
WO2017142311A1 (en) * 2016-02-17 2017-08-24 광주과학기술원 Multi-object tracking system and multi-object tracking method using same

Similar Documents

Publication Publication Date Title
US9916646B2 (en) System and method for processing input images before generating a high dynamic range image
CN104700430A (en) Method for detecting movement of airborne displays
EP2389007A2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
CN102356631A (en) Image processing device, signal processing device, and program
CN106998425B (en) Vibration detection apparatus, vibration detection method, and image pickup apparatus
JP2004260574A (en) Flicker detecting method and detector
KR102490335B1 (en) A method for binning time-of-flight data
CN104378628A (en) Method for detecting flickering stripes in images
CN111601011A (en) Automatic alarm method and system based on video stream image
KR101214000B1 (en) Apparatus for detecting color rolling and method thereof
US9147257B2 (en) Consecutive thin edge detection system and method for enhancing a color filter array image
KR20150077654A (en) Device for detecting object, device for detecting object for vehicle and method thereof
WO2003003304A1 (en) Image processing apparatus and method, and image pickup apparatus
US20160119605A1 (en) Video processing method and apparatus for use with a sequence of stereoscopic images
JP2016076851A (en) Imaging apparatus, image processing method, and program
JP2004260602A (en) Automatic detector for image degradation
KR20110080074A (en) Apparatus and method for processing image data
EP2827580B1 (en) Flicker detection method and flicker detection apparatus
KR20140046187A (en) Motion estimation apparatus and method thereof in a video system
CN117710870A (en) Internet content monitoring method, device and storage medium based on big data technology
KR20110119893A (en) Video analysing apparatus and method using 3d camera
JP2015130698A (en) Information output device, detection device, program, and information output method
KR101627795B1 (en) Method for Rolling Shutter Correction with Key-Frame and Gyroscope and Photographing Apparatus using the same
RU2577486C2 (en) Method for automatic retrieval of key frame indices for video data extension
KR101301069B1 (en) Apparatus for estimating global motion between images in hdr image system and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161212

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181224

Year of fee payment: 7