KR100662577B1 - Motion estimator and motion estimating method - Google Patents
Motion estimator and motion estimating method Download PDFInfo
- Publication number
- KR100662577B1 KR100662577B1 KR1020050117168A KR20050117168A KR100662577B1 KR 100662577 B1 KR100662577 B1 KR 100662577B1 KR 1020050117168 A KR1020050117168 A KR 1020050117168A KR 20050117168 A KR20050117168 A KR 20050117168A KR 100662577 B1 KR100662577 B1 KR 100662577B1
- Authority
- KR
- South Korea
- Prior art keywords
- histogram
- luminance level
- correction curve
- motion
- motion vector
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
Abstract
Description
도 1은 본 발명의 실시예에 따른 움직임 추정장치의 제어블록도이며,1 is a control block diagram of a motion estimation apparatus according to an embodiment of the present invention,
도 2a 내지 도 2d는 본 발명의 실시예에 따른 히스토그램과 보정곡선을 도시한 도면이며,2A to 2D illustrate a histogram and a correction curve according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 움직임 추정방법에 관한 제어흐름도이다.3 is a control flowchart of a motion estimation method according to an embodiment of the present invention.
* 도면의 주요부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
10 : 히스토그램생성부 15 : 히스토그램보정부10: histogram generator 15: histogram complementary government
20 : 보정곡선생성부 30 : 절상부20: correction curve generation unit 30: cut-out
40 : 움직임벡터산출부40: motion vector calculation unit
본 발명은 움직임 추정장치 및 움직임 추정방법에 관한 것으로서, 보다 상세하게는 인접한 두 프레임 간의 움직임을 추정하는 움직임 추정장치 및 움직임 추정방법에 관한 것이다.The present invention relates to a motion estimating apparatus and a motion estimating method, and more particularly, to a motion estimating apparatus and a motion estimating method for estimating a motion between two adjacent frames.
동영상은 시간영역과 공간영역, 코드들 사이에 많은 상관관계를 가지므로, 이를 이용하면 프레임의 움직임을 추정하여 보간할 수 있으며, 이러한 움직임 추정기법에는 주로 블록 정합 알고리즘(Block-matching algorithm)이 사용된다.Since video has many correlations between time domain, spatial domain, and codes, it can be used to estimate and interpolate the motion of frames, and block-matching algorithm is mainly used for these motion estimation techniques. do.
블록 정합 알고리즘은 현재 프레임을 N*M 크기를 갖는 여러 개의 작은 블록(이하, '기준블록'(reference block)이라 칭함)으로 분할하여 이전 프레임의 정해진 영역(기준블록이 상하좌우로 -p에서 +(p-1) 화소만큼 이동한 영역, 이하, '탐색영역'(search window)이라 칭함) 안에 존재하는 블록 중 움직임이 예상되는 블록(이하, '후보블록'이라 칭함) 중에서 가장 닮은 블록(이하, '정합블록'이라 칭함)을 찾아내어, 기준블록에 대한 정합블록의 상대 위치를 움직임 벡터(motion vector)로 정하는 기법이다. The block matching algorithm divides the current frame into several smaller blocks of size N * M (hereinafter referred to as 'reference blocks'), and thus defines a region of the previous frame (the reference block is +,-,-, +,- (p-1) The most similar block among blocks that are expected to move (hereinafter, referred to as 'candidate blocks') among blocks existing in an area moved by the pixel, hereinafter referred to as a 'search window' (hereinafter referred to as a 'search window') The matching block is called a matching block, and a relative position of the matching block with respect to the reference block is determined as a motion vector.
이때, 기준블록과 가장 닮은 정합블록을 찾아내는 방법은 간단한 하드웨어로 구현할 수 있는 차의 절대값 합(Sum Of Absolute Difference: 이하, SAD라 칭함)을 주로 사용하며, SAD는 다음의 수학식 2와 같이 정의된다.In this case, a method of finding a matching block most similar to a reference block mainly uses a sum of absolute difference (SAD), which can be implemented by simple hardware, and SAD is represented by Equation 2 below. Is defined.
(수학식 2)(Equation 2)
여기서, i, j는 각각 블록 내에서의 세로방향과 가로방향의 좌표값을 나타내며, Bref 와 Bcnd 는 각각 참조블럭과 후보블럭이다.Here, i and j represent vertical and horizontal coordinate values in the block, respectively, and B ref and B cnd are reference blocks and candidate blocks, respectively.
특히, 블록 정합 알고리즘 중에서 완전탐색 블록정합 알고리즘(Full Search Block-matching algorithm)은 기준블록을 탐색 영역 내의 모든 블록과 비교하는 방법으로 성능이 우수하고 데이터 흐름과 제어회로가 비교적 간단하다는 장점이 있으 나, 탐색영역이 커질 경우 막대한 연산량을 필요로 하는 단점이 있다.In particular, the full search block-matching algorithm among the block matching algorithms has the advantage that the reference block is compared with all the blocks in the search area, and the performance is excellent and the data flow and control circuit are relatively simple. However, the large search area requires a large amount of computation.
이러한 문제점을 해결하기 위해 종래의 방법에서는 영상신호의 정보 중 소정 비트(예컨대, 영상신호의 정보가 8bit인 경우, 상위 4bit)만을 취하여 SAD를 산출함으로써, 연산량을 줄일 수 있었다.In order to solve this problem, in the conventional method, the calculation amount can be reduced by taking only a predetermined bit (for example, the upper 4 bits when the information of the video signal is 8 bits) among the information of the video signal.
그러나, 소정 비트만을 취하여 SAD를 구하는 방법은 영상의 밝기 변화가 작은 영역의 정보에 대한 SAD값이 동일해져 올바른 움직임 벡터를 산출할 수 없게 된다. 예컨대, 영상신호의 정보가 8bit인 경우 상위 4bit를 절상하면, 0000(2)~1111(2) 의 값이 상실된다.However, in the method of obtaining SAD by taking only a predetermined bit, the SAD value for the information of the region where the brightness change of the image is small is the same, so that a correct motion vector cannot be calculated. For example, when the information of the video signal is 8 bits and the upper 4 bits are rounded up, the values of 0000 (2) to 1111 (2) are lost.
따라서, 본 발명의 목적은, 작은 하드웨어 크기로 정확한 움직임을 추정할 수 있도록 한 움직임 추정장치 및 움직임 추정방법에 관한 것이다.Accordingly, an object of the present invention relates to a motion estimating apparatus and a motion estimating method for estimating accurate motion with a small hardware size.
상기 목적은, 본 발명에 따라, 움직임 추정방법에 있어서, 현재 프레임에 대응되는 영상신호의 휘도레벨에 따른 빈도수를 분석하여 히스토그램으로 생성하는 단계; 상기 히스토그램을 정규화 하여 보정곡선을 생성하는 단계; 상기 입력된 영상신호의 휘도레벨을 상기 보정곡선에 적용하여 변환하는 단계; 및 상기 변환된 휘도레벨을 소정의 상위 비트로 절상하여 움직임벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 움직임 추정방법에 의해 달성된다.According to an aspect of the present invention, there is provided a motion estimation method, comprising: generating a histogram by analyzing a frequency according to a luminance level of a video signal corresponding to a current frame; Normalizing the histogram to generate a correction curve; Converting by applying a luminance level of the input video signal to the correction curve; And calculating the motion vector by rounding the converted luminance level to a predetermined higher bit.
여기서, 상기 히스토그램을 생성하는 단계는, 상기 생성된 히스토그램이 소 정 빈도수를 초과하는 경우, 초과된 총빈도수를 상기 히스토그램에 균등분배하여 재보정하는 단계를 포함할 수 있다.Here, the generating the histogram may include re-calibrating the total frequency exceeded evenly to the histogram when the generated histogram exceeds a predetermined frequency.
그리고, 상기 보정곡선은 누적분포함수이며, 상기 누적분포함수는 다음의 수학식 1에 의해 산출되는 것이 바람직하다.The correction curve is a cumulative distribution function, and the cumulative distribution function is preferably calculated by
(수학식 1)(Equation 1)
여기서, i는 휘도레벨이며, histo[i]는 히스토그램생성부가 생성한 히스토그램의 빈도수이다.Where i is the luminance level and histo [i] is the frequency of the histogram generated by the histogram generator.
또한, 상기 움직임벡터를 산출하는 단계는, SAD(Sum of Absolute Difference)에 의해 산출될 수 있으며, 상기 SAD는 수학식 2에 의해 산출될 수 있다.In addition, the calculating of the motion vector may be calculated by Sum of Absolute Difference (SAD), and the SAD may be calculated by Equation 2.
(수학식 2)(Equation 2)
여기서, i, j는 각각 블록 내에서의 세로방향과 가로방향의 좌표값을 나타내며, Bref 와 Bcnd 는 각각 참조블럭과 후보블럭이다.Here, i and j represent vertical and horizontal coordinate values in the block, respectively, and B ref and B cnd are reference blocks and candidate blocks, respectively.
한편, 상기 목적은, 본 발명에 따라, 움직임 추정장치에 있어서, 현재 프레임에 대응되는 영상신호의 휘도레벨에 따른 빈도수를 분석하여 히스토그램으로 생 성하는 히스토그램생성부; 상기 생성된 히스토그램이 소정 빈도수를 초과하는 경우, 초과된 총빈도수를 상기 히스토그램에 균등분배하여 보정하는 히스토그램보정부; 상기 히스토그램을 정규화 하여 보정곡선을 생성하는 보정곡선생성부; 상기 입력된 영상신호의 휘도레벨을 상기 보정곡선에 적용하여 변환하고, 상기 변환된 휘도레벨을 소정의 상위 비트로 절상하여 절상부; 및 상기 절상된 휘도레벨로부터 움직임벡터를 산출하는 움직임벡터산출부를 포함하는 것을 특징으로 하는 움직임 추정장치에 의해 달성될 수 있다.On the other hand, according to the present invention, in the motion estimation apparatus, a histogram generation unit for generating a histogram by analyzing the frequency according to the luminance level of the video signal corresponding to the current frame; A histogram correction unit for correcting by equally distributing the total frequency exceeded to the histogram when the generated histogram exceeds a predetermined frequency; A correction curve generation unit for generating a correction curve by normalizing the histogram; A lowering unit which applies and converts the luminance level of the input video signal to the correction curve, and rounds up the converted luminance level to a predetermined upper bit; And a motion vector calculation unit for calculating a motion vector from the raised luminance level.
이하, 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention;
도 1은 본 발명의 실시예에 따른 움직임 추정장치의 블록도이며, 도 2a 내지 도 2b는 본 발명의 실시예에 따른 히스토그램과 보정곡선을 도시한 도면이다. 1 is a block diagram of a motion estimation apparatus according to an embodiment of the present invention, Figures 2a to 2b is a diagram showing a histogram and a correction curve according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 움직임 추정장치는 히스토그램생성부(10), 보정곡선생성부(20), 절상부(30), 움직임벡터산출부(40)를 포함한다.As shown in FIG. 1, the motion estimation apparatus according to an exemplary embodiment of the present invention includes a
히스토그램생성부(10)는 현재 프레임에 대응되는 영상신호의 휘도레벨에 따른 빈도수를 분석하여 히스토그램으로 생성한다. 히스토그램생성부(10)는 영상신호의 모든 휘도레벨(0~1023)에 따른 빈도수를 분석하여 히스토그램을 생성하거나, 또는 소정의 신호간격으로 히스토그램을 생성할 수 있다. 이하에서는, 도 2a에 도시된 바와 같이, 히스토그램생성부(10)가 휘도레벨의 간격을 32로 하여 히스토그램을 생성하는 것을 일예로 설명한다. The
또한, 히스토그램생성부(10)는 화면의 크기가 1366*768일 경우, 모든 픽셀에 대한 히스토그램을 생성할 수 있으며, 2행 2열 주기로 또는 4행 4열의 주기로 샘플링하여 히스토그램을 생성하여 하드웨어의 크기를 감소시킬 수 있다.In addition, when the screen size is 1366 * 768, the
보정곡선생성부(20)는 히스토그램생성부(10)로부터 생성된 히스토그램을 확률분포함수(PDF: probability Distribution Function)로 변환하고, 이를 적분하여 보정곡선을 생성한다. 이때, 생성된 보정곡선은 도 2b에 도시된 H1이며, 누적분포함수(CDF: Cumulative Distribution Function)로 표현될 수 있다.The correction
여기서, 보정곡선은 다음의 수학식 1에 의해 생성된다.Here, the correction curve is generated by the following equation (1).
(수학식 1)(Equation 1)
(i는 휘도레벨이며, histo[i]는 히스토그램생성부(10)가 생성한 히스토그램의 빈도수이다.) (i is the luminance level and histo [i] is the frequency of the histogram generated by the
절상부(30)는 입력된 영상신호의 휘도레벨을 보정곡선생성부(20)로부터 생성된 보정곡선에 적용하여 변환하고, 변환된 휘도레벨을 소정의 상위 비트(예컨대, 입력신호의 정보가 8bit인 경우, 상위 4bit)로 절상하여 후술할 움직임벡터산출부(40)로 출력한다. The
예컨대, 입력된 영상신호의 휘도레벨이 32인 경우, 휘도레벨 32를 보정곡선에 적용하여 64로 변환된다. 그리고, 변환된 휘도레벨 64를 상위 4bit로 절상하여 움직임벡터산출부(40)로 출력한다.For example, if the luminance level of the input video signal is 32, it is converted to 64 by applying the
움직임벡터산출부(40)는 절상부(30)로부터 입력된 변환된 휘도레벨을 수학식 2에 의해 움직임벡터를 산출한다.The motion
(수학식 2)(Equation 2)
(i, j는 각각 블록 내에서의 세로방향과 가로방향의 좌표값을 나타내며, Bref 와 Bcnd 는 각각 참조블럭과 후보블럭이다.)(i and j represent the vertical and horizontal coordinates in the block, respectively, and B ref and B cnd are the reference and candidate blocks, respectively.)
여기서, 본 발명에 따른 움직임 추정장치는 도 1에 도시된 바와 같이, 히스토그램보정부(15)를 더 포함할 수 있으며, 도 2b 내지 도 2d에 도시된 도면을 참조하여 히스토그램보정부(15)를 상세히 설명한다.Here, the motion estimation apparatus according to the present invention may further include a
히스토그램보정부(15)는 히스토그램생성부(10)로부터 생성된 히스토그램이 특정 빈도수를 넘지 않도록 재보정하는 것으로, 도 2c에 도시된 바와 같이, 히스토그램이 특정 빈도수(k)를 초과하는 경우, 특정 빈도수(k)를 초과하는 총빈도수를 계산하고, 이를 히스토그램에 균등분배하여 보정한다. The
여기서, 휘도레벨 32간격으로 히스토그램을 생성 시, 32개의 막대그래프가 생성되었으므로, 히스토그램보정부(15)는 특정 빈도수(k)를 초과하는 총빈도수를 32으로 나눈 값을 히스토그램의 각 막대그래프에 보정한다. Here, since 32 histograms are generated when the histogram is generated at intervals of 32 luminance levels, the
보정된 히스토그램은 도 2d에 도시되었으며, 빗금친 영역이 보정된 부분이다. 그리고, 히스토그램보정부(15)로부터 보정된 보정곡선은 도 2b의 H2에 도시된 바와 같다.The corrected histogram is shown in FIG. 2D, where the hatched area is corrected. The correction curve corrected from the
이를 통해, 보정곡선생성부(20)가 생성된 히스토그램으로부터 보정곡선을 생성 시, 실제 휘도 값의 차이가 큼에도 불구하고, 보정곡선이 값의 차이를 작게 만드는 것을 방지할 수 있으며(도 2b의 ☆로 표시된 부분 참조), 정확한 움직임을 측정할 수 있다.Through this, when the correction
이를 통해, 영상의 밝기 변화가 작은 경우에도, SAD 값이 정확히 산출되어 정확한 움직임을 측정할 수 있다.As a result, even when the brightness change of the image is small, the SAD value is accurately calculated so that accurate movement can be measured.
전술한 본 발명의 실시예에 따른 움직임 추정장치의 제어방법을 도 3의 흐름도를 이용하여 설명한다. The control method of the motion estimation apparatus according to the embodiment of the present invention described above will be described using the flowchart of FIG. 3.
도 3에 도시된 바와 같이, 히스토그램생성부(10)가 현재 프레임에 대응되는 영상신호의 휘도레벨에 따른 빈도수를 분석하여 히스토그램으로 생성한다(S1).As shown in FIG. 3, the
그리고, 히스토그램이 소정 빈도수를 초과하는지 판단한다(S3).Then, it is determined whether the histogram exceeds a predetermined frequency (S3).
판단결과, 히스토그램이 소정 빈도수를 초과하는 경우, 히스토그램보정부(15)는 초과된 총빈도수를 히스토그램에 균등분배하여 재보정하고(S5), 보정곡선생성부(20)가 생성된 히스토그램을 정규화하여 보정곡선을 생성한다(S7).As a result of determination, when the histogram exceeds a predetermined frequency, the
판단결과, 히스토그램이 소정 빈도수를 초과하지 않는 경우, 보정곡선생성부(20)가 생성된 히스토그램을 정규화하여 보정곡선을 생성한다(S7).As a result of determination, when the histogram does not exceed a predetermined frequency, the correction
그리고, 절상부(30)가 입력된 영상신호의 휘도레벨을 보정곡선에 적용하여 변환하고(S9), 변환된 휘도레벨을 소정의 상위 비트(예컨대, 상위 4bit)로 절상하여 움직임벡터산출부(40)에 출력한다(S11).Then, the
그리고, 움직임벡터산출부(40)는 절상된 휘도레벨로부터 움직임벡터를 산출 한다(S13).Then, the motion
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구범위와 그 균등물에 의해 정해질 것이다.Although some embodiments of the invention have been shown and described, it will be apparent to those skilled in the art that modifications may be made to the embodiment without departing from the spirit or spirit of the invention. . It is intended that the scope of the invention be defined by the claims appended hereto and their equivalents.
이상 설명한 바와 같이, 본 발명에 따르면, 작은 하드웨어 크기로 정확한 움직임을 추정할 수 있도록 한 움직임 추정장치 및 움직임 추정방법이 제공된다.As described above, according to the present invention, a motion estimating apparatus and a motion estimating method for estimating accurate motion with a small hardware size are provided.
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050117168A KR100662577B1 (en) | 2005-12-02 | 2005-12-02 | Motion estimator and motion estimating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050117168A KR100662577B1 (en) | 2005-12-02 | 2005-12-02 | Motion estimator and motion estimating method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100662577B1 true KR100662577B1 (en) | 2006-12-28 |
Family
ID=37815838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050117168A KR100662577B1 (en) | 2005-12-02 | 2005-12-02 | Motion estimator and motion estimating method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100662577B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110138114A (en) * | 2010-06-18 | 2011-12-26 | 삼성전자주식회사 | Method and apparatus for processing frames obtained by multi-exposure |
-
2005
- 2005-12-02 KR KR1020050117168A patent/KR100662577B1/en not_active IP Right Cessation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110138114A (en) * | 2010-06-18 | 2011-12-26 | 삼성전자주식회사 | Method and apparatus for processing frames obtained by multi-exposure |
KR101633377B1 (en) | 2010-06-18 | 2016-07-08 | 삼성전자주식회사 | Method and Apparatus for Processing Frames Obtained by Multi-Exposure |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101861722B1 (en) | Method of processing video data and image processing circuit | |
KR100579542B1 (en) | Motion estimation apparatus considering correlation between blocks, and method of the same | |
US8724022B2 (en) | Frame rate conversion using motion estimation and compensation | |
US9454805B2 (en) | Method and apparatus for reducing noise of image | |
KR100676704B1 (en) | Motion Estimator and Motion Estimating Method Thereof | |
KR101742120B1 (en) | Apparatus and method for image processing | |
KR101944208B1 (en) | Apparatus and method for color correction | |
US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
KR20070069615A (en) | Motion estimator and motion estimating method | |
KR100579493B1 (en) | Motion vector generation apparatus and method | |
KR101159082B1 (en) | Robust camera pan vector estimation using iterative center of mass | |
KR20070063304A (en) | Motion estimator and motion estimating method | |
KR20030033851A (en) | Apparatus and method for converting frame and/or field rate using adaptive motion compensation | |
CN107968946B (en) | Video frame rate improving method and device | |
KR20050014569A (en) | Apparatus and method for correction motion vector | |
JP5669599B2 (en) | Image processing apparatus and control method thereof | |
US20110013844A1 (en) | Image quality evaluation method, image quality evaluation system, and program | |
US20110037895A1 (en) | System And Method For Global Inter-Frame Motion Detection In Video Sequences | |
KR101698314B1 (en) | Aparatus and method for deviding of static scene based on statistics of images | |
KR101068653B1 (en) | Apparatus and method for compensating color of image, and the recording media storing the program performing the said method | |
KR100662577B1 (en) | Motion estimator and motion estimating method | |
KR980003999A (en) | Histogram equalization circuit based on CDF computation domain and its method | |
KR20140046187A (en) | Motion estimation apparatus and method thereof in a video system | |
KR100778116B1 (en) | Device for correcting motion vector and method thereof | |
KR100213039B1 (en) | Method and apparatus of image enhancement using average-matching histogram equalization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121129 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20131128 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20141127 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20151127 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |