KR102032793B1 - Method and Apparatus for effective motion vector decision for motion estimation - Google Patents
Method and Apparatus for effective motion vector decision for motion estimation Download PDFInfo
- Publication number
- KR102032793B1 KR102032793B1 KR1020180065856A KR20180065856A KR102032793B1 KR 102032793 B1 KR102032793 B1 KR 102032793B1 KR 1020180065856 A KR1020180065856 A KR 1020180065856A KR 20180065856 A KR20180065856 A KR 20180065856A KR 102032793 B1 KR102032793 B1 KR 102032793B1
- Authority
- KR
- South Korea
- Prior art keywords
- search
- image
- motion information
- motion
- sub
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Abstract
움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치가 개시된다. 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 단계 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 단계를 포함하는 움직임 벡터 추출 방법은 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 효과가 있다.An efficient motion vector extraction method and apparatus therefor are disclosed. A motion vector extraction method comprising determining a search start position in an original image to perform a spiral motion search and determining whether to perform a search in a sub-sampled image during a P-picture search is performed by performing a spiral motion search using a sub-sampled image. In addition, the detection accuracy can be improved by detecting a plurality of motion vector candidates using a subsampling search, which is a new hierarchical spiral motion search method that combines multiple extension schemes.
Description
본 발명은 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치에 관한 것이다.The present invention relates to an efficient motion vector extraction method and apparatus therefor in motion searching.
근래 동영상의 디지털화와 그 이용이 급속히 이루어지고 있다. TV방송은 지상파가 디지털화되고, DVD레코더나 디지털비디오카메라 등의 가정용기기도 널리 보급되고 있다. 또, 인터넷에서의 동영상 배급이나 휴대전화에 의한 동영상 메일, 화상전화나 화상회의의 이용도 이루어지고 있다.In recent years, the digitization of video and its use is rapidly being made. In the case of TV broadcasting, terrestrial waves are digitized, and home appliances such as DVD recorders and digital video cameras are widely used. In addition, the distribution of video on the Internet, the use of video mails, video telephony, and video conferencing by mobile phones are also made.
동영상의 디지털화에 있어서 핵심이 되는 기술로 위치하고 있는 것이 동영상부호화기술이다. H.264로 대표되는 기술의 진보나 HDTV로 대표되는 고해상도화 요구에 의해, 동영상부호화처리 연산량이 날로 증가하고 있다. 그 중에서 연산량의 대부분을 점하는 움직임탐색(block matching) 연산량 증가는 심각한 문제로 되고 있다.Video encoding technology is located at the core of digitization of video. Due to the advancement of technology represented by H.264 and the demand for high resolution represented by HDTV, the amount of video encoding processing is increasing day by day. Among them, an increase in the amount of block matching computation, which occupies most of the computation, is a serious problem.
특히, 소프트웨어 인코더에서는 불완전한 움직임탐색 밖에 수행할 수 없어 화질열화의 주된 요인으로 됨에 따라, 대폭의 연산량 저하와 높은 탐색정도를 모두 만족할 수 있는 고효율의 탐색 알고리즘의 실현이 요구되고 있다.In particular, software encoders can only perform incomplete motion search, which is a major factor in deterioration of image quality. Therefore, there is a demand for the implementation of a highly efficient search algorithm that can satisfactorily reduce both a large amount of computation and a high search accuracy.
움직임탐색에 관하여, 다양한 탐색방법이 제안되고 있다. 그러나, 움직임탐색이 용이한 영상에서는 전탐색(full search) 정도의 화질을 달성할 수 있으나, 일부의 영상에서는 1dB이상의 화질열화가 온다. 이것이 인코더에서의 화질안정성을 해치는 큰 요인으로 되고 있다. With regard to motion search, various search methods have been proposed. However, in an image with easy motion search, a picture quality of about full search can be achieved, but in some images, image quality deterioration of 1 dB or more comes. This is a major factor that impairs image quality stability in the encoder.
예를 들어, 연산량이 적기 때문에 소프트웨어 인코더의 탐색법으로서 주로 사용되는 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다.For example, spiral motion search, which is mainly used as a search method of a software encoder because of a small amount of computation, causes a large deterioration of the detection degree depending on the image. Minimizing the computation amount by interrupting the search according to a predetermined rule works badly, and when trapped at a local optimum point, the optimum point in a large area cannot be reached.
이에 반하여, 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 개개의 매칭 정도(accuracy)가 낮아지기 때문에 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다.On the other hand, hierarchical search of the full search category is bad in terms of computational savings, but it is widely used as a search method of a hardware encoder since no deterioration of the extreme detection degree occurs. However, since the individual matching accuracy is lowered, the detection accuracy tends to be lower than that of spiral search in an image where most of the movement is constant.
움직임탐색은, 부호화대상 영상내의 블록마다, 참조영상 내에서 가장 일치하는 위치를 찾는 처리를 말한다. 일치정도의 평가기준으로서 일반적으로 차분절대치 합이 이용된다. 부호화 대상 영상 내의 블록을 B, 후보 벡터를 v 부호화 대상 영상 내에서 위치 r에 존재하는 화소의 화소치를 Icur(r), 참조영상 상의 그것을 Iref(r)로 하면, 블록 B에 있어서 후보 벡터 v에 대한 차분절대치 합 SAD는 식 (1)로 표현된다.The motion search refers to a process of finding the most matching position in the reference video for each block in the video to be encoded. As a criterion for the degree of agreement, the difference absolute sum is generally used. If the pixel value of a pixel in the block to be encoded is B, the candidate vector is v in the encoding object video, and the pixel value I cur (r) and the reference image is I ref (r), then the candidate vector in block B The differential absolute sum SAD for v is expressed by equation (1).
몇 개의 벡터에 대하여 SAD(B,v)를 구하고, SAD(B,v)가 최소로 되는 v를 최종적으로 움직임 벡터로 한다.SAD (B, v) is obtained for some vectors, and v, where SAD (B, v) is minimum, is finally used as a motion vector.
SAD는 비교기준으로서는 가장 효율이 좋다. 그래도 탐색범위 중의 탐색점 전체를 평가하는 전탐색에서는 연산량이 방대해 진다. 이 때문에, 3-step search, 4-step search, diamond search 등의 연산량 경감 알고리즘이 제안되고 있다. SAD is the most efficient as a comparison standard. Nevertheless, the amount of computation is enormous in all searches that evaluate the entire search point in the search range. For this reason, algorithms for reducing computation such as 3-step search, 4-step search and diamond search have been proposed.
나선형 움직임탐색에서는 영상 내의 임의의 점으로부터 주위로 향하여 나선상으로 탐색하여 가고, 미리 정해진 일정 조건을 만족한 점에서 탐색을 중단하는 방법이다. 탐색개시 위치를 정확히 예측하는 것으로, 보다 효율적으로 탐색을 행할 수 있다. 탐색개시점을 결정하는 방법으로서는 이전 영상에 있어서 움직임탐색처리에서 구한 벡터나 현재의 블록에 있어서의 주위의 블록에서 구한 벡터를 참조하는 방법이나, 참조한 벡터를 조합하는 방법이 제안되고 있다. 또, 탐색중단 규칙으로서는 순번에 의해 차분절대치의 합을 구하고, 값이 일단 내려갔다 상승할 때 중단하는 방아니 제안되고 있다. 이 방법은, 영상의 특정영역만을 탐색하는 것으로, 탐색점 수를 극소화할 수 있지만, 예측 미스가 발생하면, 화질의 열화나 연산량 절감효과가 충분히 생기지 않는 요인으로 된다.In the spiral motion search, a spiral search is performed from an arbitrary point in the image to the circumference, and the search is stopped at a point that satisfies a predetermined predetermined condition. By accurately predicting the search start position, the search can be performed more efficiently. As a method for determining a search start point, a method of referring to a vector obtained by a motion search process in a previous image, a vector obtained from a neighboring block in the current block, or a method of combining the referenced vectors has been proposed. In addition, as a search interruption rule, it is proposed that the sum of difference absolute values be obtained in order, and stop when the value once descends and rises. In this method, the number of search points can be minimized by searching only a specific area of an image. However, if a prediction miss occurs, the deterioration of image quality and the effect of reducing the amount of computation are insufficient.
계층탐색은, 움직임을 구하는 영상에 대하여, 서브 샘플링 영상을 작성함에 의해 해상도를 낮추어, 탐색 대상점 수와 개개의 블록매칭 연산량을 삭감하는 방법이다. 가장 낮은 해상도의 영상에서 전탐색을 행하고, 이 결과를 이용하여 해상도가 높은 영상을 탐색한다. 차츰 해상도를 높여가, 최종적으로 원영상에서의 움직임벡터를 구하기 때문에 계층탐색이라 부른다. 이 방법에서는 서브 샘플링 영상의 해상도를 낮추는 것으로, 탐색대상점 수를 낮추기 때문에 영상의 특성에 상관없이 연산량을 일정비율로 낮추는 것과 함께, 영상전체를 탐색하기 때문에, 대폭의 화질 열화는 생기기 어렵다. 그 한편으로, 연산량을 대폭으로 낮춤에는 해상도를 크게 낮추지 않으면 안되므로, 영상의 세부 영상정보량이 줄어들어 탐색정도가 낮아진다. 이 문제점을 보완하기 위해, 주위의 블록탐색결과를 참조하는 방법, 서브 샘플링 영상에 필터링처리를 행하는 수법이나, 움직임을 구할 때의 비교영역(template)을 확장하는 것에 의해 영상정보 탈락을 보완하는 방안이 제안되고 있다.Hierarchical search is a method of reducing the resolution by creating a sub-sampling image of a video for which motion is to be obtained, thereby reducing the number of search target points and the amount of individual block matching calculations. Pre-search is performed on the lowest resolution image, and the result is searched for a high resolution image. It is called hierarchical search because it gradually increases the resolution and finally obtains a motion vector from the original image. In this method, by lowering the resolution of the sub-sampled image, the number of search target points is lowered, so that the amount of computation is reduced at a constant ratio regardless of the characteristics of the image, and the entire image is searched. On the other hand, in order to drastically reduce the amount of computation, the resolution must be greatly reduced, so the amount of detailed image information of the image is reduced and the search accuracy is lowered. To solve this problem, a method of referring to surrounding block search results, a method of performing filtering processing on a sub-sampled image, or a method of compensating for the loss of image information by extending a template when obtaining a motion Is being proposed.
원영상 및 서브 샘플링 영상의 각각에 대하여 행하는 나선형움직임탐색의 효율화를 위해 (1) 단계적인 탐색개시위치 결정, (2) 이중의 탐색범위 설정, (3) 적응적인 중단조건 결정 등의 기법을 조합시킨다.Combination of techniques such as (1) step search start position, (2) double search range setting, and (3) adaptive stop condition determination for efficient spiral motion search for each original and sub-sampling video Let's do it.
탐색개시위치의 결정은 몇 개의 후보 벡터를 설정하고, 각각의 후보벡터가 가리키는 위치 및 그 상하좌우 1화소 이동한 위치에서 일치도(SAD)를 구하고, 가장 일치도가 높은(SAD가 작은) 위치를 탐색개시위치로 한다. 이 때, 후보의 수를 늘려 탐색개시 위치를 보다 최적위치에 근접시킬 수 있지만, 다량의 후보를 한꺼번에 비교하면 연산량의 증가로 귀결된다. 그래서, 한 번에 전 후보를 비교하는 것이 아니라 후보를 몇 개의 그룹으로 나누어 비교한다.Determination of the search start position sets several candidate vectors, obtains a match degree (SAD) at the position indicated by each candidate vector, and moves the pixel up, down, left, and right, and searches for the position with the highest match (small SAD). Let it be the starting position. At this time, the number of candidates can be increased to bring the search start position closer to the optimum position. However, comparing a large number of candidates at once results in an increase in the computation amount. Thus, rather than comparing all candidates at once, the candidates are divided into several groups for comparison.
제일 먼저, 제 1 후보 그룹에 대하여, 각각의 후보가 가리키는 위치의 일치도를 구한다. 가장 많이 일치한 위치의 일치도가 threshold 값보다 높은 경우, 그 일치도가 얻어진 위치를 탐색개시위치로 한다. 가장 많이 일치한 위치의 일치도가 threshold 값보다 낮은 경우는 다음의 후보그룹으로 이동하여 그 그룹의 후보에 의해 주어진 위치에서 일치도를 구한다.First, for each first candidate group, the degree of agreement of the positions indicated by each candidate is obtained. If the coincidence of the most matched position is higher than the threshold value, the position from which the coincidence is obtained is the search start position. If the coincidence of the most matched position is lower than the threshold value, move to the next candidate group and find the coincidence at the position given by the candidate of that group.
이하, 도중에 일치도가 threshold 값보다 높은 후보가 나타날 때까지 전 후보에 대한 일치도 계산이 끝날 때까지 반복한다.In the following, iteratively repeats until the matching of all candidates is finished until candidates with higher matching are shown.
탐색개시위치결정을 위한 후보 벡터에 대한 그룹 분류는 얻어진 후보 벡터를, 서브 샘플링 영상탐색, 서브 샘플링 영상탐색이 일어난 원영상탐색, 혹은, 서브 샘플링 영상탐색이 없는 원영상탐색에 의하여 행한다.The group classification for the candidate vector for search start position determination is performed by searching the obtained candidate vector by searching the sub-sampled image, searching the original image where the sub-sampling image search has occurred, or searching the original image without sub-sampling image search.
서브 샘플링 영상에서의 탐색시는, 영상의 공간적인 상관성을 이용하여 얻어진 후보를 3개의 그룹으로 나누어 제 1, 제 2, 제 3 그룹으로 하고, 영상 중의 소정의 위치를 제 4 그룹으로 한다.In the search in the sub-sampled image, candidates obtained by using the spatial correlation of the images are divided into three groups to be the first, second, and third groups, and predetermined positions in the image are the fourth group.
원영상에서의 탐색시는 미리 서브 샘플링 영상에서의 탐색을 행하고 있는 경우, 그 결과를 제 1, 제 2그룹으로 하고, 공간적인 상관성을 이용하여 얻어진 후보를 제 3그룹, 시간적인 상관성을 이용하여 얻어진 후보를 제 4그룹, 영상 중의 소정의 위치를 제 5그룹으로 한다. 또, 서브 샘플링 영상에서의 탐색을 행하지 않는 경우는 공간적인 상관성을 이용하여 얻어진 후보를 제 1그룹, 시간적인 상관성을 이용하여 얻어진 후보를 제 2그룹, 영상 중의 소정의 위치를 제 3그룹으로 한다. In the case of searching in the original image, when searching in the sub-sampling image is performed in advance, the results are set as the first and second groups, and candidates obtained by using spatial correlation are selected using the third group and temporal correlation. Let the obtained candidate be the fourth group, and the predetermined position in the video is the fifth group. If the search is not performed on the sub-sampled image, the candidate obtained by using the spatial correlation is the first group, the candidate obtained by using the temporal correlation is the second group, and the predetermined position in the image is the third group. .
또, 각 그룹의 후보추출시에, 새로이 취득한 후보벡터가 미리 취득한 후보벡터에 비하여, X 성분, Y 성분 모두 3화소 이내의 차이 밖에 나지 않게 되면, 그 후보는 그룹에 추가하지 않는다. At the time of candidate extraction of each group, if the newly acquired candidate vector has only a difference of less than three pixels in both the X component and the Y component compared to the previously obtained candidate vector, the candidate is not added to the group.
중단조건이 영상의 특성에 대하여 적절히 설정되지 않은 경우는, 최적의 해가 구해지기 전에 중단되어, 화질의 대폭적인 열화가 발생한다. 혹은, 최적의 해를 지나쳐도 탐색이 계속되어 연산량의 대폭적인 증가로 연결된다. 그래서, 탐색개시위치를 중심으로 탐색범위를 이중으로 설정하는 것으로 한다, 내측의 작은 탐색범위에서는 중단판정을 행하지 않고 탐색을 행하는 것으로, 화질의 대폭 열화를 방지한다. 또, 외측의 큰 탐색범위에서는 중단판정을 행하면서 탐색을 행한다. 이 큰 탐색범위는 본래의 탐색범위(전탐색 탐색범위) 보다는 작게 설정되기 때문에 중단되지 않고 탐색범위 전체의 탐색을 행한다고 해도, 연산량은 소폭 증가에 그치게 된다. 영상이 전체적으로 일정방향으로 이동하고 있는 경우는, 최적의 위치가 예측위치로부터 벗어날 가능성이 높다고 할 수 있다. 그래서, 탐색범위의 크기를 결정하는 지표에는 움직임탐색에서 구해진 움직임벡터의 표준편차를 이용한다. If the interruption condition is not appropriately set for the characteristics of the image, it is interrupted before the optimum solution is obtained, and a significant deterioration in image quality occurs. Or search continues beyond the optimal solution, leading to a significant increase in computation. Therefore, the search range is set to be double around the search start position. In the small search range inside, searching is performed without interruption determination, thereby preventing a significant deterioration in image quality. In the large outside search range, the search is performed while the interruption decision is made. Since this large search range is set smaller than the original search range (full search range), even if the entire search range is searched without interruption, the amount of calculation is only slightly increased. In the case where the image is generally moving in a certain direction, it is likely that the optimal position is out of the predicted position. Therefore, the standard deviation of the motion vector obtained from the motion search is used as an index for determining the size of the search range.
중단조건은 threshold 값을 이용한 중단조건을 채택한다. 탐색 중에 threshold 값을 밑도는 차분절대치 합을 가지는 점이 나타난 시점에서 탐색을 중단하는 방법이다. 도, 서브 샘플링 영상에서의 탐색에서는 1 블록 당 13종류의 template에 대한 탐색을 행하지만, 중단판정에는 최대 template(4블록 결합 template) 값을 이용하는 것으로 한다.The stop condition adopts the stop condition using the threshold value. This method stops the search when the point that has the difference absolute sum is less than the threshold value. In the search in the sub-sampling image, 13 types of templates are searched per block, but the maximum template (4 block combined template) value is used for the interruption determination.
탐색중단의 threshold 값은 탐색개시위치를 결정할 때에 이용한 후보 벡터의 바탕이 되었던 움직임벡터가 결정되었을 때의 차분절대치 합을 바탕으로 결정한다. 동영상 중에서의 움직임이 유사하게 되면, 최소 차분절대치 합도 비슷한 값으로 생각할 수 있고, 탐색개시위치로 된 후보벡터가 결정되었을 때의 차분절대치 합에, 허용량으로서, 각 후보벡터가 결정되었을 때의 차분절대치 합의 최대치와 최소치의 차이를 더한다. The threshold value of the search stop is determined based on the sum of difference absolute values when the motion vector that is the basis of the candidate vector used to determine the search start position is determined. If the motions in the video are similar, the minimum difference absolute sum can be regarded as a similar value, and the difference when each candidate vector is determined as an allowable amount to the sum of the difference absolute values when the candidate vector as the search start position is determined. Add the difference between the maximum and minimum of the sum of the absolute values.
차분절대치 합이 threshold 값을 밑돌지 않더라도 나선을 2회전하는 사이에 벡터의 갱신이 없었던 경우도 탐색을 중단한다.Even if the sum of difference absolute values does not fall below the threshold value, the search stops even if there is no update of the vector between two turns of the spiral.
본 발명은 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치를 제공하기 위한 것이다. The present invention improves the search accuracy by detecting a plurality of motion vector candidates by subsampling, which is a new hierarchical spiral motion search method combining a spiral motion search and a multiple combination of extended templates while using a subsampling image. An object of the present invention is to provide an efficient motion vector extraction method and apparatus therefor.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Technical problems other than the present invention will be easily understood through the following description.
본 발명에 따른 실시예에 의하면, 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다. 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다. 2가지의 대표적인 방법이 가지고 있는 약점을 양쪽 기법의 적절한 조합에 의해 해소하고자 한다. According to the embodiment of the present invention, the spiral motion search causes a large deterioration of the detection degree depending on the image. Minimizing the computation amount by interrupting the search according to a predetermined rule works badly, and when trapped at a local optimum point, the optimum point in a large area cannot be reached. Hierarchical search in the full search category is poor in terms of computational savings, but it is widely used as a search method of a hardware encoder because no extreme deterioration of detection accuracy occurs. However, in the case where most of the movements are constant, the degree of detection tends to be lower than that of spiral search. The weaknesses of the two representative methods are addressed by a suitable combination of both techniques.
본 발명의 일 측면에 따르면, 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 단계; 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 단계를 포함하는 움직임 벡터 추출 방법이 제공된다.According to an aspect of the invention, the step of determining the search start position in the original image to perform a spiral motion search; And determining whether to perform a search on a sub-sampled image when searching for a P picture.
*여기서, 상기 탐색 수행 여부 판정 단계는, P 픽처, B 픽처, B 픽처의 3픽처 단위로 상기 서브 샘플링 영상에서의 탐색 수행 여부를 판정할 수 있다. The determining whether to perform the search may determine whether to perform the search on the sub-sampled image in units of three pictures of a P picture, a B picture, and a B picture.
또한, 상기 탐색 수행 여부 판정 단계는, 상기 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하는 단계; 상기 산출된 표준 편차를 소정의 임계치와 비교하는 단계; 및 상기 표준 편차가 상기 임계치보다 작은 경우 상기 서브 샘플링 영상을 대상으로 움직임을 탐색하는 단계를 포함할 수 있다. The determining whether to perform the search may include: calculating standard deviations of the X component and the Y component of the motion vector calculated each time the P picture search is completed; Comparing the calculated standard deviation with a predetermined threshold; And searching for a movement of the sub-sampled image when the standard deviation is smaller than the threshold.
또한, 상기 표준 편차가 상기 임계치보다 큰 경우 다음의 P 픽처의 B픽처 탐색시까지 상기 서브 샘플링 영상을 탐색하지 않는 단계를 더 포함할 수 있다.If the standard deviation is greater than the threshold, the method may further include not searching the sub-sampled image until the next B picture is searched.
여기서, 상기 서브 샘플링 영상은 상기 원영상에 대하여 가로 및 세로가 1/2로 해상도가 낮아진 영상일 수 있다. Here, the sub-sampling image may be an image having a lower resolution of 1/2 of the width and length of the original image.
또한, 본 실시예는 상기 원영상의 16*16 화소 블록을 8*8 화소 블록으로 분할하는 단계; 상기 16*16 화소 블록당 13종류의 탬플릿을 형성하는 단계; 및 상기 탬플릿으로부터 산출된 13종류의 움직임 벡터를 상기 원영상 탐색에서 탐색 개시 위치 지정시 후보 벡터로 사용하는 단계를 포함할 수 있다. In addition, the present embodiment may include dividing a 16 * 16 pixel block of the original image into 8 * 8 pixel blocks; Forming 13 types of templates per 16 * 16 pixel block; And using the 13 kinds of motion vectors calculated from the template as candidate vectors when designating a search start position in the original image search.
본 발명의 다른 측면에 따르면, 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 탐색 수행부; 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 탐색범위 결정부를 포함하는 움직임 벡터 추출 장치가 제공된다.According to another aspect of the invention, the search performing unit for performing a spiral motion search by determining the search start position in the original image; And a search range determiner configured to determine whether to perform a search on the sub-sampled image during the P picture search.
여기서, 상기 탐색범위 결정부는, 상기 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하는 표준편차 산출부; 상기 산출된 표준 편차를 소정의 임계치와 비교하는 표준편차 비교부를 포함하되, 상기 탐색 수행부는 상기 표준 편차가 상기 임계치보다 작은 경우 상기 서브 샘플링 영상을 대상으로 움직임을 탐색할 수 있다.The search range determiner may include: a standard deviation calculator configured to calculate standard deviations of the X and Y components of the motion vector calculated each time the P picture is searched; And a standard deviation comparison unit configured to compare the calculated standard deviation with a predetermined threshold, and the search performing unit may search for the motion based on the sub-sampled image when the standard deviation is smaller than the threshold.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명에 따른 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치는 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 효과가 있다.Efficient motion vector extraction method and apparatus for motion search according to the present invention utilize a plurality of sub-sampling search methods, which is a new hierarchical spiral motion search method combining spiral motion search and multiple templates in combination with sub-sampling images. There is an effect of improving the search accuracy (accuracy) by detecting the motion vector candidate.
또한, 본 발명에 따른 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치에 따르면, 서브 샘플링 영상을 이용하여 나선형 움직임탐색을 행하여, 탐색정도(accuracy)를 대폭으로 개선하는 방안을 제시하여, 서브 샘플링 영상에서의 탐색을 행함에 의해 연산량의 대폭 증가없이 탐색범위를 확대할 수 있으며, 템플릿의 확장에 의하여 탐색정도(accuracy)를 향상시킬 수 있음과 함께, 단계적으로 후보 벡터를 선택함에 의하여 연산량의 증가를 억제할 수 있고, 이들 이점에 의하여 연산량을 종래의 방법과 동일한 정도의 연산량으로 억제하고 화질을 향상시킬 수 있다.In addition, according to the present invention, there is provided an efficient motion vector extraction method and apparatus for performing a spiral motion search using a sub-sampling image to greatly improve the search accuracy. The search range can be extended without significantly increasing the amount of computation, and the accuracy of the search can be improved by the expansion of the template, and the increase of the computation amount can be achieved by selecting candidate vectors step by step. It is possible to suppress, and by these advantages, the amount of calculation can be suppressed to the same amount as that of the conventional method, and the image quality can be improved.
도 1은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 블록 구성도.
도 2는 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 서브 샘플링을 적용한 영상탐색의 절환을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 서브 샘플링 영상과 탐색 템플릿을 나타내는 도면.
도 4는 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 8x8 화소 블록의 조합에 의한 13 종류의 템플릿을 나타내는 도면. 1 is a block diagram of a motion vector extraction apparatus according to an embodiment of the present invention.
2 is a diagram illustrating switching of image search to which subsampling of a motion vector extracting apparatus according to an embodiment of the present invention is applied.
3 is a diagram illustrating a sub-sampled image and a search template of a motion vector extracting apparatus according to an embodiment of the present invention.
4 is a diagram showing 13 types of templates by combination of 8x8 pixel blocks of the motion vector extracting apparatus according to the embodiment of the present invention;
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. As used herein, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
또한, 명세서에 기재된 "…부", "…모듈", "…수단" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, the terms “… unit”, “… module”, “… means” described in the specification mean a unit for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. Can be.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same reference numerals and duplicate description thereof will be omitted. In the following description of the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 블록 구성도이다. 도 1을 참조하면, 움직임 벡터 추출 장치(100), 탐색 수행부(110), 탐색범위 결정부(120), 표준편차 산출부(121), 표준편차 비교부(122) 및 제어 유닛(130)이 도시된다. 1 is a block diagram of a motion vector extraction apparatus according to an embodiment of the present invention. Referring to FIG. 1, a motion
동영상 부호화처리기술은, H.264로 대표되는 기술의 진보나 HDTV로 대표되는 대상영상의 고해상도화 요구에 의해, 그 연산량이 날로 증가하고 있다. 이 때문에 연산량의 대부분을 점하는 움직임탐색에 관하여, 종래로부터 연산량삭감에 관한 연구가 많이 진행되고 있었다. 그 중에서 나선형 움직임탐색은 효율적인 방안으로 개량이 도모되어 왔지만, 실제의 탐색이 탐색범위 내의 극히 일부로 제한되는 것에 기인하는 특정영상에서의 극단적인 검출정도(accuracy)의 저하 등의 문제점을 나타내고 있다. Background Art The video encoding processing technology has been increasing day by day due to advances in technology represented by H.264 and the demand for higher resolution of a target video represented by HDTV. For this reason, a lot of researches on the amount of computation reduction have conventionally been conducted regarding the motion search which occupies most of the computation quantity. Among them, the spiral motion search has been improved as an efficient method, but it shows a problem such as an extreme decrease in the accuracy of detection in a specific image due to the fact that the actual search is limited to only a part of the search range.
연산량이 적기 때문에 소프트웨어 인코더의 탐색법으로서 주로 사용되는 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다. 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다. Because of the small amount of computation, spiral motion search, which is mainly used as a search method for software encoders, causes a large deterioration in the detection accuracy depending on the image. Minimizing the computation amount by interrupting the search according to a predetermined rule works badly, and when trapped at a local optimum point, the optimum point in a large area cannot be reached. Hierarchical search in the full search category is poor in terms of computational savings, but it is widely used as a search method of a hardware encoder because no extreme deterioration of detection accuracy occurs. However, in the case where most of the movements are constant, the degree of detection tends to be lower than that of spiral search.
본 실시예에 따르면, 2가지의 대표적인 방법이 가지고 있는 약점을 양쪽 기법의 적절한 조합에 의해 해소하고자 한다. 구체적으로는 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보추출에 의해 이 문제를 해결하고자 한다. 이 제안의 적용으로, 연산량을 기존의 고속탐색방법과 동일한 수준으로 유지하면서 탐색정도(accuracy)를 개선할 수 있다.According to this embodiment, the weaknesses of the two representative methods are solved by an appropriate combination of both techniques. Specifically, this problem is solved by extracting a plurality of motion vector candidates by subsampling, which is a new hierarchical spiral motion search method combining spiral motion search and multiple templates using extended sampling while using subsampling images. By applying this proposal, we can improve the accuracy of the search while keeping the computational level at the same level as the existing fast search method.
탐색 수행부(110)는 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행한다. 탐색범위 결정부(120)는 소정 영역, 예를 들면, P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정한다. The
표준편차 산출부(121)는 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하고, 표준편차 비교부(122)는 산출된 표준 편차를 소정의 임계치와 비교한다. 제어 유닛(130)은 탐색 수행부(110), 탐색범위 결정부(120), 표준편차 산출부(121), 표준편차 비교부(122)를 각각 제어한다. The
본 실시예에 따르면, 서브 샘플링 영상 이용에 의한 나선형 움직임탐색 성능을 개선할 수 있다. 나선형움직임탐색은, 영상의 특정영역만을 탐색하는 것으로, 탐색점수를 극소화할 수 있다. 그러나, 탐색개시위치 예측에 실패하면, 화질이 크게 열화하고, 잘못하면, 연산량이 대폭으로 증가한다고 하는 문제를 가지고 있다.According to the present embodiment, the spiral motion search performance can be improved by using the sub-sampling image. The spiral motion search searches only a specific area of an image and can minimize the search score. However, there is a problem that if the search start position prediction fails, the image quality is greatly deteriorated, and if it is wrong, the computation amount is greatly increased.
이 문제를 해결하기 위해, 중단하기 어렵게 설정하여, 탐색의 범위가 넓어지도록 하면 연산량이 대폭으로 증가하여 나선형움직임탐색의 이점을 상실하게 된다.In order to solve this problem, if the setting is made difficult to interrupt, and the range of the search is widened, the amount of calculation is greatly increased and the benefits of the spiral motion search are lost.
그래서, 연산량 증가없이 탐색범위를 확대하는 것을 목표로 한 계층형 탐색방법으로서, 서브 샘플링 영상계층탐색을 수행하게 할까 없게 할까를 P 픽처 주기단위로 적응적으로 절환하는 나선형탐색을 제안한다.Therefore, as a hierarchical search method aiming to expand the search range without increasing the amount of computation, a spiral search that adaptively switches by P picture period units whether or not to perform sub-sampling image layer search is proposed.
계층형 움직임탐색에서 문제가 되는 서브 샘플링 영상계층에서의 탐색정도 열화에 대하여는 복수의 확장 탬플릿을 병용함과 함께, 시간적, 공간적으로 상관하는 타 블록 움직임검출결과를 탐색개시위치후보로서 적극적으로 활용하여 해결을 도모한다.In order to deteriorate the search accuracy in the sub-sampling video layer, which is a problem in hierarchical motion search, a plurality of extended templates are used together and other block motion detection results that correlate temporally and spatially are actively used as candidates for search start position. Try to solve it.
서브 샘플링 영상탐색의 절환을 살펴보면 다음과 같다. 서브 샘플링 영상에서의 탐색은, 원영상과 이중으로 탐색을 행하는 것으로 되기 때문에 연산량 증가로 연결된다. 탐색이 용이한 영상에서, 종래 기법에서도 충분한 화질이 유지되는 경우에는 서브 샘플링 영상에서의 탐색을 반드시 행할 필요는 없다.The switching of the sub-sampling image search is as follows. The search in the sub-sampled video is performed by searching twice with the original video, which leads to an increase in the amount of computation. In an image that is easy to search, it is not necessary to search in the sub-sampling image when sufficient image quality is maintained even in the conventional technique.
따라서, 영상의 특성에 의해, 서브 샘플링 영상에서의 탐색 수행 여부를, P, B, B의 3 픽처 단위로 판정하여, 탐색의 사용을 적응적으로 절환하는 것으로 한다. P픽처 탐색을 마칠 때마다, 구해진 움직임벡터의 X성분, Y성분의 표준편차를 구한다.Therefore, it is determined whether or not the search is performed in the sub-sampled video by three picture units of P, B, and B based on the characteristics of the video, and adaptively switches the use of the search. Each time the P picture search is completed, the standard deviation of the X and Y components of the obtained motion vector is obtained.
제안 기법은 나선형 움직임탐색을 기본으로 함에 따라, 주위 블록의 움직임이나 시간적인 블록의 움직임을 예측벡터로서 참조하고 있다. 이 때, 편차가 작다고 함은 일정하게 비슷한 예측벡터 들만을 취득하고 만다는 것이고, 부분적으로 다른 움직임이 포함되어 있으면, 그 움직임에 대응할 수 없다. 역으로, 표준편차가 커지면 여러 방향에 걸쳐 예측벡터가 얻어져, 광범위하게 분포하는 복수의 개소를 탐색할 수 있다. 이 사실로부터, 제안기법에서는 표준편차가 작을 때에 서브 샘플링 영상을 이용하여 넓은 범위를 탐색하는 것으로 한다. 표준편차의 합이 임계치(threshold) 값 이상이 되면, 다음의 P 및 다음의 P까지의 B픽처 탐색시의 서브 샘플링 영상에서의 탐색을 생략한다. 임계치는 실험적으로 구해진 값으로 40으로 하였다. As the proposed technique is based on the spiral motion search, the motions of neighboring blocks and temporal blocks are referred to as predictive vectors. At this time, the small deviation means that only similar predictive vectors are acquired constantly, and if a different motion is included in part, it cannot correspond to the motion. Conversely, when the standard deviation increases, a predictive vector is obtained in various directions, and a plurality of locations widely distributed can be searched for. From this fact, the proposed technique uses a sub-sampled image to search a wide range when the standard deviation is small. When the sum of the standard deviations is equal to or larger than the threshold value, the search in the sub-sampled picture at the time of searching for the next P and the next B picture is omitted. The threshold value was 40 obtained experimentally.
도 2에 따르면, 단계 S210에서, P 픽처에서의 탐색을 수행하고, 단계 S220에서, 움직임에 대한 표준편차를 산출하며, 단계 S230에서, 표준편차와 임계치를 비교한다. 비교 결과, 표준편차가 임계치 보다 큰 경우 단계 S240에서, 원영상만에서의 탐색을 수행하고, 만약, 표준편차가 임계치 보다 작은 경우 단계 S250에서, 서브 샘플링 영상 및 원영상에서 탐색을 수행한다. 여기서, 표준 편차가 임계치보다 큰 경우 다음의 P 픽처의 B픽처 탐색시까지 서브 샘플링 영상을 탐색하지 않을 수 있다.According to FIG. 2, in step S210, a search is performed on a P picture, in step S220, a standard deviation for motion is calculated, and in step S230, the standard deviation is compared with a threshold. As a result of the comparison, when the standard deviation is larger than the threshold, the search is performed on the original image only in step S240. If the standard deviation is smaller than the threshold, the search is performed on the sub-sampled image and the original image. Here, if the standard deviation is larger than the threshold, the sub-sampled image may not be searched until the next B picture search for the next P picture.
본 실시예에 따르면, 서브 샘플링 영상의 설정은 다음과 같다. 상술한 바와 같이, 해상도를 낮추면, 탐색점이 줄고, 연산량을 줄일 수 있지만, 해상도를 크게 낮춘 경우, 영상의 세부가 깨지고 말아 탐색정도가 저하되는 위험성이 있다. 일반적으로 계층탐색에서는, 최대 가로세로 1/4까지 해상도를 낮추지만, 나선형탐색에 바탕을 둔 본 실시예에서는 종래의 계층탐색과 다른, 탐색범위의 일부분만의 탐색으로 끝마치게 된다. 따라서, 일반적인 계층탐색에 비하여 연산량삭감율이 크기 때문에, 해상도를 크게 낮출 필요는 없다. 그래서, 탐색을 행하는 서브 샘플링 영상은 원영상에 대하여, 가로세로 1/2, 전체적으로 해상도 1/4의 영상으로 한다.According to this embodiment, the setting of the sub-sampled image is as follows. As described above, if the resolution is reduced, the search point can be reduced and the computation amount can be reduced. However, if the resolution is greatly reduced, the detail of the image is broken and the search accuracy is lowered. In general, hierarchical search reduces the resolution to a maximum of 1/4 in width and width, but in this embodiment based on spiral search, only a part of the search range is different from the conventional hierarchical search. Therefore, since the amount of computational reduction is large compared with the general hierarchical search, it is not necessary to greatly reduce the resolution. Therefore, the sub-sampled image to be searched is an image having a width of 1/2 and a resolution of 1/4 as a whole with respect to the original image.
본 실시예에 따르면, 서브 샘플링 영상 탐색에 있어서 탬플릿이 확장될 수 있다. 서브 샘플링 영상에서의 움직임탐색에 대하여, 해상도를 낮추면, 탐색정도의 저하로 연결된다. 그래서, 블록끼리를 비교할 때의 비교영역(template)을 주위로 확장한다. 탬플릿을 확장함에 의해, 본래의 움직임검출대상 블록주위의 화소까지 비교되고, 그 결과로서 탐색 정도가 향상한다.According to the present embodiment, a template may be extended in the sub-sampling image search. Regarding the motion search in the sub-sampled image, lowering the resolution leads to a decrease in the search accuracy. Therefore, the template when comparing blocks is extended. By expanding the template, the pixels around the original motion detection target block are compared, and as a result, the search accuracy is improved.
단순히 탬플릿을 주위로 확장하면 비교연산에 중복되는 부분이 발생하고 연산량이 증가하게 된다. 따라서, 도 3에 도시된 바와 같이, 16 x 16 화소블록(310)을 가지는 원영상(a)으로부터 가로 및 세로가 1/2로 되며 8 x 8 화소블록(320)을 가지는 서브 샘플링 영상(b)을 생성하고, 서브 샘플링 영상(c)을 16 x 16 화소블록(330)으로 분할하고, 이 블록단위로 움직임을 구하는 것으로 한다. 결국 원영상의 4블록 분의 움직임탐색을 동시에 행하게 된다. 이에 의해 비교연산의 중복없이 탬플릿 확장이 실현된다. Simply expanding the template around will result in overlapping comparison operations and increased computation. Therefore, as shown in FIG. 3, the sub-sampled image b having the horizontal and vertical half of the original image a having the 16 x 16
확장한 탬플릿이 영상 중의 다른 움직임의 물체 간의 경계선에 걸치게 되면, 탐색정도의 저하가 야기된다. 그래서, 확장하는 방향이 다른 탬플릿을 복수 개 설치, 어떤 것이라도 경계에 걸치지 않도록 한다. 구체적으로는 16 x 16 화소블록(330)을 본래의 크기인 8 x 8 화소블록(340) 4개로 분할하여, 이 조합에 의해, 1 블록당 도 4에 도시된 바와 같은 13종류의 탬플릿을 구성한다. When the extended template spans the boundary between the objects of different movements in the image, the search accuracy is lowered. Therefore, a plurality of templates having different directions of expansion are provided so that no one can cross the boundary. Specifically, the 16 x 16
도 4의 (a)는 1블록, (b)는 2블록, (c)는 3블록, (d)는 4블록의 템플릿이다. 비교할 때에는 이들 탬플릿에서 일치도가 제일 높은 움직임을 검출한다. 이 결과로부터 얻어진 13종류의 움직임벡터를, 원영상에서의 탐색시에 탐색개시위치로 지정하는 후보벡터로 사용한다.(A) of FIG. 4 is a template of 1 block, (b) 2 blocks, (c) 3 blocks, and (d) 4 blocks. In comparison, the movements with the highest agreement are detected in these templates. The 13 kinds of motion vectors obtained from these results are used as candidate vectors for designating a search start position when searching in the original image.
그 외 본 발명의 실시예에 따른 움직임 벡터 추출 장치에 대한 구체적인 장치 구성도, 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 등에 대한 구체적인 설명은 본 발명이 속하는 기술 분야의 통상의 지식을 가진자에게 자명한 사항이므로 생략하기로 한다.In addition, a detailed device configuration diagram of a motion vector extracting apparatus according to an embodiment of the present invention, a common platform technology such as an embedded system, an O / S, a communication protocol, an interface standardization technology such as an I / O interface, and the like will be described. As it is obvious to those skilled in the art, it will be omitted.
본 발명에 따른 움직임 벡터 추출 방법 은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 즉, 기록 매체는 컴퓨터에 상술한 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.The motion vector extraction method according to the present invention can be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. In other words, the recording medium may be a computer-readable recording medium having recorded thereon a program for causing the computer to execute the above-described steps.
상기한 바에서, 각 실시예에서 설명한 각 구성요소 및/또는 기능은 서로 복합적으로 결합하여 구현될 수 있으며, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.As described above, each component and / or function described in each embodiment may be implemented in combination with each other, and those skilled in the art to which the present invention described in the claims below It will be understood that various modifications and variations can be made in the present invention without departing from the spirit and scope.
100 : 움직임 벡터 추출 장치
110 : 탐색 수행부
120 : 탐색범위 결정부
121 : 표준편차 산출부
122 : 표준편차 비교부100: motion vector extraction device
110: search performing unit
120: search range determination unit
121: standard deviation calculation unit
122: standard deviation comparison unit
Claims (5)
상기 부호화 대상 영상에 포함된 대상 블록에 대한 복수의 움직임 정보 후보를 추출하는 단계; 및
상기 복수의 움직임 정보 후보를 기초로 상기 대상 블록의 움직임 정보를 부호화하는 단계를 포함하되,
상기 복수의 움직임 정보 후보를 추출하는 단계는,
상기 대상 블록에 대한 제 1 움직임 정보 성분 및 제 2 움직임 정보 성분을 산출하는 단계;
상기 제1 움직임 정보 성분 및 상기 제2 움직임 정보 성분에 기초한 차이를 확인하는 단계; 및
상기 확인 결과에 기초하여 상기 대상 블록의 움직임 정보 후보를 추출하는 단계를 포함하는 영상 부호화 방법.An image encoding method of generating a bitstream by encoding an encoding target image.
Extracting a plurality of motion information candidates for a target block included in the encoding target image; And
Encoding motion information of the target block based on the plurality of motion information candidates,
Extracting the plurality of motion information candidates,
Calculating a first motion information component and a second motion information component for the target block;
Identifying a difference based on the first motion information component and the second motion information component; And
And extracting motion information candidates of the target block based on the verification result.
상기 복수의 움직임 정보 후보 중 어느 하나는, 원 영상보다 낮은 해상도를 갖는 서브 샘플링 영상에서의 탐색을 통해 유도되는 것을 특징으로 하는, 영상 부호화 방법.The method of claim 1,
Any one of the plurality of motion information candidates is derived by searching in a sub-sampling image having a lower resolution than the original image.
상기 서브 샘플링 영상은 상기 원 영상에 대하여 가로 및 세로가 1/2로 해상도가 낮아진 영상인 것을 특징으로 하는 영상 부호화 방법.The method of claim 2,
And the sub-sampling image is an image whose resolution is reduced to 1/2 of the width and length of the original image.
상기 복수의 움직임 정보 후보를 기초로 상기 대상 블록의 움직임 정보를 부호화하는 단계를 포함하되,
상기 복수의 움직임 정보 후보를 추출하는 단계는,
상기 대상 블록에 대한 제 1 움직임 정보 성분 및 제 2 움직임 정보 성분을 산출하는 단계;
상기 제1 움직임 정보 성분 및 상기 제2 움직임 정보 성분에 기초한 차이를 확인하는 단계; 및
상기 확인 결과에 기초하여 상기 대상 블록의 움직임 정보 후보를 추출하는 단계를 포함하는 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 기록 매체.Extracting a plurality of motion information candidates for the target block included in the encoding target image; And
Encoding motion information of the target block based on the plurality of motion information candidates,
Extracting the plurality of motion information candidates,
Calculating a first motion information component and a second motion information component for the target block;
Identifying a difference based on the first motion information component and the second motion information component; And
And extracting a motion information candidate of the target block based on the verification result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180065856A KR102032793B1 (en) | 2018-06-08 | 2018-06-08 | Method and Apparatus for effective motion vector decision for motion estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180065856A KR102032793B1 (en) | 2018-06-08 | 2018-06-08 | Method and Apparatus for effective motion vector decision for motion estimation |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170102495A Division KR101867885B1 (en) | 2017-08-11 | 2017-08-11 | Method and Apparatus for effective motion vector decision for motion estimation |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190125076A Division KR20190117461A (en) | 2019-10-10 | 2019-10-10 | Method and Apparatus for effective motion vector decision for motion estimation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180068910A KR20180068910A (en) | 2018-06-22 |
| KR102032793B1 true KR102032793B1 (en) | 2019-10-17 |
Family
ID=62768650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180065856A KR102032793B1 (en) | 2018-06-08 | 2018-06-08 | Method and Apparatus for effective motion vector decision for motion estimation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102032793B1 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100772405B1 (en) * | 2005-09-27 | 2007-11-01 | 삼성전자주식회사 | Methods for adaptive noise reduction based on global motion estimation and video processing system therefore |
| KR101443701B1 (en) * | 2010-11-22 | 2014-09-29 | 한국전자통신연구원 | Adaptive motion search range determining apparatus and method |
-
2018
- 2018-06-08 KR KR1020180065856A patent/KR102032793B1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180068910A (en) | 2018-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200382771A1 (en) | Simplified entropy coding for sub-block based motion information list | |
| CN110419217B (en) | Method for image processing and image processing apparatus | |
| US6842483B1 (en) | Device, method and digital video encoder for block-matching motion estimation | |
| WO2019229683A1 (en) | Concept of interweaved prediction | |
| JP2009509407A (en) | Naturally shaped regions for motion compensation | |
| US10136154B2 (en) | Video coding apparatus, video coding method, and non-transitory computer readable medium | |
| WO2021073066A1 (en) | Image processing method and apparatus | |
| US20080112631A1 (en) | Method of obtaining a motion vector in block-based motion estimation | |
| KR101769575B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| CN111901590B (en) | Refined motion vector storage method and device for inter-frame prediction | |
| KR102032793B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| KR101541077B1 (en) | Device and method for frame interpolation using block segmentation based on texture | |
| KR101677696B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| KR20190117461A (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| KR101737606B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| KR101867885B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| KR101708905B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| CN114040209A (en) | Motion estimation method, motion estimation device, electronic equipment and storage medium | |
| KR20080022843A (en) | Method for adjusting search area using motion vector | |
| KR101473383B1 (en) | Method for estimating motion vector for searching candidate selectively | |
| KR101486850B1 (en) | A fast full-search lossless motion estimation method using sequential rejection of impossible candidate block | |
| Günyel et al. | Multi-resolution motion estimation for motion compensated frame interpolation | |
| US11303903B2 (en) | Method and system for encoding an image of a video sequence involving calculation of a cost for encoding a coherent region | |
| KR102089433B1 (en) | Multidirectional hierarchical motion estimation method for video coding tool | |
| JPH09238346A (en) | Motion vector searching method and device therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent |