KR101221495B1 - Contents Adaptive MCTF Using RD Optimization - Google Patents

Contents Adaptive MCTF Using RD Optimization Download PDF

Info

Publication number
KR101221495B1
KR101221495B1 KR1020110018129A KR20110018129A KR101221495B1 KR 101221495 B1 KR101221495 B1 KR 101221495B1 KR 1020110018129 A KR1020110018129 A KR 1020110018129A KR 20110018129 A KR20110018129 A KR 20110018129A KR 101221495 B1 KR101221495 B1 KR 101221495B1
Authority
KR
South Korea
Prior art keywords
sum
current block
added
extra data
theory
Prior art date
Application number
KR1020110018129A
Other languages
Korean (ko)
Other versions
KR20120098274A (en
Inventor
류철
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020110018129A priority Critical patent/KR101221495B1/en
Publication of KR20120098274A publication Critical patent/KR20120098274A/en
Application granted granted Critical
Publication of KR101221495B1 publication Critical patent/KR101221495B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria

Abstract

본 발명은 적응적 MCTF 방법에 관한 것으로서, 현재 블록의 움직임 정보를 검색하고, 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 한편, 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(EB)을 산출하는 것을 특징으로 한다. 또한, 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 현재 블록 내 지역분산의 합(JNDsum)과 짝수 프레임에 더해질 여분의 데이터의 합(Usum)을 산출한 다음, 픽셀 당 허용된 오차 범위의 합(EB) 또는 현재 블록 내 지역분산의 합(JNDsum) 중 적어도 하나 이상을 이용하여 짝수 프레임에 더해질 여분의 데이터의 합(Usum)과 비교한다. 비교 결과에 따라, 현재 블록에 대하여 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 짝수 프레임에 더해질 여분의 데이터의 합을 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 현재 블록에 대하여 화면 내 부호화하는 것을 특징으로 한다. 본 발명에 따르면, 적응적 MCTF(contents adaptive MCTF)의 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an adaptive MCTF method, wherein motion information of a current block is retrieved, a high frequency band image is generated using the retrieved motion information, and LaGrand is performed using a rate-distortion theory for the current block. The sum E B of permissible error ranges per pixel is minimized to minimize the Lagrangian cost function. Also, obtain the local variance (JND) per pixel of the current block, calculate the sum of the local variance (JND sum ) in the current block and the extra data (U sum ) to be added to even frames, and then allow the error per pixel. Use at least one or more of the sum of the range (E B ) or the sum of the local variances in the current block (JND sum ) to compare with the sum of extra data (U sum ) to be added to the even frames. According to the comparison result, the sum of the extra data to be added to the even frame for the current block remains as it is, or the sum of the extra data to be added to the even frame is changed using the sum of the local variances in the current block, or the screen is displayed for the current block. It is characterized by the inner coding. According to the present invention, when updating an adaptive MCTF (contents adaptive MCTF), the block having inappropriate motion information is selected by applying an optimal threshold value through the RD theory, and the image quality can be improved by switching to an intra coding mode. have.

Description

적응적 MCTF의 RD 최적화 방법{Contents Adaptive MCTF Using RD Optimization}Contents Adaptive MCTF Using RD Optimization

본 발명은 적응적 MCTF(content adaptive MCTF) 방법에 관한 것으로서, 더욱 상세하게는 적응적 MCTF(contents adaptive MCTF) 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있는 R-D 이론을 이용한 적응적 MCTF 방법에 관한 것이다.The present invention relates to a content adaptive MCTF method, and more particularly, to select blocks having inappropriate motion information by applying an optimal threshold value through RD theory when updating an adaptive MCTF (contents adaptive MCTF). The present invention relates to an adaptive MCTF method using RD theory which can improve image quality by switching to intra picture coding mode.

무선 영상 통화나 방송 등 영상 정보를 사용하는 단말기기가 늘어나면서 영상 데이터 전송 환경이 매우 다양하게 변하고 있다. 이에 따라 하나의 원본 영상으로부터 TV, DMB, 또는 개인용 단말기에 이르기까지 다양한 단말로의 영상 전송을 위해서는 변화가 심한 전송 환경에 적용할 수 있는 SVC(scalable video coding)기술이 필수적으로 요구된다. SVC는 크게 공간적, 화질적, 시간적 확장성으로 분류되는데 하나의 영상 컨텐츠를 다양한 공간적 해상도와 화질, 다양한 프레임율을 갖도록 하는 하나의 비트스트림으로 구성하여 여러 가지 단말에서 자기 자신의 능력에 맞도록 비트스트림을 받아 복원하는 것을 가능하게 하는 기술이다.As the number of terminals using video information such as wireless video call or broadcasting increases, the video data transmission environment is changing in various ways. Accordingly, for video transmission from one source video to various terminals, such as a TV, a DMB, or a personal terminal, a scalable video coding (SVC) technology that can be applied to a highly variable transmission environment is required. SVC is largely classified into spatial, image quality, and temporal scalability. The SVC is composed of one bit stream that has various spatial resolutions, image quality, and various frame rates. A technology that allows the stream to be received and restored.

SVC의 세 가지 확장성 중 시간적 확장성에 해당되는 MCTF(motion compensated temporal filtering)는 리프팅 스킴(lifting scheme)을 사용하는데 SVC의 시간적 확장성 지원에서 기초적인 역할을 한다. MCTF는 웨이블릿 기법을 이용하여 시간 확장성을 제공함과 동시에 프레임 간 중복성 제거에 그 목적이 있으며 2D 웨이블릿 기법과 같이 사용하여 화질에 대한 확장성 또한 동시에 제공하기 위하여 고안되었다. MCTF는 영상을 시간축으로 저주파인 이웃 영상들과의 평균영상과 고주파인 이웃 영상들과의 차영상으로 필터링하여 시간적 확장성을 제공한다.Motion compensated temporal filtering (MCTF), which is a temporal scalability among the three scalability of the SVC, uses a lifting scheme and plays a basic role in supporting the temporal scalability of the SVC. MCTF has the purpose of providing time scalability by using wavelet technique and at the same time eliminating redundancy between frames, and it is designed to provide scalability for image quality simultaneously with 2D wavelet technique. The MCTF provides temporal scalability by filtering the image into a mean image with low frequency neighbor images and a difference image with high frequency neighbor images on the time axis.

하지만 MCTF의 단점은 단계가 증가할수록 프레임간의 움직임 정보를 정확히 찾을 수 없다는 것이다. 그 이유는 MCTF의 단계가 진행될수록 원 영상과 참조 영상간의 시간 간격이 벌어지면서 영상 간의 연관성이 줄어들게 되며 프레임 간 시간 간격의 증가로 인하여 올바른 움직임 정보를 찾을 수 없게 된다. 이는 저주파 밴드로 옮겨져야 할 에너지가 고주파 밴드에 남게 되는 결과를 가져오며 화질의 저하를 초래하게 된다. 또한 MCTF의 단계가 증가할수록 이러한 화질의 저하가 누적되어 프레임간의 시간 차에서 발생하는 잔상이 발생하여 화질의 저하를 초래하는 문제가 있다.However, the disadvantage of MCTF is that as the step increases, the motion information between frames cannot be found accurately. The reason is that as the MCTF step progresses, the correlation between the images decreases as the time interval between the original image and the reference image increases, and the correct motion information cannot be found due to the increase of the time interval between frames. This results in the energy to be transferred to the low frequency band remaining in the high frequency band, resulting in deterioration of image quality. In addition, as the level of the MCTF increases, such deterioration of image quality accumulates, resulting in a residual image generated from a time difference between frames, resulting in a deterioration of image quality.

따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 적응적 MCTF(contents adaptive MCTF)의 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있는 적응적 MCTF 방법을 제공하는 것이다.Therefore, the first problem to be solved by the present invention is to select the block having the inappropriate motion information by applying the optimal threshold value through the RD theory when updating the content adaptive MCTF, and switch to the intra picture coding mode By providing an adaptive MCTF method that can improve the image quality.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.Further, the present invention provides a computer-readable recording medium having recorded thereon a program for executing the above method on a computer.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 현재 블록의 움직임 정보를 검색하는 단계; 상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계; 상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(EB)을 산출하는 단계; 상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JNDsum)과 짝수 프레임에 더해질 여분의 데이터의 합(Usum)을 산출하는 단계; 상기 픽셀 당 허용된 오차 범위의 합(EB) 또는 상기 현재 블록 내 지역분산의 합(JNDsum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(Usum)과 비교하는 단계; 및 상기 비교 결과에 따라, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 상기 현재 블록에 대하여 화면 내 부호화하는 단계를 포함하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법을 제공한다.The present invention comprises the steps of: retrieving motion information of the current block to achieve the first object; Generating a high frequency band image using the retrieved motion information; Calculating a sum E B of permissible error ranges per pixel to minimize a Lagrangian cost function using a rate-distortion theory for the current block; Obtaining a regional variance (JND) for each pixel of the current block and calculating a sum (J sum ) of local variances in the current block and extra data to be added to an even frame (U sum ); Comparing at least one of the sum of allowed error ranges per pixel E B or the sum of local variances JND sum in the current block to a sum of extra data U sum to be added to the even frames. step; And according to the comparison result, maintain the sum of the extra data to be added to the even frame with respect to the current block or change the sum of the extra data to be added to the even frame using the sum of local variances in the current block. In addition, the present invention provides an adaptive MCTF method using an RD theory, comprising: intra-picture encoding the current block.

본 발명의 일 실시예에 의하면, 상기 R-D 이론에서 R-D 곡선의 기울기를 λ라고 할 때, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 상기 픽셀 당 허용된 오차 범위의 합과 상기 λ를 선택할 수 있다.According to an embodiment of the present invention, when the slope of the RD curve in the RD theory is λ, the sum of the allowable error ranges per pixel and the λ that minimize the Lagrangian cost function Can be selected.

또한, 현재 프레임에 대한 λ를 다음 프레임에 대한 λ로 사용함으로써, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 연산의 복잡성을 줄일 수 있다.In addition, by using λ for the current frame as λ for the next frame, it is possible to reduce the complexity of the operation of minimizing the Lagrangian cost function.

본 발명의 다른 실시예에 의하면, 상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 현재 블록에 대하여 화면 내 부호화하는 것이 바람직하다. According to another embodiment of the present invention, when the sum of the allowable error range per pixel and the sum of the local variance in the current block is less than the sum of the extra data to be added to the even frame, It is preferable to encode in the picture.

상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 정확하지 않은 움직임 정보가 적용된 것으로 판단하는 것이다.If the sum of the allowable error range per pixel and the sum of the local variance in the current block is smaller than the sum of the extra data to be added to the even frame, it is determined that incorrect motion information is applied.

또한, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 큰 경우, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하는 것이 바람직하다.In addition, when the sum of local variances in the current block is greater than the sum of extra data to be added to the even frame, it is preferable to maintain the sum of extra data to be added to the even frame with respect to the current block.

본 발명의 또 다른 실시예에 의하면, 상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 크고, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하는 것이 바람직하다.According to another embodiment of the present invention, the sum of the allowable error range per pixel and the sum of the local variance in the current block is greater than the sum of the extra data to be added to the even frame and the area in the current block. If the sum of the variances is smaller than the sum of the extra data to be added to the even frame, it is preferable to change the sum of the extra data to be added to the even frame using the sum of the local variances in the current block.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 적응적 MCTF 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다. In order to solve the above other technical problem, the present invention provides a computer readable recording medium having recorded thereon a program for executing the above-described adaptive MCTF method on a computer.

본 발명에 따르면, 적응적 MCTF(contents adaptive MCTF)의 업데이트시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여, 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있다. 또한, 본 발명에 따르면, R-D 최적화된 임계값을 이용하여 기존의 지역 분산을 이용한 적응적 MCTF 기술보다 PSNR의 향상을 이룰 수 있다.According to the present invention, when updating an adaptive MCTF (contents adaptive MCTF), the block having inappropriate motion information is selected by applying an optimal threshold value through the RD theory, and the image quality can be improved by switching to an intra coding mode. have. In addition, according to the present invention, the PSNR can be improved over the conventional MCTF technique using the local variance by using the R-D optimized threshold.

도 1은 Lifting-Scheme을 사용한 MCTF를 도시한 것이다.
도 2는 5/3-탭 웨이블릿 MCTF 부호화 구조를 나타낸 것이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 R-D 이론을 이용한 적응적 MCTF 방법의 흐름도이다.
도 4는 MCTF의 예측 과정과 역방향 움직임 정보로 인한 업데이트의 중복을 도시한 것이다.
도 5는 각각의 MCTF 별로 JSVM에 foreman 시퀀스를 적용하여 나타난 PSNR과 비트량을 그래프화한 것이다.
도 6은 각각의 MCTF 별로 JSVM에 football 시퀀스에 적용하여 나타난 PSNR과 비트량을 그래프화 한 것이다.
1 illustrates an MCTF using Lifting-Scheme.
2 shows a 5 / 3-tap wavelet MCTF encoding structure.
3 is a flowchart of an adaptive MCTF method using RD theory according to a preferred embodiment of the present invention.
4 illustrates duplication of updates due to the prediction process of MCTF and backward motion information.
FIG. 5 is a graph of PSNR and bit amount indicated by applying a foreman sequence to JSVM for each MCTF.
FIG. 6 is a graph of PSNRs and bit amounts indicated by applying football sequences to JSVM for each MCTF.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the description of the specific contents of the present invention, for the convenience of understanding, the outline of the solution of the problem to be solved by the present invention or the core of the technical idea will be presented first.

본 발명의 일 실시예에 따른 R-D 이론을 이용한 적응적 MCTF 방법은 현재 블록의 움직임 정보를 검색하는 단계; 상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계; 상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(EB)을 산출하는 단계; 상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JNDsum)과 짝수 프레임에 더해질 여분의 데이터의 합(Usum)을 산출하는 단계; 상기 픽셀 당 허용된 오차 범위의 합(EB) 또는 상기 현재 블록 내 지역분산의 합(JNDsum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(Usum)과 비교하는 단계; 및 상기 비교 결과에 따라, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 상기 현재 블록에 대하여 화면 내 부호화하는 단계를 포함한다.An adaptive MCTF method using the RD theory according to an embodiment of the present invention comprises the steps of: retrieving motion information of the current block; Generating a high frequency band image using the retrieved motion information; Calculating a sum E B of permissible error ranges per pixel to minimize a Lagrangian cost function using a rate-distortion theory for the current block; Obtaining a regional variance (JND) for each pixel of the current block and calculating a sum (J sum ) of local variances in the current block and extra data to be added to an even frame (U sum ); Comparing at least one of the sum of allowed error ranges per pixel E B or the sum of local variances JND sum in the current block to a sum of extra data U sum to be added to the even frames. step; And according to the comparison result, maintain the sum of the extra data to be added to the even frame with respect to the current block or change the sum of the extra data to be added to the even frame using the sum of local variances in the current block. Intra picture encoding is performed on the current block.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, these examples are intended to illustrate the present invention in more detail, it will be apparent to those skilled in the art that the scope of the present invention is not limited thereby.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명한다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described more fully with reference to the accompanying drawings, in which preferred embodiments of the invention are shown. In addition, in describing the operation principle of the preferred embodiment of the present invention in detail, when it is determined that the detailed description of the known function or configuration and other matters related to the present invention may unnecessarily obscure the subject matter of the present invention, The detailed description is omitted.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' to another part, it is not only 'directly connected' but also 'indirectly connected' with another element in between. Include. In addition, the term 'comprising' a certain component means that the component may be further included, without excluding the other component unless specifically stated otherwise.

SVC에서 영상의 시간적 확장성 제공을 위해 사용되는 MCTF는 시간적 확장과 함께 화질의 확장성을 제공하는데 큰 역할을 한다. 그러나 MCTF의 특성상 예측(prediction)과 업데이트(update) 단계가 증가할수록 분석해야 할 프레임간의 시간 간격이 멀어지게 되고 올바른 움직임 정보의 검색이 어려워져 화질의 저하를 초래한다. MCTF used to provide temporal scalability of video in SVC plays a big role in providing scalability of picture quality with temporal expansion. However, as the prediction and update stages increase due to the characteristics of the MCTF, the time interval between frames to be analyzed becomes longer and the search for the correct motion information becomes difficult, resulting in deterioration of image quality.

도 1은 Lifting-Scheme을 사용한 MCTF를 도시한 것이다.1 illustrates an MCTF using Lifting-Scheme.

MCTF는 필터를 적용함에 있어 lifting scheme을 사용하게 되며, 도 1은 lifting scheme을 사용한 MCTF와 그 역변환을 보여준다. Lifting scheme은 크게 2단계를 거치게 되는데 먼저 예측 과정에서 영상의 움직임 정보를 찾아내고 이를 이용하여 고주파 밴드 영상을 생성한다. 두 번째 단계로 업데이트 과정에서 고주파 밴드 영상을 이용하여 저주파 밴드 영상을 생성한다. 이러한 과정에서 영상의 에너지를 최대한 저주파 밴드로 옮기고 고주파 밴드에는 적은 양의 에너지를 유지하여 부호화의 효율을 높인다. 역변환 시에는 새로운 추가 정보 없이도 원본의 복원이 가능하다. 하지만 MCTF의 단점은 단계가 증가할수록 프레임간의 움직임 정보를 정확히 찾을 수 없다는 것이다. MCTF uses a lifting scheme in applying the filter, Figure 1 shows the MCTF and the reverse transformation using the lifting scheme. The lifting scheme has two steps. First, the motion information of the image is found during the prediction process, and a high frequency band image is generated using the image. In the second step, a low frequency band image is generated by using a high frequency band image in the updating process. In this process, the energy of the image is transferred to the low frequency band as much as possible, and a small amount of energy is maintained in the high frequency band to increase the encoding efficiency. Inverse transformation allows the original to be restored without any additional information. However, the disadvantage of MCTF is that as the step increases, the motion information between frames cannot be found accurately.

도 2는 5/3-탭 웨이블릿 MCTF 부호화 구조를 나타낸 것이다.2 shows a 5 / 3-tap wavelet MCTF encoding structure.

도 2를 참조하면, 5/3-탭 웨이블릿 MCTF의 경우 단계와 시간의 관계가 도시되어 있다. Referring to FIG. 2, the relationship between step and time is shown for a 5 / 3-tap wavelet MCTF.

t-L이 MCTF의 진행단계를 나타내며, F0-F7은 부호화 될 프레임 나타낸다. 각 단계에서 실선은 저주파 프레임을 점선은 고주파 프레임을 나타내고 움직임 정보 예측이 필요한 프레임은 화살표로 연결되어있다t-L represents the progression of the MCTF, F0-F7 represents the frame to be encoded. In each step, the solid line represents the low frequency frame, the dotted line represents the high frequency frame, and the frames requiring motion information prediction are connected by arrows.

도 2와 같이 MCTF의 단계가 진행될수록 원 영상과 참조 영상간의 시간 간격이 벌어지면서 영상 간의 연관성이 줄어들게 되며 프레임간 시간 간격의 증가로 인하여 올바른 움직임 정보를 찾을 수 없게 된다. 이는 저주파 밴드로 옮겨져야 할 에너지가 고주파 밴드에 남게 되는 결과를 가져오며 화질의 저하를 초래하게 된다.As the MCTF step progresses as shown in FIG. 2, the correlation between the images decreases as the time interval between the original image and the reference image increases, and correct motion information cannot be found due to an increase in the time interval between frames. This results in the energy to be transferred to the low frequency band remaining in the high frequency band, resulting in deterioration of image quality.

또한, MCTF의 단계가 증가할수록 이러한 화질의 저하가 누적되어 프레임간의 시간차에서 발생하는 잔상이 나타난다. 업데이트를 생략함으로써 이러한 잡음의 누적을 방지할 수 있으나 업데이트의 생략으로 인한 PSNR의 저하를 가져오며 이러한 현상은 업데이트의 생략으로 인해 복원 시 필요한 고주파 밴드의 정보가 누락되기 때문이다.In addition, as the MCTF step increases, such deterioration of image quality accumulates, resulting in afterimages occurring in the time difference between frames. By omitting the update, this noise can be prevented from accumulating, but the PSNR is degraded due to the omission of the update. This is because the information of the high frequency band required for restoration is missing due to the omission of the update.

또한, MCTF의 단계 증가로 인해 생기는 원본 영상과 참조 영상간의 시간 간격은 올바른 움직임 정보의 검색을 힘들게 하고 이는 부호화 효율과 화질의 저하를 초래하며 이러한 현상은 움직임이 큰 영상일수록 더욱 심화된다. 영상 내에 새로운 물체가 나타났을 경우 해당 부분의 매크로 블록은 올바른 움직임 정보를 찾을 수 없고 결과적으로 고주파 밴드 영상에 큰 값을 생성하며, 저주파 밴드 영상에 큰 잡음을 추가하게 되는 원인이 된다. 이런 경우에는 업데이트 함수의 변화가 아닌 보다 근본적인 문제 해결 방법이 필요하다.In addition, the time interval between the original image and the reference image caused by the increase of the MCTF makes it difficult to search the correct motion information, which leads to a deterioration in the coding efficiency and the image quality. When a new object appears in the image, the macro block of the portion cannot find the correct motion information, and as a result, generates a large value in the high frequency band image, and adds a large noise to the low frequency band image. In this case, a more fundamental problem solving method is needed, not a change in the update function.

일반적으로 영상처리 분야에서 JND(just noticeable difference)는 영상내 고주파 성분의 방향성을 알아내는데 사용된다. 이러한 JND의 특성을 이용하여 이미지 워터마킹 분야에서 노이즈 가시성을 판별하여 추가데이터의 삽입에 이용하거나, JND 마스크와 웨이블릿을 이용한 이미지 워터마킹 등에 사용된다. 이러한 JND의 사용은 영상내 고주파 성분의 방향성을 이용하거나 혹은 노이즈 가시성을 이용하는 방법들이다. In general, in the image processing field, JND (just noticeable difference) is used to determine the direction of high frequency components in an image. The characteristics of JND are used to determine noise visibility in the field of image watermarking and to insert additional data, or to image watermarking using JND masks and wavelets. The use of JND is a method using the directivity of the high frequency components in the image or using noise visibility.

본 발명은 MCTF의 업데이트 과정 내에서 JND를 사용하여 움직임 정보를 찾을 수 없는 블록의 화면 간 부호화로 인한 화질 저하를 방지하는 방법에 대한 것이다. 영상 내 모서리 부분을 찾는데 사용되는 JND는 오류의 가시성이 높은 부분과 그렇지 않은 부분을 찾아내어 MCTF의 업데이트 과정에서 더해지는 고주파 밴드 영상의 임계값으로 사용된다. 이는 영상 내 고주파 성분이 없는 저주파 영역에서 발생하는 잡음이 더 확연해지는 것을 이용한 방법이다. 본 발명을 통하여 MCTF의 하위 단계에서 프레임간의 시간차를 극복하고 시각적인 화질의 향상을 얻을 수 있다.The present invention relates to a method of preventing image quality deterioration due to inter-screen encoding of blocks in which motion information cannot be found using JND during an update process of MCTF. JND, which is used to find the edge of the image, is used as a threshold of high frequency band image which is added during the update process of MCTF by finding the parts with high visibility and those without errors. This method uses noise to be more pronounced in the low frequency region where there is no high frequency component in the image. Through the present invention, it is possible to overcome the time difference between frames in the lower stages of the MCTF and to improve visual quality.

본 발명의 실시예에 따르면, JND의 노이즈 가시성 판별력을 이용하여 업데이트가 중복되어 일어나는 것을 방지한다.According to an embodiment of the present invention, the update is prevented from occurring by using the noise visibility discrimination power of JND.

JND를 U의 임계값으로 정하여 업데이트를 적용할 경우 임계값을 초과하는 영역에서 다중 업데이트가 일어나는 것을 방지할 수 있다. 또한 업데이트시 더해지는 U를 잡음이라고 가정하였을 때 잡음의 추가로 인한 임계값의 초과로 업데이트를 생략하는 결과를 가져오기 때문에 JND는 이러한 중복 업데이트를 방지하는데 사용될 수 있다.Applying updates by setting JND to a threshold of U can prevent multiple updates from occurring in areas that exceed the threshold. In addition, JND can be used to prevent such redundant updates because assuming that U added during the update is noise, the update is skipped due to the addition of noise.

적응적 MCTF는 영상 내 화소값에 의존하여 그 크기가 변하는 JND를 U의 임계값으로 사용하여 영상 내 해당 영역의 특징에 맞추어 업데이트를 제한하고 잡음을 줄인다. 이러한 JND의 특성을 이용하면 반대로 정확하지 않은 움직임 정보에 의해 고주파 밴드에 큰 값이 존재하는 블록들을 찾아낼 수 있으며, 이를 화면내 부호화하여 화질을 향상시킬 수 있다. 적응적 MCTF는 JND에 근접한 U를 갖는 블록에서는 매우 뛰어난 시각적인 화질 향상을 보인다. 그러나 U가 JND 이상일 때 L[i]에 더해지는 H[i]의 크기를 제한하게 되므로 MCTF 복원 시에 영상의 화질을 저하시키며 이 화질의 저하는 U와 JND의 차이가 클수록 증가한다. JND 이상의 값을 갖는 U는 JND와 그 차이가 커질수록 올바른 움직임 정보를 찾아낸 것이 아니라 볼 수 있으며 이는 고주파 밴드에 많은 값이 남아있는 것을 의미하기 때문이다. 따라서 이 값을 축소하여 적용하는 적응적 MCTF의 경우에 정확한 움직임 정보에 의한 화면 간 부호화가 되고 있다고 보기 어렵다.The adaptive MCTF uses JND, whose size varies depending on the pixel value in the image, as a threshold value of U to limit the update and reduce noise according to the characteristics of the corresponding region in the image. On the contrary, by using the characteristics of JND, it is possible to find blocks having a large value in the high frequency band by inaccurate motion information, and to improve the image quality by intra coding. Adaptive MCTF shows very good visual quality improvement in blocks with U close to JND. However, when U is greater than or equal to JND, the size of H [i] added to L [i] is limited. Therefore, the image quality is degraded when the MCTF is restored, and the degradation of the quality increases as the difference between U and JND increases. U having a value greater than or equal to JND can be seen as not finding the correct motion information as the difference with JND increases, because it means that many values remain in the high frequency band. Therefore, in the case of the adaptive MCTF which reduces this value, it is difficult to see that the inter-picture encoding is performed by the accurate motion information.

일반적으로 화면내 존재하는 잡음은 저주파 부분에서 더욱 두드러져 보이며 이러한 정보는 U의 임계값 결정에 활용할 수 있다. 적응적 MCTF는 업데이트과정에서 지역 분산을 이용하여 임계값을 설정함으로써 잡음이 누적되는 것을 방지한다. 적응적 MCTF에서 사용되는 지역 분산값 JND는 HVS(human visual system)에서 휘도 영상 내 고주파 부분을 판별하는데 사용된다. JND 수식은 영상 내 지역 분산의 최대값을 유지하며 계산하므로 영상의 특성에 맞는 지역분산을 계산하는데 효율적이다. 또한 지역분산 JND를 이용하면 저주파 영역의 화소에 임계값을 적용한 U를 더하게 되므로 잡음을 감소시킬 수 있다.In general, the noise present in the picture is more prominent in the low frequency part, and this information can be used to determine the threshold of U. The adaptive MCTF uses local variance to set thresholds during the update process to prevent noise from accumulating. The regional variance value JND used in the adaptive MCTF is used to determine the high frequency part of the luminance image in the human visual system (HVS). The JND equation maintains the maximum value of the regional variance in the image and calculates the local variance according to the characteristics of the image. In addition, by using the local dispersion JND, the U applied a threshold value is added to the pixels in the low frequency region, thereby reducing the noise.

Figure 112011014724509-pat00001
Figure 112011014724509-pat00001

σs 2(m,n)은 영상의 (m,n)에서의 분산이다. 수학식 1을 통해 현재 위치에서 잡음이 눈에 띄는 정도를 나타낼 수 있으며 저주파 부분에서 JND 값이 작아지게 되므로 이를 업데이트 함수의 임계값으로 이용할 수 있다.σ s 2 (m, n) is the variance in (m, n) of the image. Equation 1 shows how much noise is noticeable at the current position, and since the JND value becomes smaller in the low frequency part, it can be used as a threshold of the update function.

본 발명에서는 적응적 MCTF에서 사용되는 JND를 이용하여 잘못된 움직임 정보를 갖는 블록을 선별하며 해당 블록을 화면내 부호화하여 화질의 향상을 가져올 수 있도록 한다. JND는 매 화소마다 계산되는 값이므로 블록별로 처리하기 위해서 블록 내 JND의 합을 계산할 수 있도록 다음과 같이 정의한다.In the present invention, a block having wrong motion information is selected by using JND used in the adaptive MCTF, and the image can be improved by intra coding the corresponding block. Since JND is a value calculated for every pixel, it is defined as follows so that the sum of JND in a block can be calculated for processing for each block.

Figure 112011014724509-pat00002
Figure 112011014724509-pat00002

Figure 112011014724509-pat00003
Figure 112011014724509-pat00003

Figure 112011014724509-pat00004
Figure 112011014724509-pat00004

x와 y는 블록 내의 좌표이며, s는 JND의 적용정도를 나타내는 계수, Bx와 By는 블록의 가로 세로 크기이다. V값은 화소당 U값의 허용 오차범위이다. V값이 0일 경우 U가 임계값이상인 모든 블록에 대해 화면내 부호화를 하며 V가 커질수록 적응적 MCTF에 가까워진다. EB는 화소 당 허용된 오차 범위 V의 합으로 계산되는 값인데(EB=BxByV) JND를 통한 적응적 업데이트를 변경 없이 적용할 수 있는 U값의 범위를 지정하는데 사용된다. x and y are the coordinates in the block, s is the coefficient representing the degree of application of JND, and B x and B y are the horizontal and vertical dimensions of the block. The V value is an allowable error range of the U value per pixel. If the value of V is 0, intra-block coding is performed for all blocks where U is greater than or equal to a threshold value. As V increases, the value approaches the adaptive MCTF. E B is a value calculated as the sum of the allowable error ranges V per pixel (E B = B x B y V), which is used to specify the range of U values to which the adaptive update through JND can be applied without change.

이상에서 살펴본 바와 같이 JND를 이용하여 업데이트가 중복되어 일어나는 것을 방지한다. JND를 임계값으로 정하여 업데이트를 적용할 경우 임계값을 초과하는 영역에서 다중 업데이트가 일어나는 것을 방지할 수 있다. 또한 업데이트시 더해지는 U를 잡음이라고 가정하였을 때 잡음의 추가로 인한 임계값의 초과로 업데이트를 생략하는 결과를 가져오기 때문에 JND는 이러한 중복 업데이트를 방지하는데 사용될 수 있다.As described above, JND is used to prevent duplication of updates. Applying updates by setting the JND as a threshold can prevent multiple updates from occurring in areas that exceed the threshold. In addition, JND can be used to prevent such redundant updates because assuming that U added during the update is noise, the update is skipped due to the addition of noise.

그리고 움직임 정보를 이용하는 MCTF의 업데이트 과정에서 고려해야 할 사항 중 하나는 다중 참조된 화소에의 다중 업데이트이다. 고주파 밴드를 이용하여 저주파 밴드를 생성하는 업데이트 과정에서 고주파 밴드의 생성에 사용된 움직임 정보의 역방향을 이용하게 되는데 이는 하나의 화소에 반복적인 업데이트를 수행하게 되는 원인이 된다.One of the considerations in the update process of the MCTF using the motion information is the multiple update to the multi-referenced pixel. In the update process of generating a low frequency band using a high frequency band, the reverse direction of motion information used to generate a high frequency band is used, which causes repetitive updates to one pixel.

이러한 MCTF의 단점을 극복하기 위하여 적응적 MCTF에서는 지역 분산값인 JND를 업데이트의 임계값으로 사용하여 MCTF의 단점을 극복한다. 차폐된 픽셀 검출 알고리즘(Covered pixel detection algorithm)은 중복되는 업데이트를 방지하기 위하여 하나의 연결된 화소만을 선택하도록 하여 하나의 화소에 업데이트가 여러 번 수행되는 것을 방지하도록 도와준다.
In order to overcome the shortcomings of the MCTF, the adaptive MCTF overcomes the shortcomings of the MCTF by using JND, which is a local variance value, as the update threshold. Covered pixel detection algorithms help prevent multiple updates to a pixel by selecting only one connected pixel to prevent duplicate updates.

본 발명의 다른 실시예에 따르면, 지역 분산값을 이용한 적응적 MCTF의 업데이트 시 R-D 이론을 통해 최적의 임계값을 적용하여 부적절한 움직임 정보를 갖는 블록을 선별하여 화면 내 부호화 모드로 전환함으로써 화질의 향상을 얻을 수 있다. 즉, 본 발명에서는 JND를 이용하여 잘못된 움직임 정보를 갖는 블록을 선별하며 해당 블록을 화면 내 부호화하여 화질의 향상을 가져올 수 있도록 최적의 EB를 구하는 것이다.According to another embodiment of the present invention, when updating an adaptive MCTF using a regional variance value, an optimal threshold value is applied through an RD theory to select blocks having inappropriate motion information and to switch to intra picture coding mode to improve image quality. Can be obtained. That is, in the present invention, the block having the wrong motion information is selected by using JND, and the optimum E B is obtained to improve the image quality by encoding the block in the screen.

이하에서는 적응적 MCTF를 확장하여 지역 분산값인 JND를 업데이트시 임계값으로 적용함과 동시에 부적절한 움직임 정보를 갖는 블록을 선별하여 화면내 부호화모드로 전환하여 화질의 향상을 얻을 수 있는 방법을 상세히 살펴보기로 한다.In the following, the adaptive MCTF is extended to apply JND, which is a local variance value, as a threshold for updating, and at the same time, a block having inappropriate motion information is selected and switched to an intra picture encoding mode to obtain an improvement in image quality. Let's look at it.

도 3은 본 발명의 바람직한 일 실시예에 따른 R-D 이론을 이용한 적응적 MCTF 방법의 흐름도이다.3 is a flowchart of an adaptive MCTF method using R-D theory according to a preferred embodiment of the present invention.

300 단계에서 현재 블록의 움직임 정보를 검색한다.In step 300, motion information of the current block is retrieved.

310 단계에서 상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성한다.In step 310, a high frequency band image is generated using the retrieved motion information.

MCTF의 업데이트 과정에서 고주파 밴드 영상을 생성하고 이를 이용하여 저주파 밴드의 영상을 생성하게 된다. 고주파 밴드 영상 H[i]은 다음의 수학식 5와 같이 산출될 수 있다.During the updating of the MCTF, a high frequency band image is generated and a low frequency band image is generated using the same. The high frequency band image H [i] may be calculated as shown in Equation 5 below.

Figure 112011014724509-pat00005
Figure 112011014724509-pat00005

여기서, H[i]는 프레임 예측 과정에서 생성된 고주파 밴드 영상이고, P는 인접 프레임간의 움직임 보상을 이용하여 예측된 결과이다. s는 프레임 넘버에 따른 영상의 데이터를 나타내며, MV2i +1→2i는 홀수 프레임 2i+1에서 짝수 프레임인 2i로의 움직임 정보를 나타낸다. 결과적으로 MC(·)는 움직임 정보를 통한 보상을 이용하여 예측된 프레임을 나타낸다. Here, H [i] is a high frequency band image generated during a frame prediction process, and P is a result predicted using motion compensation between adjacent frames. s represents image data according to a frame number, and MV 2i + 1 → 2i represents motion information from an odd frame 2i + 1 to an even frame 2i. As a result, MC (·) represents a frame predicted by using compensation through motion information.

한편, 저주파 밴드 영상 L[i]는 다음의 수학식 6과 같이 산출될 수 있다.Meanwhile, the low frequency band image L [i] may be calculated as in Equation 6 below.

Figure 112011014724509-pat00006
Figure 112011014724509-pat00006

L[i]는 저주파 밴드 영상을 나타내는데 U는 짝수 프레임에 더해질 여분의 데이터를 나타낸다. 여분의 데이터는 수학식 1에서 생성된 H[i]와 역방향 움직임 정보를 이용하여 짝수프레임에 더해지게 된다. L [i] represents a low frequency band image, and U represents extra data to be added to an even frame. The extra data is added to even frames using H [i] generated from Equation 1 and backward motion information.

도 1의 구조와 함께 살펴보면, H[i]가 먼저 생성이 되고 L[i]가 생성된다. 이때 생성되는 L[i]를 살펴보면 부호화될 영상의 데이터에 U가 더해지게 되는데 lifting scheme에서는 이 업데이트 과정에서 더해지는 U를 이용하여 손실이 없는 역변환이 가능하게 되는 것이다. 하지만 이러한 U가 잡음으로 인식될 수 있기 때문에 업데이트 과정에서 현재의 화소와 주변의 차이에 따라 임계값을 적용함으로써 눈에 보이는 잡음을 줄일 수 있다.Referring to the structure of FIG. 1, H [i] is generated first and L [i] is generated. In this case, if L [i] is generated, U is added to the data of the video to be encoded. In the lifting scheme, the lossless inverse transform is enabled by using the U added during the updating process. However, since U can be recognized as noise, it is possible to reduce the visible noise by applying a threshold value according to the difference between the current pixel and the surroundings during the update process.

320 단계에서 상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(EB)을 산출한다.In operation 320, a sum E B of permissible error ranges per pixel for minimizing a Lagrangian cost function is calculated using a rate-distortion theory for the current block.

고정된 EB의 적용으로 인하여 고주파 성분이 적은 영역에서 임계값의 오류로 인하여 화질의 저하가 발생된다. 이러한 부호화 모드 전환의 오류는 시각적으로 잡음을 더 크게 느낄 수 있는 부분인 평평한 영역에서 더 자주 발생한다. 이 문제를 해결하기 위해 다음과 같이 R-D (Rate-Distortion) 이론을 적용한다.Due to the application of the fixed E B , the image quality is deteriorated due to the error of the threshold value in the region where the high frequency component is low. This error in encoding mode switching occurs more often in flat areas where visual noise is more noticeable. To solve this problem, we apply the rate-distortion (RD) theory as follows.

R-D 이론은 왜곡 D가 존재할 때, 요구되는 화질을 전송하기 위한 최소한의 전송 비트 레이트 R를 계산하기 위한 이론으로, 종래 기술인바 상세한 설명은 생략한다.R-D theory is a theory for calculating the minimum transmission bit rate R for transmitting the required picture quality when distortion D is present, which is a prior art and thus a detailed description thereof will be omitted.

Figure 112011014724509-pat00007
Figure 112011014724509-pat00007

수학식 7을 해결하기 위해서 λ를 찾아야 하지만 λ가 한정조건(constraint)과 볼록한 R-D 곡선의 특성을 만족시키는 선택된 최적점에서 R-D 곡선의 기울기라는 사실을 사용하면 문제를 간단하게 만들 수 있다. 따라서 비한정 문제는 일정한 λ를 사용해서 다음과 같이 설명되며 주어진 λ>0에 관해서 라그랑제 계열의 비용 함수 수학식 8을 최소화시키는 EB *에 관해서 해를 구할 필요가 있다.To solve Equation 7, we need to find λ, but we can simplify the problem by using the fact that λ is the slope of the RD curve at the selected optimal point that satisfies the characteristics of the constraint and convex RD curve. Therefore, the non-limiting problem is explained as follows using a constant λ, and it is necessary to solve for E B * which minimizes the Lagrange's cost function Equation 8 for a given λ> 0.

Figure 112011014724509-pat00008
Figure 112011014724509-pat00008

최적 해는 R-D 특성에 따라 λ>0일 때 존재하지 않을 수 있다는 것을 유의해야 한다. 음수가 아닌 모든 λ에 대하여, 한정된 문제의 해가 상응하는 비한정 문제의 해와 동일하다고 할 수 있다. 그러나

Figure 112011014724509-pat00009
가 주어진 λ값에 관해서 R과 같은 경우가 발생하게 되면 EB *는 한정 문제에 대한 원하는 해법이 된다. 다시 말해서, R이 주어지면 λ를 구할 수 있고 이에 따라서 비한정 문제에 관해서 해를 구할 수 있으며
Figure 112011014724509-pat00010
을 만족시키는 원하는 해법 EB *를 얻을 수 있다. Note that the optimal solution may not exist when λ> 0, depending on the RD characteristic. For all non-negative λ, it can be said that the solution of the finite problem is the same as the solution of the corresponding nonlimiting problem. But
Figure 112011014724509-pat00009
If R occurs for a given lambda value, then E B * is the desired solution to the limiting problem. In other words, given R, we can find λ and thus solve for non-limiting problems,
Figure 112011014724509-pat00010
We can obtain the desired solution E B * that satisfies.

따라서 EB뿐만 아니라 λ를 검색하여 한정된 최소 비용함수 값을 얻어야 한다. 프레임들 사이에서 장면의 변화가 일관성을 유지하면 프레임들 사이에서 λ의 값은 변화가 심하지 않다고 생각될 수 있다. 이것은 각각의 프레임에서 코드화된 비트율의 변화가 프레임들 사이에서 작다는 것을 암시하므로 각각의 프레임에 관해서 λ를 구하는 대신 다음 프레임들에 관해서 이전의 λ를 사용하면 컴퓨터로 처리하는 데 있어서의 복잡성을 감소시킬 수 있다. λ는 코드화된 프레임들의 품질 지수로서 해석될 수 있기 때문에 첫 번째 프레임의 코딩을 시작 시점으로 화면 변화가 발생 될 때까지 최적 λ를 구하는 것이 중요하다. 매크로블록들에 관해서 j번째 프레임의 왜곡은 다음과 같이 확장될 수 있다.Therefore, we need to search for λ as well as E B to obtain a finite minimum cost function. If changes in the scene between the frames remain consistent, the value of λ between the frames may be considered to be insignificant. This implies that the change in coded bit rate in each frame is small between frames, so using the previous λ for the next frame instead of finding λ for each frame reduces the complexity of the computer processing. You can. Since [lambda] can be interpreted as a quality index of coded frames, it is important to find an optimal [lambda] from the start of coding the first frame until a screen change occurs. With regard to the macroblocks, the distortion of the j th frame may be extended as follows.

Figure 112011014724509-pat00011
Figure 112011014724509-pat00011

따라서, 라그랑주 비용함수는 다음과 같이 변경된다.Therefore, the Lagrange cost function is changed as follows.

Figure 112011014724509-pat00012
Figure 112011014724509-pat00012

Figure 112011014724509-pat00013
,
Figure 112011014724509-pat00014
는 j번째 프레임,
Figure 112011014724509-pat00015
는 j번째 복원된 프레임을 의미하며 D와 D-1은 DCT와 IDCT, Q와 Q-1은 각각 양자화 및 역 양자화를 의미한다.
Figure 112011014724509-pat00013
,
Figure 112011014724509-pat00014
Is the jth frame,
Figure 112011014724509-pat00015
Is the j th reconstructed frame, D and D -1 are DCT and IDCT, and Q and Q -1 are quantization and inverse quantization, respectively.

330 단계에서 상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JNDsum)과 상기 짝수 프레임에 더해질 여분의 데이터의 합(Usum)을 산출한다.At step 330 to obtain a local dispersion (JND) per pixel of the current block, and calculates the sum (sum U) of the redundant data added to the sum of the current block in the region variance (sum JND) and the even frame.

340 단계와 350 단계에서 픽셀 당 허용된 오차 범위의 합(EB) 또는 상기 현재 블록 내 지역분산의 합(JNDsum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(Usum)과 비교한다. 이하에서는 짝수 프레임에 더해질 여분의 데이터의 합을 기준으로 설명하나, 경우에 따라서는 홀수 프레임에 더해질 여분의 데이터의 합으로 대체될 수 있다.The sum of extra data to be added to the even frame using at least one of the sum of the allowable error range E B per pixel or the sum of the local variance in the current block (JND sum ) in steps 340 and 350. sum ) Hereinafter, the description will be based on the sum of the extra data to be added to the even frame, but in some cases it may be replaced by the sum of the extra data to be added to the odd frame.

구체적으로 살펴보면, 340 단계에서 상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 360 단계로 진행하고, 큰 경우 350 단계로 진행한다.Specifically, when the sum of the allowed error range per pixel and the sum of the local variances in the current block is smaller than the sum of the extra data to be added to the even frame in step 340, the process proceeds to step 360. If proceeds to step 350.

JND이상이며 JND값에 비교적 근접한 U를 갖는 블록의 경우 모드변경 없이 값을 축소하여 적용함으로써 시각적인 화질의 향상을 얻을 수 있도록 한다. 한 블록 내에서는 해당 블록 내 모든 화소들이 갖는 JNDs(m,n)S를 합산하고 블록 내 U의 합 Usum와 비교하여 모드결정에 사용한다. 만약 올바른 움직임 정보를 찾지 못했을 경우에는 업데이트시에 더해지는 U가 증가하게 되므로 EB+JNDsum을 임계값으로 하여 EB+JNDsum이상의 Usum을 가지면 해당 블록의 움직임 정보가 올바르지 않다고 가정한다.In the case of a block having U above JND and relatively close to the JND value, the image quality is improved by reducing the value without changing the mode. In one block, JND s (m, n) S of all the pixels in the block are added and compared to the sum U sum of the U in the block, and used for mode determination. If unable to find a correct motion information increases, so that U is added to the update to the JND E B + E B + sum as a threshold value or more has the JND sum sum U is assumed that the motion information of the block is incorrect.

블록 내 대부분의 U가 JND보다 크거나 혹은 일부의 매우 큰 U가 존재할 경우 즉 블록 내 화소값들의 평균이 임계값 JND 이상일 경우 블록 내 U의 합인 Usum은 EB+JNDsumS보다 커진다. 이 경우 업데이트 과정을 생략하고 블록의 부호화 모드를 화면내 부호화로 전환한다. EB는 영상의 전송 환경의 변화에 따라 S와 같이 변동되면서 전송 환경에 적응이 쉽도록 도와주는 역할을 수행하는 것이 가능하다. 지역 분산값을 이용한 적응적 MCTF에 사용되는 업데이트 함수는 다음과 같이 정의된다.The sum of the U sum Most of my U U is greater than or JND or if there is a very large part of the U that is, if the average is greater than the threshold JND of the pixel values in the block, the block the block is greater than E + B sum S JND. In this case, the update process is omitted and the encoding mode of the block is switched to intra picture encoding. E B may be changed as S according to the change of the transmission environment of the image, and may play a role in helping to easily adapt to the transmission environment. The update function used for adaptive MCTF using local variance is defined as follows.

Figure 112011014724509-pat00016
Figure 112011014724509-pat00016

제안된 업데이트 함수는 JND와 EB를 이용하여 U를 3가지 범위로 나누고 각 상황에 따라 부호화한다. U가 EB+JNDsumS와 JNDsumS의 범위 내의 크기를 가질 경우 적응적 MCTF를 적용하고 일정 범위를 초과하는 U, 즉 U가 EB+JNDsumS 보다 클 경우 정확하지 않은 움직임 정보가 적용된 것으로 간주하고 해당 블록의 부호화 모드를 화면내 부호화 모드로 변경한다. 화면내 부호화로 전환된 블록은 기존의 인트라 블록과 같은 형태로 부호화 된다. 화면내 부호화로 전환되지 않은 블록들은 JND에 따라 적응적으로 더해져 저주파 밴드 영상을 생성한다. JND는 영상에 따라 그 값이 적응적으로 변경되는데 변경의 요인이 잡음의 가시성에 따라 변하므로 저주파 영역의 시각적인 화질 향상을 가져오게 된다. 또한 매우 큰 움직임이 포함된 영상의 경우에도 잘못된 움직임 정보로 인해 화질이 저하되는 부분을 선별하여 부호화 모드를 변경시키기 때문에 화질 향상에 기여할 수 있다.The proposed update function divides U into three ranges using JND and E B and encodes them for each situation. If U has a size within the range of E B + JND sum S and JND sum S, if the adaptive MCTF is applied and U exceeding a certain range, that is, U is greater than E B + JND sum S, inaccurate motion information It is regarded as applied and changes the coding mode of the block to the intra coding mode. A block converted to intra picture coding is encoded in the same form as an existing intra block. Blocks not converted to intra picture coding are adaptively added according to JND to generate a low frequency band image. The value of JND is adaptively changed according to the image, and the change factor is changed according to the visibility of noise, resulting in visual quality improvement of low frequency region. In addition, even in the case of an image including a very large motion, it is possible to contribute to the improvement of the image quality by selecting a portion in which the image quality deteriorates due to wrong motion information and changing the encoding mode.

350 단계에서 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 370 단계로 진행하고, 큰 경우 380 단계로 진행한다.In step 350, if the sum of the local variances in the current block is smaller than the sum of the extra data to be added to the even frame, the flow proceeds to step 370, and if large, the flow proceeds to step 380.

360 단계에서 상기 현재 블록에 대하여 화면 내 부호화한다.In step 360, the current block is encoded in the screen.

370 단계에서 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경한다.In step 370, the sum of the extra data to be added to the even frame is changed using the sum of the local variances in the current block.

380 단계에서 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지한다.In step 380, the sum of the extra data to be added to the even frame is maintained for the current block.

도 4는 MCTF의 예측 과정과 역방향 움직임 정보로 인한 업데이트의 중복을 도시한 것이다.4 illustrates duplication of updates due to the prediction process of MCTF and backward motion information.

MCTF의 예측 과정을 살펴보면 프레임 s[2i]를 이용하여 프레임 s[2i+1]를 예측하고 이를 이용하여 H[i]를 생성한다. 업데이트시 역방향 움직임 정보를 이용하여 H[i]가 s[2i]에 더해지는 과정에서 업데이트가 중복되는 음영부분이 발생한다.Looking at the prediction process of the MCTF, the frame s [2i] is predicted using the frame s [2i + 1], and H [i] is generated using the prediction. In the process of adding H [i] to s [2i] by using backward motion information during update, a shaded portion in which the update is duplicated occurs.

차폐된 픽셀 검출 알고리즘(Covered pixel detection algorithm)은 이러한 부분의 업데이트가 한 번만 일어나도록 하며 한 블록 내 업데이트 되지 못한 화소가 과반수 존재하면 해당 블록을 화면 내 부호화한다. 하지만 차폐된 픽셀 검출 알고리즘에서는 부호화 모드 결정을 위해 각 화소별로 별도의 연산 과정이 필요하다.The covered pixel detection algorithm causes such an update to occur only once, and if there are a majority of unupdated pixels in a block, the block is encoded in the picture. However, the shielded pixel detection algorithm requires a separate operation process for each pixel to determine an encoding mode.

도 5는 각각의 MCTF 별로 JSVM에 foreman 시퀀스를 적용하여 나타난 PSNR과 비트량을 그래프화한 것이다. 도 6은 각각의 MCTF 별로 JSVM에 football 시퀀스에 적용하여 나타난 PSNR과 비트량을 그래프화 한 것이다.FIG. 5 is a graph of PSNR and bit amount indicated by applying a foreman sequence to JSVM for each MCTF. FIG. 6 is a graph of PSNRs and bit amounts indicated by applying football sequences to JSVM for each MCTF.

그래프에서 알 수 있듯이 본 발명에 따른 MCTF는 기존 방법에 비해 0.5~0.8dB 정도의 PSNR의 향상이 나타났으며 최종 비트수 또한 기준 방법에 비해 80~800비트 정도가 증가하여 평균적으로 약 250비트 정도가 늘어난 것으로 나타났다. 이는 비슷한 압축률에서 더 나은 PSNR 결과를 나타내는 것이며 잡음이 눈에 잘 띄는 저주파 부분의 화질 개선 위주의 PSNR 향상이므로 시각적으로 더 나은 화질을 제공한다.As can be seen from the graph, the MCTF according to the present invention showed an improvement in PSNR of about 0.5 to 0.8 dB compared to the conventional method, and the number of final bits also increased by about 80 to 800 bits compared to the reference method, which is about 250 bits on average. Appeared to increase. This results in better PSNR results at similar compression rates and visually better picture quality as PSNR enhancements focus on image quality improvements in low frequency parts where noise is noticeable.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims (8)

현재 블록의 움직임 정보를 검색하는 단계;
상기 검색된 움직임 정보를 이용하여 고주파 밴드 영상을 생성하는 단계;
상기 현재 블록에 대하여 R-D 이론(Rate-Distortion Theory)을 이용하여 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 픽셀 당 허용된 오차 범위의 합(EB)을 산출하는 단계;
상기 현재 블록의 픽셀별 지역 분산(JND)을 구하고, 상기 현재 블록 내 지역분산의 합(JNDsum)과 짝수 프레임에 더해질 여분의 데이터의 합(Usum)을 산출하는 단계;
상기 픽셀 당 허용된 오차 범위의 합(EB) 또는 상기 현재 블록 내 지역분산의 합(JNDsum) 중 적어도 하나 이상을 이용하여 상기 짝수 프레임에 더해질 여분의 데이터의 합(Usum)과 비교하는 단계; 및
상기 비교 결과에 따라, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하거나 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하거나, 상기 현재 블록에 대하여 화면 내 부호화하는 단계를 포함하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
Retrieving motion information of the current block;
Generating a high frequency band image using the retrieved motion information;
Calculating a sum E B of permissible error ranges per pixel to minimize a Lagrangian cost function using a rate-distortion theory for the current block;
Obtaining a regional variance (JND) for each pixel of the current block and calculating a sum (J sum ) of local variances in the current block and extra data to be added to an even frame (U sum );
Comparing at least one of the sum of allowed error ranges per pixel E B or the sum of local variances JND sum in the current block to a sum of extra data U sum to be added to the even frames. step; And
According to the comparison result, the sum of the extra data to be added to the even frame for the current block is maintained as it is, or the sum of the extra data to be added to the even frame is changed using the sum of local variances in the current block, Adaptive MCTF method using the RD theory, characterized in that it comprises the step of intra picture coding for the current block.
제 1 항에 있어서,
상기 R-D 이론에서 R-D 곡선의 기울기를 λ라고 할 때, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 상기 픽셀 당 허용된 오차 범위의 합과 상기 λ를 선택하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
The method of claim 1,
In the RD theory, when the slope of the RD curve is λ, an RD theory is selected, wherein the sum of the allowed error ranges per pixel is minimized to minimize the Lagrangian cost function. Adaptive MCTF method using
제 2 항에 있어서,
현재 프레임에 대한 λ를 다음 프레임에 대한 λ로 사용함으로써, 상기 라그랑제 계열의 비용함수식(Lagrangian cost function)을 최소화하는 연산의 복잡성을 줄이는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
The method of claim 2,
The adaptive MCTF method using the RD theory characterized by reducing the complexity of the operation to minimize the Lagrangian cost function (λ) for the current frame as λ for the next frame.
제 1 항에 있어서,
상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 현재 블록에 대하여 화면 내 부호화하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
The method of claim 1,
If the sum of the sum of the allowable error ranges per pixel and the sum of the local variances in the current block is smaller than the sum of the extra data to be added to the even frame, the intra-block coding is performed on the current block. Adaptive MCTF Method Using Theory.
제 1 항에 있어서,
상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 크고, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 큰 경우, 상기 현재 블록에 대하여 상기 짝수 프레임에 더해질 여분의 데이터의 합을 그대로 유지하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
The method of claim 1,
The sum of the allowed error range per pixel and the sum of the local variances in the current block is greater than the sum of the extra data to be added to the even frame, and the sum of the local variances in the current block is added to the even frame. If greater than the sum of the data, the adaptive MCTF method using the RD theory, characterized in that to maintain the sum of the extra data to be added to the even frame for the current block.
제 1 항에 있어서,
상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 크고, 상기 현재 블록 내 지역분산의 합이 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 상기 짝수 프레임에 더해질 여분의 데이터의 합을 상기 현재 블록 내 지역분산의 합을 이용하여 변경하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
The method of claim 1,
The sum of the allowed error range per pixel and the sum of the local variances in the current block is greater than the sum of the extra data to be added to the even frame, and the sum of the local variances in the current block is added to the even frame. If less than the sum of the data, the adaptive MCTF method using the RD theory, characterized in that for changing the sum of the extra data to be added to the even frame using the sum of the local variance in the current block.
제 4 항에 있어서,
상기 픽셀 당 허용된 오차 범위의 합과 상기 현재 블록 내 지역분산의 합을 더한 결과가 상기 짝수 프레임에 더해질 여분의 데이터의 합보다 작은 경우, 정확하지 않은 움직임 정보가 적용된 것으로 판단하는 것을 특징으로 하는 R-D 이론을 이용한 적응적 MCTF 방법.
The method of claim 4, wherein
When the sum of the allowed error range per pixel and the sum of the local variance in the current block is smaller than the sum of the extra data to be added to the even frame, it is determined that the incorrect motion information is applied. Adaptive MCTF Method Using RD Theory.
제 1 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. A computer-readable recording medium storing a program for causing a computer to execute the method according to any one of claims 1 to 7.
KR1020110018129A 2011-02-28 2011-02-28 Contents Adaptive MCTF Using RD Optimization KR101221495B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110018129A KR101221495B1 (en) 2011-02-28 2011-02-28 Contents Adaptive MCTF Using RD Optimization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110018129A KR101221495B1 (en) 2011-02-28 2011-02-28 Contents Adaptive MCTF Using RD Optimization

Publications (2)

Publication Number Publication Date
KR20120098274A KR20120098274A (en) 2012-09-05
KR101221495B1 true KR101221495B1 (en) 2013-01-11

Family

ID=47109356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110018129A KR101221495B1 (en) 2011-02-28 2011-02-28 Contents Adaptive MCTF Using RD Optimization

Country Status (1)

Country Link
KR (1) KR101221495B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015122726A1 (en) * 2014-02-13 2015-08-20 한국과학기술원 Pvc method using visual recognition characteristics
CN104469386B (en) * 2014-12-15 2017-07-04 西安电子科技大学 A kind of perception method for encoding stereo video of the proper appreciable error model based on DOF
CN106886419B (en) * 2017-03-28 2021-04-27 武汉斗鱼网络科技有限公司 Network picture loading method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1617677A1 (en) 2004-07-12 2006-01-18 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR20060092825A (en) * 2004-07-12 2006-08-23 마이크로소프트 코포레이션 Adaptive updates in motion-compensated temporal filtering
KR20100016795A (en) * 2008-08-05 2010-02-16 동국대학교 산학협력단 Method for content adaptive coding mode selection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1617677A1 (en) 2004-07-12 2006-01-18 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR20060092825A (en) * 2004-07-12 2006-08-23 마이크로소프트 코포레이션 Adaptive updates in motion-compensated temporal filtering
KR20100016795A (en) * 2008-08-05 2010-02-16 동국대학교 산학협력단 Method for content adaptive coding mode selection

Also Published As

Publication number Publication date
KR20120098274A (en) 2012-09-05

Similar Documents

Publication Publication Date Title
US11538198B2 (en) Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform
US10218975B2 (en) Transform precision manipulation in video coding
CN107105280B (en) Apparatus for encoding moving picture
JP5234241B2 (en) Moving picture encoding method, apparatus using the same, and computer program
JP5061179B2 (en) Illumination change compensation motion prediction encoding and decoding method and apparatus
US9237354B2 (en) Video coding apparatus, video coding method and video coding program, and video decoding apparatus, video decoding method and video decoding program
KR20170021337A (en) Encoder decisions based on results of hash-based block matching
US20070171970A1 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
KR20110001990A (en) Apparatus and metohd of in loop filtering an image data and encoding/decoding apparatus using the same
KR20110071231A (en) Encoding method, decoding method and apparatus thereof
US20120307898A1 (en) Video encoding device and video decoding device
KR101388902B1 (en) Techniques for motion estimation
KR20140110221A (en) Video encoder, method of detecting scene change and method of controlling video encoder
JP2009021908A (en) Motion picture encoder, and program
US20110228854A1 (en) Apparatus and method for encoding/decoding a video signal
WO2010082463A1 (en) Image encoding apparatus and image encoding method, image decoding apparatus and image decoding method
US20130114690A1 (en) Video encoding device and video decoding device
KR100856392B1 (en) Video Encoding and Decoding Apparatus and Method referencing Reconstructed Blocks of a Current Frame
JP4383240B2 (en) Intra-screen predictive coding apparatus, method thereof and program thereof
KR101221495B1 (en) Contents Adaptive MCTF Using RD Optimization
US10015484B2 (en) Adaptive scan device and method for scanning thereof
Brites et al. Distributed video coding: Assessing the HEVC upgrade
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction
KR101850152B1 (en) Method for applying adaptive loop filter and scalable video coding apparatus
KR101021249B1 (en) Method for Content Adaptive Coding Mode Selection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 8