KR100682761B1 - 조명 변화에 대한 적응적 움직임 예측 장치 및 방법 - Google Patents

조명 변화에 대한 적응적 움직임 예측 장치 및 방법 Download PDF

Info

Publication number
KR100682761B1
KR100682761B1 KR1020040099398A KR20040099398A KR100682761B1 KR 100682761 B1 KR100682761 B1 KR 100682761B1 KR 1020040099398 A KR1020040099398 A KR 1020040099398A KR 20040099398 A KR20040099398 A KR 20040099398A KR 100682761 B1 KR100682761 B1 KR 100682761B1
Authority
KR
South Korea
Prior art keywords
block
current frame
average value
pattern block
reference frame
Prior art date
Application number
KR1020040099398A
Other languages
English (en)
Other versions
KR20060060350A (ko
Inventor
이영렬
장의선
이충구
Original Assignee
주식회사 휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴맥스 filed Critical 주식회사 휴맥스
Priority to KR1020040099398A priority Critical patent/KR100682761B1/ko
Priority to US11/289,650 priority patent/US7924923B2/en
Publication of KR20060060350A publication Critical patent/KR20060060350A/ko
Application granted granted Critical
Publication of KR100682761B1 publication Critical patent/KR100682761B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 조명 변화에 대한 적응적 움직임 예측 방법 및 장치에 관한 것으로서, 보다 상세하게는 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 방법 및 장치에 관한 것이다. 바람직한 실시예에 의할 때, 움직임 예측 방법은 (a) 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하는 단계; (b) 참조 프레임 패턴 블록 중에 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하는 단계; (c) 최소의 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하는 단계; 및 (d) 움직임 벡터에 대응하는 후보 패턴 블록과 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성한 후, 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 단계를 포함한다.
예측 부호화, 움직임 예측, 움직임 보상, SAD, 조명

Description

조명 변화에 대한 적응적 움직임 예측 장치 및 방법{Adaptive motion predictive device for illumination change and method for producing the same}
도 1은 본 발명의 바람직한 실시예에 따른 움직임 예측 방법을 설명한 순서도.
도 2a는 본 발명의 바람직한 실시예에 따른 부호화 장치의 구성을 나타낸 도면.
도 2b는 본 발명의 바람직한 실시예에 따른 복호화 장치의 구성을 나타낸 도면.
도 3a 및 3b는 본 발명의 바람직한 제1 실시예에 따른 실험 결과를 나타낸 그래프.
도 4a 및 4b는 본 발명의 바람직한 제2 실시예에 따른 실험 결과를 나타낸 그래프.
도 5a 및 5b는 본 발명의 바람직한 제3 실시예에 따른 실험 결과를 나타낸 그래프.
<도면의 주요부분에 대한 부호의 설명>
210 : 현재 프레임의 휘도 평균값 산출부
220 : 참조 프레임의 휘도 평균값 산출부
230 : 움직임 예측부
231 : 현재 프레임의 패턴 블록화부
233 : 참조 프레임의 패턴 블록화부
235 : 움직임 벡터 결정부
240 : 움직임 추정부
본 발명은 조명 변화에 대한 적응적 움직임 예측 방법 및 장치에 관한 것으로서, 보다 상세하게는 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 방법 및 장치에 관한 것이다.
종래 기술에 의할 때, ITU T와 ISO/IEC에서는 영상의 부호화 효율성을 향상시키는 과정에서, H.26x 시리즈와 MPEG x 시리즈를 발표하였다. 그리고 2003년도에는 H.264(MPEG 4 part 10 Advanced Video Coding)를 완성시키면서 많은 비트를 절감할 수 있게 되었다. 이러한 비디오 부호화 표준이 발전하면서 블록 기반 움직임 예측(BMME : block matching motion estimation)에 관한 연구도 많았는데, 대부 분의 방법은 현재 프레임(frame)의 블록과 참조 프레임의 후보 블록의 SAD(sum of absolute differences)들을 구하여 가장 작은 SAD(Sum of Absolute Difference)를 보이는 참조 프레임의 후보 블록의 위치를 현재 프레임의 블록의 움직임 벡터(motion vector)로 결정하도록 구성된다.
그리고 그 후보 블록과 현재 프레임의 블록간의 차분신호(residual)들을 이산여현변환(DCT : discrete cosine transform)과 양자화(quantization)를 하여 움직임 벡터와 같이 가변장 부호화(VLC : variable length coding)를 수행한다. 여기서, 움직임 벡터를 찾는다는 것은 현재 프레임과 참조 프레임의 시간적 중복성(temporal redundancy)을 제거하여 획득하는 것이므로, 상당한 부호화 효율을 가져왔으나 다음과 같은 문제점이 있다.
즉, 영상 내에 장면변화(scene change) 또는 조명이 서서히 어두워지거나 밝아지거나 또는 깜박거림이 있는 경우, 종래 기술에 따른 블록간의 SAD를 계산하여 최소의 SAD를 찾아 차분신호를 부호화하면 부호화에 사용되는 비트가 많이 필요하여, 압축률이 급격히 저하되는 문제점이 있다.
일반적으로 장면변화가 있으면 변화된 그 프레임은 화면내 부호화(intra)를 하는 것이 움직임 예측과 움직임 보상(motion compensation)을 하는 것보다 더욱 효과적이다. 그 이유는 참조 프레임의 탐색 영역 내 어느 곳에서도 현재 프레임의 블록의 패턴을 찾아볼 수 없기 때문이다. 마찬가지로, 조명의 변화나 깜박거림에서도 같은 방법으로 움직임 예측을 하여 차분신호를 부호화하게 되면 유사한 결과가 나온다. 그래서 이 경우에서도 화면내 부호화를 하는 경우가 많다. 하지만 이 경우 장면변화는 없었으므로, 참조 프레임에서 현재 프레임의 블록과 비슷한 패턴을 가진 블록을 찾을 수 있으나, 그 블록과 현재 프레임의 블록의 차분을 부호화하더라도 많은 비트를 필요로 하는 문제점이 발생한다.
따라서 본 발명은 상기의 제반 문제점을 해결하기 위하여 안출한 것으로서, 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 방법 및 장치에 관한 것이다.
또한, 본 발명의 다른 목적은 조명 변화에 대하여 화면내 부호화를 수행하지 아니하고, 효율적으로 압축을 수행할 수 있는 방법 및 장치를 제공함에 있다.
또한, 본 발명의 또 다른 목적은 실제 환경에서 주변 조명변화에 강인한 코덱을 제공함에 있으며, 그 외의 다른 본 발명의 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
상술한 목적을 달성하기 위하여 본 발명의 제 1측면에 따르면, 조명 변화에 대한 적응적 움직임 예측 방법을 제공할 수 있다.
바람직한 실시예에 의할 때, 상기 움직임 예측 방법은 (a) 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하는 단계, (b) 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하고, 상기 산출된 SAD 중 미리 설정된 조건에 대응하는 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하는 단계, (c) 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성한 후, 상기 잔여 신호에 대하여 미리 설정된 부호화 모드에 따라 이산여현변환과 양자화를 수행하여, 상기 현재 프레임 블록을 부호화하는 단계 및 (d) 부호화된 현재 프레임 블록의 화소 평균값 및 상기 부호화 모드에 대한 식별 정보를 상기 부호화된 현재 프레임 블록에 첨부하는 단계를 포함한다.
또한, 상기 (a) 단계는 상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하는 단계; 및 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성하는 단계를 포함한다.
그리고 상기 (c) 단계는 상기 현재 프레임 블록의 화소 평균값에 대한 이산여현변환과 양자화를 수행하는 단계를 더 포함한다.
여기서, 상기 SAD는 하기 수학식에 의하여 산출되며,
NewSAD(x,y) =
Figure 112004056374676-pat00001
Figure 112004056374676-pat00002
｜ (f(i,j)-
Figure 112004056374676-pat00003
)-(r(i+x, j+y)-
Figure 112004056374676-pat00004
)｜
상기 Mcurr은 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭한다.
또한, 상기 (d) 단계에서 상기 잔여 신호는 하기 수학식에 의하여 산출되며,
NewR(i,j) = {f(i,j)-
Figure 112004056374676-pat00005
}-{r(i+
Figure 112004056374676-pat00006
, j+
Figure 112004056374676-pat00007
)-
Figure 112004056374676-pat00008
}
= f(i,j)-r(i+
Figure 112004056374676-pat00009
, j+
Figure 112004056374676-pat00010
)-
Figure 112004056374676-pat00011
+
Figure 112004056374676-pat00012
상기 NewR은 상기 잔여 신호, 값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭한다.
상술한 목적을 달성하기 위하여 본 발명의 제 2측면에 따르면, 조명 변화에 대한 적응적 움직임 예측 장치를 제공할 수 있다.
바람직한 실시예에 의할 때, 상기 움직임 예측 장치는 현재 프레임 블록에 대한 현재 프레임 패턴 블록 및 참조 프레임 블록에 대한 참조 프레임 패턴 블록을 생성하기 위한 패턴 블록 생성부; 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하고, 최소의 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하기 위한 움직임 벡터 결정부; 및 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성하기 위한 움직임 보상부를 포함한다.
여기서, 상기 패턴 블록 생성부는 상기 현재 프레임 블록의 휘도 성분 평균값 및 상기 참조 프레임 블록의 휘도 성분 평균값을 산출하고, 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성한다.
또한, 상기 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 수단을 더 포함한다.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 조명 변화에 대한 적응적 움직임 예측 장치 및 방법의 바람직한 실시예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
적응적 움직임 예측 장치 및 방법의 동작
도 1은 본 발명의 바람직한 실시예에 따른 적응적 움직임 예측 방법의 동작 순서를 도시한 도면이다.
본 발명에 의한 적응적 움직임 예측 방법에 의하면, 영상에서 조명이 변화하거나 깜박거리는 경우 이를 인식하여, 화면내 부호화를 하지 않고 패턴이 가장 비슷한 블록을 검색하여 부호화하도록 구성된다.
즉, 본 발명은 조명이 변화하면서 블록의 휘도성분의 값이 전체적으로 올라 가거나 내려가는 것에 착안하여, 현재 블록의 휘도성분 평균값을 구하고, 각 휘도 성분값과 구한 평균값을 차분하여 새로운 패턴 블록(pattern block)을 생성하고, 참조 프레임에서도 같은 과정을 통해 참조 패턴 블록을 생성한다.
본 발명은 이와 같이 생성된 현재 패턴 블록과 참조 패턴 블록 사이에서 움직임 예측을 수행하여 부호화하는 방법(이하 패턴부호화라 칭함)이다. 본 발명에 따르면, 동일한 비트율에서 객관적 화질(PSNR)은 0.1dB~0.3dB이상의 향상이 되는 결과를 제공하며, 실제 환경에서 주변 조명변화에 강인한 코덱을 제공할 수 있다.
이하, 도 1을 참조하여 본 발명에 따른 동작 순서를 설명하면 다음과 같다. 먼저, 단계 S100에서 깜박 거리 등과 같은 조명 변화가 발생하면 이를 인식하고, 통상의 화면내 부호화를 수행하지 아니하고, 본 발명에 따른 움직임 예측에 따른 패턴 부호화 방법을 수행하도록 인식한다.
단계 S110에서 참조 프레임의 블록 중에 현재 프레임의 블록과 가장 비슷한 패턴을 가진 후보 블록을 검색하기 위하여, 현재 프레임의 블록에 있는 휘도성분의 평균값을 구하여 그 평균값을 각 휘도성분에서 빼주어 현재 프레임 블록의 패턴 블록을 만든다. 그리고 참조 프레임의 블록들도 같은 과정을 통하여 참조 프레임 블록의 패턴 블록을 만든다.
현재 프레임의 블록과 참조 프레임의 블록들의 패턴 블록이 모두 완성되면, 단계 S120에서 패턴 블록끼리의 SAD를 구하고, 최소의 SAD를 보이는 후보 패턴 블록이 최종 움직임 벡터가 된다.
이후, 부호화 효율을 높이기 위하여, 앞에서 산출한 패턴 블록을 사용하게 된다. 즉, 단계 S130에서 최종 움직임 벡터가 가리키는 후보 블록의 패턴 블록과 현재 프레임 블록의 패턴 블록의 차분 신호(이하. 잔여 신호라 칭함)를 이산여현변환과 양자화를 수행하여, 많은 비트를 사용하지 않고도 부호화할 수 있다. 여기서, 화소 평균값도 함께 부호화하도록 구성할 수 있다.
그리고 단계 S140에서 복호화를 위하여, 함께 부호화된 현재 프레임의 블록의 화소 평균값을 첨부하여, 복호화 장치로 전송할 수 있다. 여기서, 상기 화소 평균값은 종래 코딩 방식 또는 향후 개발될 코딩 방식에 따라 부호화하여 전송할 수 있다.
이러한 방법으로 기존에는 화면내 부호화가 불가피했던 블록들을 움직임 예측을 통해 부호화를 하기 때문에 부호화 효율의 향상을 가져올 수 있다.
구체적인 부호화 방법
이하, 도 2a 및 도 2b를 참조하여 본 발명에 따른 부호화를 위한 구체적인 방법을 설명하기로 한다. 도 2a는 본 발명의 바람직한 실시예에 따른 부호화 장치의 구성을 도시한 도면이고, 도 2b는 본 발명의 바람직한 실시예에 따른 복호화 장치의 구성을 도시한 도면이다.
도 2a는 본 발명의 바람직한 실시예에 따른 부호화 장치의 블록 다이어그램을 도시한 도면이다.
본 발명에 따른 부호화 장치는 현재 프레임의 휘도 평균값 산출부(210), 참조 프레임의 휘도 평균값 산출부(220), 움직임 예측부(230) 및 움직임 추정부(240) 를 포함한다.
움직임 예측부(230)는 참조 프레임의 블록 중에 현재 프레임의 블록과 가장 비슷한 패턴을 가진 후보 블록을 검색하기 위하여, 현재 프레임의 휘도 평균값 산출부(210)에서 산출한 휘도성분의 평균값을 구하여 그 평균값을 현재 프레임의 각 휘도성분에서 빼주어 현재 프레임 블록의 패턴 블록을 생성하기 위한 현재 프레임의 패턴 블록화부(231) 및 참조 프레임의 블록들도 같은 과정을 통하여 참조 프레임 블록의 패턴 블록을 생성하기 위한 참조 프레임의 패턴 블록화부(233)를 포함한다.
움직임 벡터 결정부(235)는 현재 프레임의 블록과 참조 프레임의 블록들의 패턴 블록이 모두 완성되면, 패턴 블록끼리의 SAD를 구하고, 최소의 SAD를 보이는 후보 패턴 블록을 최종 움직임 벡터를 결정하는 기능을 수행한다.
여기서, 움직임 벡터 결정부(235)의 SAD는 종래 방식과는 상이하게, 블록 패턴의 효율성을 위하여 새로운 수식으로 산출된다.
종래 기술에 따른 최적의 움직임 벡터를 구하기 위한 SAD는 다음과 수학식 1을 이용하여 산출되며, SAD가 가장 작은 후보 블록을 최적의 움직임 벡터로 결정하도록 구성된다.
Figure 112004056374676-pat00013
Figure 112004056374676-pat00014
SAD(x,y) = ｜ f(i,j)-r(i+x, j+y)｜
여기서, f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, S와 T는 블록매칭시 사용하는 블록의 크기를 나타낸다. 또한 수학식 1에서 (x,y)는 움직임벡터를 나타낸다.
반면, 본 발명에 의할 때, 조명 변화로 인한 현재 블록과 후보 블록 간의 오차를 최소화하기 위하여 조명 변화에 영향을 받지 않는 객체의 형태, 즉 패턴을 추출하여야 하는데, 그 방법으로 하기 수학식 2와 같이 각 블록에서 얻어진 평균값을 각 블록에 차분하여 패턴 블록을 생성할 수 있다.
Figure 112004056374676-pat00015
Figure 112004056374676-pat00016
Figure 112004056374676-pat00017
Figure 112004056374676-pat00018
NewSAD(x,y) = ｜ (f(i,j)-)-(r(i+x, j+y)-)｜
여기서, Mcurr과 Mref는 각각 현재 블록과 참조 프레임의 후보 블록의 화소 평균값을 의미한다.
움직임 보상부(240)는 기존과는 상이한 움직임 보상 산식을 이용하여 움직임 보상을 수행할 수 있다. 움직임 보상부(240)는 잔여 신호를 부호화하기 위해 상기 수학식 2에 의하여 산출한 SAD 계산식으로 획득한 참조 블록을 이용한다. 하기 수학식 3과 같이, 현재 블록과 참조 블록의 각 화소값에 각각의 화소 평균값을 차분하여 움직임을 보상을 수행할 수 있다.
Figure 112004056374676-pat00019
Figure 112004056374676-pat00020
Figure 112004056374676-pat00021
Figure 112004056374676-pat00022
NewR(i,j) = {f(i,j)-}-{r(i+, j+)-}
= f(i,j)-r(i+
Figure 112004056374676-pat00023
, j+
Figure 112004056374676-pat00024
)-
Figure 112004056374676-pat00025
+
Figure 112004056374676-pat00026
여기서, NewR은 화소 평균값을 차분해준 잔여 신호 (residual signal)를 의미한다. 위와 같이, 각 블록의 평균값으로 차분함으로써 잔여 신호의 평균을 0에 가깝도록 조정하여 조명 변화로 인해 떨어진 압축 효율을 높일 수 있다.
상기 잔여신호(NewR)은 이산여현변환 (DCT)과 양자화 (Quantization)를 거쳐 부호화된 잔여신호(NewR')가 되고, 최종적으로 Entropy Coding과정을 통해 부호화 과정을 마치게 된다.
도 2b는 본 발명의 바람직한 실시예에 따른 복호화 장치의 블록 다이어그램을 도시한 도면이다.
역으로 복호화 과정에서는 상기 부호화된 잔여신호(NewR')는 역양자화(inverse quantization)와 역이산여현변환(inverse DCT)를 통해 복원된 잔여신호(NewR'')가 되고 이를 통해 복원(reconstruction)을 수행하게 된다. 하지만, 복호기에서 복원을 수행하기 위해선 반드시 현재 복호화 중인 블록의 화소 평균값이 필요하다. 그렇기 때문에 현재 블록의 화소 평균값(Mcurr)에 대한 추가적인 정보가 Syntax에 추가되어야 하며, 바람직한 실시예에 의할 때, 상기 값을 8bits 고정 길이 코드(8bits fixed length code)로 표시할 수 있다.
복호화 장치의 움직임 보상부(250)는 참조 프레임의 휘도 평균값 산출부(260)에서 산출한 휘도 평균값과 부호화 장치에서 수신한 움직임 벡터. 현재 블록 의 휘도 평균값을 이용하여, 상기 복원된 잔여신호(NewR'')에 대한 복호화를 수행할 수 있다.
결과적으로 역양자화와 역이산여현변환 이후의 복원 과정은 하기의 수학식 4와 같이 나타낼 수 있다.
Figure 112004056374676-pat00027
Figure 112004056374676-pat00028
Figure 112004056374676-pat00029
Figure 112004056374676-pat00030
f'(i, j) = r(i+, j+) + NewR''(i,j)+ -
여기서, f'(i, j)는 복호화된 현재 프레임의 i,j 좌표에서 화소값, r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, (x,y)는 움직임벡터를 지칭한다. 즉, 복원된 잔여신호(NewR'')에 움직임 벡터를 고려한 참조프레임의 화소값을 더한 후, 현재 블록의 화소 평균값을 더하고, 참조 프레임의 후보 블록의 화소 평균값을 빼면, 현재 프레임의 i,j 좌표에서 화소값을 산출하여 복호할 수 있다.
여기서, 본 발명에 따른 조명 변화에 적응적인 움직임 예측 방법은 H.264을 포함하는 종래 모든 부호화 및 복호화 방식 뿐만 아니라, 향후 개발될 모든 부호화 및 복호화 방식에 적용할 수 있다. 실시예에 의할 때, 소정의 부호화 방식에 본 발명이 적용되는 경우, 부호화 모드는 기존 부호화 모드의 두 배가 된다. 이는, 기존 방식에 따른 각 부호화 모드에 대응하여 화소 평균값을 이용한 부호화 모드가 각각 생성되기 때문이다. 따라서, 본 발명을 적용하는 경우, 상기 부호화 모드를 식별하기 위한 식별자를 플래그 필드 등에 표시하는 단계가 더 추가될 수 있다.
실험 결과
도 3a 내지 도 5b는 본 발명의 바람직한 실시예에 따른 실험 결과를 나타낸 그래프이다.
본 발명에 따른 움직임 예측 부호화 방법의 실험 결과를 도면에 도시된 그래프를 참조하여 설명하기로 한다.
본 발명의 실험은 H.264의 참조부호화기인 JM(joint model)8.2을 이용하여 실행하였으며 16x16 블록 모드만 사용한 경우와 가변 크기 블록(variable block size)의 모든 블록 모드(16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4)를 사용한 경우의 움직임 예측 및 보상을 수행하였다. 실험에 사용된 영상은 QVGA(Objects1, Flamenco1)영상, CIF(Paris, Mobile and Calendar), QCIF(Foreman, Container)영상이다. 여기서, CIF, QCIF영상은 H.264의 실험 권고 영상이고, QVGA영상은 현재 ISO/IEC MPEG에서 EE(exploration experiment)단계에 있는 3DAV(3 Dimensions audio video)를 연구하고 있는 KDDI corp.에서 만든 실험 영상으로 Objects1영상은 조명이 깜박거림을 반복하고 있으며, Flamenco1영상은 조명이 밝아졌다 어두워지는 것을 반복하는 영상이다. 그리고 모든 실험 영상은 300프레임을 갖는 영상으로 첫 프레임만 화면내 부호화를 하고 나머지 프레임은 예측 부호화를 하였다(IPPPP…). 그리고 모든 실험에는 미리 설정된 율 왜곡 최적화 기술을 사용하였다. 제안된 방법은 JM8.2에 구현되어 있는 전체 영역 탐색 기법으로 움직임 예측한 결과의 PSNR(peak signal to noise ratio)과 비교하였다.
도 3a 및 3b를 참조하면, 본 발명에 따른 움직임 예측 방법과 종래 기술에 따른 방법으로 움직임 예측을 수행한 결과에 율 왜곡 곡선이 도시되어 있다. 여기서, 가로축은 비트율을 나타내고 세로축은 PSNR을 나타낸다. 도 3a를 참조하면, 16x16 블록 모드만 사용한 경우 비트율이 450kbps일 때 PSNR을 비교하면, 기존의 방법으로 움직임 예측을 한 것에 비해 본 발명에 따른 움직임 예측을 한 경우 0.3dB이상의 화질 향상을 보였다. 마찬가지로, 도 3b 내지 도 5b 역시 비슷한 경향을 나타내고 있다.
여기서, 가변 크기 블록 모드를 사용한 경우에는 16x16모드만 사용한 경우에 비해 약간 작은 성능 향상을 보이는데, 이는 가변 크기 블록을 이용함으로 인해 잔여 신호가 이미 축소되었기 때문이라 예상된다.
상술한 바와 같이, 본 발명은 블록들의 평균값으로 패턴 블록을 만들어서 이 패턴 블록을 이용하여 움직임 예측을 하고 패턴 블록간의 차분신호를 부호화하는 기법으로, 조명변화에 적응적으로 움직임 예측하는 기법을 제안하여 부호화 효율의 향상을 보였다. 또한, 실험에 사용한 Objects1이나 Flamenco1과 같은 조명의 변화가 있는 영상에서는 효율적인 비트의 감소를 가져오게 되고, 그 외의 경우에도 비트 감소를 제공하였다.
상술한 바와 같이 본 발명은 조명변화에 적응적인 움직임 예측(motion estimation) 및 움직임 보상(motion compensation)을 통하여, 효율적으로 영상을 부호화 및 복호화할 수 있는 효과가 있다.
또한, 본 발명은 조명 변화에 대하여 화면내 부호화를 수행하지 아니하고, 효율적으로 압축을 수행할 수 있는 효과도 있다.
또한, 본 발명은 실제 환경에서 주변 조명변화에 강인한 코덱을 제공할 수 있는 효과도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 움직임 예측 방법에 있어서,
    (a-1) 현재 프레임 블록의 휘도 성분 평균값 및 참조 프레임 블록의 휘도 성분 평균값을 산출하는 단계;
    (a-2) 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성하는 단계;
    (b) 상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하고, 상기 산출된 SAD 중 미리 설정된 조건에 대응하는 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하는 단계 및
    (c) 상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성한 후, 상기 잔여 신호에 대하여 미리 설정된 부호화 모드에 따라 이산여현변환과 양자화를 수행하여, 상기 현재 프레임 블록을 부호화하는 단계
    (d) 부호화된 현재 프레임 블록의 화소 평균값 및 상기 부호화 모드에 대한 식별 정보를 상기 부호화된 현재 프레임 블록에 첨부하는 단계
    를 포함하되,
    상기 미리 설정된 조건에 대응하는 SAD는 최소의 SAD를 지칭하고, 상기 SAD는 하기 수학식에 의하여 산출되며,
    NewSAD(x,y) =
    Figure 712006004120025-pat00060
    Figure 712006004120025-pat00061
    ｜ (f(i,j)-
    Figure 712006004120025-pat00062
    )-(r(i+x, j+y)-
    Figure 712006004120025-pat00063
    )｜
    여기서, 상기 Mcurr은 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭하는 것을 특징으로 하는 움직임 예측 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (c) 단계는
    상기 현재 프레임 블록의 화소 평균값을 더 부호화하는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 잔여 신호는 하기 수학식에 의하여 산출되며,
    NewR(i,j) = {f(i,j)-
    Figure 112004056374676-pat00035
    }-{r(i+
    Figure 112004056374676-pat00036
    , j+
    Figure 112004056374676-pat00037
    )-
    Figure 112004056374676-pat00038
    }
    여기서, 상기 NewR은 상기 잔여 신호, 상기 Mcurr은 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭하는 것을 특징으로 하는 움직임 예측 방법.
  6. 움직임 예측 장치에 있어서,
    현재 프레임 블록의 휘도 성분 평균값 및 참조 프레임 블록의 휘도 성분 평균값을 산출하고, 상기 현재 프레임 블록의 휘도 성분에서 상기 현재 프레임 블록의 휘도 성분 평균값을 차분하여 현재 프레임 패턴 블록을 생성하고, 상기 참조 프레임 블록의 휘도 성분에서 상기 참조 프레임 블록의 휘도 성분 평균값을 차분하여 참조 프레임 패턴 블록을 생성하기 위한 패턴 블록 생성부;
    상기 참조 프레임 패턴 블록 중에 상기 현재 프레임 패턴 블록에 대응하는 후보 패턴 블록에 대한 SAD를 산출하고, 상기 산출된 SAD 중 미리 설정된 조건에 대응하는 SAD에 대응하는 후보 패턴 블록을 움직임 벡터로 결정하기 위한 움직임 벡터 결정부;
    상기 움직임 벡터에 대응하는 후보 패턴 블록과 상기 현재 프레임 패턴 블록의 차분 신호를 이용하여 잔여 신호를 생성하기 위한 움직임 보상부; 및
    부호화된 현재 프레임 블록의 화소 평균값 및 상기 부호화 모드에 대한 식별 정보를 상기 부호화된 현재 프레임 블록에 첨부하는 수단
    를 포함하되,
    상기 미리 설정된 조건에 대응하는 SAD는 최소의 SAD를 지칭하고, 상기 SAD는 하기 수학식에 의하여 산출되며,
    NewSAD(x,y)=
    Figure 712006004120025-pat00064
    Figure 712006004120025-pat00065
    ｜(f(i,j)-
    Figure 712006004120025-pat00066
    )-(r(i+x, j+y)-
    Figure 712006004120025-pat00067
    )｜
    여기서, 상기 Mcurr은 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭하는 것을 특징으로 하는 움직임 예측 장치.
  7. 삭제
  8. 제6항에 있어서,
    상기 움직임 보상부는
    상기 잔여 신호에 대한 이산여현변환과 양자화를 수행하는 수단을 더 포함하는 것을 특징으로 하는 조명 변화에 적응적인 움직임 예측 장치.
  9. 삭제
  10. 제6항에 있어서,
    상기 움직임 보상부는 하기 수학식에 의하여 상기 잔여 신호를 산출하며,
    NewR(i,j) = {f(i,j)-
    Figure 112006051340777-pat00052
    }-{r(i+
    Figure 112006051340777-pat00053
    , j+
    Figure 112006051340777-pat00054
    )-
    Figure 112006051340777-pat00055
    }
    = f(i,j)-r(i+
    Figure 112006051340777-pat00056
    , j+
    Figure 112006051340777-pat00057
    )-
    Figure 112006051340777-pat00058
    +
    Figure 112006051340777-pat00059
    여기서, 상기 NewR은 상기 잔여 신호, 상기 Mcurr은 현재 프레임 블록의 화소 평균값, 상기 Mref는 상기 후보 패턴 블록의 화소 평균값, 상기 f(i, j)는 현재 프레임의 i,j 좌표에서 화소값, 상기 r(i,j)는 참조 프레임의 i,j 좌표에서 화소값, 상기 S 및 상기 T는 블록매칭시 사용하는 블록의 크기, 상기 (x,y)는 움직임벡터를 지칭하는 것을 특징으로 하는 움직임 예측 장치.
KR1020040099398A 2004-11-30 2004-11-30 조명 변화에 대한 적응적 움직임 예측 장치 및 방법 KR100682761B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040099398A KR100682761B1 (ko) 2004-11-30 2004-11-30 조명 변화에 대한 적응적 움직임 예측 장치 및 방법
US11/289,650 US7924923B2 (en) 2004-11-30 2005-11-30 Motion estimation and compensation method and device adaptive to change in illumination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040099398A KR100682761B1 (ko) 2004-11-30 2004-11-30 조명 변화에 대한 적응적 움직임 예측 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060060350A KR20060060350A (ko) 2006-06-05
KR100682761B1 true KR100682761B1 (ko) 2007-02-16

Family

ID=37157208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040099398A KR100682761B1 (ko) 2004-11-30 2004-11-30 조명 변화에 대한 적응적 움직임 예측 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100682761B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004623B1 (ko) 2009-09-01 2011-01-03 고려대학교 산학협력단 플래쉬 장치를 이용한 영상 품질 개선 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807094B1 (ko) * 2005-01-14 2008-02-26 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR101432777B1 (ko) * 2009-09-03 2014-08-22 에스케이텔레콤 주식회사 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0178221B1 (ko) * 1995-07-31 1999-05-01 배순훈 픽셀의 평균값을 이용한 개선된 패턴 벡터 부호화 시스템
KR20030023815A (ko) * 2001-09-14 2003-03-20 (주)로고스텍 가중치를 이용한 움직임 추정 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0178221B1 (ko) * 1995-07-31 1999-05-01 배순훈 픽셀의 평균값을 이용한 개선된 패턴 벡터 부호화 시스템
KR20030023815A (ko) * 2001-09-14 2003-03-20 (주)로고스텍 가중치를 이용한 움직임 추정 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1001782210000
1020030023815

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004623B1 (ko) 2009-09-01 2011-01-03 고려대학교 산학협력단 플래쉬 장치를 이용한 영상 품질 개선 장치 및 방법

Also Published As

Publication number Publication date
KR20060060350A (ko) 2006-06-05

Similar Documents

Publication Publication Date Title
KR101200535B1 (ko) 매크로블록 기반의 조명 변화에 대한 적응적 움직임예측/보상 장치 및 방법
KR101370287B1 (ko) 디블록킹 필터링 방법 및 장치
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US7924923B2 (en) Motion estimation and compensation method and device adaptive to change in illumination
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR101342587B1 (ko) 조명변화 보상 움직임 예측 부호화 및 복호화 방법 및 장치
TWI395489B (zh) A video coding apparatus, and an image decoding apparatus
KR100856411B1 (ko) 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100750136B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101291196B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101365567B1 (ko) 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20160040486A (ko) 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
JP5194119B2 (ja) 画像処理方法及び対応する電子装置
CA2727149C (en) Method and device for video encoding using predicted residuals
JP2007518300A (ja) ディジタル・ピクチャ系列の符号化方法、復号化方法及び符号化装置
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
KR20090090152A (ko) 영상의 부호화, 복호화 방법 및 장치
MXPA06000323A (es) Codificador de video con reduccion de ruido de baja complejidad.
KR100682761B1 (ko) 조명 변화에 대한 적응적 움직임 예측 장치 및 방법
WO2009133845A1 (ja) 動画像符号化／復号化装置及び方法
KR101187580B1 (ko) 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
KR101529903B1 (ko) 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
Xiang et al. A perceptually temporal adaptive quantization algorithm for HEVC
KR100807094B1 (ko) 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법
US20120106641A1 (en) Method for predicting a block of image data, decoding and coding devices implementing said method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130208

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150205

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee