KR100738076B1 - 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법 - Google Patents

웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법 Download PDF

Info

Publication number
KR100738076B1
KR100738076B1 KR1020050087018A KR20050087018A KR100738076B1 KR 100738076 B1 KR100738076 B1 KR 100738076B1 KR 1020050087018 A KR1020050087018 A KR 1020050087018A KR 20050087018 A KR20050087018 A KR 20050087018A KR 100738076 B1 KR100738076 B1 KR 100738076B1
Authority
KR
South Korea
Prior art keywords
target
subblock
motion vector
update
frame
Prior art date
Application number
KR1020050087018A
Other languages
English (en)
Other versions
KR20060051402A (ko
Inventor
김주희
김혜연
김두현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20060051402A publication Critical patent/KR20060051402A/ko
Application granted granted Critical
Publication of KR100738076B1 publication Critical patent/KR100738076B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

리프팅 기반 웨이블렛 변환 장치 및 그 방법과 이를 채용한 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상 복호화장치 및 방법이 개시된다. 리프팅 기반 웨이블렛 변환장치는 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행하여, 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성하는 예측부; 상기 짝수 프레임에서 움직임 벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록 단위로 갱신과정을 진행할지 여부를 판단하는 갱신판단부; 및 상기 짝수 프레임에서 상기 갱신과정을 진행하기로 판단된 8 X 8 타겟블록의 각 4 X 4 타겟 서브블록에 대하여 차분 프레임을 더하는 갱신과정을 수행하여 저주파수 프레임을 생성하는 갱신부로 이루어진다.

Description

웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블 영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치 및 그 방법 {Wavelet transform apparatus and method, scalable video coding apparatus and method employing the same, and scalable video decoding apparatus and method thereof}
도 1은 본 발명에 따른 웨이블렛 변환을 적용하는 스케일러블 영상 부호화장치의 구성을 나타낸 것이다.
도 2는 도 1에 도시된 시간적 웨이블렛 분해부에서 수행되는 리프팅 기반 웨이블렛 변환의 동작을 설명하는 도면이다.
도 3은 본 발명에 따른 리프팅 기반 웨이블렛 변환장치의 구성을 나타낸 블럭도이다.
도 4는 도 3에 도시된 갱신판단부의 세부적인 구성을 나타낸 블록도이다.
도 5는 도 3에 도시된 갱신부의 세부적인 구성을 나타낸 블록도이다.
도 6은 본 발명에 따른 갱신과정에 적용되는 서브블럭 가중치를 설정하는 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는 4 X 4 타겟 서브블록에서 연결되지 않은 픽셀에 대해서는 가중치를 "0"으로 할당하는 예를 보여주는 도면이다.
도 8은 본 발명에 따른 스케일러블 영상 복호화장치의 구성을 나타낸 블록도 이다.
도 9a 및 도 9b는 본 발명에 따른 갱신 방법의 성능을 평가하기 위하여 사용되는 제1 테스트 시나리오에 따른 비트스트림 구조와 제2 테스트 시나리오에 따른 비트스트림 구조를 나타낸다.
도 10a 내지 도 10d는 본 발명에 따른 갱신 알고리즘과 종래기술에 따른 갱신 알고리즘의 객관적인 성능을 비교하기 위한 그래프이다.
도 11a 및 도 11b은 본 발명에 따른 갱신 알고리즘과 종래기술에 따른 갱신 알고리즘의 주관적인 성능을 비교하기 위한 그래프로서, "Foreman"의 28번째 프레임을 대상으로 한다.
도 12a 및 도 12b는 본 발명에 따른 갱신 알고리즘과 종래기술에 따른 갱신 알고리즘의 주관적인 성능을 비교하기 위한 그래프로서, "Foreman"의 70번째 프레임을 대상으로 한다.
도 13a 및 도 13b는 본 발명에 따른 갱신 알고리즘과 종래기술에 따른 갱신 알고리즘의 주관적인 성능을 비교하기 위한 그래프로서, "Foreman"의 92번째 프레임을 대상으로 한다.
도 14a 및 도 14b는 본 발명에 따른 갱신 알고리즘과 종래기술에 따른 갱신 알고리즘의 주관적인 성능을 비교하기 위한 그래프로서, "Crew"의 148번째 프레임을 대상으로 한다.
본 발명은 스케일러블 영상 부호화장치 및 그 방법에 관한 것으로서, 특히 리프팅(Lifting) 기반 웨이블렛 변환(Wavelet Transform) 장치 및 그 방법과 이를 채용한 스케일러블 영상 부호화장치 및 방법과 스케일러블 영상 복호화장치 및 방법에 관한 것이다.
움직임보상 시간적 필터링(Motion Compensated Temporal Filtering, 이하 MCTF라 약함)는 MPEG-21 part 13 스케일러블 영상 부호화(Scalable Video Coding)에 제안된 여러 문서들이 공통적으로 포함하고 있는 부분으로서 웨이블렛 변환을 이용하여 시간적 중복성을 줄일 수 있는 기술이다. 기존의 웨이블렛 변환은 주로 공간영역에서 수직, 수평방향으로 고주파 성분과 저주파 성분을 분해하는 방법으로 사용되어 왔으나, MCTF에서는 영상 시퀀스를 움직임 예측을 통해 시간 영역에서 분해하는 것이다. 최근 MCTF에서는 양방향 움직임 예측과 다중 참조 영상을 통한 영상 분해 방법 등을 통해 성능 향상이 이루어졌다.
한편, MCTF에서 영상 시퀀스를 보다 효율적으로 고주파수 프레임 및 저주파수 프레임으로 분해하기 위하여 리프팅 기반 웨이블렛 변환을 구현할 수 있다. 리프팅 기반 웨이블렛 변환은 예측 과정과 갱신 과정으로 이루어진다. 5/3 쌍직교(bi-orthogonal) 필터를 사용하는 리프팅 프레임워크에 있어서, 예측 과정에서는 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행한 후, 가능한 한 많은 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성한다. 갱신 과정에서는 짝수 프레임에 차분 프레임을 더함으로써 짝수 프레임을 갱신하여 저주 파수 프레임을 생성한다.
sk(X)를 공간상 좌표 X = (x,y)T 와 시간상 좌표 k를 갖는 영상신호라 할 경우, 움직임 보상된 리프팅 과정은 다음 수학식 1과 같이 나타낼 수 있다.
Figure 112005052065658-pat00001
상기 수학식 1에 있어서 hk[X] 및 lk[X]는 각각 고주파수 프레임 및 저주파수 프레임을 나타낸다.
한편, 5/3 쌍직교 필터 사용시, 상기 수학식 1에 사용된 예측 연산자 P 및 갱신 연산자 U는 각각 다음 수학식 2와 같이 나타낼 수 있다.
Figure 112005052065658-pat00002
상기 수학식 2에 있어서 m PX 는 리스트 X(여기서, X는 0 혹은 1의 값을 가지며, 0은 이전 참조프레임, 1은 이후 참조프레임을 나타낸다)에 대한 예측 움직임 벡터를, m UX 는 리스트 X에 대한 갱신 움직임 벡터를 각각 나타낸다. 또한, w0, w1은 양방향 움직임 예측 보상시 사용된 가중치이다.
이와 같은 리프팅 기반 웨이블렛 변환에서는, 움직임 벡터가 정확하게 예측 된 영역에서는, 움직임 궤적을 따라서 입력 프레임 시퀀스를 저역통과필터링함으로써 야기되는 잡음과 얼라이어싱을 갱신 과정을 통해 줄일 수 있다. 그러나, 움직임 벡터가 정확하게 예측되지 못한 영역에서는, 저역통과필터링된 프레임에서 고스트와 같은 심각한 시각적 결함(visual artifacts)을 야기시킬 수 있다. 즉, 저역통과필터링된 프레임 즉, 저주파수 프레임들을 선택하여 구성되는 감소된 시간적 해상도 즉, 낮은 프레임 레이트를 갖는 복원 영상 시퀀스에서는 시각적 결함으로 인하여 화질이 떨어지는 단점이 있다. 한편, 시각적 결함을 감소시키기 위하여 갱신 과정에서 가중치 함수를 도입하는 여러가지 적응적인 갱신 스킴이 제안된 바 있다. 관련 문헌은 G.Baud, J.Reichel, F.Ziliani, D.Santa Cruz에 의한 "Responses of ce1e: Adaptive update step in mctf"(ISO/IEC JTC1/SC29/WG11 MPEG M10987, Redmond, July 2004) 및 L.Song, J.Xu, H.Xiong, F.Wu에 의한 "Responses of cele in svc: Content-adaptive update based on human vision system"(ISO/IEC JTC1/SC29/WG11 MPEG M11127, Redmond, July 2004) 등을 들 수 있다.
본 발명이 이루고자 하는 기술적 과제는 움직임벡터의 정확도에 따라서 갱신 과정을 적응적으로 적용함으로써 저주파수 프레임에 나타나는 시각적 결함을 줄일 수 있는 웨이블렛 변환장치 및 그 방법을 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 움직임벡터의 정확도에 따라서 갱신 과정을 적응적으로 적용함으로써 저주파수 프레임에 나타나는 시각적 결함을 줄일 수 있는 웨이블렛 변환을 적용한 스케일러블 영상 부호화장치 및 그 방법을 제공하는데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 움직임벡터의 정확도에 따라서 갱신 과정을 적응적으로 적용함으로써 저주파수 프레임에 나타나는 시각적 결함을 줄일 수 있는 웨이블렛 변환을 적용한 스케일러블 영상 복호화장치 및 그 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 리프팅 기반 웨이블렛 변환장치는 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행하여, 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성하는 예측부; 상기 짝수 프레임에서 움직임 벡터에 의해 지시된 참조블록이 놓이는 타겟블록 단위로 갱신과정을 진행할지 여부를 판단하는 갱신판단부; 및 상기 짝수 프레임에서 상기 갱신과정을 진행하기로 판단된 타겟블록의 각 타겟 서브블록에 대하여 차분 프레임을 더하는 갱신과정을 수행하여 저주파수 프레임을 생성하는 갱신부를 포함한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 리프팅 기반 웨이블렛 변환방법은 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행하여, 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성하는 단계; 상기 짝수 프레임에서 움직임 벡터에 의해 지시된 참조블록이 놓이는 타겟블록 단위로 갱신과정을 진행할지 여부를 판단하는 단계; 및 상기 짝수 프레임에서 갱신과정을 진행하기로 판단된 타겟블록의 각 타겟 서브블록에 대하여 차분 프레임을 더하는 갱신과정을 수행하여 저주파수 프레임을 생성하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 웨이블렛 변환을 채용한 스케일러블 영상 부호화장치는 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 움직임 예측부; 상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 수정된 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 시간적 웨이블렛 분해부; 상기 움직임 예측부로부터 제공되는 움직임벡터를 부호화하는 움직임 정보 부호화부; 및 상기 시간적 웨이블렛 분해부로부터 제공되는 시간적 스케일러빌러티를 갖는 영상 신호를 엔트로피 부호화하는 엔트로피 부호화부를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 웨이블렛 변환을 채용한 스케일러블 영상 부호화방법은 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 단계; 상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 수정된 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 단계; 상기 움직임벡터를 부호화하는 단계; 및 상기 시간적 스케일러빌러티를 갖는 영상 신호를 엔트로피 부호화하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 웨이블렛 변환을 채용한 스케일러블 영상 복호화장치는 예측과정과 수정된 갱신과정을 통해 생성되는 비트스트림으로부터 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 복호화하는 엔트로피 복호화부; 상기 비트스트림으로부터 움직임 정보를 복호화하여 움직임 벡터를 복원하는 움직임 정보 복호화부; 및 상기 복호화된 시간적 스케일러빌 러티를 갖는 영상데이터에 대하여 복원된 움직임벡터에 따른 리프팅 기반 웨이블렛 역변환을 수행하여 영상 시퀀스를 복원하는 시간적 웨이블렛 합성부를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 웨이블렛 변환을 채용한 스케일러블 영상 복호화방법은 예측과정과 수정된 갱신과정을 통해 생성되는 비트스트림으로부터 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 복호화하는 단계; 상기 비트스트림으로부터 움직임 정보를 복호화하여 움직임 벡터를 복원하는 단계; 및 상기 복호화된 시간적 스케일러빌러티를 갖는 영상데이터에 대하여 복원된 움직임벡터에 따른 리프팅 기반 웨이블렛 역변환을 수행하여 영상 시퀀스를 복원하는 단계를 포함한다.
상기 웨이블렛 변환방법, 스케일러블 영상 부호화방법 및 스케일러블 영상 복호화방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 웨이블렛 변환을 적용하는 스케일러블 영상 부호화장치의 구성을 나타낸 것으로서, 움직임 예측부(110), 시간적 웨이블렛 분해부(130), 움직임 정보 부호화부(150) 및 엔트로피 부호화부(170)을 포함하여 이루어진다.
도 1을 참조하면, 움직임 예측부(110)는 입력되는 영상 시퀀스에 있어서 현재 프레임에 대하여 양방향 움직임 예측을 수행하고, 양방향 움직임 벡터를 생성한 다.
시간적 웨이블렛 분해부(130)는 리프팅 기반 웨이블렛 변환을 이용하며, 입력되는 영상 시퀀스에 대하여 양방향 움직임 벡터에 의한 예측과정과 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티 즉, 서로 다른 시간적 해상도를 갖는 영상데이터를 구성한다. 이때, 리프팅 기반 웨이블렛 변환으로서 MCTF가 적용되는 것이 바람직하다. 도 2는 리프팅 기반 웨이블렛 변환을 구성하는 예측과정(210)과 갱신과정(230)을 도식적으로 나타낸 것이다. 도 2에 있어서, s2t -2, s2t -1, s2t, s2t +1, s2t +2 는 각각 영상 시퀀스를 구성하는 프레임을 나타내고, "MC"는 움직임 보상된 영상, ht-1, ht 는 고주파수 프레임, lt 는 저주파수 프레임을 각각 나타낸다.
본 발명의 제1 실시예에서는 갱신과정에 있어서, 현재 프레임에서 움직임벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블럭에 포함된 4개의 4 X 4 서브블록별로 서브블럭 가중치를 구한다.
본 발명의 제2 실시예에서는 갱신과정에 있어서, 현재 프레임에서 움직임벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블럭에 포함된 4개의 4 X 4 서브블록별로 서브블럭 가중치를 구하고, 이때 각 4 X 4 타겟서브블록에서 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정한다.
본 발명의 제3 실시예에서는 갱신과정에 있어서, 현재 프레임에서 움직임벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록 단위로 갱신여부를 판단한 다음, 갱신하는 것으로 판단된 경우 8 X 8 타겟블록에 포함된 4개의 4 X 4 타 겟서브블록별로 서브블럭 가중치를 구한다.
본 발명의 제4 실시예에서는 갱신과정에 있어서, 제2 실시예와 제3 실시예를 결합한 것으로서, 현재 프레임에서 움직임벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록 단위로 갱신여부를 판단한 다음, 갱신하는 것으로 판단된 경우 8 X 8 타겟블록에 포함된 4개의 4 X 4 타겟 서브블록별로 서브블럭 가중치를 구하고, 이때 각 4 X 4 타겟 서브블록에서 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정한다.
움직임 정보 부호화부(150)는 움직임 예측부(110)로부터 얻어지는 양방향 움직임벡터 등과 같은 움직임 정보를 부호화하여 패킷화를 위해 제공한다.
엔트로피 부호화부(170)는 시간적 웨이블렛 분해부(130)로부터 제공되는 시간적 스케일러빌러티를 갖는 영상 신호를 엔트로피 부호화하여 패킷화를 위해 제공한다.
도시되지는 않았으나, 시간적 스케일러빌러티 뿐 아니라, 공간적 스케일러빌러티를 제공하기 위해서는 시간적 웨이블렛 분해부(110)의 후단에 공간적 웨이블렛 분해부를 더 구비할 수 있다.
도 3은 본 발명에 따른 리프팅 기반 웨이블렛 변환장치의 구성을 나타낸 블록도로서, 예측부(310), 갱신판단부(330), 및 갱신부(350)를 포함하여 이루어진다.
도 3을 참조하면, 예측부(310)는 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행한 후, 가능한 한 많은 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성한다.
갱신판단부(330)는 짝수 프레임에서 움직임 벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록 단위로 갱신과정을 진행할지 아니면, 갱신과정을 스킵할지 여부를 판단한다. 갱신판단부(330)는 상기 제1 실시예의 경우 구비되지 않아도 되는 구성요소이다.
갱신부(350)는 짝수 프레임에서 갱신판단부(330)로부터 갱신과정을 진행하기로 판단된 8 X 8 타겟블록의 각 4 X 4 타겟서브블록에 대하여 차분 프레임을 더하는 갱신과정을 수행하여 저주파수 프레임을 생성한다. 이때, 전술한 바 있는 L.Song, J.Xu, H.Xiong, F.Wu에 의한 "Responses of ce le in svc: Content-adaptive update based on human vision system" (ISO/IEC JTC1/SC29/WG11 MPEG M11127, Redmond, July 2004)와 유사한 내용 적응적 갱신(Content-Adaptive Update) 방법을 적용할 수 있다.
상기 갱신과정의 제1 실시예에 따르면, 짝수 프레임에서 움직임 벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록에 대하여 일단 갱신과정을 수행하며, 이때 8 X 8 타겟블록을 구성하는 각 4 X 4 타겟 서브블록별로 서브블럭 가중치를 구하여 모든 픽셀에 대하여 적용하고, 제2 실시예에 따르면, 각 4 X 4 타겟 서브블록에서 서브블럭 가중치를 연결픽셀들에게만 적용하고, 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정한다.
상기 갱신과정의 제3 실시예에 따르면, 짝수 프레임에서 움직임벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록 단위로 갱신여부를 판단한 다음, 갱신하는 것으로 판단된 8 X 8 타겟블록에 포함된 4개의 4 X 4 타겟서브블록별로 서브블럭 가중치를 구하여 모든 픽셀에 대하여 적용하고, 제4 실시예에 따르면, 갱신하는 것으로 판단된 8 X 8 타겟블록에 포함된 각 4 X 4 타겟 서브블록에서 연결픽셀들에게만 서브블럭 가중치를 적용하고, 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정한다.
도 4는 도 3에 도시된 갱신판단부(330)의 세부적인 구성을 나타낸 블록도로서, 블록 갱신 가중치 산출부(410) 및 비교부(430)를 포함하여 이루어진다.
도 4를 참조하면, 블록 갱신 가중치 산출부(410)에서는 8 X 8 타겟블록에 포함되는 전체 픽셀들의 수와, 짝수 프레임에서 움직임 벡터에 의해 지시된 8 X 8 참조블록으로부터 얻어지는 8 X 8 타겟블록의 연결픽셀들의 수를 이용하여 블록 갱신 가중치를 산출한다. 이를 좀 더 세부적으로 설명하면 다음과 같다.
먼저 짝수 프레임(sk)에서 움직임벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록(Bk[i,j])의 연결픽셀들의 수(ck[i,j])를 8 X 8 타겟블록에 있는 4개의 4 X 4 타겟 서브블록의 연결픽셀들의 합으로 산출하며, 이는 다음 수학식 3과 같이 나타낼 수 있다.
Figure 112005052065658-pat00003
여기서, 리스트 X의 참조 프레임 인덱스 "r"은 다중 참조 프레임들 중에서 8 X 8 타겟블록에 대하여 최대의 연결픽셀들의 수를 제공하는 참조 프레임을 의미한 다.
한편, 8 X 8 타겟블록 Bk[i,j][r]에 대한 블록 갱신 가중치 bk[i,j]는 다음 수학식 4와 같이 나타낼 수 있다.
Figure 112005052065658-pat00004
여기서,
Figure 112005052065658-pat00005
는 8 X 8 타겟블록에 포함되는 전체 픽셀들의 수 즉, 64이다. 즉, 8 X 8 타겟블록에 대한 블록 갱신 가중치는 8 X 8 타겟블록에 포함되는 전체 픽셀들의 수와 8 X 8 타겟블록의 연결픽셀들의 수의 비율로 얻어진다.
비교부(430)에서는 블록 갱신 가중치 산출부(410)로부터 제공되는 블록 갱신 가중치 bk[i,j]를 미리 정의된 문턱치와 비교하고, 블록 갱신 가중치 bk[i,j]가 문턱치보다 작은 경우, 8 X 8 타겟블록 전체를 갱신하지 않는 것으로 판단한다. 이때, 블록 갱신 가중치 bk[i,j]가 문턱치보다 작다는 것은 8 X 8 타겟블록에 포함된 전체 픽셀들의 수에 비하여 8 X 8 타겟블록의 연결픽셀들의 수가 매우 적다는 것을 의미하며, 이는 움직임 벡터의 정확도가 낮다는 것을 의미한다. 한편, 비교부(333)에서는 블록 갱신 가중치 bk[i,j]가 문턱치보다 큰 경우, 8 X 8 타겟블록을 갱신하는 것으로 판단한다. 마찬가지로, 갱신 가중치 bk[i,j]가 문턱치보다 크다는 것은 8 X 8 타겟블록에 포함된 전체 픽셀들의 수에 비하여 8 X 8 타겟블록의 연결 픽셀들의 수가 일정 수준 이상임을 의미하며, 이는 움직임 벡터의 정확도가 높다는 것을 의미한다. 여기서, 문턱치는 갱신 과정을 통해 얻어지는 저주파수 프레임에서 시각적 결함을 줄일 수 있도록 실험적으로 구해지는 최적값이다. 이와 같이, 움직임 벡터의 정확도가 일정 수준 이상일 경우에만 8 X 8 타겟블록에 대하여 갱신과정을 수행하는 것으로 판단한다.
도 5는 도 3에 도시된 갱신부(350)의 세부적인 구성을 나타낸 블록도로서, 서브블록 가중치 설정부(510) 및 내용 적응적 갱신부(530)를 포함하여 이루어진다.
도 5를 참조하면, 서브블록 가중치 설정부(510)에서는 8 X 8 타겟블록에 포함된 4 X 4 타겟서브블록 Pk[i,j]에 대한 서브블럭 가중치 wk[p,q]를 4 X 4 타겟서브블록에 포함된 전체 픽셀들의 수(
Figure 112005052065658-pat00006
)와 4 X 4 타겟서브블록의 연결픽셀들의 수를 이용하여 설정한다. 이에 따르면, 서브블럭 가중치 wk[p,q]는 다음 수학식 5와 같이 나타낼 수 있다.
Figure 112005052065658-pat00007
상기 본 발명의 제1 및 제3 실시예에 따르면, 4 X 4 타겟 서브블록에 대하여 서브블럭 가중치를 상기 수학식 5에 의하여 산출하여, 4 X 4 타겟 서브블록의 모든 픽셀에 적용한다.
상기 본 발명의 제2 및 제4 실시예에 따르면, 4 X 4 타겟 서브블록에 대하여 서브블럭 가중치를 상기 수학식 5에 의하여 산출하여, 4 X 4 타겟 서브블록에서 연결픽셀들은 산출된 서브블럭 가중치를 적용하는 한편, 연결되지 않은 픽셀들은 "0"으로 할당한다.
내용 적응적 갱신부(530)에서는 서브블록 가중치 설정부(510)에서 설정된 서브블록 가중치를 이용하여 내용 적응적 갱신과정을 수행한다.
이때, 4 X 4 타겟 서브블록 Pk[i,j]에 대한 내용기반 갱신과정의 일예는 다음 수학식 6과 같이 나타낼 수 있다. 여기서는 5/3 웨이블렛 필터를 사용한 것이다.
Figure 112005052065658-pat00008
한편, 수학식 6에 있어서, f(s2k, U2k)는 다음 수학식 7과 같이 나타낼 수 있다.
Figure 112005052065658-pat00009
수학식 7에 있어서, S는 세기 팩터(strength factor)로서, 본 실시예에서는 60으로 설정하나 반드시 이에 한정되지는 않는다. 한편, JND(Just Noticeable Difference)는 움직임 모델의 정확도 혹은 인간의 시각적 특성을 고려하기 위한 것으로서 다음 수학식 8과 같이 나타낼 수 있다.
Figure 112005052065658-pat00010
여기서, σx 2(j,j)는 좌표 (i,j)를 갖는 픽셀을 중심으로 하는 윈도우에서 영상 x의 로컬 분산(local variance)를 나타내며, 일예로는 3 X 3 윈도우 단위로 산출된다. 한편, θ는 특정 영상에 대하여 선택할 수 있는 튜닝 파라미터를 의미하며, JND에서 콘트라스트 조정 역할을 수행한다. σxmax 2는 주어진 영상의 최대 로컬 분산을 나타내며, D는 50 내지 100의 범위에서 임의의 값을 가지며, 이는 실험적으로 결정된다. 이와 같이, 4 X 4 서브블럭 단위로 JND를 계산하고, 계산된 JND 값에 따라서 3가지 경우로 다르게 갱신과정을 수행함으로써, 움직임 모델의 정확도 혹은 인간의 시각적 특성에 따라서 가시성 함수(visibility function)의 문턱치를 적응적으로 설정하는 것이 된다. 다시 말하면, JND 함수가 시각적 마스킹과 관련된 로컬 프레임 특성에 적응적이기 때문에, JND를 이용한 갱신과정은 고주파수 프레임으로부터 제공되는 고스트와 같은 시각적 결함을 완화시킬 수 있고, 그 결과 시간적 스케일러빌러티에 대한 부호화성능을 향상시킬 수 있다. 전술한 JND를 이용한 내용 적응적 갱신과정과 관련해서는 L.Song, J.Xu, H.Xiong, F.Wu에 의한 "Responses of cele in svc: Content-adaptive update based on human vision system"(ISO/IEC JTC1/SC29/WG11 MPEG M11129, Redmond, July 2004) 에 자세히 기재되어 있다.
한편, 4 X 4 타겟 서브블록 Pk[i,j]에 대한 내용기반 갱신과정의 다른 예는 다음 수학식 9와 같이 나타낼 수 있으며, 이는 전술한 수학식 2의 갱신 연산자를 약간 변형한 것임을 알 수 있다.
Figure 112005052065658-pat00011
여기서, Wk[X]는 4 X 4 타겟 서브블럭의 가중치 매트릭스이며, 4 X 4 타겟 서브블럭에 대하여 단일한 가중치를 가지거나, 각 픽셀별로 가중치를 가질 수 있다. 이 경우 전술한 내용 적응적 갱신방법에 개시되어 있는 기법을 이용하여 각 픽셀별로 가중치를 결정할 수 있다. 상기 수학식 9는 전술한 본 발명의 제1 내지 제4 실시예에 모두 적용가능하다.
도 6는 본 발명에 따른 갱신과정에 적용되는 서브블럭 가중치를 설정하는 방법을 설명하기 위한 도면으로서, 참조부호 610은 움직임벡터에 의해 지시된 8 X 8 참조블록, 참조부호 630은 8 X 8 타겟블록을 각각 나타낸다. 도 6을 참조하면, 좌표 (2,0)에 위치한 8 X 8 타겟블록의 연결픽셀들의 수가 56이므로 블록 갱신 가중치는 56/64이 된다. 한편, 좌표(2,0)에 위치한 4 X 4 타겟 서브블록의 연결픽셀들의 수는 12이므로 서브블럭 가중치는 12/16이 되고, 좌표(3,0)에 위치한 4 X 4 타겟서브블록의 연결픽셀들의 수는 12이므로 서브블럭 가중치는 12/16이 되고, 좌표(2,1)에 위치한 4 X 4 타겟 서브블록의 연결픽셀들의 수는 16이므로 서브블럭 가중치는 16/16이 되고, 좌표(3,1)에 위치한 4 X 4 타겟 서브블록의 연결픽셀들의 수는 16이므로 서브블럭 가중치는 16/16이 된다. 도 6은 이전 참조 프레임 L0에 대해서만 예를 든 것이고, 실제로는 이후 참조 프레임 L1에 대해서도 8 X 8 타겟블록의 연결픽셀들을 모두 계산한 후, 연결픽셀들의 수가 큰 참조 프레임으로 결정한다. 즉, 8 X 8 타겟블록에서 예측한 참조 프레임들에 대하여 모두 연결픽셀들을 조사하고, 그 중 가장 연결이 많이 된 참조프레임 즉, L0 혹은 L1을 선택한다.
도 7a 및 도 7b는 4 X 4 타겟서브블록에서 연결되지 않은 픽셀에 대해서는 가중치를 "0"으로 할당하는 예를 보여주는 것으로서, 도 7a는 도 6에서 좌표 (2,0)에 위치한 4 X 4 타겟 서브블록, 도 7b는 도 6에서 좌표 (2,1)에 위치한 4 X 4 타겟8 X 8 타겟가중치 매트릭스를 보여준다.
도 8은 본 발명에 따른 스케일러블 영상 복호화장치의 구성을 나타낸 블록도로서, 엔트로피 복호화부(810), 움직임 정보 복호화부(830), 및 시간적 웨이블렛 합성부(850)를 포함하여 이루어진다.
도 8을 참조하면, 엔트로피 복호화부(810)는 역패킷화된 비트스트림으로부터 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 복호화한다.
움직임 정보 복호화부(830)는 역패킷화된 비트스트림으로부터 움직임 정보를 복호화하여 움직임 벡터 등을 복원한다.
시간적 웨이블렛 합성부(850)는 시간적 웨이블렛 분해부(도 1의 130)의 역과정 즉, 복호화된 시간적 스케일러빌러티를 갖는 영상데이터에 대하여 복원된 움직임벡터를 따른 리프팅 기반 웨이블렛 역변환을 수행하여 영상 시퀀스를 복원한다.
도시되지는 않았으나, 시간적 스케일러빌러티 뿐 아니라, 공간적 스케일러빌 러티를 제공하기 위해서는 시간적 웨이블렛 합성부(850)의 전단에 공간적 웨이블렛 합성부를 더 구비할 수 있다.
다음, 본 발명에 따른 갱신 과정의 성능을 평가하기 위한 실험을 수행하였다. 이를 위하여, 도 9a에 도시된 바와 같은 시간적 스케일러빌리티를 갖는 비트스트림 구조를 가지면서 표 1의 조건을 갖는 제1 테스트 시나리오와 도 9b에 도시된 바와 같은 시간적 스케일러빌리티를 갖는 비트스트림 구조를 가지면서 표 2의 조건을 갖는 제2 테스트 시나리오를 준비하였다. 제1 및 제2 테스트 시나리오를 갱신 과정을 본 발명에 따른 갱신 알고리즘으로 수정한 기존의 HHI 소프트웨어와 갱신 과정을 수정하지 않은 기존의 HHI 소프트웨어를 각각 적용하여 부호화하였을 때, Y, U, V 성분에 대한 PSNR(Peak Signal-to-Noise Ratio) 값을 비교한 결과는 다음 표 3 및 표 4에 도시된 바와 같다. 여기서, HHI 소프트웨어는 H.Schwarz, D.Marpe, T.Wiegand에 의한 "Scalable extension of H.264/AVC"(ISO/IEC JTC1/SC29/WG11 MPEG M10569, Munich, March 2004)에 개시되어 있다.
Figure 112005052065658-pat00012
Figure 112005052065658-pat00013
Figure 112005052065658-pat00014
Figure 112005052065658-pat00015
상기 표 3 및 표 4를 살펴보면, 본 발명에 따른 갱신 알고리즘으로 수정한 기존의 HHI 소프트웨어를 적용하여 부호화하였을 때, Y, U, V 성분에 대한 PSNR 값이 전체 비트레이트에 걸쳐서 상대적으로 증가하였음을 알 수 있다.
한편, 도 10a 내지 도 10d는 본 발명에 따른 갱신 알고리즘과 종래기술에 따른 갱신 알고리즘의 객관적인 성능을 평가하기 위하여 휘도성분의 PSNR 값을 비교한 결과를 나타낸 것이다. 도 10a는 제1 테스트 시나리오에 포함된 "City" 영상과 "Crew" 영상, 도 10b는 제1 테스트 시나리오에 포함된 "Harbour" 영상과 "Soccor"영상, 도 10c는 제2 테스트 시나리오에 포함된 "Bus" 영상과 "Football" 영상, 도 10d는 제2 테스트 시나리오에 포함된 "Foreman" 영상과 "Mobile" 영상의 복원영상에 포함된 휘도성분의 PSNR을 비교한 것이다. 여기서, "Anchor" 혹은 "CE2.4_verB (Redmond)"는 종래기술에 따른 갱신 알고리즘을 적용하는 경우, "SAIT"는 본 발명에 따른 갱신 알고리즘을 적용하는 경우를 나타낸다. 도 10a 내지 도 10d를 살펴보면, 본 발명에 따른 갱신 과정을 적용한 웨이블렛 변환을 이용하여 부호화하였을 때, 입력 비디오 시퀀스의 특성에 따라서 휘도성분에 대한 PSNR 값이 전체 비트레이트에 걸쳐서 약 0.1 dB 내지 0.5 dB 증가하였음을 알 수 있다.
도 11a, 도 11b, 도 12a, 도 12b, 도 13a, 도 13b, 및 도 14a, 도 14b는 본 발명의 갱신 과정과 기존의 갱신과정을 사용할 경우, 주관적인 화질을 비교하기 위한 것이다. 도 11a 및 도 11b는 192 Kbps로 복호화한 포맨(Foreman) 시퀀스의 28번째 프레임을 나타내고, 도 12a 및 도 12b는 192 Kbps로 복호화한 포맨(Foreman) 시퀀스의 70번째 프레임을 나타내고, 도 13a 및 도 13b는 192 Kbps로 복호화한 포맨(Foreman) 시퀀스의 92번째 프레임을 나타내고, 도 14a 및 도 14b는 1500 Kbps로 복호화한 크루(Crew) 시퀀스의 148번째 프레임을 나타낸다. 여기서, 도 11a, 도 12a, 도 13a 및 도 14a는 웨이블렛 변환을 이용하여 부호화한 결과로부터 얻어진 복원 영상, 도 11b, 도 12b, 도 13b 및 도 14b는 본 발명에 따른 갱신과정을 적용한 웨이블렛 변환을 이용하여 부호화한 결과로부터 얻어진 복원 영상을 각각 나타낸다. 이로부터, 본 발명에 따른 갱신 과정을 사용할 경우 각 영상에서 고스트와 같은 시각적 결함이 현저하게 감소됨을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 바와 같이, 본 발명에 따르면 움직임 벡터의 정확도 혹은 인간의 시각적 특성에 따라서 적응적으로 갱신과정을 수행함으로써, 저주파수 프레임에서 생기는 고스트와 같은 시각적 결함을 제거할 수 있다.
본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (28)

  1. 삭제
  2. 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 움직임 예측부;
    상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 시간적 웨이블렛 분해부;
    상기 움직임 예측부로부터 제공되는 움직임벡터를 부호화하는 움직임 정보 부호화부; 및
    상기 시간적 웨이블렛 분해부로부터 제공되는 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 부호화하는 엔트로피 부호화부를 포함하며,
    상기 시간적 웨이블렛 분해부는 상기 갱신과정을 위하여, 현재 프레임에서 움직임벡터에 의해 지시된 참조블록이 놓이는 타겟블럭에 포함된 각 타겟 서브블록별로 서브블럭 가중치를 구하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  3. 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 움직임 예측부;
    상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 시간적 웨이블렛 분해부;
    상기 움직임 예측부로부터 제공되는 움직임벡터를 부호화하는 움직임 정보 부호화부; 및
    상기 시간적 웨이블렛 분해부로부터 제공되는 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 부호화하는 엔트로피 부호화부를 포함하며,
    상기 시간적 웨이블렛 분해부는 상기 갱신과정을 위하여, 현재 프레임에서 움직임벡터에 의해 지시된 참조블록이 놓이는 타겟블럭에 포함된 각 타겟 서브블록별로 서브블럭 가중치를 구하고, 각 타겟 서브블록에서 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  4. 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 움직임 예측부;
    상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 시간적 웨이블렛 분해부;
    상기 움직임 예측부로부터 제공되는 움직임벡터를 부호화하는 움직임 정보 부호화부; 및
    상기 시간적 웨이블렛 분해부로부터 제공되는 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 부호화하는 엔트로피 부호화부를 포함하며,
    상기 시간적 웨이블렛 분해부는 상기 갱신과정을 위하여, 현재 프레임에서 움직임벡터에 의해 지시된 참조블록이 놓이는 타겟블록 단위로 갱신여부를 판단한 다음, 갱신하는 것으로 판단된 경우 타겟 블록에 포함된 각 타겟 서브블록별로 서브블럭 가중치를 구하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  5. 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 움직임 예측부;
    상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 시간적 웨이블렛 분해부;
    상기 움직임 예측부로부터 제공되는 움직임벡터를 부호화하는 움직임 정보 부호화부; 및
    상기 시간적 웨이블렛 분해부로부터 제공되는 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 부호화하는 엔트로피 부호화부를 포함하며,
    상기 시간적 웨이블렛 분해부는 상기 갱신과정을 위하여, 현재 프레임에서 움직임벡터에 의해 지시된 참조블록이 놓이는 타겟블록 단위로 갱신여부를 판단한 다음, 갱신하는 것으로 판단된 경우 타겟블록에 포함된 각 타겟 서브블록별로 서브블럭 가중치를 구하고, 각 타겟 서브블록에서 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정하는 것을 특징으로 하는 스케일러블 영상 부호화장치.
  6. 삭제
  7. 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 단계;
    상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 단계;
    상기 움직임벡터를 부호화하는 단계; 및
    상기 시간적 스케일러빌러티를 갖는 영상 신호를 엔트로피 부호화하는 단계를 포함하며,
    상기 시간적 스케일러빌러티를 갖는 영상데이터 구성단계에서는 상기 갱신과정을 위하여, 현재 프레임에서 움직임벡터에 의해 지시된 참조블록이 놓이는 타겟 블럭에 포함된 각 타겟 서브블록별로 서브블럭 가중치를 구하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화방법.
  8. 제7 항에 있어서, 상기 시간적 스케일러빌러티를 갖는 영상데이터 구성단계에서는 상기 수정된 갱신과정을 위하여,
    각 타겟 서브블록에서 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 스케일러블 영상 부호화방법.
  9. 영상 시퀀스의 현재 프레임에 대하여 움직임 예측을 수행하고, 움직임 벡터를 생성하는 단계;
    상기 영상 시퀀스에 대하여 움직임 벡터에 의한 예측과정과 갱신과정을 반복적으로 수행하여 시간적 스케일러빌러티를 갖는 영상데이터를 구성하는 단계;
    상기 움직임벡터를 부호화하는 단계; 및
    상기 시간적 스케일러빌러티를 갖는 영상 신호를 엔트로피 부호화하는 단계를 포함하며,
    상기 시간적 스케일러빌러티를 갖는 영상데이터 구성단계에서는 상기 갱신과정을 위하여,
    현재 프레임에서 움직임벡터에 의해 지시된 참조블록이 놓이는 타겟블록 단위로 갱신여부를 판단하는 단계; 및
    갱신하는 것으로 판단된 타겟블록에 대하여, 상기 타겟블록에 포함된 각 타겟 서브블록별로 서브블럭 가중치를 구하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화방법.
  10. 제9 항에 있어서, 상기 시간적 스케일러빌러티를 갖는 영상데이터 구성단계에서는 상기 수정된 갱신과정을 위하여,
    각 타겟 서브블록에서 연결되지 않은 픽셀들에 대해서는 서브블럭 가중치를 "0"으로 설정하는 단계를 더 포함하는 것을 특징으로 하는 스케일러블 영상 부호화방법.
  11. 제2 항 내지 제5 항 중 어느 한 항에 기재된 스케일러블 영상 부호화장치에 의해 생성되는 비트스트림으로부터 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 복호화하는 엔트로피 복호화부;
    상기 비트스트림으로부터 움직임 정보를 복호화하여 움직임 벡터를 복원하는 움직임 정보 복호화부; 및
    상기 복호화된 시간적 스케일러빌러티를 갖는 영상데이터에 대하여 복원된 움직임벡터에 따른 리프팅 기반 웨이블렛 역변환을 수행하여 영상 시퀀스를 복원하는 시간적 웨이블렛 합성부를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화장치.
  12. 제7 항 내지 제10 항 중 어느 한 항에 기재된 스케일러블 영상 부호화방법에 의해 생성되는 비트스트림으로부터 시간적 스케일러빌러티를 갖는 영상데이터를 엔트로피 복호화하는 단계;
    상기 비트스트림으로부터 움직임 정보를 복호화하여 움직임 벡터를 복원하는 단계; 및
    상기 복호화된 시간적 스케일러빌러티를 갖는 영상데이터에 대하여 복원된 움직임벡터에 따른 리프팅 기반 웨이블렛 역변환을 수행하여 영상 시퀀스를 복원하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화방법.
  13. 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행하여, 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성하는 예측부;
    상기 짝수 프레임에서 움직임 벡터에 의해 지시된 참조블록이 놓이는 타겟블록 단위로 갱신과정을 진행할지 여부를 판단하는 갱신판단부; 및
    상기 짝수 프레임에서 상기 갱신과정을 진행하기로 판단된 타겟 블록의 각 타겟 서브블록에 대하여 차분 프레임을 더하는 갱신과정을 수행하여 저주파수 프레임을 생성하는 갱신부를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환장치.
  14. 제13 항에 있어서, 상기 갱신판단부는
    상기 타겟 블록에 포함되는 전체 픽셀들의 수와, 짝수 프레임에서 움직임 벡 터에 의해 지시된 참조블록으로부터 얻어지는 타겟블록의 연결픽셀들의 수를 이용하여 블록 갱신 가중치를 산출하는 블록 갱신 가중치 산출부; 및
    상기 타겟블록의 블록 갱신 가중치를 미리 정의된 문턱치와 비교하고, 비교결과에 따라 상기 타겟블록의 갱신여부를 판단하는 비교부를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환장치.
  15. 제13 항에 있어서, 상기 갱신부는
    상기 타겟블록에 포함된 각 타겟 서브블록에 대한 가중치를 각 타겟 서브블록에 포함된 전체 픽셀들의 수와 각 타겟 서브블록의 연결픽셀들의 수를 이용하여 설정하는 서브블럭 가중치 설정부; 및
    각 타겟 서브블록의 가중치를 이용하여 각 픽셀들에 대하여 내용 적응적 갱신을 수행하는 내용 적응적 갱신부를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환장치.
  16. 제15 항에 있어서, 상기 서브블럭 가중치 설정부는 상기 각 타겟 서브블록에서 연결픽셀들에 대해서는 상기 가중치를 설정하고, 연결되지 않은 픽셀들에 대해서는 가중치를 "0"으로 설정하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환장치.
  17. 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행하여, 에 너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성하는 예측부; 및
    상기 짝수 프레임에서 타겟 블록의 각 타겟 서브블록에 대하여 차분 프레임을 더하는 갱신과정을 수행하여 저주파수 프레임을 생성하는 갱신부를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환장치.
  18. 제17 항에 있어서, 상기 갱신부는
    상기 타겟 블록에 포함된 각 타겟 서브블록에 대한 가중치를 각 타겟 서브블록에 포함된 전체 픽셀들의 수와 각 타겟 서브블록의 연결픽셀들의 수를 이용하여 설정하는 서브블럭 가중치 설정부; 및
    각 타겟 서브블록의 가중치를 이용하여 각 픽셀들에 대하여 내용 적응적 갱신을 수행하는 내용 적응적 갱신부를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환장치.
  19. 제18 항에 있어서, 상기 서브블럭 가중치 설정부는 상기 각 타겟 서브블록에서 연결픽셀들에 대해서는 상기 가중치를 설정하고, 연결되지 않은 픽셀들에 대해서는 가중치를 "0"으로 설정하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환장치.
  20. 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행하여, 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성하는 단계;
    상기 짝수 프레임에서 움직임 벡터에 의해 지시된 참조블록이 놓이는 타겟블록 단위로 갱신과정을 진행할지 여부를 판단하는 단계; 및
    상기 짝수 프레임에서 상기 갱신과정을 진행하기로 판단된 타겟블록의 각 타겟 서브블록에 대하여 차분 프레임을 더하는 갱신과정을 수행하여 저주파수 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환방법.
  21. 짝수 프레임에 기초하여 홀수 프레임의 양방향 움직임 보상을 수행하여, 에너지가 제거된 차분 프레임으로부터 고주파수 프레임을 생성하는 단계;
    상기 짝수 프레임에서 타겟 블록에 포함된 각 타겟 서브블록에 대한 가중치를 각 타겟 서브블록에 포함된 전체 픽셀들의 수와 각 타겟 서브블록의 연결픽셀들의 수를 이용하여 설정하는 단계; 및
    각 타겟 서브블록의 가중치를 이용하여 각 픽셀들에 대하여 내용 적응적 갱신을 수행하는 단계를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환방법.
  22. 제21 항에 있어서, 상기 서브블럭 가중치 설정단계는 상기 각 타겟 서브블록에서 연결픽셀들에 대해서는 상기 가중치를 설정하고, 연결되지 않은 픽셀들에 대해서는 가중치를 "0"으로 설정하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환방법.
  23. 예측과정과 갱신과정으로 구성되는 리프팅 기반 웨이블렛 변환방법에 있어서,
    짝수 프레임에서 움직임 벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록 단위로 갱신과정을 진행할지 여부를 판단하는 단계; 및
    상기 짝수 프레임에서 상기 갱신과정을 진행하기로 판단된 8 X 8 타겟 블록에 포함된 각 4 X 4 타겟 서브블록에 대하여 연결픽셀들의 수에 따른 가중치를 설정하여 갱신을 수행하는 단계를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환방법.
  24. 예측과정과 갱신과정으로 구성되는 리프팅 기반 웨이블렛 변환방법에 있어서,
    짝수 프레임에서 움직임 벡터에 의해 지시된 8 X 8 참조블록이 놓이는 8 X 8 타겟블록 단위로 갱신과정을 진행할지 여부를 판단하는 단계; 및
    상기 짝수 프레임에서 상기 갱신과정을 진행하기로 판단된 8 X 8 타겟 블록에 포함된 각 4 X 4 타겟 서브블록의 연결픽셀들과 연결되지 않은 픽셀들에 대하여 서로 다른 가중치를 설정하여 갱신을 수행하는 단계를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환방법.
  25. 예측과정과 갱신과정으로 구성되는 리프팅 기반 웨이블렛 변환방법에 있어서,
    짝수 프레임에서 8 X 8 타겟 블록에 포함된 각 4 X 4 타겟 서브블록의 연결픽셀들과 연결되지 않은 픽셀들에 대하여 서로 다른 가중치를 설정하여 갱신을 수행하는 단계를 포함하는 것을 특징으로 하는 리프팅 기반 웨이블렛 변환방법.
  26. 제7 항 내지 제10 항 중 어느 한 항에 기재된 스케일러블 영상 부호화방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  27. 제12 항에 기재된 스케일러블 영상 복호화방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  28. 제20 항 내지 제25 항 중 어느 한 항에 기재된 리프팅 기반 웨이블렛 변환방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050087018A 2004-09-16 2005-09-16 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법 KR100738076B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US61018904P 2004-09-16 2004-09-16
US60/610,189 2004-09-16
US61767504P 2004-10-13 2004-10-13
US60/617,675 2004-10-13

Publications (2)

Publication Number Publication Date
KR20060051402A KR20060051402A (ko) 2006-05-19
KR100738076B1 true KR100738076B1 (ko) 2007-07-12

Family

ID=36060293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050087018A KR100738076B1 (ko) 2004-09-16 2005-09-16 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법

Country Status (4)

Country Link
US (1) US8509308B2 (ko)
JP (1) JP2008514107A (ko)
KR (1) KR100738076B1 (ko)
WO (1) WO2006031093A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627037B2 (en) * 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
US7580461B2 (en) 2004-02-27 2009-08-25 Microsoft Corporation Barbell lifting for wavelet coding
KR100703760B1 (ko) * 2005-03-18 2007-04-06 삼성전자주식회사 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
US9332274B2 (en) * 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
KR100941582B1 (ko) * 2008-03-07 2010-02-10 에스케이 텔레콤주식회사 리프팅 기반 방향성 웨이블렛 변환의 적응적 갱신 방법 및갱신 장치와 이를 위한 기록 매체
KR101467849B1 (ko) * 2009-07-02 2014-12-03 에스케이 텔레콤주식회사 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
US20120128076A1 (en) * 2010-11-23 2012-05-24 Sony Corporation Apparatus and method for reducing blocking artifacts
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
US10154197B2 (en) * 2013-09-11 2018-12-11 Google Llc Image capture device having light field image capture mode, 2D image capture mode, and intermediate capture mode
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003094526A2 (en) 2002-04-29 2003-11-13 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
GB0228281D0 (en) * 2002-12-04 2003-01-08 Imec Inter Uni Micro Electr Coding of motion vectors produced by wavelet-domain motion estimation
KR20050022160A (ko) * 2003-08-26 2005-03-07 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더
KR20050074151A (ko) 2004-01-13 2005-07-18 삼성전자주식회사 스케일러블 비디오 코딩에서 모션 벡터를 선정하는 방법및 그 방법을 이용한 비디오 압축 장치
KR20050076019A (ko) * 2004-01-19 2005-07-26 삼성전자주식회사 스케일러블 부호화에 기반한 비트스트림의 적응적 부호화및/또는 복호화 방법, 및 이를 구현하기 위한프로그램이 기록된 기록 매체
US7627037B2 (en) * 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
KR101014667B1 (ko) 2004-05-27 2011-02-16 삼성전자주식회사 스케일러블 동영상 인코딩, 디코딩 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003094526A2 (en) 2002-04-29 2003-11-13 Koninklijke Philips Electronics N.V. Motion compensated temporal filtering based on multiple reference frames for wavelet coding

Also Published As

Publication number Publication date
US8509308B2 (en) 2013-08-13
WO2006031093A1 (en) 2006-03-23
US20070253487A1 (en) 2007-11-01
JP2008514107A (ja) 2008-05-01
KR20060051402A (ko) 2006-05-19

Similar Documents

Publication Publication Date Title
KR100738076B1 (ko) 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법
JP4666413B2 (ja) 画像復号方法および画像復号装置
US9900599B2 (en) High frequency emphasis in decoding of encoded signals
JP5986639B2 (ja) 画像精緻化に基づくビデオ符号化及び復号化
CN107454410B (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
US20100322303A1 (en) Video encoding/decoding method and apparatus
US7885341B2 (en) Spatial filtering for improving compression efficiency of motion compensated interframe coding
EP1515561B1 (en) Method and apparatus for 3-D sub-band video coding
KR20090098214A (ko) 영상의 부호화, 복호화 방법 및 장치
US9264736B2 (en) Encoding method, decoding method, encoding device, and decoding device
Taquet et al. Near-lossless and scalable compression for medical imaging using a new adaptive hierarchical oriented prediction
WO2017135692A1 (ko) 픽셀 순환 코딩과 변환 코딩의 결합에 기초하여 비디오 신호를 처리하는 방법 및 장치
Guo et al. Integration of recursive temporal LMMSE denoising filter into video codec
Afsana et al. Efficient low bit-rate intra-frame coding using common information for 360-degree video
US11647228B2 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
Liang et al. Optimal block boundary pre/postfiltering for wavelet-based image and video compression
Del Corso et al. MNR: A novel approach to correct MPEG temporal distortions
Cheng et al. Advanced motion compensation techniques for blocking artifacts reduction in 3-D video coding systems
Leontaris et al. Rate control for flicker artifact suppression in motion JPEG2000
WO2008111744A1 (en) Method and apparatus for encoding and decoding image in pixel domain
Marusic et al. Application of the SUSAN filter to wavelet video-coding artifact removal
US20200329232A1 (en) Method and device for encoding or decoding video signal by using correlation of respective frequency components in original block and prediction block
Boulgouris et al. Adaptive decorrelation and entropy coding for context-based lossless image compression
Pesquet-Popescu et al. Embedded color coding for scalable 3D wavelet video compression
Koloda et al. 2.2 Statistically driven EC

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
LAPS Lapse due to unpaid annual fee