KR101467848B1 - 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법,이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록매체 - Google Patents

갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법,이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록매체 Download PDF

Info

Publication number
KR101467848B1
KR101467848B1 KR1020080071564A KR20080071564A KR101467848B1 KR 101467848 B1 KR101467848 B1 KR 101467848B1 KR 1020080071564 A KR1020080071564 A KR 1020080071564A KR 20080071564 A KR20080071564 A KR 20080071564A KR 101467848 B1 KR101467848 B1 KR 101467848B1
Authority
KR
South Korea
Prior art keywords
sample
update
polyphase
numbered
prediction
Prior art date
Application number
KR1020080071564A
Other languages
English (en)
Other versions
KR20100010613A (ko
Inventor
김하윤
최윤식
김용구
최영호
정진우
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080071564A priority Critical patent/KR101467848B1/ko
Priority to US13/055,671 priority patent/US8559509B2/en
Priority to PCT/KR2009/003912 priority patent/WO2010011050A2/ko
Publication of KR20100010613A publication Critical patent/KR20100010613A/ko
Application granted granted Critical
Publication of KR101467848B1 publication Critical patent/KR101467848B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체에 관한 것으로서, 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정하고, 상기 설정된 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하며, 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하고, 상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 제 1 예측치를 구하고, 상기 제 1 예측치를 해당 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구함으로써, 갱신-예측 구조 리프팅 방식을 기반으로 설계된 방향성 웨이블렛 변환을 이용하여 영상 내의 공간적 상관관계를 제거할 때, 고 대역 신호에 큰 에너지 성김 효과를 제공하여 부호화 효율을 증대시킨다.
영상, 압축, 갱신, 예측, 웨이블렛, 홀수 다상 샘플, 짝수 다상 샘플

Description

갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체{Apparatus and Method of Wavelet Transform based on Update-Prediction Lifting, Adaptive Prediction Apparatus and Method therefore, and Recording Medium therefor}
본 발명은 영상 데이터 압축 기술에 관한 것으로서, 보다 상세하게는 웨이블렛 변환 기반 영상 데이터 압축 기술의 코딩 효율을 증대시키기 위해 갱신-예측 구조 리프팅 방식을 기반으로 설계된 웨이블렛 변환을 이용하여 영상 내의 공간적 상관관계를 제거할 때, 고 대역 신호의 잔여 신호(residual)를 효과적으로 제거하기 위한, 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체에 관한 것이다.
일반적으로, 웨이블렛(Wavelet) 변환 기반의 영상 데이터 압축 기술은 종래의 JPEG와 같은 블록 중심 데이터 처리 방식이 갖는 블록화 현상을 해결하고, 전송 및 저장 매체의 환경에 따라 스케일러빌리티(Scalability)와 프로그레시브 전송(Progressive Transmission) 등을 제공할 수 있는 기술로, 최근 국제 표준으로 규격화 된 JPEG2000 이나 영국의 BBC에서 개발한 동영상 압축 기술인 Dirac에도 응 용되어 그 효과를 기대하고 있다.
웨이블렛 변환 기법은 입력 영상에 대해 저 대역 필터와 고 대역 필터로 이루어진 2개의 1차원 필터를 수평 방향과 수직 방향으로 재귀적으로 취하여 공간 영역의 영상 신호를 웨이블렛 영역으로 변환하는 기법으로, 필터링 방향인 수평 방향과 수직 방향으로 충분한 방향성 감쇄 모멘트(Directional Vanishing Moments)를 제공할 수 있어 평탄한 영상 신호에 대해 높은 에너지 집중 효과를 보인다.
여기에서, 방향성 감쇄 모멘트는 웨이블렛 변환 계수의 에너지를 저 대역 서브 밴드에 충분히 모아, 고 대역 필터링 되는 방향으로의 에너지 전달이 최소화 되는 상태를 의미한다.
최근에는 표준 이산 웨이블렛 변환 구조가 영상 신호가 가지는 고유한 특성인 선(Lines)과 경계(Edges), 윤곽(Contours)을 따라 충분한 에너지 집중 효과를 보이는 데에 한계를 갖는다는 것을 인식하여 영상의 특성을 반영한 이산 웨이블렛 변환 기술들이 제안되고 있다.
이러한 추세의 근본적인 이유를 보다 구체적으로 설명하면, 기존의 이산 웨이블렛 변환 구조는 수평과 수직 두 방향의 필터링으로 웨이블렛 변환이 수행되기 때문에 영상의 윤곽이나 경계가 이 두 방향 이외로 결정되어 있는 경우에는 고 대역 신호에 방향성 감쇄 모멘트가 충분히 제공되지 못하기 때문이다.
[문헌 1] Roberto H. Bamberger, and Mark J. T. Smith(A Filter Bank for the Directional Decomposition of Images : Theory and Design, IEEE Trans. On Signal Processing, vol. 40, no.4, pp.882-893, April, 1992)
[문헌 2] E. J. Candes(“Ridgelets : Theory and applications, Ph.D. dissertation, Dept. Statistics, Stanford Univ., Stanford, CA, 1998)
[문헌 3] E. J. Candes and D. L. Donoho(“Curvelets a surprisingly effective nonadaptive representation for objects with edges”, in Curve and Surface Fitting, A Choen, C. Rabut, L. L. Schmumaker, Eds. SaintMalo : Vanderbit University Press, 1999)
상술한 문제를 해결하기 위해 [문헌 1]은 가로와 세로 방향만이 아닌 다양한 방향에 대한 주파수 응답을 갖는 필터 뱅크(Filter Bank)를 사용하여 고 대역 신호에 방향성 감쇄 모멘트를 제공하려 하였고, [문헌 2]와 [문헌 3]은 2차원 연속(Continuous) 신호를 영상의 특징 정보(선, 곡선)에 기반하여 변환함으로써 고 대역 필터 밴드의 에너지를 크게 줄일 수 있었다.
[문헌 4] Omer N. Gerek and A. Enis Cetin ("A 2-D Orientation-Adaptive Prediction Filter in Lifting Structures for Image Coding", IEEE Trans. Image Processing, vol.15, no.1, pp.106-111, Jan. 2006)
그러나 상술한 방식들은 기존의 웨이블렛과 같이 1차원 필터로 독립적 구현이 불가능하여 지나친 연산량을 요구한다는 문제점이 존재하여 실제 부호화에 적용하기 어렵다.
이와 같은 문제점을 해결하면서 고 대역 필터 밴드의 에너지를 줄이기 위해서 [문헌 4]는 갱신-예측 구조 리프팅에 기반하여 에지 방향에 근거한 2-D 예측 필터를 사용한 예측 방법을 제안하였다.
도 1 및 도 2는 종래의 리프팅 기반 웨이블렛 변환 장치의 블록 구성도이다.
종래의 리프팅 기반 웨이블렛 변환 장치는, 도 1에 도시된 분석부(10)와 도 2에 도시된 통합부(20)를 포함한다. 분석부(10)는 입력 신호를 웨이블렛 계수로 변환하는 것이고, 통합부(20)는 웨이블렛 계수를 복원 신호로 변환하는 것이다.
도 1에 도시된 바와 같이 분석부(10)는 분할부(11), 예측부(13) 및 갱신부(15)를 포함하며, 도 2에 도시된 바와 같이 통합부(20)는 갱신부(21), 예측부(23) 및 합류부(25)를 포함한다.
1차원 웨이블렛 변환을 기준으로 설명하면, 분할부(11)는 1차원 신호를 짝수 및 홀수의 다상(Polyphase) 샘플로 분리하고, 예측부(13)는 복수의 홀수 다상 샘플을 주위의 복수의 짝수 다상 샘플로부터 예측하여 그 예측치를 홀수 다상 샘플로부터 감하여 잔여 다상 샘플을 산출한다.
마지막으로, 갱신부(15)는 생성된 잔여 다상 샘플로부터 짝수 다상 샘플을 예측하여 그 예측치를 짝수 다상 샘플에 더해 줌으로써 갱신 다상 샘플을 생성한다.
이때, 예측 및 갱신에 특정한 형태의 필터를 사용하게 되면, 갱신된 짝수 다상 샘플은 저 대역 필터를 통과한 웨이블렛 계수가 되고, 예측된 홀수 다상 샘플(잔여 다상 샘플)은 고 대역 필터를 통과한 웨이블렛 계수가 된다. 이 웨이블렛 계수들은 도 2의 통합부(20)에 의해 다시 원신호로 복원되는 것이 가능하다.
상술한 리프팅 기반 웨이블렛은 2차원 신호에 확장 및 적용될 수 있는데, 이는 수직 방향으로 분할/예측/갱신을 수행한 후 생성된 갱신 다상 샘플 및 잔여 다 상 샘플에 다시 수평 방향으로 분할/예측/갱신을 수행하여 2차원 신호에 대한 웨이블렛 변환을 수행하는 것이다.
상술한 바와 같이 종래의 리프팅 기반 웨이블렛 변환 장치는 리프팅 기법의 구조가 분할, 예측, 갱신의 순서로 웨이블렛을 구현하는데 반하여, 갱신-예측 구조 리프팅에서는 분할, 갱신, 예측의 순서로 웨이블렛을 수행한다.
[문헌 4]는 갱신-예측 구조 리프팅 기반 웨이블렛에 방향성 예측을 도입하여 2차원 신호의 단순 웨이블렛보다 고 대역 밴드에서의 에너지를 더 제거할 수 있게 하였다. 즉, [문헌4]는 갱신-예측 구조 리프팅 기반 웨이블렛을 기반하여 고 대역 밴드의 에너지를 줄이고자 하였다. [문헌4]의 방법은 다음과 같다.
수평 방향을 따라 각각의 1차원 웨이블렛을 홀수 및 짝수 다상 샘플로 분할한다. 홀수 다상 샘플을 이용하여 짝수 다상 샘플을 수평방향으로 갱신한다. 즉 짝수 다상 샘플은 그 짝수 다상 샘플의 좌우에 있는 홀수 다상 샘플에 의해 갱신된다. 그 후, 홀수 다상 샘플들은 인접한 갱신된 짝수 다상 샘플들에 의해 예측된다. 예측의 효율을 높이기 위하여 홀수 다상 샘플의 수평 방향에 위치한 짝수 다상 샘플뿐만 아니라 대각선에 위치한 짝수 다상 샘플들도 이용하여 예측할 수 있다. 즉, 만약 에지가 대각 방향에 있다면 홀수 다상 샘플의 좌우의 짝수 다상 샘플로 예측을 하는 것 보다 대각 방향(+45도,-45도)에 있는 짝수 다상 샘플로 예측하는 것이 더 잘 예측할 수 있을 것이다. 따라서 기존에는 수평 방향(0도)으로만 예측을 수행하였는데 [문헌4]에서는 +45도, 0도 및 -45도의 3가지 방향으로 예측을 수행한다.
수평 방향으로의 리프팅이 완료되면 위와 같은 방법으로 다시 수직 방향으로 리프팅을 수행한다.
여기서 갱신 방향을 수평 또는 수직 방향으로만 수행하는 것은 갱신된 짝수 다상 샘플들이 다시 재귀적으로 웨이블렛 분해를 수행해야 하기 때문에 갱신된 짝수 다상 샘플들의 앨리어싱(aliasing)을 적절히 제거하기 위해서이다.
[문헌4]는 에지의 방향을 고려하여 예측을 수행하여 고 대역의 에너지를 효과적으로 제거하였다. 그러나 예측 방향이 대각 방향일 때 예측될 홀수 다상 샘플의 정보를 지니고 있는 갱신된 짝수 다상 샘플의 정보를 이용하지 않고 예측을 수행한다는 문제점이 있다. 또한 방향이 +45도, -45도 및 0도로만 제한되어 있어 다양한 에지의 방향을 모두 처리할 수 없어 그 효율이 저하되는 측면이 있다.
본 발명의 목적은, 갱신-예측 구조 리프팅 방식을 기반으로 설계된 웨이블렛 변환을 이용하고 고 대역 신호 내에 에너지를 최소화기 위하여 방향성 예측 기법을 사용할 때, 예측될 홀수 다상 샘플의 정보를 지니고 있는 갱신된 짝수 다상 샘플의 정보를 이용하지 않아 예측 효율이 저하되는 문제를 효과적으로 해결하기 위한 기술을 제공하는 것이다.
본 발명의 다른 목적은, 예측 방향이 +45, 0, -45 도의 3가지로 제한되어 이 이외의 방향을 갖는 에지나 형상에 대해서는 정확한 예측 값을 제공하기 어려운 문제가 있으므로, 이 문제를 해결하기 위한 기술을 제공하는 것이다.
전술한 목적을 달성하기 위해 본 발명은, 갱신-예측 구조 기반의 방향성 예측 기법에서 갱신 과정 후, 예측 과정에서 예측하고자 하는 현 샘플의 주변에 과거의 갱신 과정에서 현 샘플에 영향을 받았던 샘플을 중심으로 다양한 방향성으로 예측할 수 있도록 하는, 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체를 제공하고자 하는 것이다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따르면, 입력 신호를 제 1 짝수 다상 샘플 및 제 1 홀수 다상 샘플로 분리하는 분할부; 상기 제 1 홀수 다상 샘플로부터 짝수 다상 샘플을 예측하여 제 1 예측치를 구하고 그 제 1 예측치를 상기 제 1 짝수 다상 샘플에 더하여 갱신 짝수 다상 샘플을 구하는 갱신부; 및 상기 갱신 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하여 제 2 예측치를 구하고 그 제 2 예측치를 상기 제 1 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구하는 예측부를 포함하되, 상기 예측부는, 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하고, 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하고, 상기 선택된 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 상기 제 2 예측치를 구하는 것을 특징으로 하는, 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치가 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따르면, (a) 입력 신호를 제 1 짝수 다상 샘플 및 제 1 홀수 다상 샘플로 분리하는 단계; (b) 상기 제 1 홀수 다상 샘플로부터 짝수 다상 샘플을 예측하여 제 1 예측치를 구하고 그 제 1 예측치를 상기 제 1 짝수 다상 샘플에 더하여 갱신 짝수 다상 샘플을 구하는 단계; 및 (c) 상기 갱신 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하여 제 2 예측치를 구하고 그 제 2 예측치를 상기 제 1 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구하는 단계를 포함하되, 상기 단계 (c)는, (c-1) 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하는 단계; (c-2) 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 단계; (c-3) 상기 선택된 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 상기 제 2 예측치를 구하는 단계를 포함하는 것을 특징으로 하는, 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법이 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 갱신-예측 구조 리프팅 기반 웨이블렛 변환에 의해 갱신된 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하기 위한 적응적 예측 장치에 있어서, 갱신 시 예측하고자 하는 해당 홀수 다상 샘플로부터 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정하는 예측 샘플 영향 판별부; 상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하고, 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 예측 방향 선택부; 및 상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 제 1 예측치를 구하고, 상기 제 1 예측치를 해당 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구하는 예측부를 포함하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치가 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 갱신-예측 구조 리프팅 기반 웨이블렛 변환에 의해 갱신된 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하기 위한 적응적 예측 방법에 있어서, (a) 갱신 시 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신의 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정하는 단계; (b) 상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하는 단계; (c) 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 단계; 및 (d) 상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 제 1 예측치를 구하고, 상기 제 1 예측치를 해당 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구하는 단계를 포함하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법이 제공된다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 갱신-예측 구조 리프팅 기반 웨이블렛 변환에 의해 갱신된 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하기 위한 적응적 예측 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 갱신 시 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신의 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정하는 기능; 상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하는 기능; 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 기능; 및 상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 제 1 예측치를 구하고, 상기 제 1 예측치를 해당 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구하는 기능을 실현시키기 위한 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공된다.
이상과 같은 본 발명에 의하면, 갱신-예측 구조 리프팅 방식을 기반으로 설계된 방향성 웨이블렛 변환을 이용하여 영상 내의 공간적 상관관계를 제거할 때, 고 대역 신호에 큰 에너지 성김 효과를 제공하여 부호화 효율을 증대시킬 수 있다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치의 블록 구성도이다.
본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치는 도 3에 도시된 분석부(30)와 도 4에 도시된 통합부(40)를 포함한다. 분석부(30)는 입력 신호를 웨이블렛 계수로 변환하는 것이고, 통합부(40)는 웨이블렛 계수를 복원 신호로 변환하는 것이다.
도 3에 도시된 바와 같이 분석부(30)는 분할부(31), 갱신부(33) 및 예측부(35)를 포함하며, 도 4에 도시된 바와 같이 통합부(40)는 예측부(41) 갱신부(43) 및 합류부(45)를 포함한다.
분할부(31)는 입력 신호를 짝수 다상 샘플 및 홀수 다상 샘플로 분리한다. 갱신부(33)는 상기 분리된 홀수 다상 샘플로부터 짝수 다상 샘플을 예측하여 제 1 예측치를 구하고 그 제 1 예측치를 상기 분리된 짝수 다상 샘플에 더하여 갱신 짝수 다상 샘플을 생성한다.
예측부(35)는 상기 갱신 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하여 제 2 예측치를 구하고 그 제 2 예측치를 상기 분할된 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 산출한다. 즉, 예측부(35)는 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하고, 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하고, 상기 선택된 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 상기 제 2 예측치를 구하며, 상기 제 2 예측치를 상기 분할된 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 산출한다.
상술한 갱신 및 예측에 특정한 형태의 필터를 사용하게 되면, 갱신된 짝수 다상 샘플은 저 대역 필터를 통과한 웨이블렛 계수가 되고, 예측된 홀수 다상 샘플(잔여 홀수 다상 샘플)은 고 대역 필터를 통과한 웨이블렛 계수가 된다. 이 웨이블렛 계수들은 도 4의 통합부(40)에 의해 다시 원신호로 복원되는 것이 가능하다.
상술한 갱신-예측 구조 리프팅 기반 웨이블렛은 일반적인 리프팅 기반 웨이블렛과 마찬가지로, 2차원 신호에 확장 및 적용될 수 있다.
상기 예측부(35)는 예측하고자 하는 해당 홀수 다상 샘플의 위치, 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 상기 제 1 갱신 짝수 다상 샘플을 설정하며, 상기 복수의 예측 방향 후보군은 상기 제 1 갱신 짝수 다상 샘플을 중심으로 0°,
Figure 112008052861969-pat00001
22.5°,
Figure 112008052861969-pat00002
45°,
Figure 112008052861969-pat00003
67.5°,
Figure 112008052861969-pat00004
112.5°,
Figure 112008052861969-pat00005
135°, 및
Figure 112008052861969-pat00006
157.5°의 방향 성분을 갖도록 한다. 또한, 상기 예측부(35)는 가중 평균 샘플 값에서 상기 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향을 상기 제 1 예측 방향으로 선택한다. 상기 가중 평균 샘플 값은, 예측하고자 하는 해당 홀수 다상 샘플의 주변에 위치한 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 홀수 다상 샘플과의 거리에 따른 가중치를 부여한 후 평균한 값을 나타낸다.
도 5는 도 3의 예측부(35)의 상세 구성도로서, 본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치의 블록 구성도이다.
본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치는, 도 5에 도시된 바와 같이, 예측 샘플 영향 판별부(510), 예측 방향 선택부(530), 및 예측부(550)를 포함한다.
예측 샘플 영향 판별부(510)는, 도 3의 갱신부(33)에서의 갱신 과정에서 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신에 대한 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정한다. 즉, 예측 샘플 영향 판별부(510)는 도 3의 갱신부(33)로부터 갱신 짝수 다상 샘플, 예측할 홀수 다상 샘플, 갱신 필터 계수 및 갱신 필터 방향이 입력되면, 예측할 홀수 다상 샘플의 위치와 갱신 필터의 계수 및 방향을 이용하여 예측할 홀수 다상 샘플을 예측하기 위해 필요한 갱신 샘플들(즉, 제 1 갱신 짝수 다상 샘플)의 위치를 계산하여, 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정한다.
예측 방향 선택부(520)는 현재 샘플의 에지 방향 및 강도를 고려하여 고 대역에서 에너지가 최소가 되게 할 수 있는 방향 및 갱신 샘플을 결정한다. 즉, 예측 방향 선택부(520)는 상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하고, 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택한다. 상기 제 1 예측 방향을 선택하는 구체적인 실시예는 이후 자세히 설명하기로 한다.
예측부(550)는 상기 제 1 예측 방향과 갱신된 짝수 다상 샘플들을 이용하여 미리 결정된 예측 필터를 사용하여 예측 과정을 수행한 후 예측된 값과 홀수 다상 샘플과의 차이를 계산한다. 즉, 예측부(550)는 상기 제 1 예측 방향 및 그 제 1 예 측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 예측치를 구하고, 상기 예측치를 해당 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구한다.
도 6은 도 5의 예측 샘플 영향 판별부(510)의 상세 구성도이다.
도 6에 도시된 바와 같이, 예측 샘플 영향 판별부(510)는 갱신 필터 확인부(511)와 갱신 샘플 위치 계산부(513)를 포함한다.
갱신 필터 확인부(511)는 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 상기 제 1 갱신 짝수 다상 샘플의 범위를 확인한다. 즉, 갱신 필터 확인부(511)는 예를 들어 갱신 필터 방향이 가로 방향이고 갱신 필터 계수가 N(=4)일 경우, 도 8을 참조하면, 상기 제 1 갱신 짝수 다상 샘플의 범위는 가로 방향으로 길이가 2N(=8)인 샘플의 범위를 가진다.
갱신 샘플 위치 계산부(513)는 도 8에 도시된 바와 같이 상기 확인된 범위 2N(=8)를 예측하고자 하는 해당 홀수 다상 샘플(801)의 위치에 적용시켜, 예측에 사용할 갱신된 짝수 다상 샘플 즉, 상기 제 1 갱신 짝수 다상 샘플(802~805)을 결정한다.
도 7은 도 5의 예측 방향 선택부(530)의 상세 구성도이다.
도 7에 도시된 바와 같이, 예측 방향 선택부(530)는 가중 평균 샘플 예측부(531), 예측 방향 후보군 결정부(533) 및 최적 예측 방향 결정부(535)를 포함한다.
가중 평균 샘플 예측부(531)는 예측하고자 하는 해당 홀수 다상 샘플의 주변에 위치하는 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 홀수 다상 샘 플과의 거리에 따른 가중치를 부여한 후 평균한 가중 평균 샘플 값을 구한다. 즉, 가중 평균 샘플 예측부(531)는 도 9를 참조하면 현재 예측할 홀수 다상 샘플 X(2m+2,2n+2)의 주변에 위치한 짝수 갱신 다상 샘플의 가중 평균 값을 생성하는데, 현재 예측할 홀수 다상 샘플 X(2m+2,2n+2)를 중심으로 떨어진 거리에 따라 가중 평균을 계산하며, X(2m+2,2n+1), X(2m+2,2n+3)과 같은 샘플은 X(2m+2,2n+2)의 샘플로부터 1 샘플 떨어져 있기 때문에 1이라는 가중치를 가지며, X(2m+1,2n+1) 및 X(2m+1,2n+3). X(2m+3,2n+1), X(2m+3,2n+3)의 경우는
Figure 112008052861969-pat00007
의 가중치를 가지게 된다.
따라서, 가중 평균 샘플 예측부(531)은 다음과 같은 식 1을 통해 가중 평균 샘플
Figure 112008052861969-pat00008
를 예측한다. 식 1에서 ci는 가중치를 나타낸다.
[식 1]
Figure 112008052861969-pat00009
예측 방향 후보군 결정부(533)는 상기 제 1 갱신 짝수 다상 샘플을 중심으로 하는 복수의 방향 성분(예를 들어, 0°,
Figure 112008052861969-pat00010
22.5°,
Figure 112008052861969-pat00011
45°,
Figure 112008052861969-pat00012
67.5°,
Figure 112008052861969-pat00013
112.5°,
Figure 112008052861969-pat00014
135°, 및
Figure 112008052861969-pat00015
157.5°의 방향 성분을 포함)을 상기 복수의 예측 방향 후보군으로 설정하는데, 높은 주파수 대역의 잔여 신호(residual)를 영상 신호의 특성에 따라 효율적 제거하기 위해 예측 방향 후보군을 결정하는 것으로서, 다양한 방향성을 제공할 수 있지만, 부호기의 복잡도를 고려하여 13가지의 방향 후보군을 제안한다. 구체적으로 도 10을 참조해서 설명하도록 한다.
부호화 효율을 높이기 위해서는 고 대역의 잔여 신호를 최소화해야 하며, 이는 영상의 다양한 특성을 반영할 수 있는 예측 기법을 통하여 가능하다. 본 발명에 따른 예측 방향 후보군 결정부(533)는 도 10에 도시된 바와 같이 영상의 특성을 잘 반영할 수 있도록 상기 제 1 갱신 짝수 다상 샘플(예를 들어, 도 10의 X(2m+2,2n+1) 및 X(2m+2,2n+3)의 샘플)을 중심으로 총 13가지의 방향 성분을 갖는 예측 방향 후보군을 선정한다. 이를 통해 영상의 선과 에지(Edges), 윤곽 등을 효율적으로 표현할 수 있으며, 표현할 수 있는 방향의 각도는 0°,
Figure 112008052861969-pat00016
22.5°,
Figure 112008052861969-pat00017
45°,
Figure 112008052861969-pat00018
67.5°,
Figure 112008052861969-pat00019
112.5°,
Figure 112008052861969-pat00020
135°, 및
Figure 112008052861969-pat00021
157.5°의 13가지 이다.
최적 예측 방향 결정부(535)는 가중 평균 샘플 예측부(531)와 예측 방향 후보군 결정부(533)의 결과를 바탕으로 효율적인 예측 방향을 결정하는데, 가중 평균 샘플 예측부(531)로부터 얻어진 가중 평균 샘플값
Figure 112008052861969-pat00022
과 예측 방향 후보군 결정부(533)로부터 얻어진 복수의 예측 방향 후보군의 샘플 값들을 통해서 최적의 예측 방향을 결정한다. 상기 최적의 예측 방향은 다음의 식 2에 의해 결정된다. 식 2에 의하면 가중 평균 샘플 값
Figure 112008052861969-pat00023
에서 13가지의 상기 예측 방향 후보군 X[2m+I,2n+j]에 필터 계수 Wi를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향이 최적 예측 방향으로 결정된다.
[식 2]
Figure 112008052861969-pat00024
즉, 최적 예측 방향 결정부(535)는 13가지 다양한 방향을 고려하여 식 2가 최소가 되는 값으로 샘플을 선택하여 부호화 효율을 최대화한다. 최종적으로 최적 예측 방향 결정부(135)에서 영상 신호에 적합한 방향 및 샘플을 선정하게 된다.
이어 도 9를 참조하여 본 발명에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법의 일 예를 설명한다.
도 9는 갱신-예측 구조 기반의 5/3 리프팅 기법을 일 예로 하는 도면으로, 보다 구체적으로 도 9에서 짝수열에 배열된 갱신 샘플은 도 3의 갱신부(33)에서의 갱신 과정을 통해 생성되는 화소에 해당하고, 홀수열에 배열된 홀수 샘플은 도 3의 예측부(35)의 예측 과정을 통해 예측하게 된다. 앞서 언급한 것처럼 변환 기법의 갱신 과정과 예측 과정에서의 방향이 서로 다르게 되면 예측될 홀수 다상 샘플의 정보를 지니고 있는 갱신된 짝수 다상 샘플의 정보를 이용하지 않아 부호화 효율이 떨어진다.
보다 구체적으로, 홀수 샘플 X(2m+2,2n+2)는 -45도 방향으로 갱신 샘플 X(2m+1,2n+1)와 X(2m+3,2n+3)에 의해서 예측 가능하고, 0도 방향으로 갱신 샘플 X(2m+2,2n+1)와 X(2m+2,2n+3)에 의해서 예측 가능하며, 45도 방향으로 X(2m+3,2n+1)와 X(2m+1,2n+3)에 의해서 예측 가능하다. 하지만, 홀수 샘플인 X(2m+2,2n+2)는 갱신 과정에서 X(2m+2,2n+1)와 X(2m+2,2n+3)의 생성에 영향을 주었기 때문에, -45도 방향과 45도 방향의 갱신 샘플인 X(2m+1,2n+1)과 X(2m+3,2n+3), X(2m+3,2n+1), X(2m+1,2n+3)로 홀수 샘플인 X(2m+2,2n+2)를 예측할 때 예측될 홀수 다상 샘플의 정보를 지니고 있는 갱신된 짝수 다상 샘플의 정보를 이용하지 않는 문제가 생긴다.
따라서, -45도와 0도, 45도의 화살표 방향 대신에 갱신 과정에서 X(2m+2,2n+2)에 의해 영향을 받았던 샘플인 X(2m+2,2n+1)와 X(2m+2,2n+3)를 중심으로 예측을 수행하여 이 문제를 해결한다. X(2m+2,2n+1)를 중심으로 화살표 방향의 끝에 해당하는 샘플들 X(2m,2n+3), X(2m+1,2n+3), X(2m+2, 2n+3), X(2m+3,2n+3), 및 X(2m+4,2n+3)로 X(2m+2,2n+2)를 예측하게 된다. 또한 X(2m+2,2n+3)를 중심으로 화살표 방향의 끝에 해당하는 샘플들 X(2m,2n+1), X(2m+1,2n+1), X(2m+2,2n+1), X(2m+3,2n+1), 및 X(2m+4,2n+1)로 X(2m+2,2n+2)를 예측하게 된다.
최적의 방향 결정은 식 2에 의해 결정된다. 위의 실 예를 통해 갱신 과정과 예측 과정에서 생기는 불일치 문제를 해결할 수 있게 된다. 또한 중심 화소와 그 화살표 방향으로의 샘플을 통한 예측 방법은 3가지 방향(-45도와 0도, 45도) 밖에 표현할 수 없었던 종래에 비해 22.5도라는 조금 더 세밀한 방향성을 제공한다. 물론, 도 9의 예를 벗어나 방향을 더 주어 예측 효율을 향상 시키는 것도 가능하다.
도 11은 본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법의 흐름도로서, 도 3의 장치에 적용하여 설명한다.
먼저, 분할부(31)를 통해 입력 신호를 제 1 짝수 다상 샘플 및 제 1 홀수 다 상 샘플로 분리한다(S1110).
이어, 갱신부(33)를 통해 상기 제 1 홀수 다상 샘플로부터 짝수 다상 샘플을 예측하여 제 1 예측치를 구하고 그 제 1 예측치를 상기 제 1 짝수 다상 샘플에 더하여 갱신 짝수 다상 샘플을 구한다(S1130).
다음, 예측부(35)를 통해 상기 갱신 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하여 제 2 예측치를 구하고 그 제 2 예측치를 상기 제 1 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구한다(S1150).
도 12는 도 11의 단계 S1150을 상세히 설명하는 흐름도로서, 도 5의 장치에 적용하여 설명한다.
먼저, 예측 샘플 영향 판별부(510)에서, 예측하고자 하는 해당 홀수 다상 샘플의 위치, 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로, 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정하고, 예측 방향 선택부(530)에서 상기 설정된 제 1 갱신 짝수 다상 샘플을 중심으로 0°,
Figure 112008052861969-pat00025
22.5°,
Figure 112008052861969-pat00026
45°,
Figure 112008052861969-pat00027
67.5°,
Figure 112008052861969-pat00028
112.5°,
Figure 112008052861969-pat00029
135°, 및
Figure 112008052861969-pat00030
157.5°의 13가지 방향 성분을 갖는 복수의 예측 방향 후보군을 설정한다(S1151).
이어, 예측 방향 선택부(530)에서 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는데, 상기 제 1 예측 방향은 가중 평균 샘플 값에서 상기 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향이고, 상기 가중 평균 샘플 값은, 예측하고자 하는 해당 홀수 다상 샘플의 주변에 위치한 짝수 다상 샘플의 화 소값에 상기 예측하고자 하는 해당 홀수 다상 샘플과의 거리에 따른 가중치를 부여한 후 평균한 값이다(S1153).
마지막으로, 예측부(550)에서 상기 선택된 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 상기 제 2 예측치를 구하고, 그 제 2 예측치를 상기 제 1 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구한다(S1155).
도 13은 본 발명의 다른 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법의 흐름도로서, 도 5 내지 도 7의 장치에 적용하여 설명한다.
먼저, 예측 샘플 영향 판별부(510)에서, 예측하고자 하는 해당 홀수 다상 샘플의 위치, 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로, 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 제 1 갱신 짝수 다상 샘플을 설정한다(S1310). 구체적으로, 예측 샘플 영향 판별부(510)의 갱신 필터 확인부(511)에서 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 상기 제 1 갱신 짝수 다상 샘플의 범위를 확인하고, 갱신 샘플 위치 계산부(513)에서 상기 확인된 범위를 예측하고자 하는 해당 홀수 다상 샘플의 위치에 적용시켜 상기 제 1 갱신 짝수 다상 샘플을 결정한다.
다음, 예측 방향 선택부(530)에서 상기 제 1 갱신 짝수 다상 샘플을 중심으로 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 방향 성분을 갖는 복수의 예측 방향 후보군을 설정한다(S1330). 구체적으로, 예측 방향 선택부(530)의 예측 방향 후 보군 결정부(533)에서 상기 제 1 갱신 짝수 다상 샘플을 중심으로 0°,
Figure 112008052861969-pat00031
22.5°,
Figure 112008052861969-pat00032
45°,
Figure 112008052861969-pat00033
67.5°,
Figure 112008052861969-pat00034
112.5°,
Figure 112008052861969-pat00035
135°, 및
Figure 112008052861969-pat00036
157.5°의 13가지의 방향 성분을 상기 복수의 예측 방향 후보군으로 설정한다.
이어, 예측 방향 선택부(530)에서 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택한다(S1350). 구체적으로, 예측 방향 선택부(530)의 가중 평균 샘플 예측부(531)에서 예측하고자 하는 해당 홀수 다상 샘플의 주변에 위치하는 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 홀수 다상 샘플과의 거리에 따른 가중치를 부여한 후 평균한 가중 평균 샘플 값을 구하고, 최적 예측 방향 결정부(535)에서 상기 가중 평균 샘플 값 및 상기 복수의 예측 방향 후보군을 근거로 상기 제 1 예측 방향을 결정한다. 상기 제 1 예측 방향은, 상기 가중 평균 샘플 값에서 상기 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향이다.
마지막으로, 예측부(550)에서 상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 갱신 짝수 다상 샘플을 기반으로 예측치를 구하고, 상기 예측치를 해당 홀수 다상 샘플로부터 감하여 잔여 홀수 다상 샘플을 구한다(S1370).
도 11 내지 도 13을 참조로 설명된 본 발명에 따른 갱신-예측 구조 리프팅 기반 웨이블렛에서 고 대역 밴드의 에너지를 효율적으로 줄이기 위한 적응적 예측 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로써 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함하는 것으로, 예를 들어, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 및 광 데이터 저장장치 등이다.
또한, 기록매체는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함하며, 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상 설명한 바와 같이, 본 발명은 대용량의 영상 데이터 압축을 위한 웨이블렛 변환 기반 영상 데이터 압축 기술 분야에 적용되어, 갱신-예측 리프팅 방식을 기반으로 설계된 웨이블렛 변환을 이용하여 영상 내의 공간적 상관관계를 제거할 때, 고 대역 신호의 에너지를 효과적으로 감소시켜 부호화 효율을 증대키는 매우 유용한 발명이다.
도 1 및 도 2는 종래의 리프팅 기반 웨이블렛 변환 장치의 블록 구성도,
도 3 및 도 4는 본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치의 블록 구성도,
도 5는 본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치를 설명하는 블록 구성도,
도 6은 도 5의 예측 샘플 영향 판별부의 상세 블록 구성도,
도 7은 도 5의 예측 방향 선택부의 상세 블록 구성도,
도 8은 본 발명의 일 실시예에 따라 예측에 사용할 수 있는 갱신 짝수 다상 샘플의 범위를 설명하는 도면,
도 9는 본 발명에 따른 예측 방법의 일 예를 설명하기 위한 도면,
도 10은 본 발명의 일 실시예에 따른 예측 방향 후보군을 설명하기 위한 도면,
도 11은 본 발명의 일 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법의 흐름도,
도 12는 도 11의 단계 S1150을 상세히 설명하는 흐름도,
도 13은 본 발명의 다른 실시예에 따른 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법의 흐름도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
30: 분석부 31: 분할부
33: 갱신부 35: 예측부
40: 통합부 41: 예측부
43: 갱신부 45: 합류부
510: 예측 샘플 영향 판별부 511: 갱신 필터 확인부
513: 갱신 샘플 위치 계산부 530: 예측 방향 선택부
531: 가중 평균 샘플 예측부 533; 예측 방향 후보군 결정부
535: 최적 예측 방향 결정부 550: 예측부

Claims (25)

  1. 입력 신호를 제 1 짝수 다상 샘플 및 제 1 홀수 다상 샘플로 분리하는 분할부;
    상기 제 1 홀수 다상 샘플로부터 제 1 짝수 다상 샘플을 예측하여 제 1 예측치를 구하고, 상기 제 1 예측치 및 상기 제 1 짝수 다상 샘플에 근거하여 갱신 짝수 다상 샘플을 구하는 갱신부; 및
    상기 갱신 짝수 다상 샘플로부터 제 1 홀수 다상 샘플을 예측하여 제 2 예측치를 구하고, 상기 제 2 예측치 및 상기 제 1 홀수 다상 샘플에 근거하여 잔여 홀수 다상 샘플을 구하는 예측부를 포함하되,
    상기 예측부는, 예측하고자 하는 해당 제 1 홀수 다상 샘플로부터 갱신 시 영향을 받은 갱신 짝수 다상 샘플인 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하고, 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하고, 상기 선택된 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 제 1 갱신 짝수 다상 샘플을 기반으로 상기 제 2 예측치를 구하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치.
  2. 제 1 항에 있어서,
    상기 예측부는 예측하고자 하는 해당 제 1 홀수 다상 샘플의 위치, 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 상기 제 1 갱신 짝수 다상 샘플을 설정하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치.
  3. 제 1 항에 있어서,
    상기 복수의 예측 방향 후보군은 상기 제 1 갱신 짝수 다상 샘플을 중심으로 0°,
    Figure 112008052861969-pat00037
    22.5°,
    Figure 112008052861969-pat00038
    45°,
    Figure 112008052861969-pat00039
    67.5°,
    Figure 112008052861969-pat00040
    112.5°,
    Figure 112008052861969-pat00041
    135°, 및
    Figure 112008052861969-pat00042
    157.5°의 방향 성분을 갖는 것을 특징으로 하는 갱신예측 구조 리프팅 기반 웨이블렛 변환 장치.
  4. 제 1 항에 있어서,
    상기 예측부는 가중 평균 샘플 값에서 상기 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향을 상기 제 1 예측 방향으로 선택하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치.
  5. 제 4 항에 있어서,
    상기 가중 평균 샘플 값은 예측하고자 하는 해당 제 1 홀수 다상 샘플의 주변에 위치한 제 1 갱신 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 제 1 홀수 다상 샘플과의 거리에 따른 가중치를 부여한 후 평균한 값인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치.
  6. (a) 입력 신호를 제 1 짝수 다상 샘플 및 제 1 홀수 다상 샘플로 분리하는 단계;
    (b) 상기 제 1 홀수 다상 샘플로부터 제 1 짝수 다상 샘플을 예측하여 제 1 예측치를 구하고, 상기 제 1 예측치 및 상기 제 1 짝수 다상 샘플에 근거하여 갱신 짝수 다상 샘플을 구하는 단계; 및
    (c) 상기 갱신 짝수 다상 샘플로부터 제 1 홀수 다상 샘플을 예측하여 제 2 예측치를 구하고, 상기 제 2 예측치 및 상기 제 1 홀수 다상 샘플에 근거하여 잔여 홀수 다상 샘플을 구하는 단계를 포함하되,
    상기 단계 (c)는,
    (c-1) 예측하고자 하는 해당 제 1 홀수 다상 샘플로부터 갱신 시 영향을 받은 갱신 짝수 다상 샘플인 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하는 단계;
    (c-2) 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 단계; 및
    (c-3) 상기 선택된 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 제 1 갱신 짝수 다상 샘플을 기반으로 상기 제 2 예측치를 구하는 단계를 포함하는 것
    을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법.
  7. 제 6 항에 있어서,
    상기 제 1 갱신 짝수 다상 샘플은 예측하고자 하는 해당 제 1 홀수 다상 샘플의 위치, 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 설정하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법.
  8. 제 6 항에 있어서,
    상기 복수의 예측 방향 후보군은 상기 제 1 갱신 짝수 다상 샘플을 중심으로 0°,
    Figure 112008052861969-pat00043
    22.5°,
    Figure 112008052861969-pat00044
    45°,
    Figure 112008052861969-pat00045
    67.5°,
    Figure 112008052861969-pat00046
    112.5°,
    Figure 112008052861969-pat00047
    135°, 및
    Figure 112008052861969-pat00048
    157.5°의 방향 성분을 갖도록 설정하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법.
  9. 제 6 항에 있어서,
    상기 제 1 예측 방향은 가중 평균 샘플 값에서 상기 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법.
  10. 제 9 항에 있어서,
    상기 가중 평균 샘플 값은 예측하고자 하는 해당 제 1 홀수 다상 샘플의 주변에 위치한 제 1 갱신 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 제 1 홀수 다상 샘플과의 거리에 따른 가중치를 부여한 후 평균한 값인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환 방법.
  11. 갱신-예측 구조 리프팅 기반 웨이블렛 변환에 의해 갱신된 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하기 위한 적응적 예측 장치에 있어서,
    예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 영향을 받은 갱신 짝수 다상 샘플인 제 1 갱신 짝수 다상 샘플을 설정하는 예측 샘플 영향 판별부;
    상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하고, 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 예측 방향 선택부; 및
    상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 제 1 갱신 짝수 다상 샘플을 기반으로 제 1 예측치를 구하고, 상기 제 1 예측치 및 해당 홀수 다상 샘플에 근거하여 잔여 홀수 다상 샘플을 구하는 예측부
    를 포함하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치.
  12. 제 11 항에 있어서,
    상기 예측 샘플 영향 판별부는,
    갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 상기 제 1 갱신 짝수 다상 샘플의 범위를 확인하는 갱신 필터 확인부; 및
    상기 확인된 범위를 예측하고자 하는 해당 홀수 다상 샘플의 위치에 적용시켜, 상기 제 1 갱신 짝수 다상 샘플을 결정하는 갱신 샘플 위치 계산부를 포함하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치.
  13. 제 11 항에 있어서,
    상기 예측 방향 선택부는,
    예측하고자 하는 해당 홀수 다상 샘플의 주변에 위치하는 제 1 갱신 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 홀수 다상 샘플과의 거리에 따른 가중치를 부여하고 평균한 가중 평균 샘플 값을 구하는 가중 평균 샘플 예측부;
    상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 방향 성분을 갖는 상기 복수의 예측 방향 후보군을 설정하는 예측 방향 후보군 결정부; 및
    상기 가중 평균 샘플 값 및 상기 복수의 예측 방향 후보군을 근거로 상기 제 1 예측 방향을 결정하는 최적 예측 방향 결정부를 포함하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치.
  14. 제 13 항에 있어서,
    상기 복수의 방향 성분은 0°,
    Figure 112008052861969-pat00049
    22.5°,
    Figure 112008052861969-pat00050
    45°,
    Figure 112008052861969-pat00051
    67.5°,
    Figure 112008052861969-pat00052
    112.5°,
    Figure 112008052861969-pat00053
    135°, 및
    Figure 112008052861969-pat00054
    157.5°의 방향 성분을 포함하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 장치.
  15. 제 13 항에 있어서,
    상기 제 1 예측 방향은 상기 가중 평균 샘플 값에서 상기 복수의 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예 측 장치.
  16. 갱신-예측 구조 리프팅 기반 웨이블렛 변환에 의해 갱신된 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하기 위한 적응적 예측 방법에 있어서,
    (a) 예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 갱신의 영향을 받은 갱신 짝수 다상 샘플인 제 1 갱신 짝수 다상 샘플을 설정하는 단계;
    (b) 상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하는 단계;
    (c) 상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 단계; 및
    (d) 상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 제 1 갱신 짝수 다상 샘플을 기반으로 제 1 예측치를 구하고, 상기 제 1 예측치 및 해당 홀수 다상 샘플에 근거하여 잔여 홀수 다상 샘플을 구하는 단계
    를 포함하는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법.
  17. 제 16 항에 있어서,
    상기 제 1 갱신 짝수 다상 샘플은, 예측하고자 하는 해당 홀수 다상 샘플의 위치, 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 설정되는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법.
  18. 제 16 항에 있어서,
    상기 복수의 예측 방향 후보군은, 상기 제 1 갱신 짝수 다상 샘플을 중심으로 0°,
    Figure 112008052861969-pat00055
    22.5°,
    Figure 112008052861969-pat00056
    45°,
    Figure 112008052861969-pat00057
    67.5°,
    Figure 112008052861969-pat00058
    112.5°,
    Figure 112008052861969-pat00059
    135°, 및
    Figure 112008052861969-pat00060
    157.5°의 방향 성분을 갖는 것으로 설정되는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법.
  19. 제 16 항에 있어서,
    상기 제 1 예측 방향은, 가중 평균 샘플 값에서 상기 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법.
  20. 제 19 항에 있어서,
    상기 가중 평균 샘플 값은, 예측하고자 하는 해당 홀수 다상 샘플의 주변에 위치한 제 1 갱신 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 홀수 다상 샘플과의 거리에 따른 가중치를 부여한 후 평균한 값인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 방법.
  21. 갱신-예측 구조 리프팅 기반 웨이블렛 변환에 의해 갱신된 짝수 다상 샘플로부터 홀수 다상 샘플을 예측하기 위한 적응적 예측 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    예측하고자 하는 해당 홀수 다상 샘플로부터 갱신 시 갱신의 영향을 받은 갱신 짝수 다상 샘플인 제 1 갱신 짝수 다상 샘플을 설정하는 기능;
    상기 제 1 갱신 짝수 다상 샘플을 중심으로 복수의 예측 방향 후보군을 설정하는 기능;
    상기 설정된 복수의 예측 방향 후보군 중에서 고대역에서 에너지를 최소화하기 위한 제 1 예측 방향을 선택하는 기능; 및
    상기 제 1 예측 방향 및 그 제 1 예측 방향에 대응하는 제 1 갱신 짝수 다상 샘플을 기반으로 제 1 예측치를 구하고, 상기 제 1 예측치 및 해당 홀수 다상 샘플에 근거하여 잔여 홀수 다상 샘플을 구하는 기능
    을 실현시키기 위한 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  22. 제 21 항에 있어서,
    상기 제 1 갱신 짝수 다상 샘플은, 예측하고자 하는 해당 홀수 다상 샘플의 위치, 갱신 필터의 계수 및 갱신 필터의 방향을 기반으로 설정된 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  23. 제 21 항에 있어서,
    상기 복수의 예측 방향 후보군은, 상기 제 1 갱신 짝수 다상 샘플을 중심으로 0°,
    Figure 112008052861969-pat00061
    22.5°,
    Figure 112008052861969-pat00062
    45°,
    Figure 112008052861969-pat00063
    67.5°,
    Figure 112008052861969-pat00064
    112.5°,
    Figure 112008052861969-pat00065
    135°, 및
    Figure 112008052861969-pat00066
    157.5°의 방향 성분을 갖는 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  24. 제 21 항에 있어서,
    상기 제 1 예측 방향은, 가중 평균 샘플 값에서 상기 예측 방향 후보군에 필터 계수를 곱한 샘플값을 누적한 것을 뺀 값이 최소값이 되는 예측 방향인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  25. 제 24 항에 있어서,
    상기 가중 평균 샘플 값은, 예측하고자 하는 해당 홀수 다상 샘플의 주변에 위치한 제 1 갱신 짝수 다상 샘플의 화소값에 상기 예측하고자 하는 해당 홀수 다상 샘플과의 거리에 따른 가중치를 부여한 후 평균한 값인 것을 특징으로 하는 갱신-예측 구조 리프팅 기반 웨이블렛 변환의 적응적 예측 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020080071564A 2008-07-23 2008-07-23 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법,이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록매체 KR101467848B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080071564A KR101467848B1 (ko) 2008-07-23 2008-07-23 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법,이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록매체
US13/055,671 US8559509B2 (en) 2008-07-23 2009-07-16 Wavelet transform apparatus and method based on prediction-update lifting scheme, and adaptive prediction apparatus and method and recording medium for the same
PCT/KR2009/003912 WO2010011050A2 (ko) 2008-07-23 2009-07-16 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080071564A KR101467848B1 (ko) 2008-07-23 2008-07-23 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법,이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록매체

Publications (2)

Publication Number Publication Date
KR20100010613A KR20100010613A (ko) 2010-02-02
KR101467848B1 true KR101467848B1 (ko) 2014-12-03

Family

ID=42085218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080071564A KR101467848B1 (ko) 2008-07-23 2008-07-23 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법,이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록매체

Country Status (1)

Country Link
KR (1) KR101467848B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060049812A (ko) * 2004-07-03 2006-05-19 마이크로소프트 코포레이션 하이브리드 방향성 예측 및 리프팅 웨이브렛 기술을 채용한이미지 코딩을 위한 시스템 및 방법
KR20060084974A (ko) * 2005-01-21 2006-07-26 삼성전자주식회사 영상 압축 장치 및 그 방법
KR20090095979A (ko) * 2008-03-07 2009-09-10 에스케이 텔레콤주식회사 리프팅 기반 방향성 웨이블렛 변환의 적응적 갱신 방법 및갱신 장치와 이를 위한 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060049812A (ko) * 2004-07-03 2006-05-19 마이크로소프트 코포레이션 하이브리드 방향성 예측 및 리프팅 웨이브렛 기술을 채용한이미지 코딩을 위한 시스템 및 방법
KR20060084974A (ko) * 2005-01-21 2006-07-26 삼성전자주식회사 영상 압축 장치 및 그 방법
KR20090095979A (ko) * 2008-03-07 2009-09-10 에스케이 텔레콤주식회사 리프팅 기반 방향성 웨이블렛 변환의 적응적 갱신 방법 및갱신 장치와 이를 위한 기록 매체

Also Published As

Publication number Publication date
KR20100010613A (ko) 2010-02-02

Similar Documents

Publication Publication Date Title
JP5890520B2 (ja) 画像の輝度成分を用いて画像の色差成分を予測する方法及び予測装置
RU2612614C2 (ru) Способ и устройство для выполнения интерполяции на основе преобразования и обратного преобразования
US9154809B2 (en) Encoding/decoding method and device for high-resolution moving images
CN106851313B (zh) 对图像进行解码的方法
KR101818997B1 (ko) 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
EP1796395A2 (en) Method and device for intra prediction coding and decoding of images
KR101375664B1 (ko) 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
KR20170110162A (ko) 신규한 평면 예측 모드
CN102804776A (zh) 自适应回路滤波方法和装置
RU2013113038A (ru) Способ и устройство для кодирования и декодирования изображения с использованием крупной единицы преобразования
KR20080090937A (ko) 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
KR20080018469A (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
KR100941582B1 (ko) 리프팅 기반 방향성 웨이블렛 변환의 적응적 갱신 방법 및갱신 장치와 이를 위한 기록 매체
KR101489785B1 (ko) 웨이블렛 변환 계수 부호화를 위한 적응적 필터 탭 결정장치와 방법, 그것을 이용한 웨이블렛 변환 장치와 방법,및 그를 위한 기록 매체
KR101467846B1 (ko) 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
KR101467848B1 (ko) 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법,이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록매체
KR101467849B1 (ko) 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
US8559509B2 (en) Wavelet transform apparatus and method based on prediction-update lifting scheme, and adaptive prediction apparatus and method and recording medium for the same
KR100950417B1 (ko) 방향성 필터링 기반 웨이블렛 변환에서 문맥 모델링 방법및 웨이블렛 코딩 장치와 이를 위한 기록 매체
KR100751401B1 (ko) 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법
KR101665958B1 (ko) 변환영역 화소 그룹화를 통한 에너지 보정장치 및 그 방법
KR20170075974A (ko) 영상 부호화 및 복호화 방법 및 그 장치
JP5298082B2 (ja) 適応的に直交変換係数の走査順序を決定する符号化装置及び復号装置
Hung et al. Direction alignment algorithm for direction-adaptive discrete wavelet transform
Kyochi et al. A direction-adaptive image coding using two-dimensional direct lifting wavelet transform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181105

Year of fee payment: 5