KR100930436B1 - 이산 여현 역변환을 이용한 이미지 크기 재설정 방법 - Google Patents

이산 여현 역변환을 이용한 이미지 크기 재설정 방법 Download PDF

Info

Publication number
KR100930436B1
KR100930436B1 KR20020063600A KR20020063600A KR100930436B1 KR 100930436 B1 KR100930436 B1 KR 100930436B1 KR 20020063600 A KR20020063600 A KR 20020063600A KR 20020063600 A KR20020063600 A KR 20020063600A KR 100930436 B1 KR100930436 B1 KR 100930436B1
Authority
KR
South Korea
Prior art keywords
size
image
image block
discrete cosine
enlarged
Prior art date
Application number
KR20020063600A
Other languages
English (en)
Other versions
KR20040034943A (ko
Inventor
강중용
Original Assignee
(주)휴맥스 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20020063600A priority Critical patent/KR100930436B1/ko
Application filed by (주)휴맥스 홀딩스 filed Critical (주)휴맥스 홀딩스
Priority to CNB038243792A priority patent/CN100397888C/zh
Priority to JP2004545013A priority patent/JP4776925B2/ja
Priority to DE60336414T priority patent/DE60336414D1/de
Priority to EP20030703452 priority patent/EP1563679B1/en
Priority to EP20100163062 priority patent/EP2239704B1/en
Priority to AU2003206199A priority patent/AU2003206199A1/en
Priority to PCT/KR2003/000193 priority patent/WO2004036909A1/en
Priority to US10/373,691 priority patent/US7263239B2/en
Publication of KR20040034943A publication Critical patent/KR20040034943A/ko
Application granted granted Critical
Publication of KR100930436B1 publication Critical patent/KR100930436B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Complex Calculations (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 이산 여현 역변환(IDCT)을 이용한 이미지 크기 재설정 방법에 관한 것으로, 디브이디 플레이어, 디지털 방송수신기, 또는 고선명 텔레비전 등과 같은 디지털 영상 기기에서, 이산 여현 역변환(IDCT)을 이용하여, 오리지널 이미지의 크기를 보다 다양한 형상의 크기로 확대할 수 있게 되며, 또한 다양한 형상의 크기로 확대된 이미지의 왜곡 발생을 억제할 수 있게 되어 해상도 저하를 효율적으로 방지시킬 수 있게 되는 매우 유용한 발명인 것이다.
이산 여현 변환, 이산 여현 역변환, 확대계수, 고주파 영역, 제로 값

Description

이산 여현 역변환을 이용한 이미지 크기 재설정 방법 {Method for resetting image size using inverse discrete cosine transform}
도 1은 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법이 적용되는 장치의 구성을 개념적으로 도시한 것이고,
도 2 및 도 3은 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 과정을 도시한 것이고,
도 4는 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 과정에 대한 실시예를 도시한 것이고,
도 5 및 도 6은 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법에 의해 확대된 이미지의 실시예들을 도시한 것이고,
도 7 및 도 8은 본 발명에 따른 확대계수 산출 방법을 설명하기 위해 도시한 것이다.
도 9는 본 발명이 적용되는 디지털 방송수신기에 대한 구성을 도시한 것이고,
도 10은 본 발명이 적용되는 광디스크 장치에 대한 구성을 도시한 것이다.
※ 도면의 주요부분에 대한 부호의 설명
10 : 이산 여현 변환부 11 : 제로 값 추가부
12 : 확대계수 승산부 13 : 이산 여현 역변환부
본 발명은, 이산 여현 역변환(IDCT: Inverse Discrete Cosine Transform)을 이용한 이미지 크기 재설정 방법에 관한 것으로, 더욱 상세하게는 오리지널 (Original) 이미지의 크기를 임의의 크기로 확대하기 위한 이미지 크기 재설정 방법에 관한 것이다.
일반적으로 오리지널 이미지의 크기는, 픽셀 도메인(Pixel Domain)에서 임의의 크기로 확대되거나, 또는 주파수 도메인(Frequency Domain)에서 임의의 크기로 확대될 수 있는 데, 예를 들어 상기 오리지널 이미지의 크기를 픽셀 도메인에서 확대하는 방법에서는, 각각 인접된 픽셀들간의 상관성을 일일이 연산한 후, 그 상관성을 갖는 새로운 픽셀들을, 상기 인접된 픽셀들 사이에 간삽시키게 되므로, 상기 상관성 연산을 위한 복잡한 연산 알고리즘이 필요하게 됨은 물론, 새로운 픽셀의 간삽으로 인해 확대된 이미지의 해상도가, 오리지널 이미지의 해상도에 비해 상대적으로 크게 저하되는 등의 단점이 있다.
반면, 상기 오리지널 이미지의 크기를 주파수 도메인에서 확대하는 방법에서는, 오리지널 이미지를 소정 크기, 예를 들어 '8 X 8' 픽셀 크기의 2 차원 이미지 블록 데이터(Image Block Data)로 분할한 후, 이산 여현 변환(DCT)을 수행하여, 주파수 영역과 고주파 영역을 갖는 2 차원 이미지 블록의 DCT 계수로 변환하게 된다.
한편, 상기 저주파 영역에는 영상 정보량이 많이 편중되고, 고주파 영역에는 영상 정보량이 극히 적게 존재하는 특성을 가지게 되는 데, 이와 같은 특성을 이용하여, 상기 이산 여현 변환된 이미지 블록 중, 가로 및 세로의 고주파 영역에, 제로(Zero) 값을 '8 X 8'의 정수배에 해당하는 개수만큼 추가 기록한 후, 이산 여현 역변환(IDCT)을 수행하여, 상기 '8 X 8' 픽셀 크기의 정수배, 예를 들어 '16 X 16' 또는 '24 X 24' 픽셀 크기의 이미지 블록으로 확대하게 된다.
따라서, 상기 주파수 도메인에서 오리지널 이미지의 크기를 확대하는 방법에서는, 비교적 간단한 알고리즘을 사용할 수 있으며, 또한 확대된 이미지의 해상도 저하를 방지할 수 있는 장점이 있어, 널리 상용화될 것으로 기대되고 있는 데, 이와 관련된 참고 문헌으로서는, 미국특허번호 제5,737,019호(등록일자 1998.4.7), 한국공개특허번호 제1999-64158호(공개일자 1999.7.25)와 제2001-49039호(공개일자 2001.6. 15) 등이 있다.
그러나, 상기와 같은 참고 문헌에 제시하고 있는 주파수 도메인에서의 이미지 크기 확대 방법은, '8 X 8' 픽셀 크기의 정수 배에 해당하는 크기로만 이미지 확대가 가능하기 때문에, 보다 다양한 형상의 크기로 이미지를 확대할 수 없게 되는 문제점이 있다.
또한, 상기 다양한 크기의 형상으로 이미지를 확대하는 경우, 그 확대된 이미지의 왜곡을 방지할 수 있는 효율적인 방안이 아직 마련되어 있지 않은 실정이다.
본 발명은, 상기와 같은 문제점 및 실정을 감안하여 창작된 것으로서, 오리지널 이미지의 크기를 보다 다양한 형상의 크기로 확대할 수 있도록 함과 아울러, 다양한 형상의 크기로 확대된 이미지에 왜곡이 발생하지 않도록 하기 위한 이산 여현 역변환을 이용한 이미지 크기 재설정 방법을 제공하는 데, 그 목적이 있는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법은, 이산 여현 변환(DCT)된 소정 크기의 이미지 블록(M X N) 중, 가로 및 세로의 고주파 영역에 임의 개수만큼 제로(Zero) 값을 독립적으로 추가하는 1단계; 상기 제로 값이 추가된 이미지 블록 전체에 대한 확대계수(k)를 산출하여, 상기 이미지 블록 전체에 각각 승산하는 2단계; 및 상기 확대계수가 승산된 이미지 블록 전체에 대한 이산 여현 역변환(IDCT)을 수행하여, 확대된 임의 크기의 이미지 블록(P X Q)을 출력하는 3단계를 포함하여 이루어지는 것을 특징으로 하며,
또한, 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법은, 이산 여현 변환(DCT)된 소정 크기의 이미지 블록(M X N)을, 디지털 방송을 통해 수신하는 1단계; 상기 수신된 소정 크기의 이미지 블록 중, 가로 및 세로의 고 주파 영역에 임의 개수만큼 제로(Zero) 값을 독립적으로 추가하는 2단계; 상기 제로 값이 추가된 이미지 블록 전체에 대한 확대계수(k)를 산출하여, 상기 이미지 블록 전체에 각각 승산하는 2단계; 및 상기 확대계수가 승산된 이미지 블록 전체에 대한 이산 여현 역변환(IDCT)을 수행하여, 확대된 임의 크기의 이미지 블록(PxQ)을 출력하는 3단계를 포함하여 이루어지는 것을 특징으로 하며,
또한, 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법은, 이산 여현 변환(DCT)된 소정 크기의 이미지 블록(M X N)을, 광디스크로부터 재생되는 데이터 스트림을 통해 수신하는 1단계; 상기 수신된 소정 크기의 이미지 블록 중, 가로 및 세로의 고주파 영역에 임의 개수만큼 제로(Zero) 값을 독립적으로 추가하는 2단계; 상기 제로 값이 추가된 이미지 블록 전체에 대한 확대계수(k)를 산출하여, 상기 이미지 블록 전체에 각각 승산하는 2단계; 및 상기 확대계수가 승산된 이미지 블록 전체에 대한 이산 여현 역변환(IDCT)을 수행하여, 확대된 임의 크기의 이미지 블록(PxQ)을 출력하는 3단계를 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법에 대한 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다.
도 1은, 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법이 적용되는 장치의 구성을 개념적으로 도시한 것으로, 예를 들어 오리지널 이미지를 임의의 크기로 확대하는 이미지 스케일러(Image Scaler)와 같은 장치에는, 이 산 여현 변환부(10), 제로 값 추가부(11), 확대계수 승산부(12), 그리고 이산 여현 역변환부(12)가 포함 구성될 수 있다.
한편, 상기 이산 여현 변환부(10)에서는, 도 2에 도시한 바와 같이, 오리지널 이미지를 소정 크기의 2 차원 이미지 블록 데이터(a1,1∼an,m)로 분할한 후, 이산 여현 변환(DCT(M X N))을 수행하여, 저주파 영역과 고주파 영역을 갖는 2 차원 이미지 블록의 DCT 계수(d1,1∼dn,m)로 변환 출력하게 된다.
그리고, 상기 제로 값 추가부(11)에서는, 상기 이산 여현 변환된 2 차원 이미지 블록 데이터의 DCT 계수(d1,1∼dn,m) 중, 가로 및/또는 세로의 고주파 영역에, 임의 개수만큼 제로 값('0')을 추가하게 되는 데, 상기 가로 및/또는 세로의 고주파 영역에 추가되는 제로 값의 개수는, 상기 2 차원 이미지 블록 데이터(a1,1∼an,m)의 정수배와는 무관하게, 최종적으로 확대하고자 하는 이미지의 크기에 따라 다양한 임의 개수로 추가된다.
또한, 상기 확대계수 추가부(12)에서는, 도 3에 도시한 바와 같이, 상기와 같이 제로 값이 추가된 2 차원 이미지 블록 데이터의 DCT 계수(a1,1∼0q,p)에, 확대계수(k)를 각각 승산하여, 확대된 이미지의 왜곡이 발생되지 않도록 하는 데, 상기 확대계수(k)는, 상기 제로 값이 추가되기 이전의 2 차원 블록 데이터의 행과 열의 값과, 상기 제로 값이 추가된 이후의 2 차원 블록 데이터의 행과 열의 값에 근거하여 산출된다.
한편, 상기 이산 여현 역변환부(13)에서는, 도 3에 도시한 바와 같이, 상기 확대계수(k)가 각각 승산된 2 차원 블록 데이터의 DCT 계수(kd'1,1∼0q,p)를, 통상적인 이산 여현 역변환(IDCT)을 수행하여, 임의의 크기로 확대된 2 차원 이미지 블록 데이터(a'1,1∼a'q,p)로 변환 출력하게 된다.
따라서, 상기 오리지널 이미지의 크기를, 보다 다양한 형상의 크기로 확대할 수 있게 되며, 또한 다양한 형상의 크기로 확대된 이미지에 왜곡이 발생하는 것을 방지할 수 있게 되는 데, 이에 대한 구체적인 실시예를 설명하면 다음과 같다.
예를 들어, 상기 이산 여현 변환부(10)에서는, 오리지널 이미지를 '8x8' 픽셀 크기의 2 차원 이미지 블록 데이터(a1,1∼a8,8)로 분할한 후, 이산 여현 변환(DCT(8 X 8))을 수행하여, 저주파 영역과 고주파 영역을 갖는 2 차원 이미지 블록의 DCT 계수(d1,1∼d8,8)로 변환 출력하게 된다.
그리고, 상기 제로 값 추가부(11)에서는, 상기 이산 여현 변환된 2 차원 이미지 블록 데이터의 DCT 계수(d1,1∼d8,8) 중, 가로 및 세로의 고주파 영역에, 각각 5 개의 제로 값과, 2 개의 제로 값을 추가하게 되는 데, 상기 가로 및 세로의 고주파 영역에 추가되는 제로 값의 개수는, 상기 2 차원 이미지 블록 데이터(a1,1∼a8,8)의 정수배와는 무관하게, 최종적으로 확대하고자 하는 이미지의 크기에 따라 결정된다.
또한, 상기 확대계수 추가부(12)에서는, 도 4에 도시한 바와 같이, 제로 값이 추가된 2 차원 이미지 블록 데이터의 DCT 계수(a1,1∼010,13)에, 확대계수(k)를 각 각 승산하게 되고, 상기 이산 여현 역변환부(13)에서는, 상기 확대계수(k)가 각각 승산된 2 차원 블록 데이터의 DCT 계수(ka1,1∼k010,13)를, 이산 여현 역변환(IDCT)을 수행하여, '13 X 10' 픽셀 크기로 확대된 2 차원 이미지 블록 데이터(a'1,1∼a'10,13)로 변환 출력하게 된다.
따라서, 도 5에 도시한 바와 같이, '8 X 8' 픽셀 크기의 2 차원 이미지 블록 데이터를, '8 X 8' 픽셀 크기의 정수 배와는 무관한 '13 X 10' 픽셀 크기의 이미지 블록 데이터로 확대할 수 있게 된다.
또한, 본 발명에서는 상기와 같은 이산 여현 변환(DCT), 제로 값 추가(Zero Appendix), 확대계수(k-Coefficient) 승산, 그리고 이산 여현 역변환(IDCT) 과정을 통해, 도 6에 도시한 바와 같이, '8 X 8' 픽셀 크기의 2 차원 이미지 블록 데이터를, '8 X 8' 픽셀 크기의 정수 배와는 무관한 '15 X 8' 픽셀 크기의 다양한 이미지 블록 데이터 등으로 확대할 수도 있게 된다.
한편, '720 X 480' 크기의 SD(Standard Density) 급 오리지널 이미지를 '1080' 수직 라인의 HD(High Density) 급 이미지로 확대하는 경우, 예를 들어 '1890 X 1080' 크기의 이미지로 확대하는 경우, 상기 이산 여현 변환부(10)에서는, 상기 오리지널 이미지를 'M X N= 8 X 8' 크기의 이미지 블록으로 분할하여 90 X 60의 블록을 이산 여현 변환 동작을 수행한 후, 이를 '1920 X 1080' 크기의 이미지로 변환하기 위해 각 블록을 'P X G = 21.3 X 18' 크기로 확대해야 하므로, 근사값은 'P X G = 21 X 18'이 되도록, 상기 제로 값 추가부(11)에서는, 상기 이산 여현 변 환된 '8 X 8' 크기의 이미지 블록의 고주파 영역에 가로 13 개의 제로와 세로 10 개의 제로를 추가한 후, 역 이산 여현 변환 동작을 수행하여 '1890 X 1080'의 확대된 이미지를 생성하게 된다.
또한, '720 X 480' 크기의 오리지널 이미지를 '1280 X 720' 크기의 이미지로 확대하는 경우, 상기 이산 여현 변환부(10)에서는, 상기 오리지널 이미지를 'M X N= 8 X 8' 크기의 이미지 블록으로 분할하여 90 X 60의 블록을 이산 여현 변환 동작을 수행한 후, 이를 '1280 X 720' 크기의 이미지로 변환하기 위해 각 블록을 'P X Q = 14.2 X 12' 크기로 확대하여야 하므로, 근사값은 'P X G = 14 X 12'가 되도록, 상기 이산 여현 변환된 '8 X 8' 크기의 이미지 블록의 고주파 영역에 가로 6 개의 제로와 세로 4 개의 제로를 추가하여, 역 이산 여현 변환 동작을 수행하여 '1260 X 720' 크기의 이미지를 생성하게 된다.
즉, 상기 제로 값 추가부(11)에서는, 상기 확대된 이미지 블록(P X Q)의 크기를, 오리지널 이미지의 크기와 확대하고자 하는 이미지의 크기를 참조하여, 제로 값이 추가된 임의 크기로 결정하게 되는 데, 상기 이미지 블록(P X Q)의 크기가 정수 값을 갖지 않는 경우, 가장 근접한 정수 값을 선택 결정하게 된다.
또다른 실시예로서 DCT를 위한 블록 사이즈의 조정이 가능할 경우에는 확대할 이미지 사이즈와 오리지널 이미지 사이즈의 공약수 중 하나의 값을 선택하여 각 블록의 갯수를 설정할 수도 있다.
즉, 1280 X 720 이미지를 1920 X 1080으로 확대할 경우, 상기 이산 여현 변환부(10)에서, 1280과 1920의 공약수 중 하나인 160과, 720과 1080의 공약수 중 하 나인 72를 선택하여, 오리지널 이미지를 분할한 블록의 개수가 160 X 72가 될 수 있도록 'MXN= 8X10' 크기의 이미지 블록으로 분할하여 이산 여현 변환 동작을 수행한 후, 이를 '1920 X 1080' 크기의 이미지로 변환하기 위해 각 블록을 'P X Q = 12 X 15' 크기로 확대하도록, 상기 이산 여현 변환된 '8X10' 크기의 이미지 블록의 고주파 역역에 가로 4 개의 제로와 세로 5 개의 제로를 추가하여, 역 이산 여현 변환 동작을 수행하여 '1920 X 1080' 크기의 이미지를 생성하게 된다.
또한, 오리지널 이미지를 분할하지 아니하고, 이산 여현 변환한 후 고주파 영역에 원하는 이미지 사이즈 만큼 제로를 삽입하여 역 이산 여현 변환을 수행함으로서 원하는 이미지 사이즈로의 확대를 할 수도 있다.
한편, 상기 확대계수 승산부(12)에서, 제로 값이 추가된 이미지 블록에 대한 확대계수(k)를 산출하는 방법에 대해 예를 들어 상세히 설명하면 다음과 같다.
먼저, 이미지 확대를 설명하는 데 있어서, 2 차원적인 설명은 복잡도가 매우 크므로, 1 차원적인 설명을 통해 2 차원적인 방법의 타당성을 설명할 수 있다. 이는 아래와 같은 2 차원식의 1차원 변환을 통해 쉽게 확인할 수 있다. 2차원 DCT 변환은 아래와 같은 식으로 표현이 가능하다. 이 수식은 DCT를 활용하는 대표적인 예 중의 하나인 MPEG-2에서 사용되는 수식과 동일하다.
Figure 112002034150560-pat00001
위의 수식은 아래와 같이 전개할 수 있다.
Figure 112002034150560-pat00002
위의 수식은 1 차원 DCT를 표현하는 아래의 수식이 N point에 대하여 처리되고 그 결과를 다시 M point의 1차원 DCT로 처리하는 것과 동일한 결과를 나타낸다는 것을 표현하고 있다.
Figure 112002034150560-pat00003
따라서, 아래에서는 1차원 DCT 처리에 대한 예를 통해 설명하고자 한다. 상기 수식에 의하면, 원 신호 f(k)에 대한 주파수 도메인의 변환 결과는 F(k)이고, 상기 F(k)를 구하는 과정은 아래와 같은 행렬 연산과 같이 표현될 수 있다.
Figure 112002034150560-pat00004
위의 표현을 살펴보면 각각의 f(k)에 대하여 해당되는 주파수 성분별 cosine 계수를 곱하여 F(k)를 얻어내는 것으로, N=8과 10에 대한 예를 도 7에 도시하여 보았다. 도 7에서 각각의 k에 해당되는 그림은 위의 행렬식에서 f(k)에 대하여 곱해지는 행렬의 각 열에 해당되는 값을 나타낸다.
그리고, 원 입력신호가 N=8 인 경우, 이를 N=10으로 확대하는 예를 도 8에 도시하였다. 확대라는 의미를 도 8을 통해서 살펴보면 동일한 형상(shape)에 대하여 더 많은 샘플링(sampling)이 행해지는 과정이라는 점을 이해할 수 있다.
또한, 확대 과정에 대한 DCT 계수의 조작을 추정하기 위해 원래의 신호와 확대된 신호 각각에 대한 DCT 연산에 대하여 살펴보면, N=10 인 신호에 대하여 DCT 변환을 하는 것과, N=8 인 신호에 대하여 DCT 변환을 하는 것은, 각각 도시된 값들에 대해, 각각의 k 에 대한 계수를 곱하는 것을 의미한다.
이는 k 이 0 과 7 사이의 값인 경우, N 값이 8 이나 10 에 관계없이, 같은 슬로프(Slope)의 코사인 계수들을, 같은 슬로프의 신호에 곱하는 것임을 쉽게 이해할 수 있다.
다만, N=8 과 N=10 사이에서의 차이는, 곱하여 더하는 값의 개수가 8 과 10 의 차이만이 존재한다. 이를 통해 유추하면, N=10 에 대한 DCT 계수는 N=8 에 대한 DCT 계수에 대해 N 값에 대한 비례 값이 됨을 알 수 있다.
위와 같은 비례 관계에서 원 계수 산정시 곱해지는 행렬 C(N)의 값을 고려한다면 FN(k)에 대한 C(N)이 N에 대하여
Figure 112009030731412-pat00018
의 상관관계를 지니고 있으므로 아래와 같은 표현이 가능하다.
Figure 112002034150560-pat00005
따라서, 이러한 관계들을 통해 임의의 N=n.m(>n)으로 확대하는 경우에 대하여 아래와 같은 관련성을 유추해낼 수 있다.
Figure 112002034150560-pat00006
즉, k가 n보다 크거나 같고 m보다 작은 경우에 대해서는, 그 값을 0으로 한다는 것은 그 k값에 해당되는 고주파 성분을 무시한다는 의미로 이해할 수 있으며, 상기와 같은 1차원 DCT 계수에 대한 검토를 통해 2차원 계수의 경우, 아래와 같은 관계식을 유추해 낼 수 있다. P X Q 크기의 영상을 그 보다는 큰 임의의 m X n 크기의 영상으로 확대하는 경우, DCT 계수의 변환은 다음 식으로 표현될 수 있다.
Figure 112002034150560-pat00007
한편, 본 발명은 디브이디 플레이어(DVD Player)와 같은 광디스크 장치, 또는 셋탑 박스(Set Top Box)와 같은 디지털 방송 수신기, 그리고 고선명 텔레비전(HD-TV) 등과 같은 디지털 영상 기기에 적용할 수 있는 데, 이에 대해 상세 설명하면 다음과 같다.
도 9는, 본 발명이 적용되는 디지털 방송 수신기에 대한 구성을 도시한 것으 로, 예를 들어 셋탑 박스와 같은 디지털 방송수신기에는, 튜너(30), 디먹스(31), 비디오 버퍼(32), 오디오 버퍼(33), 데이터 버퍼(34), 디코더(35), 그리고 마이컴(36) 등이 포함 구성될 수 있으며, 상기 디코더(36)에는, 도 1을 참조로 전술한 바 있는 제로 값 추가부(11), 확대계수 승산부(12), 이산 여현 역변환부(13)가 포함 구성될 수 있다.
한편, 상기 튜너부(30)에서는, 상기 마이컴(36)의 동작 제어에 따라 디지털 방송신호를 동조 수신하게 되고, 상기 디먹스(31)에서는 상기 튜너부를 통해 동조 수신되는 디지털 방송신호 중 사용자가 원하는 방송 채널의 서비스를 선택하여, 비디오 및 오디오, 그리고 데이터를 각각 분리한 후, 상기 비디오 버퍼(32)와 오디오 버터(33), 그리고 데이터 버퍼(34)로 출력하게 된다.
그리고, 상기 디코더(35)에서는, 상기 비디오 버퍼와 오디오 버퍼에 임시 저장된 비디오 데이터와 오디오 데이터를 원래의 비디오 및 오디오 신호로 디코딩하게 된다.
한편, 상기 튜너부(30)에 의해 동조 수신되는 디지털 방송신호는, 트랜스포트 스트림(TS: Transport Stream)이고, 상기 디먹스(31)에 의해 분리 출력되는 비디오 데이터는, 패킷 타이즈드 엘리먼트리 스트림(PES: Packetized Elementary Stream)으로, 상기 디코더의 제로 값 추가부(11)에서는, 상기 비디오 버퍼를 거쳐 입력되는 매크로 블록(Macro Block) 중 고주파 영역에 제로 값을 추가하게 된다.
예를 들어, 디지털 방송의 엔코딩 과정에서 '8 X 8' 크기로 분할된 2 차원 이미지 블록 데이터의 DCT 계수(d1,1∼dn,m) 중, 가로 및/또는 세로의 고주파 영역 에, 임의 개수만큼 제로 값('0')을 추가하게 된다.
그리고. 상기 확대계수 추가부(12)에서는, 도 3을 참조로 전술한 바와 같이, 제로 값이 추가된 2 차원 이미지 블록 데이터의 DCT 계수(a1,1∼0q,p)에 대한 확대계수(k)를 산출 및 승산하여, 확대된 이미지의 왜곡이 발생되지 않도록 한다.
또한, 상기 이산 여현 역변환부(13)에서는, 상기 확대계수(k)가 각각 승산된 2 차원 블록 데이터의 DCT 계수(kd'1,1∼0q,p)를, 이산 여현 역변환(IDCT)을 수행하여, 임의의 크기로 확대된 2 차원 이미지 블록 데이터(a'1,1∼a'q,p)로 변환 출력하게 된다.
따라서, 상기 셋탑 박스와 같은 디지털 방송수신기에서는, 디지털 방송을 통해 수신되는 이미지의 크기를, 보다 다양한 형상의 크기로 확대할 수 있게 되며, 또한 다양한 형상의 크기로 확대된 이미지에 왜곡이 발생하는 것을 방지할 수 있게 된다.
도 10은, 본 발명이 적용되는 광디스크 장치에 대한 구성을 도시한 것으로, 예를 들어 디브이디 플레이어와 같은 광디스크 장치에는, 디브이디와 같은 광디스크(50)에 기록된 신호를 독출 재생하기 위한 광픽업(51), 디지털신호 처리부(53), 파서(53), 비디오 버퍼(54), 오디오 버퍼(55), 데이터 버퍼(56), 디코더(57), 그리고 마이컴(58) 등이 포함 구성될 수 있으며, 상기 디코더(57)에는, 전술한 바 있는 제로 값 추가부(11), 확대계수 승산부(12), 이산 여현 역변환부(13)가 포함 구성될 수 있다.
한편, 상기 광픽업(51)에서는, 광디스크(50)에 기록된 신호를 고주파 신호로 독출하게 되고, 상기 디지털신호 처리부(52)에서는 상기 고주파 신호를 이진(Binary) 신호의 디지털 신호로 변환 처리하게 되며, 상기 파서(53)에서는 상기 디지털 신호를, 비디오 및 오디오, 그리고 데이터를 각각 분리한 후, 상기 비디오 버퍼(54)와 오디오 버터(55), 그리고 데이터 버퍼(56)로 출력하게 된다.
그리고, 상기 디코더(57)에서는, 상기 비디오 버퍼와 오디오 버퍼에 임시 저장된 비디오 데이터와 오디오 데이터를 원래의 비디오 및 오디오 신호로 디코딩하게 되는 데, 상기 디지털신호 처리부(52)를 거쳐 출력되는 디지털 신호는, 프로그램 스트림(PS: Program Stream)이고, 상기 파서(53)에 의해 분리 출력되는 비디오 데이터는, 패킷 타이즈드 엘리먼트리 스트림(PES)으로, 상기 디코더의 제로 값 추가부(11)에서는, 전술한 바와 같이, 상기 비디오 버퍼를 거쳐 입력되는 매크로 블록(Macro Block) 중 고주파 영역에 제로 값을 추가하게 된다.
예를 들어, 디브이디와 같은 광디스크에 데이터를 기록하는 과정에서 '8X8' 크기로 분할된 2 차원 이미지 블록 데이터의 DCT 계수(d1,1∼dn,m) 중, 가로 및/또는 세로의 고주파 영역에, 임의 개수만큼 제로 값('0')을 추가하게 된다.
그리고. 상기 확대계수 추가부(12)에서는, 도 3을 참조로 전술한 바와 같이, 제로 값이 추가된 2 차원 이미지 블록 데이터의 DCT 계수(a1,1∼0q,p)에 대한 확대계수(k)를 산출 및 승산하여, 확대된 이미지의 왜곡이 발생되지 않도록 한다.
또한, 상기 이산 여현 역변환부(13)에서는, 상기 확대계수(k)가 각각 승산된 2 차원 블록 데이터의 DCT 계수(kd'1,1∼0q,p)를, 이산 여현 역변환(IDCT)을 수행하여, 임의의 크기로 확대된 2 차원 이미지 블록 데이터(a'1,1∼a'q,p)로 변환 출력하게 된다.
따라서, 상기 디브이디 플레이어와 같은 광디스크 장치에서는, 광디스크로부터 독출 재생되는 이미지의 크기를, 보다 다양한 형상의 크기로 확대할 수 있게 되며, 또한 다양한 형상의 크기로 확대된 이미지에 왜곡이 발생하는 것을 방지할 수 있게 된다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
상기와 같이 이루어지는 본 발명에 따른 이산 여현 역변환을 이용한 이미지 크기 재설정 방법은, 디브이디 플레이어, 디지털 방송수신기, 또는 고선명 텔레비전 등과 같은 디지털 영상 기기에서, 이산 여현 역변환(IDCT)을 이용하여, 오리지널 이미지의 크기를 보다 다양한 형상의 크기로 확대할 수 있게 되며, 또한 다양한 형상의 크기로 확대된 이미지의 왜곡 발생을 억제할 수 있게 되어 해상도 저하를 효율적으로 방지시킬 수 있게 되는 매우 유용한 발명인 것이다.

Claims (15)

  1. 이산 여현 변환(DCT)된 소정 크기의 이미지 블록 중, 가로 및 세로의 고주파 영역에, 상기 이미지 블록의 가로 및 세로의 배수와는 무관하게, 확대하고자 하는 이미지 블록의 크기에 따라, 임의 개수만큼 제로(Zero) 값을 독립적으로 추가하는 1단계;
    상기 확대하고자 하는 이미지 블록의 크기를, 상기 이산 여현 변환된 이미지 블록의 크기로 제산한 후, 그 값에 루트(Root) 연산을 수행한 값에 비례하는 확대계수(k)를 산출하여, 상기 제로 값이 추가된 이미지 블록 전체에 각각 승산하는 2단계; 및
    상기 확대계수가 승산된 이미지 블록 전체에 대한 이산 여현 역변환(IDCT)을 수행하여, 확대된 임의 크기의 이미지 블록을 출력하는 3단계를 포함하여 이루어지는 것을 특징으로 하는 이산 여현 역변환을 이용한 이미지 크기 재설정 방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    오리지널 이미지를 소정 크기의 이미지 블록으로 분할한 후, 이산 여현 변환(DCT)을 수행하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 이산 여현 역변환을 이용한 이미지 크기 재설정 방법.
  5. 삭제
  6. 삭제
  7. 제 4항에 있어서,
    상기 소정 크기의 이미지 블록은, 오리지널 이미지의 크기와 확대하고자 하는 이미지 블록의 크기의 각 행 및 열의 공약수 중 하나로 오리지널 이미지를 제산한 값으로 결정되는 것을 특징으로 하는 이산 여현 역변환을 이용한 이미지 크기 재설정 방법.
  8. 이산 여현 변환(DCT)된 소정 크기의 이미지 블록을, 디지털 방송을 통해 수신하는 1단계;
    상기 수신된 소정 크기의 이미지 블록 중, 가로 및 세로의 고주파 영역에, 상기 이미지 블록의 가로 및 세로의 배수와는 무관하게, 확대하고자 하는 이미지 블록의 크기에 따라, 임의 개수만큼 제로(Zero) 값을 독립적으로 추가하는 2단계;
    상기 상기 확대하고자 하는 이미지 블록의 크기를, 상기 이산 여현 변환된 이미지 블록의 크기로 제산한 후, 그 값에 루트(Root) 연산을 수행한 값에 비례하는 확대계수(k)를 산출하여, 상기 제로 값이 추가된 이미지 블록 전체에 각각 승산하는 3단계; 및
    상기 확대계수가 승산된 이미지 블록 전체에 대한 이산 여현 역변환(IDCT)을 수행하여, 확대된 임의 크기의 이미지 블록을 출력하는 4단계를 포함하여 이루어지는 것을 특징으로 하는 이산 여현 역변환을 이용한 이미지 크기 재설정 방법.
  9. 삭제
  10. 제 8항에 있어서,
    상기 확대된 임의 크기의 이미지 블록은, 산술에 의해 결정된 값의 가장 근접한 정수 값으로 선택 결정하는 것을 특징으로 하는 이산 여현 역변환을 이용한 이미지 크기 재설정 방법.
  11. 삭제
  12. 이산 여현 변환(DCT)된 소정 크기의 이미지 블록을, 광디스크로부터 재생되는 데이터 스트림을 통해 수신하는 1단계;
    상기 수신된 소정 크기의 이미지 블록 중, 가로 및 세로의 고주파 영역에, 상기 이미지 블록의 가로 및 세로의 배수와는 무관하게, 확대하고자 하는 이미지 블록의 크기에 따라, 임의 개수만큼 제로(Zero) 값을 독립적으로 추가하는 2단계;
    상기 확대하고자 하는 이미지 블록(m x n)의 크기를, 상기 이산 여현 변환된 이미지 블록의 크기로 제산한 후, 그 값에 루트(Root) 연산을 수행한 값에 비례하는 확대계수(k)를 산출하여, 상기 제로 값이 추가된 이미지 블록 전체에 각각 승산하는 3단계; 및
    상기 확대계수가 승산된 이미지 블록 전체에 대한 이산 여현 역변환(IDCT)을 수행하여, 확대된 임의 크기의 이미지 블록을 출력하는 4단계를 포함하여 이루어지는 것을 특징으로 하는 이산 여현 역변환을 이용한 이미지 크기 재설정 방법.
  13. 제 12항에 있어서,
    상기 1단계는, 광디스크로부터 재생되는 프로그램 스트림을 패킷타이즈드 엘리먼트리 스트림으로 변환한 후, 그 패킷타이즈드 엘리먼트리 스트림에서, 상기 이산 여현 변환(DCT)된 소정 크기의 이미지 블록을 추출하는 것을 특징으로 하는 이산 여현 역변환을 이용한 이미지 크기 재설정 방법.
  14. 삭제
  15. 삭제
KR20020063600A 2002-10-17 2002-10-17 이산 여현 역변환을 이용한 이미지 크기 재설정 방법 KR100930436B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR20020063600A KR100930436B1 (ko) 2002-10-17 2002-10-17 이산 여현 역변환을 이용한 이미지 크기 재설정 방법
JP2004545013A JP4776925B2 (ja) 2002-10-17 2003-01-28 逆離散コサイン変換を利用した画像リサイズ方法
DE60336414T DE60336414D1 (de) 2002-10-17 2003-01-28 Verfahren zur bildgrössenveränderung mittels inverser diskreter kosinustransformation
EP20030703452 EP1563679B1 (en) 2002-10-17 2003-01-28 Method for resizing images using the inverse discrete cosine transform
CNB038243792A CN100397888C (zh) 2002-10-17 2003-01-28 使用反离散余弦变换缩放图像的方法
EP20100163062 EP2239704B1 (en) 2002-10-17 2003-01-28 Method for resizing images using the inverse discrete cosine transform
AU2003206199A AU2003206199A1 (en) 2002-10-17 2003-01-28 Method for resizing images using the inverse discrete cosine transform
PCT/KR2003/000193 WO2004036909A1 (en) 2002-10-17 2003-01-28 Method for resizing images using the inverse discrete cosine transform
US10/373,691 US7263239B2 (en) 2002-10-17 2003-02-27 Method for resizing images using the inverse discrete cosine transform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20020063600A KR100930436B1 (ko) 2002-10-17 2002-10-17 이산 여현 역변환을 이용한 이미지 크기 재설정 방법

Publications (2)

Publication Number Publication Date
KR20040034943A KR20040034943A (ko) 2004-04-29
KR100930436B1 true KR100930436B1 (ko) 2009-12-08

Family

ID=32089730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20020063600A KR100930436B1 (ko) 2002-10-17 2002-10-17 이산 여현 역변환을 이용한 이미지 크기 재설정 방법

Country Status (8)

Country Link
US (1) US7263239B2 (ko)
EP (2) EP2239704B1 (ko)
JP (1) JP4776925B2 (ko)
KR (1) KR100930436B1 (ko)
CN (1) CN100397888C (ko)
AU (1) AU2003206199A1 (ko)
DE (1) DE60336414D1 (ko)
WO (1) WO2004036909A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100930436B1 (ko) * 2002-10-17 2009-12-08 (주)휴맥스 홀딩스 이산 여현 역변환을 이용한 이미지 크기 재설정 방법
KR100848816B1 (ko) * 2007-01-29 2008-07-28 경희대학교 산학협력단 정수 ｄｃｔ를 이용한 영상 이미지의 크기 변환 방법
US8081847B2 (en) * 2007-12-31 2011-12-20 Brandenburgische Technische Universitaet Cottbus Method for up-scaling an input image and an up-scaling system
US8873884B2 (en) * 2010-10-06 2014-10-28 International Business Machines Corporation Method and system for resizing an image
CN105825474A (zh) * 2016-03-31 2016-08-03 乐视控股（北京）有限公司 一种图像放大方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209467A (ja) * 1993-01-08 1994-07-26 Mitsubishi Electric Corp 画像符号化・復号化装置
JPH06225213A (ja) * 1993-01-26 1994-08-12 Fuji Film Micro Device Kk 画像処理方法と装置
JPH07160865A (ja) * 1993-12-10 1995-06-23 Fujitsu General Ltd 静止画再生装置
JP2002044423A (ja) * 2000-07-24 2002-02-08 Fuji Xerox Co Ltd 画像処理方法及び装置
WO2004036909A1 (en) * 2002-10-17 2004-04-29 Humax Co., Ltd. Method for resizing images using the inverse discrete cosine transform

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
KR100248584B1 (ko) * 1992-06-15 2000-03-15 구자홍 디스크리이트 코사인 변환프로세서
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US6002809A (en) * 1993-04-15 1999-12-14 International Business Machines Corporation Digital image processor for image scaling
WO1995015538A1 (en) * 1993-11-30 1995-06-08 Polaroid Corporation Coding methods and apparatus for scaling and filtering images using discrete cosine transforms
KR0154919B1 (ko) * 1994-12-30 1998-11-16 배순훈 2차원 역이산 코사인 변환 회로
US5845015A (en) 1995-10-12 1998-12-01 Sarnoff Corporation Method and apparatus for resizing images using the discrete cosine transform
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US6134270A (en) * 1997-06-13 2000-10-17 Sun Microsystems, Inc. Scaled forward and inverse discrete cosine transform and video compression/decompression systems employing the same
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
US6067384A (en) 1997-09-11 2000-05-23 Canon Kabushiki Kaisha Fast scaling of JPEG images
TW440804B (en) * 1998-05-07 2001-06-16 Sarnoff Corp Method and apparatus for resizing image information
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
JP2002518916A (ja) * 1998-06-19 2002-06-25 イクエーター テクノロジーズ インコーポレイテッド 第１の解像度を有する符号化された形式の画像を第２の解像度を有するデコードされた形式の画像に直接にデコードする回路及び方法
US6563955B2 (en) * 1998-11-13 2003-05-13 Xerox Corporation Method and apparatus for analyzing image data to use multiple transforms for enhanced image data transmission
KR20010049039A (ko) 1999-11-30 2001-06-15 윤종용 주파수 변환에 의한 영상확대방법
KR100586599B1 (ko) * 1999-12-31 2006-06-02 주식회사 케이티 이산여현변환을 위한 비동기식 매트릭스-벡터 곱셈기
US20030021486A1 (en) * 2001-07-27 2003-01-30 Tinku Acharya Method and apparatus for image scaling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209467A (ja) * 1993-01-08 1994-07-26 Mitsubishi Electric Corp 画像符号化・復号化装置
JPH06225213A (ja) * 1993-01-26 1994-08-12 Fuji Film Micro Device Kk 画像処理方法と装置
JPH07160865A (ja) * 1993-12-10 1995-06-23 Fujitsu General Ltd 静止画再生装置
JP2002044423A (ja) * 2000-07-24 2002-02-08 Fuji Xerox Co Ltd 画像処理方法及び装置
WO2004036909A1 (en) * 2002-10-17 2004-04-29 Humax Co., Ltd. Method for resizing images using the inverse discrete cosine transform

Also Published As

Publication number Publication date
EP1563679A4 (en) 2008-12-24
EP1563679A1 (en) 2005-08-17
AU2003206199A1 (en) 2004-05-04
DE60336414D1 (de) 2011-04-28
JP2006503488A (ja) 2006-01-26
EP2239704B1 (en) 2011-12-28
US7263239B2 (en) 2007-08-28
US20040076334A1 (en) 2004-04-22
JP4776925B2 (ja) 2011-09-21
EP1563679B1 (en) 2011-03-16
EP2239704A1 (en) 2010-10-13
WO2004036909A1 (en) 2004-04-29
KR20040034943A (ko) 2004-04-29
CN100397888C (zh) 2008-06-25
CN1698371A (zh) 2005-11-16

Similar Documents

Publication Publication Date Title
JP4114885B2 (ja) 画像符号化装置、方法、及びプログラム
CN102187664A (zh) 影像信号变换系统
JPH1175180A (ja) 画像処理装置および画像処理方法、並びに伝送媒体および伝送方法
CN102547075A (zh) 图像处理装置、图像处理方法和程序
US5949917A (en) Block distortion corrector and image signal expander
EP2330818A1 (en) Frame rate converting apparatus and corresponding point estimating apparatus, corresponding point estimating method and corresponding point estimating program
US7679676B2 (en) Spatial signal conversion
KR100930436B1 (ko) 이산 여현 역변환을 이용한 이미지 크기 재설정 방법
US7421152B2 (en) Method for resizing an image using the inverse discrete cosine transform
KR20050059171A (ko) 이미지 스케일링 방법
JP4267036B2 (ja) 表示制御装置及び表示制御方法
KR101098300B1 (ko) 공간 신호 변환
JP5066041B2 (ja) 画像信号処理装置、画像信号処理方法
KR20070050439A (ko) 이미지 변환 유닛 및 방법
JP3939524B2 (ja) ビデオデータ処理方法
JP4448714B2 (ja) デジタル画像信号復号化装置及び復号化方法
JP2005502286A (ja) インタレースビデオ対応の信号に適応性のある空間スケーリング
US20120128263A1 (en) Method of filtering a signal and of obtaining filter coefficients
JP4382679B2 (ja) 映像記録装置および映像再生装置
JP2005136891A (ja) 画像符号化方法、装置、プログラム、及びこれを記憶した記憶媒体
JP2006500812A (ja) 画像変換用の装置及び画像変換方法
JP2009135701A (ja) 動画再生装置
WO2005071971A1 (en) Embedded compression
JP2009260633A (ja) 画像圧縮装置、画像圧縮装置を備えた撮像記録装置、および、画像圧縮プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141104

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170907

Year of fee payment: 9