KR100841591B1 - 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱장치 및 방법 - Google Patents

타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱장치 및 방법 Download PDF

Info

Publication number
KR100841591B1
KR100841591B1 KR1020070019704A KR20070019704A KR100841591B1 KR 100841591 B1 KR100841591 B1 KR 100841591B1 KR 1020070019704 A KR1020070019704 A KR 1020070019704A KR 20070019704 A KR20070019704 A KR 20070019704A KR 100841591 B1 KR100841591 B1 KR 100841591B1
Authority
KR
South Korea
Prior art keywords
maximum
value
interpolation
coefficient
membership
Prior art date
Application number
KR1020070019704A
Other languages
English (en)
Inventor
정제창
전광길
이승철
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020070019704A priority Critical patent/KR100841591B1/ko
Application granted granted Critical
Publication of KR100841591B1 publication Critical patent/KR100841591B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

타카기 스게노 퍼지 모델을 이용한 적응적 디인터레이싱 장치 및 방법이 개시된다. 최대차계수 산출부는 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하고, 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출한다. 멤버쉽값 산출부는 제1최대차계수를 기초로 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 제2최대차계수를 기초로 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출한다. 에지방향각 결정부는 제1멤버쉽값들과 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정한다. 제1보간부는 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 보간대상화소를 보간한다. 본 발명에 따르면, 에지가 존재하면서 동시에 움직임이 많은 영역과 움직임이 적은 영역을 모두 포함하고 있는 영상에 대해 종래의 Weave 방식 또는 Bob 방식에 의해 복원된 영상보다 객관적 및 주관적으로 향상된 화질의 영상을 얻을 수 있다.

Description

타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱 장치 및 방법{Apparatus and method for adaptive de-interlacing using Takagi-Sugeno fuzzy model}
도 1은 본 발명에 따른 적응적 디인터레이싱 장치에 대한 바람직한 실시예의 상세한 구성을 도시한 블록도,
도 2는 보간대상화소를 포함하고 있는 현재프레임과 현재프레임과 시간적으로 인접하는 프레임에 대해 설정된 공간축 및 시간축 윈도우를 도시한 도면,
도 3은 제1멤버쉽값 및 제2멤버쉽값을 구하기 위한 멤버쉽 함수를 도시한 도면,
도 4는 타카기-스게노(Takagi-Sugeno : TS) 퍼지 모델에 따른 퍼지셋 및 각각의 퍼지셋의 소속값을 도시한 도면,
도 5는 본 발명에 따른 적응적 디인터레이싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 도면, 그리고,
도 6a 내지 도 6d는 각각 실험영상(Stefan)에 대한 Bob 방법, Weave 방법, FDIO 방법 및 퍼지변수가 속하는 계층에 따라 적응적으로 보간을 수행하는 방법(Takagi-Sugino Interpolation : TSI)에 의해 얻어진 영상이 도시되어 있다.
본 발명은 적응적 디인터레이싱 장치 및 방법에 관한 것으로, 보다 상세하게는, 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱 장치 및 방법에 관한 것이다.
대부분의 영상 소스(DVD, SDTV, HDTV)는 격행주사(interlaced scanning)방식의 영상이 전송되는 반면, DLP, LCD, LCOS(SXRX, D-ILA), PDP와 같은 수신기의 표시장치는 순행주사(progressive scanning) 방식으로 영상을 재생하기 때문에 이를 해결하기 위한 디인터레이싱(de-interlacing) 기술개발이 이루어지고 있다.
디인터레이싱 기술은 격행주사로 입력되는 영상을 순행주사 영상으로 변환하여 출력하는 주사포맷 변환기술이다. 디인터레이싱 기술이 사용되는 대표적인 예는 공중파 방송인 텔레비젼신호를 컴퓨터로 시청하는 경우를 들 수 있다. 이러한 디인터레이싱 기술은 한 필드내에 빠져있는 화소값들을 예측하여 완전한 한 프레임을 만든다. 디인터레이싱 기술은 크게 필드간 보간(inter-field interpolation) 및 필드내 보간(intra-field interpolation)의 두가지로 구분할 수 있다.
필드간 보간의 한 예로 위브(Weave)를 들 수 있으며, 탑필드(top-field)와 바텀필드(bottom-field)를 결합하여 하나의 프레임을 만든다. 즉, 현재 필드의 라인 사이에 직전 필드의 라인을 단순히 삽입함으로써 하나의 프레임을 구현하는 것이다. 이는 움직임 보상이 없는 영상을 보간하는 경우에는 간단히 구현할 수 있지만, 움직임 보상이 있는 영상을 보간하는 경우에는 수평선이 생기거나 화면이 열화 된다. 또한 필드내 보간은 흔히 밥(Bob)이라고 알려져 있으며, 한 필드의 각 라인을 두 번 사용하여 하나의 프레임을 만든다. 다시 말하면, 하나의 필드에서 두 라인사이의 영역에 두 라인의 평균데이터를 삽입하여 새로운 프레임을 구현한다. 이러한 필드내 보간 방법은 움직임 보상이 있는 영상에 수평선이 생긴 것을 방지한다. 그러나, 정지 영상을 보간하는 경우 화면이 열화되며, 복잡하고 미세한 화면은 30Hz로 떨리게 된다.
한편 현재 보간할 화소의 상하 라인에 위치한 화소값의 평균을 사용하는 ELA(Edge-based line-averaging) 보간방법과 경계부분의 방향성을 고려한 DOI(Direction-oriented interpolation) 보간방법이 가장 널리 사용되고 있으나, 이러한 보간방법 역시 여전히 보간한 영상의 화질과 계산 속도의 개선이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 영상의 에지특성 또는 움직임 특성과 관계없이 양호한 화질의 보간영상을 얻을 수 있으면서, 동시에 영상의 모션특성에 따라 복잡도를 고려하여 보간방식을 선택적으로 적용함으로써 객관적 및 주관적 화질과 알고리즘 계산 속도를 향상시킬 수 있는 적응적 디인터레이싱 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상의 에지특성 또는 움직임 특성과 관계없이 양호한 화질의 보간영상을 얻을 수 있으면서, 동시에 영상의 모션특성에 따라 복잡도를 고려하여 보간방식을 선택적으로 적용함으로써 객관적 및 주 관적 화질과 알고리즘 계산 속도를 향상시킬 수 있는 적응적 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적 디인터레이싱 장치의 바람직한 실시예는, 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하고, 상기 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출하는 최대차계수 산출부; 상기 제1최대차계수를 기초로 상기 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 상기 제2최대차계수를 기초로 상기 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출하는 멤버쉽값 산출부; 상기 제1멤버쉽값들과 상기 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정하는 에지방향각 결정부; 및 상기 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 상기 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 상기 보간대상화소를 보간하는 제1보간부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적 디인터레이싱 방법의 바람직한 실시예는, 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하는 단계; 상기 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출하는 단계; 상기 제1최대차계수를 기초로 상기 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 상기 제2최대차계수를 기초로 상기 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출하는 단계; 상기 제1멤버쉽값들과 상기 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정하는 단계; 및 상기 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 상기 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 상기 보간대상화소를 보간하는 제1보간단계;를 갖는다.
이에 의해 격행주사방식의 영상 신호를 순행주사방식의 영상 신호로 변환할 때 타카기-스게노 퍼지 이론(Takagi-Sugeno Fuzzy Theory)을 적용하여 에지가 존재하면서 동시에 움직임이 많은 영역과 움직임이 적은 영역을 모두 포함하고 있는 영상에 대해 종래의 Weave 방식 또는 Bob 방식에 의해 복원된 영상보다 객관적 및 주관적으로 향상된 화질의 영상을 얻을 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 적응적 디인터레이싱 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 적응적 디인터레이싱 장치에 대한 바람직한 실시예의 상세한 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 적응적 디인터레이싱 장치는, 최대차계수 산출부(110), 멤버쉽값 산출부(120), 에지방향각 결정부(130), 퍼지셋 분류부(140), 퍼지변수 산출부(150), 보간수단 선택부(160), 제1보간부(170), 제2보간부(180) 및 제3보간부(190)를 구비한다.
최대차계수 산출부(110)는 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하고, 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출한다. 도 2에는 보간대상화소를 포함하고 있는 현재프레임과 현재프레임과 시간적으로 인접하는 프레임에 대해 설정된 공간축 및 시간축 윈도우가 도시되어 있다.
최대차계수 산출부(110)는 도 2에 도시된 바와 같이 보간대상화소의 손실된 화소값 x(i,j,k)를 보간하기 위해 보간대상화소를 포함하고 있는 현재프레임(210)에 대해 설정된 공간축 윈도우(250) 내에서 선택된 6개의 화소(212, 214, 216, 218, 220, 222)를 기초로 다음의 수학식에 의해 제1최대차계수를 산출한다.
Figure 112007016986382-pat00001
수학식 1에서, SMDW는 공간축 윈도우(250) 내에 위치하는 보간대상화소와 인 접한 화소들간의 화소값의 차이 중에서 최대값인 제1최대차계수이고, β는 SMDW의 값을 0에서 255로 제한하기 위한 비례상수이며,
Figure 112007016986382-pat00002
는 공간축 윈도우 내에 위치하는 화소의 개수이다.
또한 최대차계수 산출부(110)는 보간대상화소를 포함하고 있는 현재프레임(210)에 인접한 전·후 프레임(220, 240)에 대해 설정된 시간축 윈도우(250) 내에서 선택된 6개의 화소(232, 234, 236, 242, 244, 246)를 기초로 다음의 수학식에 의해 제2최대차계수를 산출한다.
Figure 112007016986382-pat00003
수학식 2에서, TMDW는 시간축 윈도우(260) 내에 위치하는 보간대상화소와 인접한 화소들간의 화소값의 차이 중에서 최대값인 제2최대차계수이고, β는 TMDW의 값을 0에서 255로 제한하기 위한 비례상수이며,
Figure 112007016986382-pat00004
는 시간축 윈도우 내에 위치하는 화소의 개수이다.
멤버쉽값 산출부(120)는 제1최대차계수를 기초로 퍼지 추론 방식을 적용하기 위해 θ(0°, ±45°, ±60°)의 기울기 각각에 대해 다음의 수학식에 의해 공간축 윈도우(250) 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출한다.
Figure 112007016986382-pat00005
또한 멤버쉽값 산출부(120)는 제2최대차계수를 기초로 퍼지 추론 방식을 적용하기 위해 θ(0°, ±45°, ±60°)의 기울기 각각에 대해 다음의 수학식에 의해 시간축 윈도우(260) 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출한다.
Figure 112007016986382-pat00006
수학식 3 및 4에서,
Figure 112008016118829-pat00007
및
Figure 112008016118829-pat00008
는 각각 제1멤버쉽값 및 제2멤버쉽값이고,
Figure 112008016118829-pat00009
및
Figure 112008016118829-pat00010
는 각각
Figure 112008016118829-pat00075
와
Figure 112008016118829-pat00076
의 θ가 0°일 때 공간축 윈도우 및 시간축 윈도우에 각각 대응하는 제1최대차계수 및 제2최대차계수이고,
Figure 112008016118829-pat00011
및
Figure 112008016118829-pat00012
는 각각 공간축 윈도우와 시간축 윈도우에서의 기울기 θ와 수평 위치차 d(-1 또는 0 또는 1)에 대한 보간할 화소에 인접하여 위치하는 화소들의 차이값이다.
제1멤버쉽값 및 제2멤버쉽값을 구하기 위한 멤버쉽 함수는 도 3에 도시된 바와 같은 퍼지셋 스몰(SMALL)에 해당하는 함수이며, 각각의 멤버쉽 값을 구하기 위한 파라미터
Figure 112007016986382-pat00013
,
Figure 112007016986382-pat00014
,
Figure 112007016986382-pat00015
및
Figure 112007016986382-pat00016
는 도 3에 도시된 멤버쉽 함수로부터 정 의된다. 표 1에는 각각의 멤버쉽 값을 구하기 위한 파라미터가 기재되어 있다.
참조부호 파라미터 값
A b0° b0
B b±45° 3/4×b0
C b±60° 1/2×b0
D a0° 1/4×b0
E a±45°, ±60° 1/5×b0
에지방향각 결정부(130)는 제1멤버쉽값들과 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정한다. 이때 에지방향각 결정부(130)로 입력되는 입력값
Figure 112007016986382-pat00017
및
Figure 112007016986382-pat00018
는 다음의 수학식으로 표현된다.
Figure 112007016986382-pat00019
Figure 112007016986382-pat00020
수학식 5 및 6에서, d는 0, 1, -1의 수평성분 차이값이며,
Figure 112007016986382-pat00021
및
Figure 112007016986382-pat00022
는 각각 공간축 윈도우와 시간축 윈도우에서 θ에 의해 결정되는 경사 차이값으로 0, ±1, ±2의 값을 갖는다.
에지방향각 결정부(130)는 수학식 5 및 6으로 표현되는 입력값을 퍼지화하여 멤버쉽값과 퍼지셋들을 찾아낸다. 그리고 에지방향각 결정부(130)는 추론 엔진(Interence Engine)을 통하여 각각의 θ값에 대해 입력값을 퍼지한 값과 멤버쉽 함수로부터 얻어진 퍼지셋 SMALL의 최소값을 다음의 수학식에 의해 구한다. 이러한 과정은 공간축과 시간축에 대해 각각 수행된다.
Figure 112007016986382-pat00023
Figure 112007016986382-pat00024
수학식 7 및 8에서, Cm 및 Dm은 각각 공간축 및 시간축에 대해 얻어진 최소값이고, Am(·) 및 Bm(·)는 각각 공간축 및 시간축 상에서의 차이값이 퍼지화된 값이다.
다음으로, 에지방향 검출부(130)는 수학식 7 및 8에 의해 얻어진 다섯 개의 방향의 멤버십 값들을 모두 비교하여 최대 멤버십 값을 가지는 Cm(·) 또는 Dm(·)에 해당하는 θ값을 찾는다. 이상의 과정을 통해 에지방향 검출부(130)는 다음의 수학식으로 표현되는 최대의 멤버쉽 값을 구하고, 그때의 θ값을 에지방향으로 결정한다.
Figure 112007016986382-pat00025
제1보간부(170)는 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 보간대상화소를 보간한다. 제1보간부(170)에 의한 보간은 다음의 수학식에 의해 수행되며, 이러한 보 간방법은 FDOI(Fuzzy Directional-oriented Interpolation) 보간법이라 할 수 있다.
Figure 112007016986382-pat00026
상술한 바와 같은 FDOI 보간법은 에지가 존재하면서 동시에 움직임이 많은 영역과 움직임이 적은 영역을 모두 포함하고 있는 영상에 대해 종래의 Weave 방식 또는 Bob 방식에 의해 복원된 영상보다 객관적 및 주관적으로 향상된 화질의 영상을 얻을 수 있는 이점이 있다.
이하에서는 타카기-스게노 퍼지 법칙을 이용하여 보간대상화소가 포함되어 있는 현재프레임의 각 영역의 움직임 특성에 따른 복잡도를 고려하여 각각의 영역에 대해 Weave 방식, Bob 방식 및 FDOI 방식 중에서 적합한 보간방식을 결정하여 보간을 수행하는 과정에 대해 설명한다.
퍼지셋 분류부(140)는 제1최대차계수 및 제2최대차계수를 소정의 기준값(예를 들면, 24)을 기준으로 스몰(SMALL) 퍼지셋과 라지(LARGE) 퍼지셋으로 분류한다. 도 4에는 타카기-스게노(Takagi-Sugeno : TS) 퍼지 모델에 따른 퍼지셋 및 각각의 퍼지셋의 소속값이 도시되어 있다.
퍼지변수 산출부(150)는 시스템의 전반적인 퍼지 모델을 각각의 선형시스템 모델의 퍼지 결합으로 나타내는 TS 퍼지 모델을 이용하여 입력값 SMDW와 TMDW를 다 음의 수학식에 의해 퍼지 변수로 변환한다.
Figure 112007016986382-pat00027
수학식 11을 일반화하면 TS 퍼지 모델은 다음의 수학식과 같이 표현될 수 있다.
Figure 112007016986382-pat00028
수학식 12에서,
Figure 112007016986382-pat00029
는 퍼지변수, SMDW는 제1최대차계수, TMDW는 제2최대차계수, aij는 TS 계수 행렬, hi[z(t)]는 정규화된 가중치값으로
Figure 112007016986382-pat00030
이고,
Figure 112007016986382-pat00031
이며, zj(t)는 제1최대차계수 또는 제2최대차계수, 그리고, Aji[zj(t)]는 제1최대차계수 또는 제2최대차계수가 속하는 퍼지셋의 소속값이다.
이때, 수학식 12의 TS 계수 행렬 aij는 다음의 수학식과 같이 정의될 수 있다.
Figure 112007016986382-pat00032
보간수단 선택부(160)는 퍼지변수 산출부(150)에 의해 산출된 퍼지변수를 크기를 기초로 표 2에 기재된 3가지 계층으로 구분하고, 퍼지변수가 속하는 계층에 따라 수학식 14에 의해 보간대상화소의 보간수단을 선택적으로 결정한다.
계층 구분
계층 0 low TMDW (소속값 ≤ t1)
계층 1 large SMDW (t1 < 소속값 ≤ t2)
계층 2 high TMDW & SMDW (t2 < 소속값)
이때, t1 및 t2는 실험적으로 결정되며, 일예로 각각 37 및 60으로 설정될 수 있다.
Figure 112007016986382-pat00033
수학식 14에 따르면 보간대상화소가 속하는 계층이 0이면 Weave 방식에 의 해, 1이면 Bob 방식에 의해, 2이면 FDOI 방식에 의해 보간대상화소에 대한 보간이 수행된다. 이러한 선택적인 보간을 위해 제2보간부(180)는 시간축 윈도우 내에서 선택된 화소들에 의해 보간대상화소를 보간하는 Weave 방식으로 보간을 수행하며, 제3보간부(190)는 공간축 윈도우 내에서 선택된 화소들에 의해 보간대상화소를 보간하는 Bob 방식으로 보간을 수행한다.
도 5는 본 발명에 따른 적응적 디인터레이싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 도면이다.
도 5를 참조하면, 최대차계수 산출부(110)는 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출한다(S510). 또한 최대차계수 산출부(110)는 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출한다(S520). 다음으로, 멤버쉽값 산출부(120)는 제1최대차계수를 기초로 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 제2최대차계수를 기초로 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출한다(S530). 에지방향각 결정부(130)는 제1멤버쉽값들과 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정한다(S540).
다음으로, 퍼지셋 분류부(140)는 제1최대차계수 및 제2최대차계수를 소정의 기준값(예를 들면, 24)을 기준으로 스몰퍼지셋과 라지퍼지셋으로 분류한다(S550). 이어서 퍼지변수 산출부(150)는 제1최대차계수 및 제2최대차계수가 속하는 퍼지셋에 따라 수학식 12에 의해 제1최대차계수 및 제2최대차계수를 퍼지변수로 변환한다(S560). 또한 보간수단 선택부(160)는 퍼지변수 산출부(150)에 의해 산출된 퍼지변수를 크기를 기초로 표 2에 기재된 3가지 계층으로 구분하고, 퍼지변수가 속하는 계층에 따라 수학식 14에 의해 Weave 방법, Bob 방법 및 FDOI 방법 중에서 보간대상화소의 보간방법을 선택적으로 결정한다(S570). 마지막으로 제1보간부(170), 제2보간부(180) 및 제3보간부(190) 중에서 보간수단 선택부(160)에 의해 결정된 보간부가 보간대상화소를 보간한다(S580).
도 6a 내지 도 6d에는 각각 실험영상(Stefan)에 대한 Bob 방법, Weave 방법, FDIO 방법 및 퍼지변수가 속하는 계층에 따라 적응적으로 보간을 수행하는 방법(Takagi-Sugino Interpolation : TSI)에 의해 얻어진 영상이 도시되어 있다.
도 6a 내지 도 6d를 참조하면, Bob 방법에 의해 보간된 영상은 전체적으로 선명도가 떨어지며(blurred), Weave 방법에 의해 보간된 영상은 움직임이 많은 영역에서 너무 많은 부분에 톱니형상의 왜곡(serration)이 나타난다. 이와 달리 FDOI 방법에 의해 보간된 영상은 Bob 방법과 Weave 방법에 의해 보간된 영상보다 전체적으로 화질이 우수하다. 또한 Takagi-Sugeno 퍼지 모델을 이용하여 적응적으로 보간방법을 선택하여 수행되는 보간방법은 에지성분이 적은 영역은 Bob 방법에 의해, 움직임이 적은 영역은 Weave 방법에 의해, 그리고 에지성분이 많은 영역 또는 움직 임이 많은 영역은 FDOI 방법에 의해 보간을 수행함으로써 객관적 및 주관적으로 양호한 화질의 영상을 얻을 수 있다. 표 3에는 상이한 실험영상에 대한 각각의 보간 방법에 대한 PSNR(단위: dB)이 기재되어 있다.
보간 방법 실험영상
Akiyo Flower Mobile News T.Tennis
ELA 37.9311 21.6810 23.5328 31.4749 27.4082
Bob 39.8581 22.1905 25.5118 33.6152 28.5659
DOI 39.7692 22.0041 24.8518 33.3184 27.8734
FDED 40.0392 22.0684 25.2252 33.5481 28.4051
Weave 43.7858 20.2949 23.5373 36.4714 27.9963
VTMF 42.3840 22.3817 25.2296 37.3808 29.5599
STELA 44.6554 22.9906 27.2602 39.2848 31.5877
EDT 44.1538 21.8967 25.1201 36.9747 28.9696
FDOI 47.8423 23.2425 28.2957 40.7563 31.8844
TSI 47.7379 23.1615 28.1912 40.6664 31.7846
표 3을 참조하면, FDOI 방법과 TSI 방법이 다른 보간 방법들에 비해 모든 영상에 대해서 우수한 성능을 보임을 알 수 있다. 아울러 상술한 실시예에서는 Weave, Bob 및 FDOI 보간방법 중에서 보간대상화소의 특성에 따라 선택된 보간방법에 의해 보간대상화소를 보간하고 있으나, 위브 및 밥 보간방법 대신에 표 3에 기재된 보간방법 중에서 임의로 두개의 보간방법이 선택될 수도 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
본 발명에 따른 적응적 디인터레이싱 장치 및 방법에 의하면, 격행주사방식의 영상 신호를 순행주사방식의 영상 신호로 변환할 때 타카기-스게노퍼지 이론(Takagi-Sugeno Fuzzy Theory)을 적용하여 에지가 존재하면서 동시에 움직임이 많은 영역과 움직임이 적은 영역을 모두 포함하고 있는 영상에 대해 종래의 Weave 방식 또는 Bob 방식에 의해 복원된 영상보다 객관적 및 주관적으로 향상된 화질의 영상을 얻을 수 있다. 또한 타카기-스게노퍼지 이론(Takagi-Sugeno Fuzzy Theory)을 적용하여 보간할 화소 주변의 시간축 및 공간축인 윈도우내 화소간 최대 차이값들을 이용하여 보간할 화소를 3가지 계층으로 나누고, 각각의 계층이 갖는 모션의 특성에 따라 복잡도를 고려하여 보간방식을 선택적으로 적용함으로써 객관적 및 주관적 화질과 알고리즘 계산 속도를 향상시킬 수 있다.

Claims (11)

  1. 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하고, 상기 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출하는 최대차계수 산출부;
    상기 제1최대차계수를 기초로 상기 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 상기 제2최대차계수를 기초로 상기 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출하는 멤버쉽값 산출부;
    상기 제1멤버쉽값들과 상기 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정하는 에지방향각 결정부; 및
    상기 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 상기 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 상기 보간대상화소를 보간하는 제1보간부;를 포함하는 것을 특징으로 하는 적응적 디인터레이싱 장치.
  2. 제 1항에 있어서,
    상기 제1최대차계수 및 상기 제2최대차계수를 사용자의 경험에 의해 설정되거나 실험적으로 결정된 기준값을 기준으로 스몰퍼지셋과 라지퍼지셋으로 분류하는 퍼지셋 분류부;
    상기 제1최대차계수 및 상기 제2최대차계수가 속하는 퍼지셋에 따라 다음의 수학식에 의해 상기 제1최대차계수 및 상기 제2최대차계수를 퍼지변수로 변환하는 퍼지변수 산출부; 및
    상기 퍼지변수의 크기를 기초로 상기 보간대상화소의 보간수단을 선택적으로 결정하는 보간수단 선택부;를 더 포함하는 것을 특징으로 하는 적응적 디인터레이싱 장치:
    Figure 112008016118829-pat00034
    ,
    여기서,
    Figure 112008016118829-pat00035
    는 상기 퍼지변수, SMDW는 제1최대차계수, TMDW는 제2최대차계수, aij는 타카기-스게노 계수행렬, hi[z(t)]는 정규화된 가중치값으로
    Figure 112008016118829-pat00036
    이고,
    Figure 112008016118829-pat00037
    이며, zj(t)는 상기 제1최대차계수 또는 상기 제2최대차계수, 그리고, Aji[zj(t)]는 상기 제1최대차계수 또는 상기 제2최대차계수가 속하는 퍼지셋의 소속값이다.
  3. 제 2항에 있어서,
    상기 시간축 윈도우 내에서 선택된 화소들에 의해 상기 보간대상화소를 보간하는 제2보간부; 및
    상기 공간축 윈도우 내에서 선택된 화소들에 의해 상기 보간대상화소를 보간하는 제3보간부;를 더 포함하며,
    상기 보간수단 선택부는 상기 퍼지변수의 크기가 실험적으로 결정되는 제1임계값 이하이면 상기 제2보간부를 상기 보간대상화소의 보간수단으로 선택하고, 상기 퍼지변수의 크기가 상기 제1임계값보다 크고 실험적으로 결정되는 제2임계값 이하이면 상기 제3보간부를 상기 보간대상화소의 보간수단으로 선택하고, 상기 퍼지변수의 크기가 상기 제2임계값보다 크면 상기 제1보간부를 상기 보간대상화소의 보간수단으로 선택하는 것을 특징으로 하는 적응적 디인터레이싱 장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 멤버쉽값 산출부는 다음의 수학식에 의해 상기 제1멤버쉽값 및 상기 제2멤버쉽값을 산출하는 것을 특징으로 하는 적응적 디인터레이싱 장치:
    Figure 112008016118829-pat00038
    ,
    Figure 112008016118829-pat00039
    ,
    여기서,
    Figure 112008016118829-pat00040
    및
    Figure 112008016118829-pat00041
    는 각각 상기 제1멤버쉽값 및 상기 제2멤버쉽값이고,
    Figure 112008016118829-pat00077
    ,
    Figure 112008016118829-pat00078
    ,
    Figure 112008016118829-pat00079
    및
    Figure 112008016118829-pat00080
    는 스몰퍼지셋과 라지퍼지셋에 대해 설정되어 있는 멤버쉽함수로부터 얻어지는 각각의 멤버쉽값을 결정하기 위한 파라미터이고,
    Figure 112008016118829-pat00081
    와
    Figure 112008016118829-pat00082
    의 θ가 0°일 때 각각 공간축 윈도우 및 시간축 윈도우에 대응하는 상기 제1최대차계수 및 상기 제2최대차계수는 각각
    Figure 112008016118829-pat00083
    및
    Figure 112008016118829-pat00084
    이고,
    Figure 112008016118829-pat00044
    및
    Figure 112008016118829-pat00045
    는 각각 상기 공간축 윈도우와 상기 시간축 윈도우에서의 기울기 θ와 수평 위치차 d(-1 또는 0 또는 1)에 대한 보간할 화소에 인접하여 위치하는 화소들의 차이값이다.
  5. 제 1항 또는 제 2항에 있어서,
    상기 최대차계수 산출부는 다음의 수학식에 의해 상기 제1최대차계수 및 상기 제2최대차계수를 산출하는 것을 특징으로 하는 적응적 디인터레이싱 장치:
    Figure 112008016118829-pat00046
    ,
    Figure 112008016118829-pat00047
    ,
    여기서, SMDW 및 TMDW는 각각 상기 제1최대차계수 및 제2최대차계수이고, β는 SMDW 및 TMDW 값을 0에서 255로 제한하기 위한 비례상수이며,
    Figure 112008016118829-pat00048
    및
    Figure 112008016118829-pat00049
    는 각각 상기 공간축 윈도우와 상기 시간축 윈도우 내에 위치하는 화소의 개수이고, x(i, j, k)는 k번째 프레임에 해당하는 현재프레임에서 (x,y)에 위치하는 손실된 화소이다.
  6. 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수 를 산출하는 단계;
    상기 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출하는 단계;
    상기 제1최대차계수를 기초로 상기 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 상기 제2최대차계수를 기초로 상기 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출하는 단계;
    상기 제1멤버쉽값들과 상기 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정하는 단계; 및
    상기 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 상기 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 상기 보간대상화소를 보간하는 제1보간단계;를 포함하는 것을 특징으로 하는 적응적 디인터레이싱 방법.
  7. 제 6항에 있어서,
    상기 제1최대차계수 및 상기 제2최대차계수를 사용자의 경험에 의해 설정되거나 실험적으로 결정된 기준값을 기준으로 스몰퍼지셋과 라지퍼지셋으로 분류하는 단계;
    상기 제1최대차계수 및 상기 제2최대차계수가 속하는 퍼지셋에 따라 다음의 수학식에 의해 상기 제1최대차계수 및 상기 제2최대차계수를 퍼지변수로 변환하는 단계; 및
    상기 퍼지변수의 크기를 기초로 상기 보간대상화소의 보간방법을 선택적으로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 적응적 디인터레이싱 방법:
    Figure 112008016118829-pat00050
    ,
    여기서,
    Figure 112008016118829-pat00051
    는 상기 퍼지변수, SMDW는 제1최대차계수, TMDW는 제2최대차계수, aij는 타카기-스게노 계수행렬, hi[z(t)]는 정규화된 가중치값으로
    Figure 112008016118829-pat00052
    이고,
    Figure 112008016118829-pat00053
    이며, zj(t)는 상기 제1최대차계수 또는 상기 제2최대차계수, 그리고, Aji[zj(t)]는 상기 제1최대차계수 또는 상기 제2최대차계수가 속하는 퍼지셋의 소속값이다.
  8. 제 7항에 있어서,
    상기 시간축 윈도우 내에서 선택된 화소들에 의해 상기 보간대상화소를 보간하는 제2보간단계; 및
    상기 공간축 윈도우 내에서 선택된 화소들에 의해 상기 보간대상화소를 보간하는 제3보간단계;를 더 포함하며,
    상기 보간수단 선택단계는 상기 퍼지변수의 크기가 실험적으로 결정되는 제1임계값 이하이면 상기 제2보간단계를 수행하여 상기 보간대상화소를 보간하고, 상기 퍼지변수의 크기가 상기 제1임계값보다 크고 실험적으로 결정되는 제2임계값 이하이면 상기 제3보간단계를 수행하여 상기 보간대상화소를 보간하고, 상기 퍼지변수의 크기가 상기 제2임계값보다 크면 상기 제1보간단계를 수행하여 상기 보간대상화소를 보간하는 것을 특징으로 하는 적응적 디인터레이싱 방법.
  9. 제 6항 또는 제 7항에 있어서,
    상기 멤버쉽값 산출단계에서 다음의 수학식에 의해 상기 제1멤버쉽값 및 상기 제2멤버쉽값을 산출하는 것을 특징으로 하는 적응적 디인터레이싱 방법:
    Figure 112008016118829-pat00054
    ,
    Figure 112008016118829-pat00055
    ,
    여기서,
    Figure 112008016118829-pat00085
    및
    Figure 112008016118829-pat00086
    는 각각 상기 제1멤버쉽값 및 상기 제2멤버쉽값이고,
    Figure 112008016118829-pat00087
    ,
    Figure 112008016118829-pat00088
    ,
    Figure 112008016118829-pat00089
    및
    Figure 112008016118829-pat00090
    는 스몰퍼지셋과 라지퍼지셋에 대해 설정되어 있는 멤버쉽함수로부터 얻어지는 각각의 멤버쉽값을 결정하기 위한 파라미터이고,
    Figure 112008016118829-pat00091
    와
    Figure 112008016118829-pat00092
    의 θ가 0°일 때 각각 공간축 윈도우 및 시간축 윈도우에 대응하는 상기 제1최대차계수 및 상기 제2최대차계수는 각각
    Figure 112008016118829-pat00093
    및
    Figure 112008016118829-pat00094
    이고,
    Figure 112008016118829-pat00095
    및
    Figure 112008016118829-pat00096
    는 각각 상기 공간축 윈도우와 상기 시간축 윈도우에서의 기울기 θ와 수평 위치차 d(-1 또는 0 또는 1)에 대한 보간할 화소에 인접하여 위치하는 화소들의 차이값이다.
  10. 제 6항 또는 제 7항에 있어서,
    상기 최대차계수 산출단계에서 다음의 수학식에 의해 상기 제1최대차계수 및 상기 제2최대차계수를 산출하는 것을 특징으로 하는 적응적 디인터레이싱 방법:
    Figure 112008016118829-pat00062
    ,
    Figure 112008016118829-pat00063
    ,
    여기서, SMDW 및 TMDW는 각각 상기 제1최대차계수 및 제2최대차계수이고, β는 SMDW 및 TMDW 값을 0에서 255로 제한하기 위한 비례상수이며,
    Figure 112008016118829-pat00064
    및
    Figure 112008016118829-pat00065
    는 각각 상기 공간축 윈도우와 상기 시간축 윈도우 내에 위치하는 화소의 개수이고, x(i, j, k)는 k번째 프레임에 해당하는 현재프레임에서 (x,y)에 위치하는 손실된 화소이다.
  11. 제 6항 또는 제 7항에 기재된 적응적 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020070019704A 2007-02-27 2007-02-27 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱장치 및 방법 KR100841591B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070019704A KR100841591B1 (ko) 2007-02-27 2007-02-27 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070019704A KR100841591B1 (ko) 2007-02-27 2007-02-27 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱장치 및 방법

Publications (1)

Publication Number Publication Date
KR100841591B1 true KR100841591B1 (ko) 2008-06-26

Family

ID=39772562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070019704A KR100841591B1 (ko) 2007-02-27 2007-02-27 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱장치 및 방법

Country Status (1)

Country Link
KR (1) KR100841591B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500266B1 (ko) * 2014-03-28 2015-03-06 인천대학교 산학협력단 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션
CN112731444A (zh) * 2020-12-23 2021-04-30 中国人民解放军陆军工程大学 一种基于变阈值相关的超宽带冲激脉冲sar成像方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990060492A (ko) * 1997-12-31 1999-07-26 구자홍 디티브이의 디인터레이싱 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990060492A (ko) * 1997-12-31 1999-07-26 구자홍 디티브이의 디인터레이싱 장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500266B1 (ko) * 2014-03-28 2015-03-06 인천대학교 산학협력단 비디오 디인터레이싱을 위한 로버스트 퍼지 양방향 필터링 기법 및 애플리케이션
CN112731444A (zh) * 2020-12-23 2021-04-30 中国人民解放军陆军工程大学 一种基于变阈值相关的超宽带冲激脉冲sar成像方法
CN112731444B (zh) * 2020-12-23 2022-05-17 中国人民解放军陆军工程大学 一种基于变阈值相关的超宽带冲激脉冲sar成像方法

Similar Documents

Publication Publication Date Title
US6459455B1 (en) Motion adaptive deinterlacing
US5592231A (en) Motion adaptive scan-rate conversion using directional edge interpolation
KR100403364B1 (ko) 영상 신호의 디인터레이스 방법 및 장치
US7907209B2 (en) Content adaptive de-interlacing algorithm
EP1143712A2 (en) Method and apparatus for calculating motion vectors
US20030086498A1 (en) Apparatus and method of converting frame and/or field rate using adaptive motion compensation
US20080174694A1 (en) Method and apparatus for video pixel interpolation
Jeon et al. Specification of the geometric regularity model for fuzzy if-then rule-based deinterlacing
US7443448B2 (en) Apparatus to suppress artifacts of an image signal and method thereof
KR100989650B1 (ko) 디인터레이싱 장치 및 방법
US20070070243A1 (en) Adaptive vertical temporal flitering method of de-interlacing
KR100841591B1 (ko) 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱장치 및 방법
US7548663B2 (en) Intra-field interpolation method and apparatus
US8866967B2 (en) Method and apparatus for motion adaptive deinterlacing
EP1488636A2 (en) Upconversion with noise constrained diagonal enhancement
US7349026B2 (en) Method and system for pixel constellations in motion adaptive deinterlacer
Jeon et al. Fuzzy weighted approach to improve visual quality of edge-based filtering
KR100876400B1 (ko) 러프 셋 이론에 기반한 디인터레이싱 장치 및 방법
KR100910208B1 (ko) 디인터레이싱 장치 및 그 방법
US20050168656A1 (en) Method and system for quantized historical motion for motion detection in motion adaptive deinterlacer
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
US7129988B2 (en) Adaptive median filters for de-interlacing
US7466361B2 (en) Method and system for supporting motion in a motion adaptive deinterlacer with 3:2 pulldown (MAD32)
KR102603650B1 (ko) 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법
KR101174589B1 (ko) 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee