KR101134362B1 - 이미지 크기 변환 장치 - Google Patents

이미지 크기 변환 장치 Download PDF

Info

Publication number
KR101134362B1
KR101134362B1 KR1020090131457A KR20090131457A KR101134362B1 KR 101134362 B1 KR101134362 B1 KR 101134362B1 KR 1020090131457 A KR1020090131457 A KR 1020090131457A KR 20090131457 A KR20090131457 A KR 20090131457A KR 101134362 B1 KR101134362 B1 KR 101134362B1
Authority
KR
South Korea
Prior art keywords
image
operator
information
change
rate
Prior art date
Application number
KR1020090131457A
Other languages
English (en)
Other versions
KR20110075110A (ko
Inventor
이인권
윤종철
김수화
이선영
Original Assignee
포항공과대학교 산학협력단
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 연세대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020090131457A priority Critical patent/KR101134362B1/ko
Publication of KR20110075110A publication Critical patent/KR20110075110A/ko
Application granted granted Critical
Publication of KR101134362B1 publication Critical patent/KR101134362B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

이미지 크기 변환 장치는 디스플레이 장치, 사용자 인터페이스부, 소스 이미지를 저장하는 메모리 및 상기 소스 이미지를 변환하는 이미지 변환부를 제어하는 제어부를 포함한다. 상기 이미지 변환부는 소스 이미지를 입력받고, 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 및/또는 수정된 심 카빙(modified seam carving) 오퍼레이터를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하며 -상기 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함-, 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택한다.

Description

이미지 크기 변환 장치{IMAGE SIZE CONVERTING APPARATUS}
개시된 기술은 이미지 크기 변환 장치에 관한 것으로, 특히 이미지의 크기를 변환하는 장치에 관한 것이다.
TV, PC와 같은 대형 디스플레이 장치뿐만 아니라 PDA, 휴대폰과 같은 개인 단말기도 이미지를 화면에 디스플레이할 수 있다. 다양한 디스플레이 장치들은 용도에 따라 각기 다른 종횡비 또는 해상도로 이미지를 화면에 디스플레이한다. 따라서, 디스플레이 장치에 적합한 이미지를 생성할 수 있는 이미지 크기 변환 방법들이 연구되고 있다.
실시예들 중에서, 이미지 크기 변환 장치는 디스플레이 장치, 사용자 인터페이스부, 소스 이미지를 저장하는 메모리 및 상기 소스 이미지를 변환하는 이미지 변환부를 제어하는 제어부를 포함한다. 상기 이미지 변환부는 소스 이미지를 입력받고, 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 또는 수정된 심 카빙(modified seam carving) 오퍼레이터 중 적어도 하나를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하며 -상기 수정된 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함-, 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택한다.
실시예들 중에서, 이미지 크기 변환 방법은 (a) 소스 이미지를 입력받는 단계, (b) 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 또는 수정된 심 카빙(modified seam carving) 오퍼레이터 중 적어도 하나를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하는 단계 -상기 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함- 및 (c) 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택하는 단계를 포함한다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
“제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
“및/또는”의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, “제1 항목, 제2 항목 및/또는 제3 항목”의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 개시된 기술의 일 실시예에 따른 이미지 크기 변환 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 이미지 크기 변환 장치(100)는 메모리(110), 디스플레이부(120), 사용자 인터페이스부(130), 제어부(140) 및 이미지 변환부(150)를 포함한다.
메모리(110)는 소스 이미지를 저장하고, 디스플레이부(120)는 이미지를 디스플레이하며, 사용자 인터페이스부(130)는 사용자로부터 명령을 입력받는다. 제어부(140)는 메모리(110), 디스플레이부(120) 및 사용자 인터페이스부(130)를 제어한다. 제어부(140)는 이미지 변환부(150)를 로드하고 이미지 변환부(150)를 통해 이미지를 변환한다.
도 2는 도 1의 이미지 변환부의 이미지 변환 제어 화면을 설명하기 위한 도면이다.
도 2를 참조하면, 이미지 변환 제어 화면(210)은 소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240) 및 소스 이미지 디스플레이부(250)를 포함한다.
제어부(140)가 이미지 변환부(150)를 로드하는 경우에는, 이미지 변환부(150)는 이미지 변환 제어 화면(210)을 디스플레이부(120)에 디스플레이한다. 소스 이미지 열기 입력부(220)가 선택되는 경우에는 이미지 변환부(150)는 메모리(110)에서 크기를 변환시키기 위한 소스 이미지를 로드하고 로드된 소스 이미지를 소스 이미지 디스플레이부(250)에 디스플레이한다. 크기를 변환시키기 위한 소스 이미지는 사용자에 의해 선택될 수 있다.
이미지 변환부(150)는 타깃 이미지 크기 입력부(240)를 통해 타깃 이미지의 크기를 입력받는다. 일 실시예에서, 타깃 이미지의 크기는 타깃 이미지의 픽셀 수에 상응할 수 있다. 일 실시예에서, 이미지 변환부(150)는 타깃 이미지의 크기 즉, 픽셀의 수를 직접 입력받을 수 있고, 다른 일 실시예에서, 기 설정된 예시 크기 중에서 하나를 선택받을 수 있다.
소스 이미지 및 타깃 이미지의 크기가 선택된 후 이미지 변환 입력부(230)가 선택되는 경우에는 이미지 변환부(150)는 이미지 변환 과정을 수행한다.
이하에서는 이미지 변환부(150)를 통해 소스 이미지를 변환하는 과정을 설명한다.
이미지마다 특성이 다르므로 이미지마다 동일한 이미지 변환부를 적용하는 경우에는 자연스러운 축소 또는 확장 이미지를 얻기가 어렵다. 따라서, 이미지 변환부(150)는 오퍼레이터를 임의로 조합하여 제1 오퍼레이터 조합을 생성하고, 생성된 제1 오퍼레이터 조합을 기초로 제1 타깃 이미지를 생성한다. 이미지 변환부(150)는 생성된 제1 타깃 이미지를 디스플레이부(120)에 디스플레이하고 제1 타깃 이미지에 대한 평가 정보를 입력받는다.
이미지 변환부(150)는 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 또는 수정된 심 카빙(modified seam carving) 오퍼레이터 중 적어도 하나를 조합하여 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하고, 적어도 하나의 임시 이미지에서 타깃 이미지를 선택한다. 수정된 심 카빙 오퍼레이터는 소스 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하여 이미지를 변환한다.
일 실시예에서, 이미지 변환부(150)는 오페레이터의 종류, 순서, 개수 등을 임의로(random) 조합할 수 있다. 오퍼레이터의 조합은 (k1O1, k2O2, k3O3,…)로 표시될 수 있다. Oi는 오퍼레이터의 종류를 나타내며, ki는 해당 오퍼레이터에 의해 축소 또는 확장되는 픽셀의 개수를 나타낸다. 따라서, ∑ki는 소스 이미지의 크기와 타깃 이미지의 크기의 차이 값과 같다.
도 3은 이미지 크롭핑 오퍼레이터 및 이미지 스케일링 오퍼레이터를 설명하기 위한 도면이다.
도 3을 참조하면, 도 3의 (a)는 원본 이미지를, 도 3의 (b)는 이미지 크롭핑 오퍼레이터를 통해 원본 이미지를 크롭한 이미지를, 도 3의 (c)는 이미지 스케일링 오퍼레이터를 통해 원본 이미지를 스케일링한 이미지를 나타낸다.
이미지 크롭핑 오퍼레이터는 이미지에서 일부 영역을 강조하거나 또는 이미지의 종횡비(aspect ratio)를 변환하기 위해 이미지의 외부 영역을 제거한다. 도 3의 (b)는 이미지 크롭핑 오퍼레이터를 통해 도 3의 (a)의 원본 이미지에서 외부 영역을 제거한 이미지이다. 이미지 스케일링 오퍼레이터는 이미지의 크기를 확대 또는 축소한다. 예를 들어, 이미지 스케일링 오퍼레이터는 업샘플링(upsampling) 또는 보간(interpolating)을 통해 이미지를 확대할 수 있고, 다운샘플링(downsampling)을 통해 이미지를 축소할 수 있다. 도 3의 (c)는 이미지 스케일링을 통해 도 3의 (a)의 원본 이미지를 축소한 이미지이다.
수정된 심 카빙 오퍼레이터는 내용 인식 이미지 크기 변환 방법 중에 하나이다. 수정된 심 카빙 오퍼레이터는 상기 소스 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하여 이미지를 변환한다. 예를 들어, 수정된 심 카빙 오퍼레이터는 플로우 가이디드(flow guided) 심 카빙 오퍼레이터에 상응할 수 있다.
도 4는 수정된 심 카빙 오퍼레이터를 설명하기 위한 도면이다.
도 4를 참조하면, 도 4의 (a)는 이미지의 방향을 고려하지 않고 특징 점에서 방향 축 기반으로 편향치를 구하는 도면을 나타내고, 도 4의 (b)는 에지 탄젠트 플로우(ETF, Edge Tangent Flow) 알고리즘을 수행하여 이미지의 정규화된 접선 벡터(tangent vector)를 구하는 도면을 나타내며, 도 4의 (c)는 도 4의 (b)를 기초로 수직 벡터(normal vector) 방향으로 편향치를 구하는 도면을 나타낸다.
수정된 심 카빙 오퍼레이터는 에지 탄젠트 플로우(ETF) 알고리즘을 수행하여 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 구한다. 에지 탄젠트 플로우 알고리즘은 이미지 내의 경계에서 픽셀 값의 변화가 가장 작은 방향을 나타내는 접선 벡터를 구하고 접선 벡터를 정규화한다. 아래 수학식 1은 이미지 상의 픽셀(x)에서 정규화된 접선 벡터(t(x))를 구하는 식이다.
Figure 112009080469897-pat00001
tx(x)는 접선 벡터의 x축 성분을 나타내고 ty(x)는 접선 벡터의 y축 성분을 나타낸다. 도 4의 (b)는 수학식 1을 통해 계산된 정규화된 접선 벡터를 나타내는 도면이다.
접선 벡터의 수직 방향이 픽셀 값의 변화가 가장 크므로, 에지 탄젠트 플로우 알고리즘은 접선 벡터의 수직 방향으로 이미지의 방향 도함수를 계산하여 해당 방향으로 소정의 거리에 있는 픽셀들 간의 변화율(또는, 방향에 따른 편향치)을 구한다. 아래 수학식 2는 방향에 따른 편향치를 구하는 식이다.
Figure 112009080469897-pat00002
Figure 112009080469897-pat00003
는 방향에 따른 편향치를 나타내고 I(x)는 이미지를 나타낸다. 도 4의 (c)는 수학식 2를 통해 접선 벡터의 수직 방향으로 방향에 따른 편향치를 구하는 방법을 나타내는 도면이다.
수정된 심 카빙 오퍼레이터는 정규화된 접선 벡터와 방향에 따른 편향치를 기초로 픽셀의 변화율(또는, 에너지) 을 계산하고 변화율이 가장 낮은 픽셀들을 연결한 심을 검출한다. 아래 수학식 3은 이미지 상의 특정 픽셀에서 수직 방향의 변화 율(또는, 에너지)을 구하는 식이다.
Figure 112009080469897-pat00004
wv(x)는 이미지의 구조에 따른 수직 방향 가중치를 나타내며,
Figure 112009080469897-pat00005
는 수학식 2에서 구한 방향에 따른 편향치를 나타낸다. 아래 수학식 4는 wv(x)를 구하는 식이다.
Figure 112009080469897-pat00006
ey는 y축 방향 단위 벡터 즉 (0,1)을 나타내고, t(x)은 정규화된 접선 벡터를 나타낸다.
수정된 심 카빙 오퍼레이터는 수학식 3의 수직 방향 변화율을 기초로 변화율이 가장 작은 픽셀들을 연결한 수직 방향의 심을 검출하고, 해당 심을 제거함으로써 소스 이미지의 폭을 축소시킬 수 있다.
아래 수학식 5는 이미지 상의 특정 픽셀에서 수평 방향의 변화율(또는, 에너지)을 구하는 식이다.
Figure 112009080469897-pat00007
wh(x)는 이미지의 구조에 따른 수평 방향 가중치를 나타내며,
Figure 112009080469897-pat00008
는 수학식 2에서 구한 방향에 따른 편향치를 나타낸다. 아래 수학식 6은 wh(x)를 구하는 식이다.
Figure 112009080469897-pat00009
ex는 x축 방향 단위 벡터 즉 (1,0)을 나타내고, t(x)은 정규화된 접선 벡터를 나타낸다.
수정된 심 카빙 오퍼레이터는 수학식 5의 수평 방향 변화율을 기초로 변화율이 가장 작은 픽셀들을 연결한 수평 방향의 심을 검출하고, 해당 심을 제거함으로써 소스 이미지의 높이를 축소시킬 수 있다.
도 5는 도 1의 이미지 변환부를 통해 생성된 임시 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.
도 5를 참조하면, 이미지 변환 제어 화면(210)은 소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240), 소스 이미지 디스플레이부(250), 임시 이미지 디스플레이부(510) 및 임시 이미지 평가 정보 입 력부(520)를 포함한다. 도 5는 6개의 임시 이미지가 생성된 경우의 도면이다.
소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240) 및 소스 이미지 디스플레이부(250)는 위에 열거한 도 2의 설명과 동일하다.
임시 이미지 디스플레이부(510)는 이미지 변환부(150)에 의해 생성된 임시 이미지를 각각 디스플레이한다. 6개의 임시 이미지가 생성된 경우에는, 6개의 임시 이미지 디스플레이부(510a, 510b, 510c, 510d, 510e, 510f)를 통해 임시 이미지가 디스플레이될 수 있다.
임시 이미지 평가 정보 입력부(520)는 임시 이미지 디스플레이부(510)에 디스플레이된 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정한다. 일 실시예에서, 평가 정보는 임시 이미지 디스플레이부(510)에 디스플레이된 임시 이미지에 대한 평가 점수에 상응할 수 있다. 다른 일 실시예에서, 평가 정보는 임시 이미지 디스플레이부(510)에 디스플레이된 임시 이미지에 대한 선택/제외에 상응할 수 있다.
도 6은 도 5의 이미지 변환 제어 화면에서 평가 정보를 입력받는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 임시 이미지 평가 정보 입력부(520)는 임시 이미지 디스플레이부(510)에 디스플레이된 어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받을 수 있다.
임시 이미지들 각각에 대한 평가 정보를 입력받은 후, 이미지 변환부(150)는 임시 이미지들 중 평가 정보가 높은 이미지들을 선택하고 선택된 이미지들을 후보 이미지들로 결정한다. 일 실시예에서, 이미지 변환부(150)는 평가 점수가 높은 순서대로 일정 개수의 후보 이미지를 결정할 수 있다.
후보 이미지들을 선택한 후, 이미지 변환부(150)는 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는다. 이미지 변환 정보는 해당 후보 이미지에 수행된 적어도 하나의 오퍼레이터(즉, 이미지 크롭핑 오퍼레이터, 이미지 스케일링 오퍼레이터 또는 수정된 심 카빙 오퍼레이터 중 적어도 하나)에 관한 정보에 상응할 수 있다.
이미지 변환부(150)는 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성한다. 예를 들어, 이미지 변환부(150)는 이미지 변환 정보에 대하여 GA(Genetic Algorithm) 연산을 수행하여 새로운 이미지 변환 정보를 생성하고, 생성된 새로운 이미지 변환 정보를 기초로 소스 이미지를 재변환할 수 있다.
이미지 변환부(150)는 최종 타깃 이미지가 결정될 때까지, 적어도 하나의 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정하는 과정, 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 과정 및 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성하는 과정을 반복할 수 있다.
일 실시예에서, 이미지 변환부(150)는 이미지 변환 정보를 포함하는 비트 열(bit string)을 유전 정보(chromosome)로 사용하여 GA 연산을 수행할 수 있다.
도 7은 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.
도 7을 참조하면, 비트 열은 오퍼레이터 개수 정보 필드(NumofOp)(710), 이미지 변환 타입 정보 필드(MixorReg)(720), 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730), 오퍼레이터 종류 정보 필드(WhichOp)(740), 오퍼레이터 순서 정보 필드(order) (750) 및 오퍼레이터 반복 횟수 정보 필드(opMap)(760)를 포함한다.
오퍼레이터 개수 정보 필드(NumofOp)(710)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 개수 정보를 포함하며 필드의 크기는 2바이트이다. 이미지 변환 타입 정보 필드(MixorReg)(720)는 변환 전에 해당 오퍼레이터 조합의 오퍼레이터의 순서 및 반복 횟수를 모르는 타입(Mix)인지 또는 변환 전에 해당 오퍼레이터 조합의 오퍼레이터의 순서가 고정된 타입(Regular)인지에 대한 정보를 포함하며 필드의 크기는 1바이트이다.
축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730)는 축소 또는 확장될 픽셀의 크기 즉, 소스 이미지의 크기와 타깃 이미지의 크기 사이의 차이 정보를 포함하며 필드의 크기는 3바이트이다. 오퍼레이터 종류 정보 필드(WhichOp)(740)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 종류에 대한 정보를 포함하며 필드의 크기는 3바이트이다. 오퍼레이터 순서 정보 필드(order) (750)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 순서에 대한 정보를 포함하며 필드의 크기는 3바이트이다. 오퍼레이터 반복 횟수 정보 필드(opMap)(760)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 반복 횟수 정보를 포함하며 필드의 크기는 3바이트이다.
이미지 변환부(150)는 후보 이미지에 대한 이미지 변환 정보를 포함하는 비 트 열을 유전 정보로 사용하여 GA 연산을 수행한다.
도 8은 후보 이미지에 대한 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.
도 8은 이미지 변환부(150)가 평가 정보가 높은 3개의 이미지를 후보 이미지로 선택한 경우를 가정하였다. 도 8을 참조하면, 이미지 변환부(150)는 3개의 후보 이미지에 대한 이미지 변환 정보를 포함하는 비트 열(810, 820, 830)을 유전 정보로 사용한다. 예를 들어, 제1 비트 열(810)은 제1 이미지를 생성한 이미지 변환 정보를 포함하고, 제2 비트 열(820)은 제2 이미지를 생성한 이미지 변환 정보를 포함하며, 제3 비트 열(830)은 제3 이미지를 생성한 이미지 변환 정보를 포함한다.
이미지 변환부(150)는 제1 비트열(810), 제2 비트열(820) 및 제3 비트열(830)을 기초로 GA 연산을 수행한다. GA는 유전 정보를 기초로 크로스오버(crossover) 연산 또는 변이(mutation) 연산을 수행하여 새로운 유전 정보를 생성한다. 크로스오버 연산은 크로스오버 포인트(crossover point)를 기준으로 유전 정보에 포함된 정보를 교환(swap)하는 연산이며, 변이 연산은 유전 정보에 포함된 정보 중 특정 비트를 반전시키는 연산이다. 일 실시예에서, 유전 알고리즘 연산의 크로스오버 확률과 변이 확률은 미리 설정될 수 있다.
도 9는 도 8의 비트 열을 기초로 크로스오버 연산을 수행하는 과정을 설명하기 위한 도면이다.
도 9를 참조하면, 유전 알고리즘은 이미지 변환 타입 정보 필드(MixorReg)(720)와 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730) 사 이를 크로스오버 포인트로 하여 유전 정보에 포함된 정보를 교환(swap)한다. 유전 알고리즘은 크로스오버 포인트의 뒤에 위치한 정보를 교환할 수 있다.
예를 들어, 유전 알고리즘은 크로스오버 연산을 통해 제1 비트 열(810)과 제2 비트 열(820)의 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730), 오퍼레이터 종류 정보 필드(WhichOp)(740), 오퍼레이터 순서 정보 필드(order) (750) 및 오퍼레이터 반복 횟수 정보 필드(opMap)(760)를 교환할 수 있다. 유전 알고리즘은 제1 비트 열(810)과 제2 비트 열(820)을 기초로 크로스오버 연산을 수행하여 새로운 비트 열(또는, 유전 정보)(910, 920)을 생성한다.
도 10는 도 8의 비트 열을 기초로 변이 연산을 수행하는 과정을 설명하기 위한 도면이다.
도 10은 유전 알고리즘이 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730)와 오퍼레이터 종류 정보 필드(WhichOp)(740) 사이를 크로스오버 포인트로 하여 유전 정보에 포함된 정보를 교환한 경우를 가정하였다.
도 10을 참조하면, 유전 알고리즘은 제1 비트 열(810)과 제3 비트 열(830)을 기초로 크로스오버 연산을 수행하여 새로운 비트 열(또는, 유전 정보)(1010, 1020)을 생성한다. 변이 연산은 크로스오버 연산을 통해 생성된 비트 열(1010, 1020)의 특정 비트를 반전시킨다. 예를 들어, 변이 연산은 새로 생성된 비트 열(1010) 중 오퍼레이터 순서 정보 필드(order) (750)에 포함된 비트의 값을 0에서 1로 반전시킬 수 있다. 일 실시예에서, 변이 연산을 수행할 비트의 개수는 변이 확률에 따라 달라질 수 있다. 일 실시예에서, 변이 연산을 수행할 비트의 위치는 임의로 정해질 수 있다.
유전 알고리즘은 기 설정된 수의 새로운 비트 열(또는, 유전 정보)을 생성한다. 일 실시예에서, 유전 알고리즘은 6개의 새로운 비트 열을 생성할 수 있다. 이미지 변환부(150)는 새로운 비트 열에 포함된 정보를 기초로 해당 비트 열에 상응하는 이미지 변환 정보를 생성하고, 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 변환된 이미지들을 생성한다.
도 11은 새로운 이미지 변환 정보를 통해 변환된 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.
이미지 변환 제어 화면(210), 소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240), 소스 이미지 디스플레이부(250), 타깃 이미지 디스플레이부(510) 및 타깃 이미지 평가 정보 입력부(520)는 위에 열거한 도 5의 설명과 동일하다.
타깃 이미지 디스플레이부(510)는 새로운 이미지 변환 정보에 의해 생성된 이미지들을 각각 디스플레이한다. 6개의 이미지 변환 정보를 통해 6개의 이미지가 생성된 경우에는, 6개의 타깃 이미지 디스플레이부(510a, 510b, 510c, 510d, 510e, 510f)에 이미지가 디스플레이된다. 타깃 이미지 평가 정보 입력부(520)는 타깃 이미지 디스플레이부(510)에 디스플레이된 이미지에 대한 평가 정보를 입력받는다.
이미지 변환부(150)는 최종 타깃 이미지가 결정될 때까지, 적어도 하나의 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정하는 과정, 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 과정 및 이 미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성하는 과정을 반복할 수 있다.
도 12는 이미지를 변환하는 과정을 설명하기 위한 순서도이다.
이미지 크기 변환 장치는 소스 이미지를 입력받고(S1210), 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 또는 수정된 심 카빙(modified seam carving) 오퍼레이터 중 적어도 하나를 조합하여 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성한다(S1220). 수정된 심 카빙 오퍼레이터는 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가한다.
이미지 크기 변환 장치는 적어도 하나의 임시 이미지에서 타깃 이미지를 선택한다(S1230). 일 실시예에서, 이미지 크기 변환 장치는 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정할 수 있다. 이미지 크기 변환 장치는 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻고, 이미지 변환 정보를 기초로 소스 이미지를 재변환할 수 있다.
이미지 변환부는 최종 타깃 이미지가 결정될 때까지, 적어도 하나의 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정하는 단계, 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 단계 및 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성하는 단계를 반복할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
일 실시예에 따른 이미지 크기 변환 장치는 이미지의 특성을 고려하여 자연스럽게 이미지를 변환할 수 있다. 이미지의 크기를 변환하는 경우 이미지의 구조적인 특성을 고려하여 각 이미지에 맞는 오퍼레이터 조합을 생성할 수 있고, 해당 오퍼레이터 조합을 통해 자연스럽게 크기가 변환된 이미지를 얻을 수 있다.
일 실시예에 따른 이미지 크기 변환 장치는 이미지 변환 과정에 사용자의 평가를 반영하여 각 사용자의 기호에 따라 크기가 변환된 이미지를 제공할 수 있다. 복수의 오퍼레이터 조합을 통해 생성된 이미지들에 대해 사용자의 평가를 입력받고, 평가가 높은 오퍼레이터 조합을 기초로 새로운 오퍼레이터 조합을 생성하여 이미지를 변환하므로 각 사용자의 기호에 따라 변환된 이미지를 제공할 수 있다.
또한, 일 실시예에 따른 이미지 크기 변환 장치는 이미지의 방향을 기초로 이미지를 변환하므로, 방향성을 갖는 이미지를 변환하는 경우 이미지의 왜곡을 줄이고 더욱 자연스러운 이미지를 얻을 수 있다.
상기에서는 개시된 기술의 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 기술의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 개시된 기술을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 개시된 기술의 일 실시예에 따른 이미지 크기 변환 장치를 설명하기 위한 블록도이다.
도 2는 도 1의 이미지 변환부의 이미지 변환 제어 화면을 설명하기 위한 도면이다.
도 3은 이미지 크롭핑 오퍼레이터 및 이미지 스케일링 오퍼레이터를 설명하기 위한 도면이다.
도 4는 수정된 심 카빙 오퍼레이터를 설명하기 위한 도면이다.
도 5는 도 1의 이미지 변환부를 통해 생성된 임시 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.
도 6은 도 5의 이미지 변환 제어 화면에서 평가 정보를 입력받는 방법을 설명하기 위한 도면이다.
도 7은 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.
도 8은 후보 이미지에 대한 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.
도 9는 도 8의 비트 열을 기초로 크로스오버 연산을 수행하는 과정을 설명하기 위한 도면이다.
도 10는 도 8의 비트 열을 기초로 변이 연산을 수행하는 과정을 설명하기 위한 도면이다.
도 11은 새로운 이미지 변환 정보를 통해 변환된 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.
도 12는 이미지를 변환하는 과정을 설명하기 위한 순서도이다.

Claims (12)

  1. (a) 소스 이미지를 입력받는 단계;
    (b) 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 또는 수정된 심 카빙(modified seam carving) 오퍼레이터 중 적어도 하나를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하는 단계 -상기 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함-; 및
    (c) 상기 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정하는 단계;
    (d) 상기 결정된 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 단계 -상기 이미지 변환 정보는 해당 후보 이미지에 수행된 적어도 하나의 오퍼레이터(즉, 이미지 크롭핑 오퍼레이터, 이미지 스케일링 오퍼레이터 또는 수정 심 카빙 오퍼레이터 중 적어도 하나)에 관한 정보에 상응함-; 및
    (e) 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 타깃 이미지를 결정하는 단계를 포함하는 이미지 크기 변환 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 상기 타깃 이미지를 결정하는 단계는
    (e1) 상기 얻은 이미지 변환 정보에 대하여 GA(Genetic Algorithm) 연산을 수행하여 새로운 이미지 변환 정보를 생성하는 단계; 및
    (e2) 상기 생성된 새로운 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하는 단계를 포함하는 것을 특징으로 하는 이미지 크기 변환 방법.
  4. 제3항에 있어서, 상기 이미지 변환 정보는
    오퍼레이터의 개수 정보, 이미지 변환 타입 정보, 축소 또는 확장될 픽셀의 크기 정보, 오퍼레이터의 종류 정보, 오퍼레이터의 순서 정보 또는 오퍼레이터의 반복 횟수 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 크기 변환 방법.
  5. 제1항에 있어서, 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 상기 타깃 이미지를 결정하는 단계는
    상기 (c) 단계 내지 상기 (e) 단계를 반복하여 최종 타깃 이미지를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 크기 변환 방법.
  6. 제1항에 있어서, 상기 소스 이미지 내에 포함된 대상들의 경계에서 픽셀 값의 변화가 가장 큰 방향은
    상기 경계에서 픽셀 값의 변화가 가장 작은 방향을 나타내는 접선 벡터(tangent vector)의 수직 방향인 것을 특징으로 하는 이미지 크기 변환 방법.
  7. 제1항에 있어서, 상기 수정된 심 카빙 오퍼레이터는
    다음의 수학식 1을 통해 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 구하는 것을 특징으로 하는 이미지 크기 변환 방법.
    [수학식 1]
    Figure 112009080469897-pat00010
    여기에서,
    g°(x) : 방향에 따른 변화율 또는 편향치
    I(x) : 소스 이미지
    t : 접선 벡터
  8. 제1항에 있어서, 상기 수정된 심 카빙 오퍼레이터는
    다음의 수학식 2를 통해 픽셀에서의 수직 방향 변화율을 계산하고 상기 수직 방향 변화율이 가장 작은 픽셀들을 연결한 심을 검출하는 것을 특징으로 하는 이미지 크기 변환 방법.
    [수학식 2]
    Figure 112009080469897-pat00011
    Figure 112009080469897-pat00012
    Figure 112009080469897-pat00013
    여기에서,
    Ev(x) : 특정 픽셀에서의 수직 방향 변화율(또는, 에너지)
    wv(x) : 구조에 따른 수직 방향 가중치,
    t(x) : 정규화된 접선 벡터 (t(x) = [tx(x), ty(x)])
    ey : y축 방향 단위 벡터
    g°(x) : 방향에 따른 변화율 또는 편향치
    I(x) : 소스 이미지
  9. 제1항에 있어서, 상기 수정된 심 카빙 오퍼레이터는
    다음의 수학식 3을 통해 픽셀에서의 수평 방향 변화율을 구하고 상기 수평 방향 변화율이 가장 작은 픽셀들을 연결한 심을 검출하는 것을 특징으로 하는 이미지 크기 변환 방법.
    [수학식 3]
    Figure 112009080469897-pat00014
    Figure 112009080469897-pat00015
    Figure 112009080469897-pat00016
    여기에서,
    Eh(x) : 특정 픽셀에서의 수평 방향 변화율(또는, 에너지)
    wh(x) : 구조에 따른 수평 방향 가중치,
    t(x) : 정규화된 접선 벡터 (t(x) = [tx(x), ty(x)])
    ex : x축 방향 단위 벡터
    g°(x) : 방향에 따른 변화율 또는 편향치
    I(x) : 소스 이미지
  10. 디스플레이 장치;
    사용자 인터페이스부;
    소스 이미지를 저장하는 메모리; 및
    상기 소스 이미지를 변환하는 이미지 변환부를 제어하는 제어부를 포함하며,
    상기 이미지 변환부는
    소스 이미지를 입력받고, 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 또는 수정된 심 카빙(modified seam carving) 오퍼레이터 중 적어도 하나를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하며 -상기 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함-, 상기 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 상기 적어도 하나의 후보 이미지를 결정하고, 상기 결정된 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻으며 -상기 이미지 변환 정보는 해당 후보 이미지에 수행된 적어도 하나의 오퍼레이터(즉, 이미지 크롭핑 오퍼레이터, 이미지 스케일링 오퍼레이터 또는 수정 심 카빙 오퍼레이터 중 적어도 하나)에 관한 정보에 상응함-, 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 타깃 이미지를 결정하는 이미지 크기 변환 장치.
  11. 삭제
  12. 제10항에 있어서, 상기 이미지 변환부는
    상기 얻은 이미지 변환 정보에 대하여 GA(Genetic Algorithm) 연산을 수행하여 새로운 이미지 변환 정보를 생성하고, 상기 생성된 새로운 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하는 것을 특징으로 하는 이미지 크기 변환 장치.
KR1020090131457A 2009-12-28 2009-12-28 이미지 크기 변환 장치 KR101134362B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090131457A KR101134362B1 (ko) 2009-12-28 2009-12-28 이미지 크기 변환 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090131457A KR101134362B1 (ko) 2009-12-28 2009-12-28 이미지 크기 변환 장치

Publications (2)

Publication Number Publication Date
KR20110075110A KR20110075110A (ko) 2011-07-06
KR101134362B1 true KR101134362B1 (ko) 2012-04-19

Family

ID=44915156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090131457A KR101134362B1 (ko) 2009-12-28 2009-12-28 이미지 크기 변환 장치

Country Status (1)

Country Link
KR (1) KR101134362B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443630B1 (ko) * 2019-12-27 2022-09-15 주식회사 픽스트리 영상 비율을 확장 또는 축소하기 위한 영상 리타겟팅 방법 및 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
논문1:한국정보과학회 *
논문1:한국정보과학회*
논문2:ACM TRANSACTIONS ON GRAPHICS (TOG) *
논문3:ACM SIGGRAPH 2008 PAPERS *

Also Published As

Publication number Publication date
KR20110075110A (ko) 2011-07-06

Similar Documents

Publication Publication Date Title
JP6784704B2 (ja) 画像処理方法及び装置
JP5777311B2 (ja) 低解像度ビデオから高解像度ビデオを生成する方法
EP2613290B1 (en) Image processing device, image processing method, and image processing program
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
CN103985085A (zh) 图像超分辨率放大的方法和装置
US20070040805A1 (en) Method of detecting the movement of an entity equipped with an image sensor and device for implementing same
KR101134362B1 (ko) 이미지 크기 변환 장치
JP4686388B2 (ja) 画像拡大装置及び画像拡大方法
JP5728106B1 (ja) 電子透かし埋め込み装置及び電子透かし埋め込みプログラム及び電子透かし検出装置及び電子透かし検出プログラム
JPWO2007102244A1 (ja) 画像拡大縮小装置
JP5388779B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5828052B1 (ja) 画像圧縮装置、画像圧縮方法及び画像圧縮プログラム
JP2020017229A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN103618904A (zh) 基于像素的运动估计方法及装置
JP6915685B2 (ja) 学習装置、超解像化装置、学習方法、超解像化方法およびプログラム
JP2009064193A (ja) 解像度変換装置及び方法
JP5333791B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2011081477A (ja) 画像復元装置、そのプログラム、及び、多次元画像復元装置
JP5287581B2 (ja) 画像処理装置及び画像処理方法
JP4680071B2 (ja) 画像処理装置
JP2005293265A (ja) 画像処理装置及び方法
KR102605657B1 (ko) 심층 신경회로에서의 데이터 변환 장치 및 방법
JP2019121062A (ja) 画像拡大装置
JPWO2009116586A1 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2013218227A (ja) 数値標高モデル評価装置及び数値標高モデル評価方法

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee