KR20090065204A - 모바일 기기에서의 이미지 변환 장치 및 방법 - Google Patents

모바일 기기에서의 이미지 변환 장치 및 방법 Download PDF

Info

Publication number
KR20090065204A
KR20090065204A KR1020070132680A KR20070132680A KR20090065204A KR 20090065204 A KR20090065204 A KR 20090065204A KR 1020070132680 A KR1020070132680 A KR 1020070132680A KR 20070132680 A KR20070132680 A KR 20070132680A KR 20090065204 A KR20090065204 A KR 20090065204A
Authority
KR
South Korea
Prior art keywords
image
unit
cartoon
original image
style
Prior art date
Application number
KR1020070132680A
Other languages
English (en)
Other versions
KR100924689B1 (ko
Inventor
최윤석
구본기
이지형
김보연
김희정
박일규
이승욱
신승협
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070132680A priority Critical patent/KR100924689B1/ko
Priority to US12/314,857 priority patent/US8265415B2/en
Publication of KR20090065204A publication Critical patent/KR20090065204A/ko
Application granted granted Critical
Publication of KR100924689B1 publication Critical patent/KR100924689B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 모바일 기기에서의 이미지 변환 장치는, 분리 가우스 필터를 이용하여 원본 이미지를 펜 스타일로 변환한 후 이를 출력하는 펜 스타일 변환부와, 원본 이미지를 카툰 스타일로 변환하여 출력하는 카툰 스타일 변환부와, 최적 포토 이미지 집합 기반으로 원본 이미지에 적용될 포토 모자이크를 생성하고, 생성된 포토 모자이크를 원본 이미지에 적용시켜 출력하는 모자이크 생성부와, 펜 스타일 변환부, 카툰 스타일 변환부 및 모자이크 생성부에서 출력되는 이미지를 출력 장치에 출력하는 이미지 출력부를 포함한다.
이와 같이, 본 발명은 사람들에게 널리 보급된 각종 모바일 기기에 적용할 수 있는 예술적 변환 기법, 예들 들어 펜 스타일 변환, 카툰 스타일 변환, 포토 모자이크 등의 기법을 제공함으로서, 다양한 효과의 이미지를 모바일 기기에서 직접 생성할 수 있다.
모바일 기기, 이미지, 변환, 펜 스타일, 모자이크, 카툰 스타일

Description

모바일 기기에서의 이미지 변환 장치 및 방법{APPARATUS AND METHOD FOR TRANSFORMING AN IMAGE IN A MOBILE DEVICE}
본 발명은 모바일 기기에서의 이미지의 예술적 효과를 적용한 실시간 이미지 변환 장치 및 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-082-03, 과제명: 비사실적 애니메이션 기술 개발].
2차원 이미지에 대한 색상, 예술 효과 등의 변환 기술에 대해서 많은 연구가 진행되어 왔고, 윈도우의 그림판, 아도브 포토샵, 코렐 페인트샵 프로 등의 많은 기능을 가진 사용 프로그램이 사용되어 왔다.
최근 들어, 사용자 제작 콘텐츠(User Created Contents)의 제작 붐에 따라서 많은 사람들은 자신의 핸드폰 카메라나 디지털 카메라로 찍은 사진을 노트북이나 데스크 탑 컴퓨터로 옮긴 후 자신이 갖고 있는 그래픽 툴, 예를 들어 윈도우의 그 림판, 아도브 포토샵, 코렐 페인트샵 프로 등을 이용하여 이미지를 변환하고, 이를 웹 환경에 게시함으로서, 자신의 사용자 제작 콘텐츠를 많은 사람들과 공유한다.
한편, IMT2000, 와이브로 등의 무선 통신 환경의 보급으로 인해 디지털 카메라나 핸드폰 카메라로 얻은 사진을 무선 통신을 이용하여 즉석해서 웹 공간에 게시할 수 있다.
이에 따라, 휴대폰이나 PDA 등과 같은 모바일 기기에서는 사진을 편집할 수 있는 다양한 기능, 예를 들어 흑백, 세피아 톤 등 단순한 색상 변환 기능을 제공하고 있다.
모바일 기기는 하드웨어 환경의 제약에 의해 단순한 편집 기능만을 제공할 뿐 개인용 컴퓨터와 같이 카툰이나 펜스타일 등 비사실적 렌더링 기법을 제공하지 못하는 단점이 있다.
본 발명은 모바일 기기 환경에서 펜 스타일과 카툰, 포토 모자이크 등의 예술적 효과를 구현하기 위해 속도 향상을 위한 방법과 모바일 기기의 하드웨어 구조에 최적화된 장치 및 방법을 제공한다.
본 발명의 제 1 관점으로서 모바일 기기에서의 이미지 변환 장치는, 분리 가우스 필터를 이용하여 원본 이미지를 펜 스타일로 변환한 후 이를 출력하는 펜 스타일 변환부와, 상기 원본 이미지를 카툰 스타일로 변환하여 출력하는 카툰 스타일 변환부와, 최적 포토 이미지 집합 기반으로 상기 원본 이미지에 적용될 포토 모자이크를 생성하고, 상기 생성된 포토 모자이크를 상기 원본 이미지에 적용시켜 출력하는 모자이크 생성부와, 상기 펜 스타일 변환부, 카툰 스타일 변환부 및 모자이크 생성부에서 출력되는 이미지를 출력 장치에 출력하는 이미지 출력부를 포함한다.
본 발명의 제 2 관점으로서 모바일 기기에서의 이미지 변환 방법은, 분리 가우스 필터를 이용하여 원본 이미지를 펜 스타일로 변환하고자 하면, 상기 원본 이미지에 가로 가우시안 흐림 필터를 적용하여 중간 이미지를 생성하는 단계와, 상기 중간값에 세로 가우시안 흐림 필터를 적용하여 최종 이미지를 생성하는 단계를 포함한다.
본 발명의 제 3 관점으로서 모바일 기기에서의 이미지 변환 방법은, 원본 이미지를 카툰 스타일로 변환하여 출력하고자 하는 경우 상기 원본 이미지를 평탄화하는 단계와, 상기 평탄화된 이미지에 대해 양자화를 수행하여 색상별로 단계화시키는 단계와, 상기 색상별 공간의 윤곽선을 추출하고, 이를 간략화시키는 단계와, 상기 간략화된 윤곽선 정보와 상기 원본 이미지 정보를 이용하여 카툰 이미지를 생성하는 단계를 포함한다.
본 발명은 사람들에게 널리 보급된 각 종 모바일 기기에 적용할 수 있는 예술적 변환 기법, 예들 들어 펜 스타일 변환, 카툰 스타일 변환, 포토 모자이크 등의 기법을 제공함으로서, 다양한 효과의 이미지를 모바일 기기에서 직접 생성할 수 있다.
또한, 본 발명은 모바일 기기의 사용자들에게 현장에서 얻은 이미지를 실시간 제작 환경을 지원하기 때문에 와이브로 등의 무선 인터넷 환경과 접목하여 실시간으로 자신만의 UCC를 제작하고 이를 웹 환경에 등록할 수 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명 한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명의 바람직한 실시 예에서는 2차원 이미지에 대한 펜 스타일화, 카툰화, 포토 모자이크 등의 비사실적 렌더링 기법을 모바일 장치에 실시간으로 적용하기 위한 시스템과 방법에 대해 설명한다.
도 1은 본 발명이 적용되는 모바일 기기 환경의 서비스 시스템 구성도로서, 모바일 기기에 장착된 카메라(101), 이미지 변환 프로세서(102), 이미지가 저장되는 저장매체(103), 이미지 변환 프로세서(102)를 거치기 전/후 이미지를 출력하는 출력 장치(104)를 포함한다. 카메라(101)에서 획득한 이미지는 저장매체(103)에 저장된 후 이미지 변환 프로세서(102)를 통해 변화되며, 변환된 이미지는 저장매체(103)에 저장됨과 더불어 출력 장치(104)에 디스플레이된다.
도 2는 본 발명에 따른 시스템에서 모바일 기기에서의 이미지 변환 프로세서 내부를 도시한 블록도이다.
도 2에 도시된 바와 같이, 모바일 기기에서의 이미지 변환 프로세서(102)는 모바일 기기에 부착된 카메라(101)로부터 이미지를 취득하여 저장매체(103)에 저장하는 이미지 취득부(200), 모바일 기기의 저장매체(103)에 저장된 이미지를 불러드리는 이미지 로드부(202), 불러드린 이미지(원본 이미지)에 적용할 예술적 효과 변 환 필터를 선택할 수 있는 인터페이스를 제공하는 필터 선택부(204), 선택된 필터를 적용하여 이미지를 변환시키는 이미지 변환부(206), 선택된 변환 필터에 의해 변환 이미지를 생성하고, 생성된 변환 이미지를 저장매체(103)에 저장함과 더불어 이를 출력 장치(104)에 디스플레이시키는 이미지 출력부(208)를 포함한다.
여기서, 이미지 변환부(206)는 분리 가우스 필터를 이용하여 원본 이미지를 펜 스타일로 변환한 후 이를 이미지 출력부(208)로 출력하는 펜 스타일 변환부(206a)와, 원본 이미지를 카툰 스타일로 변환하여 이미지 출력부(208)로 출력하는 카툰 스타일 변환부(206b)와, 최적 포토 이미지 집합 기반으로 원본 이미지에 적용될 포토 모자이크를 생성하고, 생성된 포토 모자이크를 원본 이미지에 적용시켜 이미지 출력부(208)로 출력하는 모자이크 생성부(206c)를 포함한다.
도 3은 변환 필터 중 펜스타일 변환 방법을 선택한 경우 이를 처리하는 과정을 도시한 흐름도이다. 이러한 펜 스타일 변환은 이미지 변환부(206)의 펜 스타일 변환부(206a)의 구동을 통해 이루어진다.
펜 스타일 변환은 Bruce Gooch 등이 2004년 발표한 캐리커쳐 제작 기법에서 선보인 Brightness Perception 기반의 흑백 이미지를 생성하는 일러스트레이션 기법에 기반한다. 이 기법은 차이(difference), 통합(integration), 임계화(thresholding)의 3가지 기본 연산으로 구성되며 원본 이미지에 2개의 서로 다른 크기의 가우시안 흐림 필터를 적용하여 두 이미지간의 차이를 계산하며 가우시안 흐림 필터(Gaussian Blur Filter)의 크기를 1.6배씩 증가시키며 같은 작업을 수차례 반복하며 그 차이 값을 통합한다. 통합 결과에 특정 임계값을 기준으로 필터링 을 적용하여 최종 영상을 생성한다. 이때 2개의 서로 다른 가우시안 흐림 필터의 크기는 차이를 1.6배로 지정하였는데, 이는 Marr의 기법에서 차용한 것이며, 전체 알고리즘은 Blommaert와 Martens의 인간 밝기 인지(Human Brightness perception) 모델에 기반하고 있다.
도 3에 도시된 바와 같이, 이미지가 로딩(S301)되면, 이미지 변환부(206)의 펜 스타일 변환부(206a)는 입력 이미지를 단색 이미지, 즉 그레이(grey) 이미지로 변경한다(S302).
그런 다음, 펜 스타일 변환부(206a)는 단색 이미지에 가우시안 필터를 적용(S303) 인식 정보를 수집하며, 수집된 인식 정보를 임계 필터에 적용(S304)하여 최종 이미지를 생성(S305)한다.
펜 스타일 변환부(206a)가 적용하는 구체적인 알고리즘은 아래와 같다.
SrcImage : 입력 이미지
GreyImage = ConvertToGrey(SrcImage); // Grey 이미지로 변환
v1, v2, b : 이미지
v1 = Copy(GreyImage); // 이미지 복사
SetZero(b); // 이미지를 0 값으로 초기화
for (s=1; s <= S ; s++) // 모두 S단계로 수행
{
Decide_Kernel_Size (); // 최소 3부터 최대 85까지.
MakeGaussianFilter (nKernelSize); // 가우시안 필터 생성
v2 = GaussianFilter(v1, GFilter); // 가우시안 필터 적용
// 적용전과 적용 후의 픽셀의 차이값을 가중치 누적
b += (v1 - v2) / (coeff + v1);
v1 = Copy(v2);
}
// 계산 이미지 b와 원본 그레이 이미지, 임계치를 기반으로 최종 생성
FinalImage = Threshold(b, GreyImage, fThresValue);
가우시안 필터를 적용하는 단계 S303에 대해 도 4를 참조하여 설명한다.
도 4는 예술적 효과 중에서 펜 스타일 변환 기법의 속도 향상을 위한 가우스안 함수의 재분석을 통한 2단계 가우시안 흐림 필터의 작동 과정을 설명하기 위한 도면이다.
본 발명에 따른 펜 스타일 변환 기법의 일 예로는 기존의 펜 스타일 변환 기법에 nㅧn 가우스 함수와 2 단계 가우시안 흐림 필터를 적용한 것을 예로 들 수 있다.
이때, 가우스 함수는 지수 함수적인 형태로 표현할 때 아래의 수학식 1과 같다.
Figure 112007090743565-PAT00001
상기 수학식 1에서 c는 가우스 함수를 적분했을 때 적절한 범위에 들어가도 록 하는 규격화 상수이며,
Figure 112007090743565-PAT00002
는 분산이다. 커널의 크기를
Figure 112007090743565-PAT00003
으로 지정할 때 특정 픽셀의 최종색
Figure 112007090743565-PAT00004
을 구하기 위한 가우시안 흐림 필터는 아래의 수학식 2와 같다.
Figure 112007090743565-PAT00005
본 발명에서 사용되는 가우시안 흐림 필터의 커널 크기는 nㅧn으로 정의되는 가변 필터로서, n 값은 3부터 87까지 지정된다. 이는 입력 이미지의 크기가
Figure 112007090743565-PAT00006
으로 정의되며,
Figure 112007090743565-PAT00007
으로 계산 양은 최소
Figure 112007090743565-PAT00008
에서 최대
Figure 112007090743565-PAT00009
이 된다. 이럴 경우 각 픽셀마다
Figure 112007090743565-PAT00010
의 계산이 소요되는데, 본 발명에서는 가우스 함수가 수학적으로 2개의 함수로 분리될 수 있다는 성질을 이용한다. 가로 적용과 세로 적용의 2단계로 분리하여 가로 가우시안 흐림 필터를 먼저 적용하여 중간값
Figure 112007090743565-PAT00011
를 계산한 후에 그 값에 세로 가우시안 흐림 필터를 적용하여 최종값
Figure 112007090743565-PAT00012
을 계산하는데, 중간값
Figure 112007090743565-PAT00013
및 최종값
Figure 112007090743565-PAT00014
는 아래의 수학식 3과 같다.
Figure 112007090743565-PAT00015
Figure 112007090743565-PAT00016
이 경우 입력 이미지에 대해 2번 가우스 함수를 수행하지만, 각 픽셀에 소요되는 계산은 n이기 때문에, 총 계산량은
Figure 112007090743565-PAT00017
이 된다. 예를 들어, 입력 이미지가 640ㅧ480 이미지의 경우, 기존의 방법에서 커널의 크기가 최대인 n=85인 경우
Figure 112007090743565-PAT00018
으로 약 22억 번의 계산이 필요하지만, 2단계 가우시안 필터를 적용할 경우
Figure 112007090743565-PAT00019
으로 약 5천만번의 계산이 필요해 최대 1/40로 계산량을 줄일 수 있다.
도 5는 본 발명에 다른 예술적 변환 효과 중에서 펜 스타일화에서 속도 향상을 위해서 프로그램의 메모리 지역화(localization)를 유지하기 위한 논리적 흐름도를 도시한 도면이다.
즉, 도 5에 도시된 바와 같이, 원본 이미지가 입력(S501)되면 먼저 가로 가우시안 흐림 필터(S502)를 적용한다. 가로 가우시안 흐림 필터가 적용된 결과는 기억 공간의 크기가 전치(Transpose)된 중간 이미지에 저장(S503)되며, 이 중간 이미지에 세로 가우시안 흐림 필터를 적용(S504)하여 최종적으로 흐려진 이미지를 생성(S505)한다. 즉, 펜 스타일 변환부(206a)는 원본 이미지의 크기(
Figure 112007090743565-PAT00020
)인 경우 행과 열이 전치된 크기(
Figure 112007090743565-PAT00021
)를 갖는 임시 기억 공간을 설정하고, 중간값(중간 이 미지)의 행과 열이 전치시켜 설정된 임시 기억 공간에 저장한 후 임시 기억 공간에 저장된 중간값에 대해 행 방향으로 세로 가우시안 흐림 필터를 적용하여 최종값(최종 이미지)을 생성한다.
중앙연산장치(CPU)는 수행 속도를 높이기 위해 캐쉬(cache) 메모리를 사용한다. 중앙 연산 장치가 사용할 데이터를 캐쉬로 미리 읽어와 주기억장치에 접근 횟수를 줄임으로써 성능을 향상시키는 방법이다. 이때 중앙 연산 장치가 필요로 하는 데이터가 캐쉬에 있는 경우(이를 cache hit라고 한다)에는 빠른 수행을 할 수 있지만, 그렇지 않은 경우(cache failure)에는 주기억장치로부터 데이터를 읽어 와야 한다. 이때, 중앙 연산 장치는 해당 작업동안 기다리게 되므로 연산 성능이 하락하게 된다. 즉, 성능 향상을 위해서는 캐쉬 적중률을 높여야 한다. 캐쉬 적중률을 높이는 방법 중의 하나가 데이터의 지역화(localization)를 유지하는 것이다. 데이터의 지역화는 같이 사용하는 데이터를 기억장치 물리 공간에서 최대한 밀집하도록 함으로써 주기억장치에서 캐쉬 메모리로 데이터를 읽어 올 때, 같이 읽어올 수 있도록 유지하는 것이다.
Figure 112007090743565-PAT00022
크기의 이미지를 저장함에 있어 기억장치는 이를 2차원 평면으로 저장하지 않고 1차원 직선으로 저장한다. 이 경우 주소 매핑을 사용하는데, 대게 행 우선 저장 방식을 사용한다. 행 우선 저장 방식 기준에서는 픽셀
Figure 112007090743565-PAT00023
와
Figure 112007090743565-PAT00024
는 나란히 저장되지만,
Figure 112007090743565-PAT00025
와
Figure 112007090743565-PAT00026
는 2차원 배열에서는 위, 아래로 붙어 있지만 실제로는 멀리 떨어져서 저장된다. 물론 열 우선 저장 방식에서는 그 반대가 된다. 기존 가우시안 흐림 필터를 적용하는 경우 세로 방향으로 픽셀에 접근하는 경우 데이터 지역화를 유지하기 어렵게 된다.
또한, 본 발명에서 제안한 2단계 가우시안 흐림 필터도 이에 해당한다. 세로 가우시안 흐림 필터의 크기가 43인 경우 대상 픽셀
Figure 112007090743565-PAT00027
의 값은 세로 방향의 이웃 픽셀인 픽셀
Figure 112007090743565-PAT00028
부터 픽셀
Figure 112007090743565-PAT00029
까지 가중치 곱의 합으로 결정된다. 입력 이미지의 가로의 크기가 1,024이고, 24bit 색상이라면 한 행을 저장하기 위해서는 3KB가 소요된다. 세로 가우시안 흐림 필터는 데이터를 미리 읽기 위해서 152KB의 캐쉬가 필요하지만, 대개 16KB 정도의 캐쉬 메모리를 지원하기 때문에 수 많은 캐쉬 비적중(Cache Miss)이 발생하게 된다.
이를 해결하기 위해 본 발명의 2단계 가우시안 흐림 필터에서는, 도 6에 도시된 바와 같이, 대상 픽셀(602)값을 구하기 위해 첫 번째 단계인 가로 가우시안 흐림 필터(603)를 적용하기 위해서는 한 행의 데이터(604)가 필요하다. 그 결과를 저장하는 임시 기억 공간의 크기를 원본대로 지정하지 않고 행렬의 위치를 전치(Transposition)하여 저장(608)한다. 전치하지 않은 경우(605)에서는 세로 가우시안 흐림 필터(606)를 적용하기 5행의 데이터(607)를 입력해야 하고, 이는 제한된 캐쉬 메모리의 용량을 넘어가 메모리 지역성을 유지할 수 없게 된다. 그렇지 않고, 입력 이미지(601)가
Figure 112007090743565-PAT00030
인 경우 중간 기억 공간(임시 저장 공간)의 크기를
Figure 112007090743565-PAT00031
(608)로 지정하고 대상 픽셀
Figure 112007090743565-PAT00032
을 계산하여 저장할 때에는
Figure 112007090743565-PAT00033
로 저장, 즉 전치된 중간 이미지를 중간 기억 공간에 저장한다. 다음 2단계 세로 가우시안 필터 적용시에 대상 픽셀
Figure 112007090743565-PAT00034
에 대해서 픽셀
Figure 112007090743565-PAT00035
부터 픽셀
Figure 112007090743565-PAT00036
까지 가로 방향으로 필터를 적용(609)하더라도 세로로 적용한 것과 동일한 효과가 있으며 데이터 지역화도 유지할 수 있다.
기존의 펜 스타일 변환 방법에 의해 생성된 최종 이미지와 본 발명에 따른 변형된 펜 스타일 변환 방법이 적용된 최종 이미지간의 비교하며, 도 7에 도시된 바와 같이, 동등한 품질을 보여주는 것을 알 수 있다. 도 7에서 701은 원본 이미지이며, 702는 기존의
Figure 112007090743565-PAT00037
가우시안 필터의 결과이며, 703은 본 발명에서 사용하는 2단계 가우시안 필터를 적용한 이미지이다.
도 8은 본 발명에 따른 예술적 효과 중에서 카툰 스타일 이미지를 생성하는 카툰 스타일 변환부의 내부 기능 블록도로서, 평탄화(Smoothing)부(801), 양자화(Quantization)부(802), 에지 추출(Edge Extraction)부(806), 윤곽선 추출(Contour Extraction)부(803), 윤곽선 간략(Abstraction)부(804), 카툰 생성(Cartooning)부(805), 에지 간략화부(807)를 포함한다.
먼저, 평탄화부(801)는 Fast Bilateral 필터를 활용하여 입력 이미지의 색상에 대해 평탄화(Smoothing)를 수행한다. 이는 입력 이미지에서 각 부분에서 명도를 기준으로 공간을 분할 할 때 그 분할 공간의 경계 부분이 매끄럽게 분리되도록 하기 위함이다.
양자화부(802)는 평탄화 된 이미지에서 각 부분의 명도 값에 따라서 양자화 를 수행한다. 사용자의 입력에 따라서 여러 단계로 나눌 수 있으며 이 값에 따라 영상의 양자화 레벨이 정해진다. 윤곽선 추출부(803)는 양자화 된 이미지에서 분리된 색상 영역에 대해 윤곽선을 추출한다.
윤곽선 간략화부(804)는 추출된 윤곽선에 대해 사용자 입력 단계에 따라 윤곽선 간략화를 수행한다. 카툰 생성부(805)는 간략화 된 윤곽선 정보와 원본 이미지 값을 이용하여 최종 카툰 이미지를 생성한다.
만약 사용자가 에지 추가를 지정한다면, 즉 에지 간략화부(806)로부터 에지 정보가 입력되는 경우 카툰 생성부(805)는 에지 정보를 추가적으로 적용, 즉 에지 효과를 추가하여 최종 이미지를 생성하는데, 다시 말해서, 미리 생성한 추출한 간략화된 에지 이미지와 카툰 이미지를 결합하여 최종 이미지를 생성한다.
도 9는 시스템에서 제안하는 카툰 스타일 이미지를 생성하는 과정을 중간 이미지를 중심으로 보여주는 도면으로서, 원본 이미지(901)가 입력되면 먼저 색상에 대한 평탄화 작업(902)이 진행되고 평탄화 이미지를 바탕으로 양자화와 윤곽선 간략화를 수행하여 카툰 이미지(903)를 생성한다. 사용자가 에지를 첨가하도록 지정하였다면 에지 추출 이미지를 생성(904)하고 이를 카툰 이미지와 통합하여 최종 결과(905)를 생성한다.
도 10은 예술적 효과 중에서 카툰 스타일 이미지의 속도 가속을 위한 논리적 절차를 도시한 흐름도이다.
즉, 도 10에 도시된 바와 같이, 카메라 등을 이용하여 이미지를 취득(1001)하여 원본 이미지(1002)를 지정된 비율로 축소(1003)한다. 그런 다음 축소된 이미 지를 기반으로 평탄화 작업(1004)을 수행한다. 다시 평탄화된 이미지를 원래 크기로 환원(1005)하고, 양자화 작업(1006)을 수행한다. 윤곽선을 추출(1007)하고 윤곽선 간략화 작업(1008)을 수행한다. 에지를 그리는 작업이 지정되었다면 에지를 추출(1009)하고 에지 간략화(1010)를 수행한다. 에지 정보와 윤곽선 정보를 결합하여 최종 카툰 작업(1011)을 수행하여 최종 이미지(1012)를 완성한다.
카툰화 작업에서는 픽셀 단위의 작업을 수행하기 때문에 이미지의 크기가 클수록 계산 비용이 증가하여 실시간 수행이 어렵게 된다. 기존에는 QVGA(320ㅧ240)이 주로 사용되었지만, 최근에 VGA급(640ㅧ480)의 화면 모듈이 널리 보급됨으로써 출력 이미지의 크기도 큰 이미지를 사용하게 되었다. 단순하게 이미지를 작게 줄여서 처리한 다음에 화면 출력시 확대하는 방법으로 접근할 수도 있지만 이는 이미지 질이 저하된다. 본 발명에서 도 8의 카툰 스타일 변환부(206b) 내부 7가지 작업을 원본 이미지의 크기 조절이 가능한 작업과 그렇지 않은 작업으로 분류하여 각각 다른 이미지의 크기로 처리한 다음에 다시 최종 이미지를 재구성한다.
도 11은 예술적 변환 효과 중에서 카툰 스타일 이미지 생성에서 원본 이미지 크기 재조정이 적용되지 않은 기능과 적용한 기능의 이미지를 비교한 것으로 1101은 원본 이미지를 나타내며, 1102는 원본 이미지의 크기를 고정하여서 얻은 카툰 스타일 이미지이며, 1103은 원본 이미지의 크기를 원본 크기의 25%의 축소하여 얻은 카툰 스타일 이미지를 나타낸다. 두 이미지 간의 이미지 질의 차이가 없음을 알 수 있다.
도 12는 예술적 효과 중에서 포토 모자이크 기능에서 사용되는 이미지 DB의 최적화를 위한 논리적 절차를 도시한 흐름도이다.
일반적으로 포토 모자이크 기법은 가급적 많은 양의 이미지를 사용하도록 한다. 하지만, 이는 이미지 검색을 위한 검색 비용과 이미지 저장을 기억 공간 비용을 증가시키게 되는데, 이는 본 발명의 모바일 기기에서는 치명적인 단점이 된다. 이를 위해서 이미지 집합에서 가장 필요한 부분 집합을 추출해내는 최적화 작업이 필요하게 된다. 본 발명에서는 이미지 부분 집합 추출을 위한 최적화 작업을 구축하여 최적 이미지 집합을 생성하여 이를 포토 모자이크 생성에 사용하였다. 전체 이미지는 이미지 DB(1201)에 저장되며 이미지 DB(1201)에서 전체 이미지 집합을 정의(1202)한다. 특징 이미지 추출 최적화 기법을 통하여 최적 이미지 집합을 추출(1203)하여 추출된 이미지로 최적 이미지 집합을 구성(1204)한다. 최적 이미지 집합을 이용하여 포토 모자이크 효과를 적용(1205)한다.
즉, 본 발명에 따른 모바일 기기의 모자이크 생성부(206c)에는 최적 이미지 집합만이 저장되어 있으며, 이를 토대로 원본 이미지에 적용될 포토 모자이크를 생성한 후 이를 원본 이미지에 적용시킨다.
이와 같이, 본 발명에 따른 모바일 기기 내 이미지 변환부(206)에서 출력되는 최종 이미지, 즉 펜 스타일 변환 이미지, 카툰 스타일 변환 이미지, 포토 모자이크가 적용된 이미지 각각은 도 13a 내지 도 13f에 도시된 바와 같다. 즉, 도 13a 및 도 13c는 원본 이미지를 이용하여 생성된 카툰 스타일 이미지이고, 도 13b, 도 13d 및 도 13f는 2단계 가우시안 필터를 적용한 펜 스타일 변환 이미지이며, 도 13e는 포토 모자이크가 적용된 이미지이다.
지금까지 본 발명의 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
도 1은 본 발명의 전체 서비스 시스템 구성을 나타내는 예시도이다.
도 2는 본 제안 시스템의 예술적 효과 변환 기법을 적용한 이미지를 생성하는 장치의 내부를 도시한 기능 블록도이며,
도 3은 예술적 변환 효과 중에서 펜 스타일 변환 과정을 설명하는 흐름도이며,
도 4는 예술적 효과 중에서 펜 스타일 변환 기법의 속도 향상을 위한 가우시안 함수의 재분석을 통한 2단계 가우시안 필터를 작동 단계를 설명한 도면이며,
도 5는 예술적 변환 효과 중에서 펜 스타일화에서 성능 향상을 위해서 프로그램의 메모리 지역화를 유지하기 위한 과정을 도시한 흐름도이며,
도 6은 도 5에서 중간 이미지가 전치되어 저장되는 과정을 설명하기 위한 도면이며,
도 7은 기존 펜 스타일 알고리즘과 모바일 환경에 맞추어 변형된 펜 스타일화 알고리즘의 결과 영상을 비교한 도면이며,
도 8은 예술적 변환 효과 중에서 카툰 스타일 이미지를 생성하는 카툰 스타일 변환부의 내부 구성을 도시한 기능 블록도이며,
도 9는 본 발명에서 제안하는 카툰 스타일 이미지를 생성하는 과정을 단계별로 도시한 도면이며,
도 10은 예술적 변환 효과 중에서 카툰 스타일 이미지의 속도 가속을 위한 과정을 도시한 흐름도이며,
도 11은 예술적 변환 효과 중에서 카툰 스타일 이미지 생성에서 원본 이미지 크기 재조정이 적용되지 않은 기능과 적용한 기능의 이미지를 비교한 도면이며.
도 12는 예술적 변환 효과 중에서 포토 모자이크 기능에서 사용되는 이미지 DB의 최적화를 위한 과정을 도시한 흐름도이며.
도 13a 내지 도 13f는 모바일 기반의 예술적 변환 효과에 의해서 생성한 영상의 예시도이다.

Claims (17)

  1. 분리 가우스 필터를 이용하여 원본 이미지를 펜 스타일로 변환한 후 이를 출력하는 펜 스타일 변환부와,
    상기 원본 이미지를 카툰 스타일로 변환하여 출력하는 카툰 스타일 변환부와,
    최적 포토 이미지 집합 기반으로 상기 원본 이미지에 적용될 포토 모자이크를 생성하고, 상기 생성된 포토 모자이크를 상기 원본 이미지에 적용시켜 출력하는 모자이크 생성부와,
    상기 펜 스타일 변환부, 카툰 스타일 변환부 및 모자이크 생성부에서 출력되는 이미지를 출력 장치에 출력하는 이미지 출력부
    를 포함하는 모바일 기기에서의 이미지 변환 장치.
  2. 제 1 항에 있어서,
    상기 분리 가우스 필터는, 가로 가우시안 흐림 필터와 세로 가우시안 흐림 필터로 이루어진 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  3. 제 2 항에 있어서,
    상기 펜 스타일 변환부는,
    상기 원본 이미지에 가로 가우시안 흐림 필터를 적용하여 중간값을 계산하는 수단과,
    상기 중간값에 세로 가우시안 흐림 필터를 적용하여 최종값을 계산하는 수단을 포함하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  4. 제 3 항에 있어서,
    상기 펜 스타일 변환부는,
    상기 원본 이미지의 크기(
    Figure 112007090743565-PAT00038
    )에서 행과 열이 전치된 크기(
    Figure 112007090743565-PAT00039
    )를 갖는 임시 기억 공간과,
    상기 중간값의 행과 열이 전치시켜 상기 임시 기억 공간에 저장하는 수단과,
    상기 임시 기억 공간에 저장된 중간값에 대해 행 방향으로 상기 세로 가우시안 흐림 필터를 적용하여 상기 최종값을 계산하는 수단을 포함하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  5. 제 1 항에 있어서,
    상기 카툰 스타일 변환부는,
    상기 원본 이미지에 대해 평탄화를 수행하는 평탄화부와,
    상기 평탄화된 이미지에 대해 양자화를 수행하여 색상별로 단계화시키는 양자화부와,
    상기 색상별 공간의 윤곽선을 추출하는 윤곽선 추출부와,
    상기 윤곽선 추출부에서 추출된 윤곽선에 대해 간략화를 수행하는 간략화부와,
    상기 간략화된 윤곽선 정보와 상기 원본 이미지 정보를 이용하여 카툰 이미지를 생성한 후 이를 상기 이미지 출력부에 출력하는 카툰화부를 포함하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  6. 제 5 항에 있어서,
    상기 카툰 스타일 변환부는,
    상기 평탄화된 이미지에서 에지 정보를 추출하는 에지 추출부를 더 포함하며,
    상기 카툰화부는, 상기 에지 정보와 상기 카툰 이미지를 결합하여 상기 이미지 출력부에 출력하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  7. 제 6 항에 있어서,
    상기 카툰 스타일 변환부는,
    상기 에지 추출부에서 추출된 에지 정보를 간략화시키는 에지 간략화부를 더 포함하며,
    상기 간략화된 에지 정보와 상기 카툰 이미지를 결합하여 상기 이미지 출력부에 출력하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  8. 제 5 항에 있어서,
    상기 평탄화부는, 상기 원본 이미지를 기 설정된 비율로 축소한 후 평탄화를 수행하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  9. 제 8 항에 있어서,
    상기 양자화부는,
    상기 평탄화된 이미지의 크기를 상기 원본 이미지의 크기로 환원시킨 후 양자화시키는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  10. 제 1 항에 있어서,
    상기 최적 포토 이미지 집합은,
    전체 모자이크 생성용 이미지 집합에서 특징 이미지 추출 최적화 기법을 통해 추출된 이미지의 집합인 것을 특징으로 하는 모바일 기기에서의 이미지 변환 장치.
  11. 분리 가우스 필터를 이용하여 원본 이미지를 펜 스타일로 변환하고자 하면, 상기 원본 이미지에 가로 가우시안 흐림 필터를 적용하여 중간 이미지를 생성하는 단계와,
    상기 중간값에 세로 가우시안 흐림 필터를 적용하여 최종 이미지를 생성하는 단계
    를 포함하는 모바일 기기에서의 이미지 변환 방법.
  12. 제 11 항에 있어서,
    상기 이미지 변환 방법은,
    상기 원본 이미지의 크기(
    Figure 112007090743565-PAT00040
    )에서 행과 열이 전치된 크기(
    Figure 112007090743565-PAT00041
    )를 갖는 임시 기억 공간을 할당하는 단계와,
    상기 생성된 중간 이미지를 행과 열을 전치시켜 상기 할당된 임시 기억 공간에 저장하는 단계
    를 더 포함하는 모바일 기기에서의 이미지 변환 방법.
  13. 제 12 항에 있어서,
    상기 최종 이미지를 생성하는 단계는,
    상기 임시 기억 공간에 저장된 중간 이미지에 대해 행 방향으로 상기 세로 가우시안 흐림 필터를 적용하여 상기 최종 이미지를 생성하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 방법.
  14. 원본 이미지를 카툰 스타일로 변환하여 출력하고자 하는 경우 상기 원본 이미지를 평탄화하는 단계와,
    상기 평탄화된 이미지에 대해 양자화를 수행하여 색상별로 단계화시키는 단 계와,
    상기 색상별 공간의 윤곽선을 추출하고, 이를 간략화시키는 단계와,
    상기 간략화된 윤곽선 정보와 상기 원본 이미지 정보를 이용하여 카툰 이미지를 생성하는 단계
    를 포함하는 모바일 기기에서의 이미지 변환 방법.
  15. 제 14 항에 있어서,
    상기 이미지 변환 방법은,
    상기 평탄화된 이미지에서 에지 정보를 추출한 후 이를 간략화하는 단계와,
    상기 간략화된 에지 정보와 상기 카툰 이미지를 결합하여 최종 이미지를 생성하는 단계
    를 더 포함하는 모바일 기기에서의 이미지 변환 방법.
  16. 제 14 항에 있어서,
    상기 원본 이미지를 평탄화하는 단계는, 상기 원본 이미지를 기 설정된 비율로 축소한 후 상기 축소된 원본 이미지를 평탄화하는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 방법.
  17. 제 16 항에 있어서,
    상기 색상별로 단계화시키는 단계는, 상기 평탄화된 이미지의 크기를 상기 원본 이미지의 크기로 환원시킨 후 양자화시키는 것을 특징으로 하는 모바일 기기에서의 이미지 변환 방법.
KR1020070132680A 2007-12-17 2007-12-17 모바일 기기의 이미지 변환 장치 및 방법 KR100924689B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070132680A KR100924689B1 (ko) 2007-12-17 2007-12-17 모바일 기기의 이미지 변환 장치 및 방법
US12/314,857 US8265415B2 (en) 2007-12-17 2008-12-17 Apparatus and method for transforming image in mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070132680A KR100924689B1 (ko) 2007-12-17 2007-12-17 모바일 기기의 이미지 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090065204A true KR20090065204A (ko) 2009-06-22
KR100924689B1 KR100924689B1 (ko) 2009-11-03

Family

ID=40753388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070132680A KR100924689B1 (ko) 2007-12-17 2007-12-17 모바일 기기의 이미지 변환 장치 및 방법

Country Status (2)

Country Link
US (1) US8265415B2 (ko)
KR (1) KR100924689B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101255218B1 (ko) * 2011-09-22 2013-04-23 상명대학교 산학협력단 이미지 추상화 방법 및 이를 적용하는 장치
WO2014142604A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Electronic device and method for image processing
US9305335B2 (en) 2010-06-17 2016-04-05 Samsung Electronics Co., Ltd. Display apparatus and NPR processing method applied thereto
KR20200036661A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823873B2 (en) * 2009-10-10 2014-09-02 Thomson Licensing Method and device for calculating blur in video images
JP5110098B2 (ja) * 2010-02-08 2012-12-26 カシオ計算機株式会社 表示処理装置、及び、プログラム
JP5669513B2 (ja) * 2010-10-13 2015-02-12 オリンパス株式会社 画像処理装置、画像処理プログラム、及び、画像処理方法
CN101976194A (zh) * 2010-10-29 2011-02-16 中兴通讯股份有限公司 一种设置用户界面的方法及装置
US8933962B2 (en) 2010-11-15 2015-01-13 Microsoft Corporation Clipart cartoon techniques
GB2487375B (en) * 2011-01-18 2017-09-20 Aptina Imaging Corp Interest point detection
US9251169B2 (en) * 2013-01-18 2016-02-02 UDC Software LLC Systems and methods for creating photo collages
US10275863B2 (en) * 2015-04-03 2019-04-30 Cognex Corporation Homography rectification
CN107948529B (zh) * 2017-12-28 2020-11-06 麒麟合盛网络技术股份有限公司 图像处理方法及装置
KR102464359B1 (ko) 2020-08-26 2022-11-04 연세대학교 산학협력단 합성 도메인에서 실제 도메인으로 적응하기 위한 이미지 변환 장치 및 방법
KR102401985B1 (ko) 2020-08-27 2022-05-24 연세대학교 산학협력단 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608627B1 (en) 1999-10-04 2003-08-19 Intel Corporation Rendering a two-dimensional image
KR20030026683A (ko) * 2001-09-26 2003-04-03 한국전자통신연구원 디지털 영상을 이용한 애니메이션 효과를 내는 영상필터링 장치 및 그 방법
US6956958B2 (en) * 2002-02-21 2005-10-18 Xerox Corporation Method of embedding color information in printed documents using watermarking
US7003331B2 (en) * 2002-06-26 2006-02-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method and program to optimize battery life in a wireless device
JP4286041B2 (ja) * 2002-07-15 2009-06-24 株式会社ルネサステクノロジ 半導体装置
JP2004310475A (ja) * 2003-04-08 2004-11-04 Hitachi Ltd 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
KR100547739B1 (ko) 2003-08-16 2006-01-31 삼성전자주식회사 휴대용 단말기에서 이미지 편집 방법
US8872843B2 (en) 2004-07-02 2014-10-28 Samsung Electronics Co., Ltd. Method for editing images in a mobile terminal
KR100644036B1 (ko) * 2004-10-13 2006-11-10 주식회사 팬택 카메라가 장착된 이동통신 단말기에서 연속촬영시특수효과 적용 방법
US20070002366A1 (en) 2005-07-01 2007-01-04 Inventec Appliances Corp. Image editing system for editing images within a server
KR100700101B1 (ko) 2005-11-21 2007-03-28 엘지전자 주식회사 사용자 촬영 영상의 사용자 이미지 편집 기능을 가지는이동통신 단말기 및 그 방법
US20080181528A1 (en) * 2007-01-25 2008-07-31 Sony Corporation Faster serial method for continuously varying Gaussian filters

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305335B2 (en) 2010-06-17 2016-04-05 Samsung Electronics Co., Ltd. Display apparatus and NPR processing method applied thereto
KR101255218B1 (ko) * 2011-09-22 2013-04-23 상명대학교 산학협력단 이미지 추상화 방법 및 이를 적용하는 장치
WO2014142604A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Electronic device and method for image processing
US9571736B2 (en) 2013-03-14 2017-02-14 Samsung Electronics Co., Ltd. Electronic device and method for image processing
US9674462B2 (en) 2013-03-14 2017-06-06 Samsung Electronics Co., Ltd. Electronic device and method for image processing
US10284788B2 (en) 2013-03-14 2019-05-07 Samsung Electronics Co., Ltd. Electronic device and method for image processing
US10506176B2 (en) 2013-03-14 2019-12-10 Samsung Electronics Co., Ltd. Electronic device and method for image processing
US10841510B2 (en) 2013-03-14 2020-11-17 Samsung Electronics Co., Ltd. Electronic device and method for image processing
US10841511B1 (en) 2013-03-14 2020-11-17 Samsung Electronics Co., Ltd. Electronic device and method for image processing
KR20200036661A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치

Also Published As

Publication number Publication date
US20090154841A1 (en) 2009-06-18
KR100924689B1 (ko) 2009-11-03
US8265415B2 (en) 2012-09-11

Similar Documents

Publication Publication Date Title
KR100924689B1 (ko) 모바일 기기의 이미지 변환 장치 및 방법
US10565757B2 (en) Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
WO2021109876A1 (zh) 图像处理方法、装置、设备及存储介质
US10650495B2 (en) High resolution style transfer
CN106778928B (zh) 图像处理方法及装置
CN110458918B (zh) 用于输出信息的方法和装置
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
CN109996023B (zh) 图像处理方法和装置
KR100971498B1 (ko) 2차원 이미지의 예술적 효과 적용을 위한 이미지 변환 방법 및 장치
CN108734749A (zh) 图像的视觉风格变换
JP2022547769A (ja) 機械学習を用いた画像カラー化
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
US11367163B2 (en) Enhanced image processing techniques for deep neural networks
CN111507333B (zh) 一种图像矫正方法、装置、电子设备和存储介质
US11308628B2 (en) Patch-based image matting using deep learning
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN112991171A (zh) 图像处理方法、装置、电子设备及存储介质
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113506305B (zh) 三维点云数据的图像增强方法、语义分割方法及装置
US10445921B1 (en) Transferring motion between consecutive frames to a digital image
CN112634431A (zh) 一种三维纹理贴图转化成三维点云的方法及装置
KR20210040702A (ko) 모자이크 생성 장치 및 방법
CN115908116A (zh) 一种图像处理方法、装置、设备及存储介质
KR20070099504A (ko) 애니메이션 데이터를 경감시켜서 이동 통신 단말기에서캐릭터 애니메이션하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130923

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee