KR20070050752A - 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법 - Google Patents

동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법 Download PDF

Info

Publication number
KR20070050752A
KR20070050752A KR1020060024756A KR20060024756A KR20070050752A KR 20070050752 A KR20070050752 A KR 20070050752A KR 1020060024756 A KR1020060024756 A KR 1020060024756A KR 20060024756 A KR20060024756 A KR 20060024756A KR 20070050752 A KR20070050752 A KR 20070050752A
Authority
KR
South Korea
Prior art keywords
image
code
image code
frame
layer
Prior art date
Application number
KR1020060024756A
Other languages
English (en)
Other versions
KR100746641B1 (ko
Inventor
정철호
이상용
Original Assignee
주식회사 칼라짚미디어
주식회사 칼라짚테크널로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칼라짚미디어, 주식회사 칼라짚테크널로지 filed Critical 주식회사 칼라짚미디어
Priority to KR1020060024756A priority Critical patent/KR100746641B1/ko
Priority to US12/084,567 priority patent/US8447122B2/en
Priority to CN2006800503517A priority patent/CN101351822B/zh
Priority to PCT/KR2006/004518 priority patent/WO2007055492A1/en
Priority to EP06812357.9A priority patent/EP1952338B1/en
Priority to JP2008539918A priority patent/JP4848427B2/ja
Publication of KR20070050752A publication Critical patent/KR20070050752A/ko
Application granted granted Critical
Publication of KR100746641B1 publication Critical patent/KR100746641B1/ko
Priority to US13/864,488 priority patent/US8879859B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

동영상 이미지 코드 생성/디코딩 장치 및 그 방법이 개시된다. 동영상 이미지 코드를 구성하는 일 프레임은 최소 단위 데이터를 표현하는 코드 셀로 분할되고, 상기 코드 셀 내부의 소정 영역에 상기 최소 단위 데이터가 표시되며, 상기 최소 단위 데이터는 색상, 농담 및 패턴 중 적어도 하나의 조합으로 구성되는 이미지 코드 프레임 및 상기 이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기초로 구별되는 색상 또는 농담의 조합으로 이루어지고, 상기 프레임 이미지 위에 중첩하여 표시되는 디자인 레이어로 구성된다. 각 프레임에 움직임에 따른 변화를 설정함으로써 디스플레이 매체를 통해 동영상과 같이 움직임이 나타나는 동영상 이미지 코드를 생성하고 이를 디코딩할 수 있다.

Description

동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩 장치 및 그 방법{Image code based on moving picture, apparatus for generating/decoding image code based on moving picture and method therefor}
도 1a 내지 도 1d는 종래의 이미지 코드의 일 예를 도시한 도면,
도 2는 본 발명에 따른 동영상 이미지 코드를 구성하는 이미지 코드 프레임의 일 실시예를 도시한 도면,
도 3a 및 도 3b는 매트릭스 형태 및 레이어 형태의 이미지 코드를 본 발명에 따른 이미지 코드 프레임으로 생성한 일 예를 도시한 도면,
도 4a 내지 도 4c는 이미지 코드 프레임에 중첩되어 표시되는 디자인 레이어 영역을 도시한 도면,
도 5 및 도 6은 본 발명에 따른 이미지 코드 프레임과 디자인 레이어를 중첩하여 생성되는 동영상 이미지 코드의 일 프레임을 도시한 도면,
도 7a 및 도 7b는 디자인 레이어의 움직임 변화를 도시한 도면,
도 8은 본 발명에 따른 동영상 이미지 코드 생성 장치의 일 실시예의 구성을 도시한 도면,
도 9는 본 발명에 따른 동영상 이미지 코드 생성 방법의 일 실시예의 흐름을 도시한 흐름도,
도 10은 본 발명에 따른 동영상 이미지 코드 디코딩 장치의 일 실시예의 구성을 도시한 도면, 그리고,
도 11은 본 발명에 따른 동영상 이미지 코드를 디코딩하는 방법의 일 실시예의 흐름을 도시한 흐름도이다.
본 발명은 디스플레이 매체를 통해 표시되는 이미지 코드에 관한 것으로, 보다 상세하게는 디스플레이 매체를 통해 움직임이 표현되는 동영상 기반의 이미지 코드를 생성하고 디코딩하는 장치 및 그 방법에 관한 것이다.
모바일 컴퓨팅 환경의 대두에 따라 카메라를 통해 영상을 인식하고, 인식한 영상으로부터 추출된 정보를 이용하여 컴퓨터나 네트워크상의 서버에 저장된 해당 컨텐츠 정보를 이용하는 인터페이스 기술이 일상화되고 있다.
특히, 1차원 바코드, 2차원 흑백코드 및 컬러코드 등의 이미지 코드 인식에 대한 관심이 증대되고 있는데, 이미지 코드는 생체인식, 무선태그와 달리 개인의 민감한 프라이버시가 상대적으로 덜 노출되기 때문이다. 또한 휴대전화, PDA에 내장된 카메라만으로도 이미지 코드를 인식할 수 있다.
이미지 코드의 활용 분야로 종래에는 유통, 상품 관리 분야가 대표적이었지만, 무선통신 기반 멀티미디어 컨텐츠, 명함 정보, 광고, 온라인 쇼핑몰 접속 등의 분야로 그 활용분야가 넓어지고 있다.
다만, 이러한 이미지 코드는 주로 소정의 패턴을 이용해 표현되기 때문에 그 모양이 고정되어 있어서 전체적으로 디자인이 자유롭지 못하다. 따라서 이미지 코드가 부착되는 매체에 외관상 잘 어울리지 못하는 단점이 있다.
근래에는 이미지 코드가 종이와 같은 인쇄매체에 부착될 뿐만 아니라 디지털 TV, LCD, CRT 등 디스플레이 매체에 표현되는 경우가 점점 늘어나고 있다. 디스플레이 매체에 이미지 코드가 표현되는 경우 인쇄매체보다 시각적으로 덜 정교하다.
패턴과 픽셀로 구성되는 2차원 흑백코드를 디스플레이 매체를 통해 표현하는 경우, 디자인 측면뿐만 아니라 인식 측면에서도 어려움이 있다. 즉, 2차원 코드에서 표현되는 패턴은 정사각형, 직사각형이나 원형 등으로 표현되는데, 이런 패턴이 디스플레이 매체의 화소로 표현될 때 뭉개지거나 왜곡이 발생하기 때문이다.
디스플레이 매체의 경우 화소가 직사각형인 경우도 있고 화소 사이에 경계선이 있거나 백라이트(back light)에 의한 발광 현상이 있는 경우도 있으므로, 이미지 코드의 패턴이 작은 경우에는 이미지 코드가 매우 심한 손상을 입게 된다. 또한 CRT와 같은 경우에는 화면이 평면이 아니라 곡면으로 표현되므로 CRT에 표현되는 이미지 코드 또한 곡면으로 표현되어 왜곡이 심하게 발생한다.
본 발명이 이루고자 하는 기술적 과제는, 디스플레이 매체를 통해 움직임 표현이 가능한 동영상 이미지 코드를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 디스플레이 매체를 통해 움직임 표현이 가능한 동영상 이미지 코드를 생성하는 장치 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 디스플레이 매체를 통해 표시되는 동영상 이미지 코드를 디코딩하는 장치 및 그 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 동영상 이미지 코드의 일 실시예는, 최소 단위 데이터를 표현하는 코드 셀로 분할되고, 상기 코드 셀 내부의 소정 영역에 상기 최소 단위 데이터가 표시되며, 상기 최소 단위 데이터는 색상, 농담 및 패턴 중 적어도 하나의 조합으로 구성되는 이미지 코드 프레임; 및 상기 이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기초로 구별되는 색상 또는 농담의 조합으로 이루어지고, 상기 프레임 이미지 위에 중첩하여 표시되는 디자인 레이어;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 동영상 이미지 코드 생성 장치의 일 실시예는, 색상, 농담 및 패턴 중 적어도 하나의 조합을 통해 소정 정보를 표시하는 이미지 코드 프레임을 생성하는 프레임 이미지 생성부; 상기 이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기초로 구별되는 색상 또는 농담의 조합으로 이루어진 레이어 이미지를 생성하는 디자인 레이어 생성부; 상기 이미지 코드 프레임 또는 상기 레이어 이미지의 소정 부분에 대한 순차적인 변화를 나타내는 적어도 하나 이상의 이미지 코드 프레임 또는 레이어 이미지를 생성하는 변화 이미지 생성부; 및 상기 이미지 코드 프레임 및 상기 레이어 이미지를 중첩하여 동영상 이미지 코드를 구성하는 각 프레임들을 생성하는 동영상 이미 지 생성부;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 동영상 이미지 코드 생성 방법의 일 실시예는, 색상, 농담 및 패턴 중 적어도 하나의 조합을 통해 소정 정보를 표시하는 이미지 코드 프레임을 생성하는 단계; 상기 이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기초로 구별되는 색상 또는 농담의 조합으로 이루어진 레이어 이미지를 생성하는 단계; 상기 이미지 코드 프레임 또는 상기 레이어 이미지의 소정 부분에 대한 순차적인 변화를 나타내는 적어도 하나 이상의 이미지 코드 프레임 또는 레이어 이미지를 생성하는 단계; 및 상기 이미지 코드 프레임 및 상기 레이어 이미지를 중첩하여 동영상 이미지 코드를 구성하는 각 프레임들을 생성하는 단계;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 동영상 이미지 코드 디코딩 장치의 일 실시예는, 디스플레이 매체를 통해 표시되는 동영상 이미지 코드를 광학적으로 입력받거나 전자적 파일 형태로 입력받는 코드 입력부; 상기 동영상 이미지 코드를 이미지 코드 프레임 및 디자인 레이어로 분리하는 코드 분리부; 및 상기 이미지 코드 프레임을 디코딩하고, 상기 디자인 레이어의 움직임에 따른 정보를 추출하는 디코딩부;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 동영상 이미지 코드 디코딩 방법의 일 실시예는, 디스플레이 매체를 통해 표시되는 동영상 이미지 코드를 광학적으로 입력받거나 전자적 파일 형태로 입력받는 단계; 상기 동영상 이미지 코드를 이미지 코드 프레임 및 디자인 레이어로 분리하는 단계; 및 상기 이미지 코 드 프레임을 디코딩하고, 상기 디자인 레이어의 디자인 요소들의 움직임에 따른 정보를 추출하는 단계;를 포함한다.
이로써, 디스플레이 매체를 통해 움직임 표현이 가능한 동영상 이미지 코드를 생성하고 디코딩할 수 있다.
도 1a 내지 도 1d는 종래의 이미지 코드의 일 예를 도시한 도면이다.
도 1a는 데이터 매트릭스, 도 1b는 QR 코드, 도 1c는 PDF-417, 도 1d는 컬러코드와 그레이코드이다. 본 발명에서는 도 1a 내지 도 1d에 도시된 이미지 코드 외에 다양한 종류의 1차원, 2차원 이미지 코드가 사용될 수 있다.
본 발명에 따른 동영상 이미지 코드는 여러 개의 이미지 코드 프레임으로 구성되며, 일정 시간 동안 이미지 코드 프레임들이 순차적으로 디스플레이 매체(CRT 모니터, LCD 모니터, PDP 모니터 등)를 통해 표시된다. 조금씩 모양이 다른 이미지 코드 프레임들을 초당 10개 이상의 속도로 디스플레이하면, 사람은 시각적으로 이미지 코드를 마치 움직이는 영상처럼 인식한다. 초당 24개의 프레임이 디스플레이되는 경우 매우 자연스러운 동영상 이미지 코드가 생성된다.
도 2는 본 발명에 따른 동영상 이미지 코드를 구성하는 이미지 코드 프레임의 일 실시예를 도시한 도면이다.
도 2를 참조하면, 동영상 이미지 코드를 구성하는 이미지 코드 프레임(200)은 이미지 코드에서 최소 단위 데이터가 표현되는 기본 단위 영역(즉, 디코딩하기 위한 최소한의 데이터들을 포함하는 영역)인 코드 셀(210)로 분할되고, 그 코드 셀(210) 내부의 소정 영역(220)에 데이터가 표시된다. 코드 셀들은 이미지 코드의 종 류에 따라 서로 인접할 수도 있고, 서로 분리되어 있을 수도 있으나 특징 패턴(230)의 내부에 배치되는 것이 바람직하다. 코드 셀(210) 내부에서 데이터를 표시하는 영역(220)은 동영상 이미지 코드가 표시되는 디스플레이 매체의 화소 모양과 비례하는 모양으로 생성되는 것이 바람직하다.
특징 패턴(230)은 이미지 코드의 위치와 크기, 방향 정보를 알려주는 패턴이다. 일반적인 1차원 바코드에서는 코드 좌우에 배치된 가이드 패턴(guide pattern), 2차원 흑백코드에서는 코드 파인더 패턴(finder pattern), 정렬패턴(alignment pattern) 등이 특징 패턴에 해당하며, 컬러코드에서는 코드의 특징점(꼭짓점), 외곽선 등이 특징 패턴에 해당한다. 특징 패턴(230)은 동영상을 구성하는 다수의 이미지 코드 프레임들에서 동일한 위치에 고정되는 것이 바람직한데, 이는 이미지 코드 프레임들이 회전하거나 특정 영역이 변화더라도 이미지 코드 프레임의 크기와 위치를 용이하게 판별하기 위함이다. 이미지 코드 프레임에서 사용되는 특징 패턴은 1차원 바코드, 2차원 흑백코드 등의 자체 특징 패턴을 그대로 사용하거나 이미지 코드 프레임의 코드 셀을 이용하여 새롭게 정의하여 사용될 수 있다. 또한 특징 패턴은 이미지 코드 프레임 위에 중첩되는 디자인 레이어에 표현될 수도 있다. 디자인 레이어에는 또 다른 이미지 코드, 이미지, 숫자 등이 표현될 수 있다. 이미지 코드 위에 또 다른 디자인 레이어를 중첩하는 구성은 한국특허출원 제2005-25239호 및 한국특허출원 제2005-25240호를 참조한다.
코드 셀(210)들이 이미지 코드 프레임의 특징 패턴(230) 내부에 배치되는 경우 이미지 코드 프레임 내부의 패턴이나 코드 셀들의 인식을 위한 표본추출 (sampling)이 용이하다. 표본추출의 경우 일정 간격이나 일정 비율로 중심점을 설정하고 설정된 중심점을 기준으로 주위의 픽셀을 추출하기 때문이다.
도 3a 및 도 3b는 매트릭스 형태 및 레이어 형태의 이미지 코드를 본 발명에 따른 이미지 코드 프레임으로 생성한 일 예를 도시한 도면이다.
일반적으로 컬러코드와 울트라코드를 제외한 대부분의 이미지 코드는 흑백의 조합이나 패턴으로 표현된다. 이미지 코드가 흑백의 조합으로 표현되는 경우 이미지 코드는 일정 단위 영역으로 나뉘고 각 단위 영역에 특정한 모양의 흑백 도형이 배치되며, 패턴으로 표현되는 경우 특정한 형태나 두께의 패턴 도형들이 배치된다. 통상 매트릭스 형태의 이차원 이미지 코드는 데이터 영역을 주로 일정 단위 영역으로 나누어 표현하고, 레이어 형태의 이차원 이미지 코드는 데이터 표현을 위해 패턴들을 가로 세로로 더 덧붙여서 표현하는데 그 패턴들로는 주로 흑백 막대 형태가 많이 사용된다.
따라서, 이러한 종래의 이미지 코드들을 본 발명에 따른 이미지 코드 프레임으로 생성하기 위해서는, 매트릭스 형태의 이미지 코드일 경우 각 단위 영역의 중심을 중심점으로 하는 특정한 모양의 도형을 셀로 설정한다(도 3a). 레이어 형태의 이미지 코드일 경우에는 최소 단위 패턴 두께별로 나눈 후 그 중심부의 원형 또는 사각형 형태의 영역들을 셀로 설정한다(도 3b).
예를 들어, 레이어 코드의 경우 최소두께 패턴은 가이드 바의 흑색 막대이고, 모든 패턴은 이 흑색 막대 길이의 정수배이므로 이미지 코드 전체를 흑색 막대 단위의 셀로 분할할 수 있다. 매트릭스 형태의 이미지 코드 중에는 기본 단위 영역 안에 배치된 도형의 크기로 데이터를 표현하는 것이 있으므로, 이때에는 최소 크기와 최대 크기를 모두 정수배로 표현할 수 있는 기본 크기의 셀들로 이미지 코드를 분할한다.
도 4a 내지 도 4c는 이미지 코드 프레임에 중첩되어 표시되는 디자인 레이어 영역을 도시한 도면이다.
디자인 레이어는 이미지 코드 영역 위에 중첩되거나, 셀 및 특징 패턴과 합성되어 표현되는 디자인 가능한 구성 요소이다. 디자인 레이어의 역할은, 이미지 코드 프레임의 코드 셀에 표현된 색상, 명암, 크기 정보 등 이미지 코드 프레임의 디코딩에 필요한 최소 정보 및 특징 패턴의 특성이 유지되는 조건하에서, 이미지 코드 프레임의 형태, 모양, 색상, 크기 등에 변형을 주는 것이다.
디자인 레이어의 또 다른 역할은 전후 이미지 코드 프레임의 디자인 레이어의 변화에 따른 부가 정보를 추가하는 것이다. 예를 들어, 디자인 레이어의 특정 영역의 디자인 요소의 크기 변화, 움직임의 방향 변화 등을 통해 추가적인 정보를 추가한다.
디자인 레이어의 변화를 통한 추가적인 데이터 표현의 예는 표 1과 같다.
특정 디자인 요소의 변화에 따른 데이터 표현의 예 데이터 표현의 예
크기 변화 (Volume) 최대크기 대 최소크기에 따른 레벨 표현 V0,V1,...Vn
변화 속도 (Speed) 초당 변화하는 디자인 요소의 레벨 표현 S0,S1,...Sn
방향 전환 (Rotation) 디자인 요소의 회전 표현 R0,R1,...Rn
움직임 방향(Move) 디자인 요소의 움직임 방향 표현 M0,M1,...Mn
영역 변화 (Area) 디자인 요소가 영향을 미치는 셀의 영역 정보 A1,A2,...An
동영상 이미지 코드에서 움직임 표현은 디자인 레이어 뿐만 아니라 이미지 코드 프레임의 움직임을 통해서도 표현될 수 있다. 예를 들어, 이미지 코드 프레임이 시계 방향으로 회전하는 경우, 이미지 코드 프레임의 회전 방향에 따른 추가 데이터를 동영상 이미지 코드에 추가할 수 있다. 즉 동영상 이미지 코드의 디코딩시 이미지 코드 프레임의 회전 방향에 따른 추가 데이터를 추출할 수 있다.
디자인 레이어의 표현영역은 이미지 코드 프레임의 영역을 벗어나는 부분까지 될 수 있다. 먼저 이미지 코드 프레임의 특징 패턴인 꼭짓점을 외접하고 있는 사각형 중 가장 면적인 큰 것을 한계 사각형(400)이라 하고, 이미지 코드 프레임의 꼭짓점에 내접하고 있는 원형이나 타원형의 영역을 코드 회전 범위(410)라고 하자.
도 4a를 참조하면, 코드 회전 범위(410)보다 작은 원형이나 타원형(420)은 이미지 코드(A)의 바깥으로 벗어나는 부분(B)을 포함하지만, 벗어나는 부분(B)이 이미지 코드 프레임의 특징 패턴인 꼭짓점을 찾는데 방해하지 않으므로, 그 벗어나는 부분에 부가적인 이미지의 추가가 가능하다. 따라서 코드 회전 범위(410)보다 작은 범위 전체를 디자인 레이어의 표현영역으로 배치할 수 있다.
도 4b는 도 4a의 코드 이미지 프레임이 회전한 경우에 디지인 레이어의 표현 가능 범위를 도시한 도면이고, 도 4c는 코드 이미지 프레임이 직사각형인 경우 디자인 레이어의 표현 가능 범위를 도시한 도면이다. 디자인 레이어의 표현 범위가 이미지 코드의 영역을 벗어나서 표현 가능하므로 좀더 시각적으로 아름다운 동영상 이미지 코드의 생성 및 추가적인 데이터의 표현이 가능하다.
도 5는 본 발명에 따른 이미지 코드 프레임과 디자인 레이어를 중첩하여 생성되는 동영상 이미지 코드의 일 프레임을 도시한 도면이다.
도 5를 참조하면, 컬러코드를 코드 셀로 분할하고, 각 코드 셀 내부에 타원형의 데이터 표시 영역을 설정하여 데이터를 그 영역 내에 표시함으로써 컬러코드에 대한 이미지 코드 프레임이 생성된다. 그리고 나비 모양을 포함하는 디자인 레이어를 생성한다. 디자인 레이어는 도 4a 내지 도 4c에서 살핀 바와 같이 이미지 코드 프레임 영역 내에만 배치되어야 하는 것이 아니며 이미지 코드 프레임 인식에 영향을 미치지 않는 범위 내에서 이미지 코드 프레임을 벗어나는 영역에까지 배치될 수 있다. 이렇게 생성된 이미지 코드 프레임 및 디지인 레이어를 중첩함으로써 동영상 이미지 코드의 프레임이 생성된다. 이와 같은 방법으로 생성된 프레임들을 초당 수십 프레임씩 디스플레이됨으로써 동영상 이미지 코드를 표현할 수 있다. 도 6은 도 5와 같은 방법으로 생성된 동영상 프레임의 다른 실시예를 도시한 도면이다.
도 7a 및 도 7b는 디자인 레이어의 움직임 변화를 도시한 도면이다.
도 7a를 참조하면, 컬러코드에 중첩되는 디자인 레이어에 "Colorzip"이라는 문자가 존재한다. 그 문자는 동영상 이미지 코드의 디스플레이 중에 시계방향으로 회전한다. 도 7b를 참조하면, 컬러코드와 소정의 디자인 요소의 중첩에 의해 표현되는 동영상 프레임은 좌하측에 음표의 움직임 변화를 표현한다.
동영상 이미지 코드의 움직임 표현을 통해 데이터를 추가하는 경우, 동영상 이미지 코드의 변화 시작과 끝을 검출하여 동영상 이미지 코드를 순서대로 재정렬하여야 한다. 동영상 이미지 코드의 변화는 선형 변화와 순환 변화로 나눌 수 있으며, 각 경우에 변화 시작과 끝을 검출하는 방법은 다음과 같다.
선형변화 방식이란 동영상 이미지 코드의 시작 이미지와 종료 이미지가 서로 다른 경우로서 하나의 동영상을 반복하여 다시 보는 것과 유사한 방식으로 변환하는 방식이다(도 7b 참조). 따라서 동영상 이미지 코드를 연속하여 캡쳐하였을 때 변화량이 가장 많은 연속 이미지 2개 중 선행한 것이 종료 이미지, 후행한 것이 시작 이미지가 된다. 시작 이미지에서 종료 이미지까지 패턴 변화 순서로 동영상 이미지 코드를 재정렬한다.
순환 변화 방식이란 동영상 이미지 코드의 변화가 점차적으로 변화하면서 반복되어 원래의 시작 이미지를 찾을 수 없는 경우에 해당한다. 이때에는 소정의 기준에 따라 기준 이미지를 정하여 이로부터 정렬한다.
도 8은 본 발명에 따른 동영상 이미지 코드 생성 장치의 일 실시예의 구성을 도시한 도면이다.
도 8을 참조하면, 동영상 이미지 코드 생성 장치는 프레임 이미지 생성부(800), 레이어 이미지 생성부(810), 변화 이미지 생성부(820) 및 동영상 이미지 생성부(830)로 구성된다. 동영상 이미지 코드는 소정의 영상 표시 장치를 통해 표시되는 것이므로 다수의 이미지 코드 프레임으로 구성되며, 이미지 코드 프레임에는 디지인 레이어가 중첩될 수 있다. 동영상 이미지 코드는 이미지 코드 프레임, 디자인 레이어에 정보를 포함하거나 이미지 코드 프레임이나 디자인 레이어의 변화를 통해 추가 정보를 포함할 수 있다.
프레임 이미지 생성부(800)는 소정 정보가 인코딩된 이미지 코드 프레임을 생성한다. 프레임 이미지 생성부(800)는 1차원 바코드, 2차원 흑백코드, 컬러코드 등 다양한 이미지 코드들 중에서 정보 표현에 적합한 이미지 코드를 선택한다. 또한 프레임 이미지 생성부(800)는 선택된 이미지 코드의 생성 방법에 따라 에러 처리 데이터(에러 인지 및 정정) 및 부가정보 데이터(포맷, 버전 정보 등)를 생성하고, 특징 패턴(Finder pattern, 특징점, 테두리 등)을 생성한다.
프레임 이미지 생성부(800)는 이미지 코드를 코드 셀로 분할하고 각 코드 셀 내부의 소정 모양의 도형에 정보(기본 데이터, 에러 처리 데이터, 부가 정보 데이터, 특징 패턴 등을 포함)를 인코딩한다. 프레임 이미지 생성부(800)에 의해 생성되는 이미지 코드 프레임은 도 2와 같이 코드 셀과 기본 특징 패턴에 의해 표현된다. 코드 셀의 크기가 이미지 코드의 최소 단위 데이터 표시 영역의 크기와 같은 경우에는 최소 단위 데이터 표시 영역이 코드 셀이 되며, 양자의 크기가 상이한 경우에는 코드 셀의 중심을 기준으로 일정한 크기나 비율로 데이터가 표시된다. 코드 셀 사이에 경계선을 넣을 수도 있으나, 디자인 레이어의 중첩 등을 고려할 때 자연스러운 디자인을 위해 경계선을 빼는 것이 바람직하다.
레이어 이미지 생성부(810)는 이미지 코드 프레임 위에 중첩되어 표시될 디자인 레이어를 생성한다. 디자인 레이어에는 또 다른 이미지 코드, 이미지, 로고 등이 배치될 수 있다. 레이어 이미지 생성부(810)는 도 4a 내지 도 4c와 같이 이미지 코드 프레임의 특징 패턴을 찾는데 방해가 되지 않는 범위에서 이미지 코드 프레임 영역 밖에까지 배치될 수 있다.
변화 이미지 생성부(820)는 동영상 이미지 코드의 움직임을 설정한다. 디스플레이 매체를 통해 표시되는 동영상 이미지 코드는 각 프레임의 모양을 달리하여 움직임을 표현할 수 있다. 움직임은 이미지 코드 프레임이나 디자인 레이어에 표현될 수 있으며, 양자 모두에 표현될 수도 있다.
예를 들어, 디자인 레이어의 회전에 소정 정보를 매핑하고자 한다면, 정보가 매핑되는 키(key) 프레임의 설정이 필요하다. 즉, 디자인 레이어(및/또는 이미지 코드 프레임)가 0도, 45도, 90도, 135도, 180도 등과 같이 45도 단위로 변화한 상태를 키 프레임으로 설정하고 각 키 프레임에 소정의 정보를 매핑한다. 변화 이미지 생성부(820)는 이 외에 크기의 변화, 이동 속도 등을 상기 표 1과 같이 각 단계별로 정보를 매핑시킬 수 있다.
변화 이미지 생성부(820)는 동영상 이미지 코드의 변화에 따른 정보를 반드시 매핑시켜야 하는 것은 아니며 단지 아름다움을 위한 변화를 설정할 수도 있다. 변화 이미지 생성부(820)는 움직임에 따른 정보를 매핑하는 경우 키 프레임간의 변화가 일정 이상 차이가 나도록 하여 디코딩이 용이하도록 하는 것이 바람직하다.
또한 동영상 이미지 코드의 시작과 종료를 용이하게 판별할 수 있도록 시작 프레임과 종료 프레임의 이미지간의 차이가 많이 나도록 설정하는 것이 바람직하다. 만약 동영상 이미지 코드가 순환적일 경우는 동영상 이미지 코드의 모든 패턴이 회전하지 않는 경우, 특정 영역에 시작/종료를 나타내는 표시가 나타나는 경우, 특정 패턴의 크기가 가장 크게 또는 작게 되는 경우 등을 통해 시작 및 종료를 인식한다.
변화 이미지 생성부(820)는 움직임에 따른 각 키 프레임의 설정, 시작 및 종료의 구분 방법 등이 완료되면 움직임을 위한 프레임들을 생성한다. 즉 자연스러운 동영상을 생성하기 위해서는 초당 수십 프레임들이 순차적으로 디스플레이되어야 하므로 움직임에 대한 각 프레임들의 생성이 필요하다. 따라서 변화 이미지 생성부(820)는 키 프레임 사이의 여러 프레임들의 변화를 보간기법(interploation), 즉 모핑 기법을 이용하여 생성한다. 변화 이미지 생성부(820)는 이 외에 다른 방법을 통해서 움직임을 위해 각 프레임들을 생성할 수 있다.
동영상 이미지 생성부(830)는 각 프레임에 해당하는 이미지 코드 프레임과 디자인 레이어를 합성한다. 동영상 이미지 생성부(830)는 디자인 레이어에 배치된 디자인 요소들에 대해 기본 색상을 매핑한다. 각 디자인 요소는 색상, 명암, 농담값을 가지게 되는데, 이미지 코드 프레임의 셀이나 특징 패턴과 매칭되지 않는 디자인 요소에 대해서는 자유로운 색상을 부여할 수 있다.
동영상 이미지 생성부(830)는 이미지 코드 프레임의 코드 셀과 매칭되는 디자인 레이어의 디자인 요소에 대해서는 셀 색상에 기반한 색상, 명암, 농담을 입힌다. 예를 들어, 한 개의 코드 셀과 매칭되는 디자인 요소에는 코드 셀의 색상, 명암, 농담을 그대로 부여할 수 있으며, 여러 개의 코드 셀을 포함하는 디자인 요소에는 각 코드 셀을 기반으로 해당 영역에 다른 색상, 명암, 농담을 부여할 수 있다. 일 예로, 이미지 코드 프레임이 컬러코드일 경우, 도 5와 같이 디지인 레이어의 디자인 요소는 해당하는 코드 셀 부분의 색상을 유지하면서 농담과 명암을 통해 하나 이상의 디자인 요소로 표현된다. 이와 같이 동영상을 위한 각 프레임이 완성되면, 그 프레임들을 시간 순서에 따라 순차적으로 디스플레이함으로써 동영상 이미지 코드가 표현된다.
도 8에서는 이미지 코드 프레임과 디자인 레이어가 중첩되어 동영상 이미지 코드의 프레임을 형성하는 경우에 대해 설명하였으나, 이미지 코드 프레임만으로 동영상 이미지 코드의 프레임을 형성할 수 있음은 물론이다. 이미지 코드 프레임만으로 동영상 이미지 코드가 생성되는 경우, 레이어 이미지 생성부(810)는 생략되며, 변화 이미지 생성부(820)는 동영상 이미지 코드의 움직임에 필요한 여러 이미지 코드 프레임들을 생성하며, 동영상 이미지 생성부(830)는 생성된 이미지 코드 프레임들을 순차적으로 디스플레이한다.
도 9는 본 발명에 따른 동영상 이미지 코드 생성 방법의 일 실시예의 흐름을 도시한 흐름도이다.
도 9를 참조하면, 동영상 이미지 코드를 구성하는 이미지 코드 프레임을 색상, 농담 및 패턴 중 적어도 하나의 조합을 통해 생성한다(900). 이미지 코드 프레임은 1차원 또는 2차원 이미지 코드를 코드 셀로 분할되고, 코드 셀 내부의 소정 모양의 영역을 최소 단위 데이터의 표시 영역으로 한다.
이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기초로 구별되는 색상 또는 농담의 조합으로 이루어진 레이어 이미지를 생성한다(910). 레이어 이미지는 이미지 코드 프레임의 특징점을 훼손하지 않는 범위 내에서 이미지 코드 프레임의 바깥쪽에까지 배치될 수 있다.
이미지 코드 프레임 또는 레이어 이미지의 소정 부분에 대한 순차적인 변화를 나타내는 적어도 하나 이상의 이미지 코드 프레임 또는 레이어 이미지를 생성한다(S920). 그리고, 이미지 코드 프레임 및 레이어 이미지를 중첩하여 생성되는 프레임들을 순차적으로 디스플레이 매체를 통해 표시한다(S930).
도 10은 본 발명에 따른 동영상 이미지 코드 디코딩 장치의 일 실시예의 구성을 도시한 도면이다.
도 10을 참조하면, 동영상 이미지 코드 디코딩 장치는 코드 입력부(1000), 코드 분리부(1010), 디코딩부(1020) 및 서비스 제공부(1030)로 구성되며, 디코딩부(1020)는 프레임 이미지 디코딩부(1022), 레이어 이미지 디코딩부(1024) 및 변화 이미지 디코딩부(1026)를 포함한다.
코드 입력부(1000)는 소정의 영상 표시 장치를 통해 표시되는 동영상 이미지를 입력받는다. 구체적으로, 코드 입력부(1000)는 영상 표시 장치에 표시되는 동영상 이미지를 카메라나 스캐너 등의 광학 리더기를 통해 광학적으로 입력받거나, 영상 표시 장치의 주사선 신호 또는 전자적 파일 형태로 입력받는다. 코드 입력부(100)는 광학적으로 동영상 이미지를 입력받는 경우 일정시간간격으로 읽어 들인다.
코드 분리부(1010)는 입력된 동영상 이미지로부터 동영상 이미지 코드를 추출하고, 동영상 이미지 코드를 이미지 코드 프레임, 디자인 레이어로 분리하며, 동영상 이미지 코드에 표현되는 움직임을 파악한다.
구체적으로, 코드 분리부(1010)는 입력된 동영상 이미지 코드를 배경 영역과 분리하여 추출하기 위해 이진화, 잡영 제거, 경계선 검출 등을 수행한다.
이진화는 입력된 동영상 이미지를 흑백으로 이진화하는 과정이다. 코드 분리부(1010)는 입력된 컬러 영상의 밝기값(YUV 컬러모델의 경우 Y 값)을 계산하고, 그 밝기값을 이용하여 히스토그램을 구하고 평활화한 후 이진화 문턱값(Thresholding value)을 구한다. 코드 분리부(1010)는 필요한 경우에 R,G,B 각각의 채널별로 히스토그램을 구한 후 평활화하고 이들 채널값을 고려하여 적절한 이진화 문턱값을 구한다. 코드 분리부(1010)는 이진화 문턱값을 기준으로 동영상 이미지를 흑백으로 이진화한다. 코드 분리부(1010)가 레이저 스캐너처럼 밝기값의 신호 세기 차이만 입력받는 경우에는 특정한 신호세기를 기준으로 동영상 이미지를 흑백으로 이진화할 수 있다. 이진화를 위한 기타 방법으로 Locally adaptive thresholding 기법이나 entropy thresholding, spatial thresholding 기법 등을 사용할 수 있다.
코드 분리부(1010)는 이진화 후, 디코딩에 필요하지 않은 배경 영역을 제거하고, 동영상 이미지 코드 영역에서 길이 기반 여과 방법을 이용하여 잡영을 제거한다. 코드 분리부(1010)는 잡영이 제거된 영상으로부터 각 물체의 경계선을 검출하고, 이를 통해 물체간의 연결성을 검토한 후 각 물체의 영역을 분할한다. 분할된 영역들의 경계선들을 검토하여 실제의 동영상 이미지 코드가 있는 영역을 찾아낸다. 이 부분을 제외한 나머지 영역들은 이후 연산에서 배제하는 것이 바람직하다. 동영상 이미지 코드의 영역으로 추정되는 코드후보 영역을 검출함으로써 코드를 찾는 시간과 비용을 줄일 수 있다. 코드 후보 영역이 검출되지 않으면 새로운 이진화 문턱값을 설정하여 잡영 제거 과정을 재수행한다.
코드 분리부(1010)는 코드 후보 영역으로부터 특징 패턴(패턴 분석, 특징점 검출, 외곽선 검출 등)을 검출한다. 특징 패턴에 의한 이미지 코드 영역을 추정하고 검출한다. 예를 들어, 코드 분리부(1010)는 바코드의 경우 시작과 끝을 알려주는 가이드 패턴을 검출하고, 이차원 이미지 코드의 경우 코드 내부나 코드의 꼭짓점에 배치된 Finder pattern, Alignment pattern 등을 검출하고, 컬러코드의 경우 코드의 꼭짓점 정보와 외곽선 정보를 검출한다. 이 외에 코드를 이루는 정사각형, 직사각형, 원형의 집합 정보 등을 검출한다. 코드 영역이 검출되지 않으면 새로운 이진화 문턱값을 설정하여 재수행한다.
코드 분리부(1010)는 동영상 이미지 코드 영역이 검출되면 동영상 이미지 코드를 이미지 코드 프레임 및 디자인 레이어로 분리한다. 두 개의 레이어가 혼합된 코드를 분리하는 방법은 한국특허출원 제2005-25239호 및 한국특허출원 제2005-25240호에 개시되어 있다.
디코딩부(1020)는 동영상 이미지 코드를 디코딩한다. 디코딩부(1020)는 이미지 코드 프레임, 디자인 레이어 및 이미지 코드 프레임이나 디자인 레이어의 움직임에 따른 정보를 디코딩한다. 디코딩부(1020)는 동영상 이미지 코드의 디코딩이 불가능한 경우 이전 또는 이후에 입력된 동영상 이미지 코드를 서로 조합하여 디코딩을 수행한다. 예를 들어, 현재 입력된 이미지 코드 프레임의 좌하측 부분이 손상되어 디코딩을 할 수 없는 경우, 손상된 좌하측 부분을 이전 또는 이후에 입력된 이미지 코드 프레임의 손상되지 않은 좌하측 부분으로 대체하여 디코딩을 수행한다.
구체적으로, 프레임 이미지 디코딩부(1022)는 이미지 코드 프레임의 특징 패턴 정보를 이용하여 이미지 코드 프레임의 코드 셀 영역을 추출한다. 그리고 프레임 이미지 디코딩부(1022)는 코드 셀 영역 중심 위치를 판별하고, 그 중심 위치의 픽셀들의 색상, 명암, 농도 정보를 추출한다.
프레임 이미지 디코딩부(1022)는 매트릭스 코드의 경우 각 코드 셀의 색상, 명암, 농도 정보를 셀 정보로 처리한다. 프레임 이미지 디코딩부(1022)는 레이어 코드의 경우 도형 크기를 셀 정보로 이용하고 패턴을 이용하는 코드의 경우 단위 셀의 색상, 명암, 농도 정보를 이용하여 패턴의 길이 정보를 연산한다.
프레임 이미지 디코딩부(1022)는 코드 분리부(1010)에 의해 분리된 이미지 코드 프레임의 셀 정보 및 패턴 길이 정보를 이용하여 디코딩한다. 프레임 이미지 디코딩부(1022)는 에러처리 정보가 있는 경우 이를 이용하여 디코딩된 값에 대한 에러를 감지하고 에러정정이 가능한 코드도 함께 있는 경우 이를 통해 에러 정정 작업을 수행한다. 에러정정이 불가능하거나 정정가능 용량을 초과한 경우에는 해당 코드 정보를 디코딩하지 않는다.
레이어 이미지 디코딩부(1024)는 디자인 레이어의 디자인 요소 패턴 추출 및 디자인 레이어 정보를 추출한다. 레이어 이미지 디코딩부(1024)는 동영상 이미지 코드 내부에서 색의 분포와 외곽선에 따른 패턴을 추출하고, 추출한 패턴에 의해 레이어 정보를 생성한다.
변화 이미지 디코딩부(1026)는 동영상 이미지 코드의 움직임을 추출한다. 변화 이미지 디코딩부(1026)는 전 후 프레임간의 이미지 코드 영역 매칭 및 보간을 수행한다. 초당 10회 이상 이미지를 입력받을 경우 카메라를 든 손의 떨림 현상 등으로 인해 동영상 이미지 코드의 위치 차이가 발생할 수 있다. 따라서 두 프레임의 이미지 차이가 특정 오차 이상 발생할 경우, 동영상 이미지 코드의 중심 위치와 크기를 서로 매칭함으로써 크기와 위치를 동일하게 한다. 동영상 이미지 코드가 왜곡되었을 경우에는 보간법을 사용하여 표준화된 코드로 이미지화한 후 이미지 코드를 매칭한다. 동영상 이미지 코드가 회전한 경우에는 이의 처리를 위해 회전 각도에 대한 정보를 추가적으로 저장한다.
변화 이미지 디코딩부(1026)는 매칭된 프레임들을 서로 교집합하여 움직임이 있었던 디자인 요소의 움직임 정보를 추출한다. 디자인 요소의 움직임 정보가 많이 있을 경우 각각에 대한 정보를 추출한다. 디자인 요소 각각의 이동성과 회전, 상대 크기 변화 등에 대하여 소정의 정보로 변환한다.
서비스 제공부(1030)는 디코딩이 성공하면 디코딩값을 이용하여 서비스를 제공한다. 서비스 제공부(1030)는 패턴 정보에 의한 레이어 정보와 이미지 코드 프레임 정보를 합성하여 새로운 코드 정보를 만들거나 이 두 가지 정보를 이용하여 서비스를 제공한다.
도 11은 본 발명에 따른 동영상 이미지 코드를 디코딩하는 방법의 일 실시예의 흐름을 도시한 흐름도이다.
도 11을 참조하면, 디스플레이 매체를 통해 표시되는 동영상 이미지 코드를 광학적으로 입력받거나 전자적 파일 형태로 입력받는다(S1100), 입력받은 동영상 이미지 코드를 소정의 전처리 과정을 통해 이미지 코드 프레임 및 디자인 레이어로 분리한다(S1110). 이미지 코드 프레임 및 디자인 레이어를 디코딩하고(S1120), 동영상 이미지 코드에 움직임 변화가 있으면, 그 움직임 변화에 따른 정보를 추출하여 디코딩한다(S1130). 디코딩이 완료되면 디코딩된 값을 기초로 해당 서비스를 제공한다(S1140).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따르면, TV, 모니터, 전광판, 빔 프로젝터 및 모바일 폰이나 PDA의 LCD 등 다양한 디스플레이를 통해 매체친화적인 디자인이 가능한 이미지 코드를 제공할 수 있다. 또한 디스플레이 매체의 특성이나 왜곡으로 인해 디코딩이 어려울 경우 연속되는 이미지 코드 프레임 정보와의 조합을 통해 디코딩 성능이 향상된다. 따라서 동영상 이미지 코드가 디스플레이 매체의 화소로 표현될 때 뭉개지거나 왜곡이 발생하더라도 연속된 이미지 조합에 의해 극복이 가능하고, 디스플레이 매체의 화소 사이 경계선이나 백라이트(back light)에 의한 발광 현상으로 인한 왜곡도 극복할 수 있다. 일 예로, CRT 형 TV나 모니터의 경우에는 카메라로 촬영시 모아레 현상이나 흑색 또는 회색의 선이 화면에 나타나는데 이런 왜곡도 극복 가능하다.
본 발명에 따른 동영상 이미지 코드는 DTV, 컴퓨터 등과 연계하여 다양한 정보 서비스가 가능한데, 그 예로는 광고 정보 및 쇼핑몰 등 네트워크 정보 접속 서비스, 스포츠 중계시 선수 및 경기 관련 정보 서비스, 휴대전화로 촬영하여 쿠폰 정보 다운로드 서비스, 예약녹화 서비스 등이 있다. 또한 동영상 이미지 코드, 특히 컬러코드를 변형한 동영상 이미지 코드는 그 모양이나 양태가 로고가 매우 유사해지므로, 로고 형태의 이미지 코드화가 가능하고 이의 인식이 가능하다.

Claims (16)

  1. 최소 단위 데이터를 표현하는 코드 셀로 분할되고, 상기 코드 셀 내부의 소정 영역에 상기 최소 단위 데이터가 표시되며, 상기 최소 단위 데이터는 색상, 농담 및 패턴 중 적어도 하나의 조합으로 구성되는 이미지 코드 프레임; 및
    상기 이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기초로 구별되는 색상 또는 농담의 조합으로 이루어지고, 상기 프레임 이미지 위에 중첩하여 표시되는 디자인 레이어;를 포함하는 것을 특징으로 하는 동영상 이미지 코드.
  2. 제 1항에 있어서,
    상기 코드 셀 내부에서 상기 최소 단위 데이터가 표시되는 영역의 모양은 상기 이미지 코드 프레임이 표시되는 디스플레이 매체의 화소 모양과 비례하는 것을 특징으로 하는 동영상 이미지 코드.
  3. 제 1항에 있어서, 상기 디자인 레이어는,
    상기 이미지 코드 프레임의 인식을 위한 특징 패턴이 훼손하지 않는 범위에서 상기 이미지 코드 프레임 바깥쪽에까지 배치되는 것을 특징으로 하는 동영상 이미지 코드.
  4. 제 1항에 있어서,
    상기 디자인 레이어에는 소정의 움직임이 표현되는 것을 특징으로 하는 동영상 이미지 코드.
  5. 소정의 디스플레이 매체를 통해 표시되는 동영상 이미지 코드를 생성하는 장치에 있어서,
    색상, 농담 및 패턴 중 적어도 하나의 조합을 통해 소정 정보를 표시하는 이미지 코드 프레임을 생성하는 프레임 이미지 생성부;
    상기 이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기초로 구별되는 색상 또는 농담의 조합으로 이루어진 레이어 이미지를 생성하는 디자인 레이어 생성부;
    상기 이미지 코드 프레임 또는 상기 레이어 이미지의 소정 부분에 대한 순차적인 변화를 나타내는 적어도 하나 이상의 이미지 코드 프레임 또는 레이어 이미지를 생성하는 변화 이미지 생성부; 및
    상기 이미지 코드 프레임 및 상기 레이어 이미지를 중첩하여 동영상 이미지 코드를 구성하는 각 프레임들을 생성하는 동영상 이미지 생성부;를 포함하는 것을 특징으로 하는 동영상 이미지 코드 생성 장치.
  6. 제 5항에 있어서, 상기 프레임 이미지 생성부는,
    1차원 또는 2차원 이미지 코드를 코드 셀로 분할하고, 상기 코드 셀 내부의 소정 모양의 영역을 최소 단위 데이터의 표시 영역으로 하며, 상기 최소 단위 데이터는 색상, 농담 및 패턴 중 적어도 하나로 구성되는 프레임 이미지를 생성하는 것을 특징으로 하는 동영상 이미지 코드 생성 장치.
  7. 제 5항에 있어서, 상기 디자인 레이어 생성부는,
    상기 이미지 코드 프레임의 인식을 위한 특징 패턴이 훼손하지 않는 범위에서 상기 이미지 코드 프레임 바깥쪽에까지 상기 디자인 레이어를 배치하는 특징으로 하는 동영상 이미지 코드 생성 장치.
  8. 제 5항에 있어서, 상기 변화 이미지 생성부는,
    상기 이미지 코드 프레임 또는 디지인 레이어의 소정 부분의 크기 변화, 변화 속도, 방향 전화, 영역 변화에 해당하는 적어도 하나 이상의 이미지 코드 프레임 또는 레이어 이미지를 생성하는 것을 특징으로 하는 동영상 이미지 코드 생성 장치.
  9. 소정의 영상 표시 장치를 통해 표시되는 동영상 이미지 코드를 생성하는 방법에 있어서,
    색상, 농담 및 패턴 중 적어도 하나의 조합을 통해 소정 정보를 표시하는 이미지 코드 프레임을 생성하는 단계;
    상기 이미지 코드 프레임에서 사용된 색상 또는 농담과 소정의 임계값을 기 초로 구별되는 색상 또는 농담의 조합으로 이루어진 레이어 이미지를 생성하는 단계;
    상기 이미지 코드 프레임 또는 상기 레이어 이미지의 소정 부분에 대한 순차적인 변화를 나타내는 적어도 하나 이상의 이미지 코드 프레임 또는 레이어 이미지를 생성하는 단계; 및
    상기 이미지 코드 프레임 및 상기 레이어 이미지를 중첩하여 동영상 이미지 코드를 구성하는 각 프레임들을 생성하는 단계;를 포함하는 것을 특징으로 하는 동영상 이미지 코드 생성 방법.
  10. 제 9항에 있어서, 상기 이미지 코드 프레임 생성 단계는,
    1차원 또는 2차원 이미지 코드를 코드 셀로 분할하고, 상기 코드 셀 내부의 소정 모양의 영역을 최소 단위 데이터의 표시 영역으로 하며, 상기 최소 단위 데이터는 색상, 농담 및 패턴 중 적어도 하나로 구성되는 프레임 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 이미지 코드 생성 방법.
  11. 제 9항에 있어서, 상기 디자인 레이어 생성 단계는,
    상기 프레임 이미지의 대각선을 지름으로 하는 원보다 작은 크기의 레이어 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 동영상 이미지 코드 생성 방법.
  12. 디스플레이 매체를 통해 표시되는 동영상 이미지 코드를 광학적으로 입력받거나 전자적 파일 형태로 입력받는 코드 입력부;
    상기 동영상 이미지 코드를 이미지 코드 프레임 및 디자인 레이어로 분리하는 코드 분리부; 및
    상기 이미지 코드 프레임을 디코딩하고, 상기 디자인 레이어의 움직임에 따른 정보를 추출하는 디코딩부;를 포함하는 것을 특징으로 하는 동영상 이미지 코드 디코딩 장치.
  13. 제 12항에 있어서, 상기 디코딩부는,
    상기 이미지 코드 프레임의 코드 셀 내부의 소정 영역의 색상, 농담 및 패턴을 추출하여 디코딩하는 프레임 이미지 디코딩부;
    상기 디자인 레이어에 배치된 이미지 코드를 디코딩하는 레이어 이미지 디코딩부; 및
    상기 이미지 코드 프레임 또는 상기 디자인 레이어의 움직임 변화에 따른 정보를 추출하는 변화 이미지 디코딩부;를 포함하는 것을 특징으로 하는 동영상 이미지 코드 디코딩 장치.
  14. 제 12항에 있어서,
    상기 코드 입력부는 일정 시간 간격으로 연속하여 동영상 이미지 코드를 입력받고,
    상기 디코딩부는 상기 동영상 이미지 코드의 일부분이 손상되어 디코딩이 불가능한 경우, 상기 손상된 부분을 상기 코드 입력부를 통해 이전 또는 이후에 입력받은 동영상 이미지 코드의 손상되지 않은 부분으로 대체하여 디코딩하는 것을 특징으로 하는 동영상 이미지 코드 디코딩 장치.
  15. 디스플레이 매체를 통해 표시되는 동영상 이미지 코드를 광학적으로 입력받거나 전자적 파일 형태로 입력받는 단계;
    상기 동영상 이미지 코드를 이미지 코드 프레임 및 디자인 레이어로 분리하는 단계; 및
    상기 이미지 코드 프레임을 디코딩하고, 상기 디자인 레이어의 디자인 요소들의 움직임에 따른 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 동영상 이미지 코드 디코딩 방법.
  16. 제 15항에 있어서, 상기 디코딩 단계는,
    상기 동영상 이미지 코드의 일부분이 손상되어 디코딩이 불가능한 경우, 상기 손상된 부분을 이전 또는 이후에 입력받은 동영상 이미지 코드의 손상되지 않은 부분으로 대체하여 디코딩하는 단계를 포함하는 것을 특징으로 하는 동영상 이미지 코드 디코딩 방법.
KR1020060024756A 2005-11-11 2006-03-17 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법 KR100746641B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020060024756A KR100746641B1 (ko) 2005-11-11 2006-03-17 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법
US12/084,567 US8447122B2 (en) 2005-11-11 2006-11-01 Animated image code, apparatus for generating/decoding animated image code, and method thereof
CN2006800503517A CN101351822B (zh) 2005-11-11 2006-11-01 动画图像码、用于生成/译码动画图像码的设备及其方法
PCT/KR2006/004518 WO2007055492A1 (en) 2005-11-11 2006-11-01 Animated image code, apparatus for generating/decoding animated image code, and method thereof
EP06812357.9A EP1952338B1 (en) 2005-11-11 2006-11-01 Animated image code, apparatus for generating/decoding animated image code, and method thereof
JP2008539918A JP4848427B2 (ja) 2005-11-11 2006-11-01 動画イメージコード、動画イメージコードを生成または復号する装置及びその方法
US13/864,488 US8879859B2 (en) 2005-11-11 2013-04-17 Animated image code, apparatus for generating/decoding animated image code, and method thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20050108131 2005-11-11
KR1020050108131 2005-11-11
KR1020060024756A KR100746641B1 (ko) 2005-11-11 2006-03-17 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20070050752A true KR20070050752A (ko) 2007-05-16
KR100746641B1 KR100746641B1 (ko) 2007-08-06

Family

ID=38023445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060024756A KR100746641B1 (ko) 2005-11-11 2006-03-17 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법

Country Status (6)

Country Link
US (2) US8447122B2 (ko)
EP (1) EP1952338B1 (ko)
JP (1) JP4848427B2 (ko)
KR (1) KR100746641B1 (ko)
CN (1) CN101351822B (ko)
WO (1) WO2007055492A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150079843A (ko) * 2012-11-13 2015-07-08 교도 인사쯔 가부시키가이샤 이차원 코드
CN107096720A (zh) * 2017-06-22 2017-08-29 西安科技大学 基于图像处理的快件条码自动识别系统及方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100653886B1 (ko) * 2004-11-05 2006-12-05 주식회사 칼라짚미디어 혼합코드 및 혼합코드 인코딩 방법과 장치
KR100746641B1 (ko) * 2005-11-11 2007-08-06 주식회사 칼라짚미디어 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법
GB2451437B (en) * 2007-07-27 2012-11-14 Hewlett Packard Development Co Content encoder and decoder and methods of encoding and decoding content
GB2451434B (en) * 2007-07-27 2012-09-19 Hewlett Packard Development Co A method of generating a sequence of display frames for display on a display device
EP2333702B1 (en) * 2007-12-04 2015-03-18 A.T Communications Co., Ltd. Two-dimensional code display system and a two-dimensional code display method
JP5207294B2 (ja) * 2008-06-24 2013-06-12 学校法人立命館 二次元コード、その生成方法及びコンピュータプログラム
JP5415730B2 (ja) * 2008-09-04 2014-02-12 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理方法、および画像処理システム
WO2010047702A1 (en) * 2008-10-22 2010-04-29 Hewlett-Packard Development Company, L.P. Processing images of a display
US8215565B2 (en) * 2010-03-28 2012-07-10 Christopher Brett Howard Apparatus and method for securement of two-dimensional bar codes with geometric symbology
JP5315512B2 (ja) * 2010-12-09 2013-10-16 健治 吉田 機械可読ドットパターン
WO2012124123A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9171098B2 (en) * 2011-09-30 2015-10-27 Microsoft Technology Licensing, Llc Decomposing markup language elements for animation
JP2012050870A (ja) * 2011-11-11 2012-03-15 Daito Giken:Kk 遊技台およびコード表示方法
TW201401790A (zh) * 2012-06-20 2014-01-01 Real Touch Corp 圖碼之編碼解碼方法及其系統
US20140340423A1 (en) * 2013-03-15 2014-11-20 Nexref Technologies, Llc Marker-based augmented reality (AR) display with inventory management
JP5561649B2 (ja) * 2013-04-08 2014-07-30 健治 吉田 機械可読ドットパターン
WO2015022872A1 (ja) * 2013-08-11 2015-02-19 株式会社偽物識別技術研究所 印刷のミクロ的輪郭形状を識別子とする個別物品の自動真贋判定方法
WO2015145779A1 (ja) * 2014-03-28 2015-10-01 Ａ・Ｔコミュニケーションズ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2015191652A (ja) * 2014-08-18 2015-11-02 Ａ・Ｔコミュニケーションズ株式会社 画像処理装置、画像処理方法、及びプログラム
WO2016065661A1 (zh) * 2014-10-30 2016-05-06 崔明 一种四维码、基于该四维码的图像识别系统及方法、检索系统及方法
CN108292442B (zh) * 2015-09-30 2021-10-01 雷蛇(亚太)私人有限公司 信息编码方法、信息解码方法、计算机可读介质、信息编码器及信息解码器
JP2017091140A (ja) * 2015-11-09 2017-05-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． コード送受信システム、コード受信装置、コード送信装置、コード受信方法、コード送信方法、及びプログラム
WO2017082607A1 (en) * 2015-11-09 2017-05-18 Samsung Electronics Co., Ltd. Electronic device and operating method of the same
KR20170054900A (ko) 2015-11-10 2017-05-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
TWI571803B (zh) * 2015-12-28 2017-02-21 元智大學 彩色二維條碼的產生方法
EP3242252B1 (en) * 2016-05-06 2020-01-29 Doris Renate Purzer Multi-dimensional graphical code
CN207051946U (zh) * 2017-03-31 2018-02-27 腾讯科技（深圳）有限公司 二维码和印刷物
CN108256360B (zh) * 2017-12-22 2020-02-07 福建天泉教育科技有限公司 一种敏感信息的显示方法及终端
CN108985421B (zh) * 2018-08-14 2021-05-07 上海掌门科技有限公司 编码信息的生成方法和识别方法
US10740666B2 (en) * 2018-09-27 2020-08-11 Caleb J. Webster Two-dimensional cryptographic poly-chromatic poly-digital code
US11194981B2 (en) 2020-05-11 2021-12-07 Flexa Network Inc. Multi-part code system
CN113963354B (zh) * 2021-12-16 2022-04-12 深圳市活力天汇科技股份有限公司 一种获取订单编号的方法和装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1221842A (en) 1968-12-10 1971-02-10 Battelle Development Corp Method of and apparatus for the production of subjective colours
IL72685A (en) * 1983-08-30 1988-08-31 Gen Electric Advanced video object generator
JPS62111367A (ja) 1985-11-11 1987-05-22 Hitachi Ltd バ−コ−ド読取機
US4692880A (en) * 1985-11-15 1987-09-08 General Electric Company Memory efficient cell texturing for advanced video object generator
JPS63190473A (ja) * 1986-09-25 1988-08-08 Nippon Board Computer Kk 多階調画像デ−タの情報量圧縮方法及び装置
US5337361C1 (en) 1990-01-05 2001-05-15 Symbol Technologies Inc Record with encoded data
JPH06119078A (ja) 1992-10-06 1994-04-28 Mitsubishi Cable Ind Ltd コンピュータアクセス制御システム
JPH08123923A (ja) 1994-10-20 1996-05-17 Fujitsu General Ltd バーコードシステム
JP3153720B2 (ja) 1994-12-20 2001-04-09 富士通株式会社 ビデオプレゼンテーションシステム
JPH0954838A (ja) * 1995-08-11 1997-02-25 Fujitsu Ltd 描画処理装置
JP3228197B2 (ja) 1997-10-15 2001-11-12 株式会社デンソー 光学情報読取装置および記録媒体
US6654931B1 (en) * 1998-01-27 2003-11-25 At&T Corp. Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects
JP2913475B1 (ja) * 1998-02-17 1999-06-28 一男 佐藤 二次元コードの形成方法
GB9806767D0 (en) * 1998-03-31 1998-05-27 Philips Electronics Nv Pixel colour valve encoding and decoding
JP2000003406A (ja) 1998-06-12 2000-01-07 Casio Comput Co Ltd 画像読取装置
JP4148597B2 (ja) 1999-06-03 2008-09-10 富士通株式会社 印刷情報処理システム、印刷装置および記録媒体
JP3714063B2 (ja) * 1999-10-19 2005-11-09 富士ゼロックス株式会社 ３次元形状計測装置
KR100341504B1 (ko) * 1999-11-13 2002-06-21 한탁돈 기계로 판독가능한 코드와 그 코드의 인코딩/디코딩 방법및 장치
AU5886801A (en) * 2000-05-09 2001-11-20 Colorzip Media Inc Machine readable code and method and device of encoding and decoding the same
US7020327B2 (en) * 2000-05-09 2006-03-28 Colorzip Media, Inc. Machine readable code image and method of encoding and decoding the same
KR100353872B1 (ko) * 2000-05-09 2002-09-28 주식회사 칼라짚미디어 기계로 인식가능한 코드 및 그 인코딩/디코딩 방법
US7433493B1 (en) * 2000-09-06 2008-10-07 Hitachi, Ltd. Abnormal behavior detector
JP4110728B2 (ja) * 2000-09-28 2008-07-02 株式会社デンソー 携帯電話機および通信システム
JP2002245399A (ja) 2001-02-20 2002-08-30 Dainippon Printing Co Ltd バーコードおよびバーコード作成システム
US7457358B2 (en) * 2001-09-26 2008-11-25 Interact Devices, Inc. Polymorphic codec system and method
JP2003125361A (ja) * 2001-10-12 2003-04-25 Sony Corp 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
US7120205B2 (en) * 2002-01-15 2006-10-10 Jawad Ahmed Salehi Method and system for multiple-shift code acquisition of optical orthogonal codes in optical CDMA systems
JP2004078351A (ja) 2002-08-12 2004-03-11 Sharp Corp バーコード作成装置、バーコード読取装置および動画像バーコード
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
JP2004228720A (ja) 2003-01-21 2004-08-12 Canon Electronics Inc テレビ通信によるデータ提供方法
WO2005043454A1 (ja) 2003-10-30 2005-05-12 Nec Mobiling, Ltd. ２次元コード送信方法、システム、及び携帯端末
JP4364615B2 (ja) 2003-11-28 2009-11-18 横浜ゴム株式会社 ２次元コード表示物及び２次元コード表示タイヤ
JP2005182649A (ja) 2003-12-22 2005-07-07 Codex Inc 情報通信端末、情報配信サーバ、情報伝送システム及び情報伝送プログラム
KR100608204B1 (ko) * 2004-06-17 2006-08-02 (주)엠비원 로고가 삽입된 패턴코드 및 그의 인코딩 및 그의 디코딩방법
KR100653885B1 (ko) 2004-11-05 2006-12-05 주식회사 칼라짚미디어 혼합코드 디코딩 방법 및 그 장치
KR100653886B1 (ko) 2004-11-05 2006-12-05 주식회사 칼라짚미디어 혼합코드 및 혼합코드 인코딩 방법과 장치
KR100746641B1 (ko) * 2005-11-11 2007-08-06 주식회사 칼라짚미디어 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법
US8130226B2 (en) * 2006-08-04 2012-03-06 Apple Inc. Framework for graphics animation and compositing operations

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150079843A (ko) * 2012-11-13 2015-07-08 교도 인사쯔 가부시키가이샤 이차원 코드
US9898637B2 (en) 2012-11-13 2018-02-20 Kyodo Printing Co., Ltd. Two-dimensional code
CN107096720A (zh) * 2017-06-22 2017-08-29 西安科技大学 基于图像处理的快件条码自动识别系统及方法

Also Published As

Publication number Publication date
EP1952338B1 (en) 2016-07-20
WO2007055492A1 (en) 2007-05-18
JP2009516259A (ja) 2009-04-16
EP1952338A4 (en) 2008-12-10
JP4848427B2 (ja) 2011-12-28
CN101351822A (zh) 2009-01-21
CN101351822B (zh) 2012-06-27
EP1952338A1 (en) 2008-08-06
US20130230241A1 (en) 2013-09-05
KR100746641B1 (ko) 2007-08-06
US20100246984A1 (en) 2010-09-30
US8879859B2 (en) 2014-11-04
US8447122B2 (en) 2013-05-21

Similar Documents

Publication Publication Date Title
KR100746641B1 (ko) 동영상 이미지 코드와 동영상 이미지 코드 생성/디코딩장치 및 그 방법
US6101274A (en) Method and apparatus for detecting and interpreting textual captions in digital video signals
Gllavata et al. A robust algorithm for text detection in images
Chen et al. PiCode: A new picture-embedding 2D barcode
KR101710050B1 (ko) 이미지 식별 시스템 및 방법
CN112153483B (zh) 信息植入区域的检测方法、装置及电子设备
CN102750564B (zh) 动态二维码及其解码方法
EP1840798A1 (en) Method for classifying digital image data
US8929656B2 (en) Method and apparatus for detecting important information from moving picture
US20080095442A1 (en) Detection and Modification of Text in a Image
TW201723930A (zh) 彩色二維條碼的產生方法
Tang et al. TSA-SCC: Text semantic-aware screen content coding with ultra low bitrate
CN112749696B (zh) 一种文本检测方法及装置
US7848567B2 (en) Determining regions of interest in synthetic images
CN103198311A (zh) 基于拍摄的图像来识别字符的方法及装置
US20060164517A1 (en) Method for digital recording, storage and/or transmission of information by means of a camera provided on a comunication terminal
Xu et al. A reliable and unobtrusive approach to display area detection for imperceptible display camera communication
CN107247984B (zh) 一种可视化二维码的编码方法
JP3655110B2 (ja) 映像処理方法及び装置並びに映像処理手順を記録した記録媒体
CN110968804A (zh) 一种基于智能物联网的博物馆电子标签宣传系统
US20210203994A1 (en) Encoding data in a source image with watermark image codes
CN110969750A (zh) 一种基于智能语音的博物馆参观引导系统
Kojima et al. Visible video data hiding techniques based on visual effects utilizing barcodes
KR100845662B1 (ko) 비디오 자막영역 추출방법 및 장치
Kojima et al. A Visible Video Data Hiding Scheme Based on Fade-In and Fade-Out Effects Utilizing Barcodes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120726

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130902

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee