KR20020005174A - 동영상을 이용한 정보제공방법 및 그 장치 - Google Patents

동영상을 이용한 정보제공방법 및 그 장치 Download PDF

Info

Publication number
KR20020005174A
KR20020005174A KR1020010012623A KR20010012623A KR20020005174A KR 20020005174 A KR20020005174 A KR 20020005174A KR 1020010012623 A KR1020010012623 A KR 1020010012623A KR 20010012623 A KR20010012623 A KR 20010012623A KR 20020005174 A KR20020005174 A KR 20020005174A
Authority
KR
South Korea
Prior art keywords
information
video
user
extracted
frame
Prior art date
Application number
KR1020010012623A
Other languages
English (en)
Other versions
KR100479799B1 (ko
Inventor
김호
서만석
김성태
김덕용
Original Assignee
남궁석
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남궁석, 삼성에스디에스 주식회사 filed Critical 남궁석
Priority to KR10-2001-0012623A priority Critical patent/KR100479799B1/ko
Publication of KR20020005174A publication Critical patent/KR20020005174A/ko
Application granted granted Critical
Publication of KR100479799B1 publication Critical patent/KR100479799B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 동영상의 객체를 이용한 정보제공방법 및 그 장치에 관한 것으로, (a)동영상속의 객체를 포함하는 객체정보를 저장하는 단계; (b)동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 대한 픽셀좌표값 및 그 프레임의 정보를 입력받는 단계;(c)입력받은 프레임을 영상분할하여 픽셀좌표값에 해당하는 영역을 추출하는 단계;(d)추출한 영역을 (a)단계에서 저장된 객체정보에서 검색하는 단계;(e)검색한 객체정보를 제공하는 단계를 포함하므로, 동영상속에 있는 객체를 사용자가 선택하면 그 선택된 객체를 추출하여 사용자가 원하는 정보를 제공한다. 그리고, 동영상만을 전송하므로 네트웍 트래픽도 최소화할 수 있다.

Description

동영상을 이용한 정보제공방법 및 그 장치{Method for providing information using moving pictures and apparatus thereof}
본 발명은 인터넷을 통한 정보제공분야에 관한 것으로, 특히 동영상에 속하는 객체를 이용하여 그 객체의 정보를 제공하는 방법 및 그 장치에 관한 것이다.
쌍방향 디지탈 TV 또는 인터넷 방송에 대한 수요가 증대됨에 따라, 동영상을 보면서, 동영상 내부에 있는 객체를 선택하여, 그 객체에 대한 정보를 얻을 수 있는 시스템에 대한 필요성이 증대되었는데, 종래에 이런 시스템을 구축하기 위해서는 동영상과 그 동영상에 포함된 검색대상객체로부터 객체데이터베이스를 생성하고, 동영상과 객체데이터베이스를 동시에 보내주는 시스템이 필요하다. 객체데이터베이스를 생성하는 작업은 비용이 많이 들고, 다른 목적에 맞게 시스템을 구축하기위해서는 별도의 객체데이터베이스를 다시 생성해야 한다.
본 발명이 이루고자 하는 기술적 과제는, 상기 문제점들을 해결하기 위해 동영상에 포함된 객체를 이용하여 정보를 제공하는 방법 및 그 장치를 제공하는데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다.
도 1은 본 발명에 따른 동영상을 이용한 정보제공방법에 대한 도면이다.
도 2는 본 발명에 따른 동영상을 이용한 정보제공방법에서 사용자가 선택한 객체를 추출하는 방법에 대한 도면이다.
도 3은 본 발명에 따른 동영상을 이용한 정보제공장치에 대한 도면이다.
상기의 과제를 이루기 위한 본 발명에 따른 동영상에 포함된 객체에 대한 정보를 제공하는 방법은, (a) 동영상 속의 객체를 포함하는 객체정보를 저장하는 단계;(b) 상기 동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 대한 픽셀좌표값 및 그 프레임의 정보를 입력받는 단계;(c) 상기 입력받은 프레임을 영상분할하여 상기 픽셀좌표값에 해당하는 영역을 추출하는 단계;(d) 상기 추출한 영역을 상기 (a)단계에서 저장된 객체정보에서 검색하는 단계;(e) 상기 검색한 객체정보를 제공하는 단계를 포함한다.
상기의 과제를 이루기 위한 본 발명에 따른 동영상에 포함된 객체에 대한 정보를 제공하는 장치는, 동영상 속의 객체를 포함하는 객체정보를 저장하는 저장부;상기 동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 대한 픽셀좌표값 및 그 프레임의 정보를 입력받는 입력부;상기 입력받은 프레임을 영상분할여 상기 픽셀좌표값에 해당하는 영역을 추출하는 객체추출부;상기 추출한 영역을 상기 저장부에서 저장된 객체정보에서 검색하는 검색부;상기 검색한 객체정보를 제공하는 정보제공부를 포함한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명한다.
도 1은 본 발명에 따른 동영상을 이용한 정보제공방법에 대한 도면으로, 사용자 또는 동영상 시청자가 동영상을 시청하던 중에 그 동영상에 포함된 사물에 대한 상세한 정보를 알기를 원할 경우에 그 정보를 제공하는 방법을 나타낸다.
사용자가 인터넷을 통하여 영화, 광고 또는 드라마를 포함하는 동영상을 시청(110단계)하던 중에 그 동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체를 마우스 또는 키보드를 이용하여 선택(120단계)하면, 사용자가 선택한 객체를 포함하는 프레임값과 그 객체의 픽셀(pixel)좌표값을 입력(130단계)받는다. 입력받은 프레임과 그 프레임의 픽셀좌표값에 해당하는 영역을 색상, 모양, 면적 또는 경계선에 따라서 영역을 분할하는 영역분할기법을 사용하여 사용자가 선택한 객체를 포함하는 영역을 추출(140단계)한다. 영역분할기법에 대한 상세한 설명은 도 2에서 나타낸다.
추출한 영역을 객체정보에 포함된 형상정보와 비교(150단계)하여 그 추출한 영역에 해당하는 형상정보를 찾아내어 그 형상정보와 링크로 연결된 묘사정보를 추출(160단계)한다. 여기서, 형상정보는 어떤 객체의 이미지를 나타내는 정보이고 묘사정보는 HTML로 작성되어 그 객체의 설명과 그 객체를 취급하는 인터넷상의 주소등을 나타내는 정보이다. 추출한 묘사정보를 사용자가 시청하고 있는 동영상의 화면에 다른 창을 지원하여 디스플레이하거나 그 객체를 판매하거나 더 상세한 설명을 하고 있는 인터넷 주소(URL)에 연결(170단계)하여 사용자에게 상세한 정보를 제공하 수 있다.
본 발명은 인터넷의 웹상에서 적용되고 또한 디지털 TV(digital TV)에도 적용할 수 있다. 예를 들어, 사용자가 디지털 TV를 시청하던 중에 동영상 속의 객체를 리모콘으로 선택하면, 그 객체에 대한 상세한 설명을 제공할 수 있는데, 이에 대한 흐름은 본 발명에서 제공하는 방법과 동일하게 진행된다. 이 서비스를 제공하는 프로그램은 디지털 TV의 셋톱박스(set-top box)에 내장할 수 있다.
도 2는 본 발명에 따른 동영상을 이용한 정보제공방법에서 사용자가 선택한 객체를 추출하는 방법에 대한 도면으로, 사용자가 선택한 프레임과 그 프레임에 포함된 객체의 픽셀좌표값을 입력받아 그 필셀좌표값을 포함하는 영역을 추출하는 흐름을 나타낸다.
영화, 광고 또는 드라마를 포함하는 동영상을 시청하던 사용자가 그 동영상의 객체들 중에서 하나를 선택하면, 예를 들면, 다보탑의 이미지를 사용자가 선택한 경우에 선택한 객체에 대한 픽셀좌표값과 그 객체를 포함하는 프레임을 입력(230단계)받아 그 프레임을 화상의 기본요소인 픽셀단위로 분할하여 입력된 픽셀좌표값에 해당하는 픽셀과 유사한 색상, 광강도, 모양 또는 경계선의 특성치에 따라서 유사한 픽셀을 병합하여 그 픽셀좌표값에 해당하는 객체를 포함하는 영역을 추출(240단계)한다. 즉, 다보탑의 형상을 추출한다. 추출한 다보탑의 형상을 객체정보에 포함되어 있는 형상정보와 비교(253단계)하여 그 추출한 영역과 유사한 형상정보를 추출한다. 그 출한 형상정보와 링크로 연결되어 있는 묘사정보를 선택(255단계)하여 그 묘사정보를 사용자에게 제공(270단계)한다. 여기서, 묘사정보는 다보탑에 대한 상세한 설명을 나타내고 있다.
도 3은 본 발명에 따른 동영상을 이용한 정보제공장치에 대한 도면으로, 사용자가 사용자컴퓨터(310)로 동영상을 시청하던 중에 그 동영상의 객체 중의 하나를 선택하면 정보제공장치(300)에서 사용자가 선택한 객체에 대한 정보를 제공한다.
사용자가 사용자컴퓨터(310)로 동영상을 시청하던 중에 그 동영상에 포함된 객체 중의 하나를 마우스 또는 키보드로 선택하면, 입력부(330)는 사용자가 선택한 객체의 픽셀좌표값 및 프레임을 입력받는다. 객체추출부(340)는 입력받은 객체의 픽셀좌표값에 해당하는 영역을 프레임에서 추출한다. 검색부(350)는 추출된 영역을 저장부(320)의 객체정보에서 검색하여 묘사정보를 추출한다. 저장부(320)는 동영상의 객체에 대한 정보는 물론이고 기타 사물에 대한 정보를 형상정보와 묘사정보로 분리하여 저장하고 있다.
정보제공부(371)는 검색부(350)에서 추출한 객체의 묘사정보를 사용자에게 제공하는데, 사용자가 선택한 객체의 상세한 설명을 제공하거나 그 객체를 판매, 대여 또는 생산하는 회사의 웹사이트 주소(380-1 내지 380-n)로 연결하여 사용자에게 정보를 제공한다. 디스플레이부(373)는 사용자가 선택한 객체에 대한 상세한 설명을 출력할 수 있게 동영상화면 이외의 창을 지원하는 역할을 한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의하면, 쌍방향 동영상 서비스를 제공하기 위해서, 사용자에게 동영상만을 전송하여 사용자가 선택한 객체를 추출하여 그에 대한 상세한 설명이나 그 객체를 취급하는 인터넷주소와 연결하므로 네트워크 트래픽을 최소화 할 수 있다. 또한 기존의 동영상을 별도로 수정하지 않고 재사용이 가능하다.

Claims (12)

  1. (a) 동영상 속의 객체를 포함하는 객체정보를 저장하는 단계;
    (b) 상기 동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 대한 픽셀좌표값 및 그 프레임의 정보를 입력받는 단계;
    (c) 상기 입력받은 프레임을 영상분할하여 상기 픽셀좌표값에 해당하는 영역을 추출하는 단계;
    (d) 상기 추출한 영역을 상기 (a)단계에서 저장된 객체정보에서 검색하는 단계; 및
    (e) 상기 검색한 객체정보를 제공하는 단계를 포함하는 것을 특징으로 하는 동영상을 이용한 정보제공방법.
  2. 제 1항에 있어서, 상기 (a)단계는
    상기 동영상의 객체에 대한 이미지를 포함하는 형상정보 및 그 객체들을 설명하는 묘사정보를 저장하는 것을 특징으로 하는 동영상을 이용한 정보제공방법.
  3. 제 2항에 있어서,
    상기 묘사정보는 상기 객체의 상세한 설명데이터 또는 상기 객체를 취급하는 인터넷상의 주소를 포함하는 것을 특징으로 하는 동영상을 이용한 정보제공방법.
  4. 제 1항에 있어서, 상기 (c)단계는
    상기 프레임에서, 각 영역을 색상, 모양, 경계선의 성질에 따라서 분할하여 상기 픽셀 좌표값에 해당하는 객체를 추출하는 것을 특징으로 하는 동영상을 이용한 정보제공방법.
  5. 제 2항에 있어서, 상기 (d)단계는
    상기 (a)단계에서 저장된 정보에서 상기 추출한 영역을 상기 형상정보와 비교하는 하여, 상기 형상정보에 해당하는 묘사정보를 추출하는 것을 특징으로 하는 동영상을 이용한 정보제공방법.
  6. 제 1항에 있어서, 상기 (e)단계는
    상기 검색한 객체정보를 디스플레이하거나 그 객체와 관련된 사이트에 연결하는 것을 특징으로 하는 동영상을 이용한 정보제공방법.
  7. 동영상 속의 객체를 포함하는 객체정보를 저장하는 저장부;
    상기 동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 대한 픽셀좌표값 및 그 프레임의 정보를 입력받는 입역부;
    상기 입력받은 프레임을 영상분할하여 상기 픽셀좌표값에 해당하는 영역을 추출하는 객체추출부;
    상기 추출한 영역을 상기 저장부에서 저장된 객체정보에서 검색하는 검색부; 및
    상기 검색한 객체정보를 제공하는 정보제공부를 포함하는 것을 특징으로 하는 동영상을 이용한 정보제공장치.
  8. 제 7항에 있어서, 상기 저장부는
    상기 동영상의 객체에 대한 이미지를 포함하는 형상정보 및 그 객체들을 설명하는 묘사정보를 저장하는 것을 특징으로 하는 동영상을 이용한 정보제공장치.
  9. 제 7항에 있어서, 상기 객체추출부는
    상기 프레임에서, 각 영역을 색상, 모양, 경계선의 성질에 따라서 분할하여 상기 픽셀 좌표값에 해당하는 객체를 추출하는 것을 특징으로 하는 동영상을 이용한 정보제공장치.
  10. 제 9항에 있어서, 상기 검색부는
    상기 저장부단계에서 저장된 정보에서 상기 추출한 영역을 상기 형상정보와 비교하는 하여, 상기 형상정보에 해당하는 묘사정보를 추출하는 것을 특징으로 하는 동영상을 이용한 정보제공장치.
  11. 제 8항에 있어서, 상기 정보제공부는
    상기 검색한 객체의 상세정보를 상기 동영상 화면에 디스플레이하거나 그 객체와 관련된 사이트에 연결하는 것을 특징으로 하는 동영상을 이용한 정보제공장치.
  12. (a) 동영상 속의 객체를 포함하는 객체정보를 저장하는 단계;
    (b) 상기 동영상에 포함된 객체 중에서 상세한 정보를 알기를 원하는 객체에 대한 픽셀좌표값 및 그 프레임의 정보를 입력받는 단계;
    (c) 상기 입력받은 프레임을 영상분할하여 상기 픽셀좌표값에 해당하는 영역을 추출하는 단계;
    (d) 상기 추출한 영역을 상기 (a)단계에서 저장된 객체정보에서 검색하는 단계; 및
    (e) 상기 검색한 객체정보를 제공하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2001-0012623A 2001-03-12 2001-03-12 동영상을 이용한 정보제공방법 및 그 장치 KR100479799B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0012623A KR100479799B1 (ko) 2001-03-12 2001-03-12 동영상을 이용한 정보제공방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0012623A KR100479799B1 (ko) 2001-03-12 2001-03-12 동영상을 이용한 정보제공방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20020005174A true KR20020005174A (ko) 2002-01-17
KR100479799B1 KR100479799B1 (ko) 2005-03-30

Family

ID=19706776

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0012623A KR100479799B1 (ko) 2001-03-12 2001-03-12 동영상을 이용한 정보제공방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR100479799B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030028278A (ko) * 2001-09-28 2003-04-08 주식회사 아카넷티비 인터넷 방송에서의 개체인식을 이용한 정보 제공방법
KR100396580B1 (ko) * 2001-07-16 2003-09-02 삼성에스디에스 주식회사 분산처리를 이용한 동영상 레이블 방법 및 그 장치
WO2010036046A2 (ko) * 2008-09-24 2010-04-01 컴피프라이스 엘엘씨 동영상 맵 제공 시스템 및 방법
KR20200115017A (ko) * 2019-03-29 2020-10-07 에스프레스토 주식회사 영상 검색 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101584709B1 (ko) * 2014-06-27 2016-01-13 주식회사 브이플랩 이미지에서의 복수의 단위 객체 도출 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100253203B1 (ko) * 1997-10-29 2000-04-15 구자홍 동영상을 이용한 객체 추출방법
KR100693650B1 (ko) * 1999-07-03 2007-03-14 엘지전자 주식회사 다중 오브젝트 정보구조를 이용한 동영상 브라우징 시스템
JP4991064B2 (ja) * 1999-07-15 2012-08-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 放送プログラムと共にマルチメディア情報を表示する方法及び装置
KR100295610B1 (ko) * 1999-11-09 2001-07-12 장영규 동영상 편집 시스템 및 이를 이용한 객체 정보 서비스 방법
KR100493279B1 (ko) * 2000-11-24 2005-06-02 엘지전자 주식회사 티브이의 부가정보 송/수신장치 및 방법
KR20010035420A (ko) * 2001-02-13 2001-05-07 정병희 동영상을 이용한 정보제공시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100396580B1 (ko) * 2001-07-16 2003-09-02 삼성에스디에스 주식회사 분산처리를 이용한 동영상 레이블 방법 및 그 장치
KR20030028278A (ko) * 2001-09-28 2003-04-08 주식회사 아카넷티비 인터넷 방송에서의 개체인식을 이용한 정보 제공방법
WO2010036046A2 (ko) * 2008-09-24 2010-04-01 컴피프라이스 엘엘씨 동영상 맵 제공 시스템 및 방법
WO2010036046A3 (ko) * 2008-09-24 2010-07-15 컴피프라이스 엘엘씨 동영상 맵 제공 시스템 및 방법
US8219912B2 (en) 2008-09-24 2012-07-10 Tae Sung CHUNG System and method for producing video map
KR20200115017A (ko) * 2019-03-29 2020-10-07 에스프레스토 주식회사 영상 검색 장치 및 방법

Also Published As

Publication number Publication date
KR100479799B1 (ko) 2005-03-30

Similar Documents

Publication Publication Date Title
US5929849A (en) Integration of dynamic universal resource locators with television presentations
JP5204285B2 (ja) ハイパーリンクによってリンクされた注釈データ受信システム、放送システム及び注釈データを含む放送情報を利用する方法
JP4518572B2 (ja) 情報の電子データベースの送信
US20030098869A1 (en) Real time interactive video system
JP2004507989A (ja) テレビ放送におけるハイパーリンクのための方法および装置
CN102754096A (zh) 补充媒体递送
US20080184132A1 (en) Media content tagging
KR20010074763A (ko) 대화형 사용자 인터페이스
JP2007324990A (ja) 情報処理システム、情報処理装置および方法、並びにプログラム
US7523134B2 (en) System, method, and multi-level object data structure thereof for browsing multimedia data
KR20150083355A (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
US20040207656A1 (en) Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same
CN103841454A (zh) 用于处理视频信号以用于显示的方法和装置
CN1295287A (zh) 用于编辑运动图象数据并根据其提供目标信息的方法和系统
US7237185B1 (en) System and method for distributing internet content in the form of an album
JP2016005015A (ja) コンテンツ配信システム及びコンテンツ配信装置
KR100479799B1 (ko) 동영상을 이용한 정보제공방법 및 그 장치
US20170347162A1 (en) Methods and systems for selecting supplemental content for display near a user device during presentation of a media asset on the user device
KR100359514B1 (ko) 인터넷 데이터 방송 시스템 및 방법과 그 프로그램 소스를저장한 저장매체
JP2016004064A (ja) コンテンツ配信装置及びコンテンツ配信システム
US20170345178A1 (en) Methods and systems for determining a region near a user device for displaying supplemental content during presentation of a media asset on the user device
CN116089757A (zh) 页面展示方法及装置、电子设备、存储介质和程序产品
JP2005286798A (ja) 画像コンテンツ配信システム
CN101159840A (zh) 一种在数字电视数据中加入广告数据的方法和装置
AU2017269430A1 (en) Methods and systems for selecting supplemental content for display near a user device during presentation of a media asset on the user device

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early opening
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130108

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140103

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20141231

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 16