KR101113977B1 - 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법 - Google Patents

모바일을 이용한 콘텐츠 제공 시스템 및 그 방법 Download PDF

Info

Publication number
KR101113977B1
KR101113977B1 KR1020110052384A KR20110052384A KR101113977B1 KR 101113977 B1 KR101113977 B1 KR 101113977B1 KR 1020110052384 A KR1020110052384 A KR 1020110052384A KR 20110052384 A KR20110052384 A KR 20110052384A KR 101113977 B1 KR101113977 B1 KR 101113977B1
Authority
KR
South Korea
Prior art keywords
content
terminal
information
request information
content image
Prior art date
Application number
KR1020110052384A
Other languages
English (en)
Inventor
김숙영
Original Assignee
(주)라온제나
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)라온제나 filed Critical (주)라온제나
Priority to PCT/KR2011/003986 priority Critical patent/WO2012165673A1/ko
Priority to KR1020110052384A priority patent/KR101113977B1/ko
Application granted granted Critical
Publication of KR101113977B1 publication Critical patent/KR101113977B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0013—Arrangements for the control of the connected apparatus by the still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0015—Control of image communication with the connected apparatus, e.g. signalling capability
    • H04N2201/002—Selecting or switching between an image communication channel and a non-image communication channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 콘텐츠를 영상으로 출력하는 거리설치단말기 및 출력되는 콘텐츠 중 사용자에 의해 선택된 콘텐츠에 대한 사운드를 출력하는 휴대단말기를 포함하는 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법에 관한 것이다.
본 발명에 의하면, 출력되고 있는 콘텐츠 영상에 부합하는 사운드를 각 사용자가 소지하는 휴대단말기로 제공함으로써, 공공장소에서 복수의 사용자가 출력되고 있는 콘텐츠 영상과 함께 사운드를 개별적으로 청취할 수 있다.

Description

모바일을 이용한 콘텐츠 제공 시스템 및 그 방법{System and method of providing contents using mobile phone}
본 발명은 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 콘텐츠를 영상으로 출력하는 거리설치단말기 및 출력되는 콘텐츠 중 사용자에 의해 선택된 콘텐츠에 대한 사운드를 출력하는 휴대단말기를 포함하는 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법에 관한 것이다.
본 발명은 경기도 및 (주)라온제나의 경기도 전략산업기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다.
[과제고유번호: A090911, 연구과제명: 차세대 UI와 분야별 융합을 통한 인텔리전트 가구 및 기반 플랫폼 개발, 연구기간: 2009.6.1~2011.5.31]
최근 거리에 설치되어 사용자가 원하는 각종 정보를 제공하는 정보 제공 디스플레이 장치가 보급되고 있다.
그러나 이러한 정보 제공 디스플레이 장치는 사운드를 제공할 수 있지만, 시끄러운 장소에서는 소음으로 인하여 사운드가 사용자에게 원활하게 제공되지 못하는 문제점이 있다. 또한 조용함을 유지해야만 하는 공공장소에서는 소음 방지를 위해 사운드를 제공할 수 없는 문제점이 있다.
한편, 정보 제공 디스플레이 장치는 다수의 동시 사용자를 위해 동시에 서로 상이한 복수 개의 영상을 분할하여 제공할 수도 있다. 그러나 정보 제공 디스플레이 장치가 각각의 영상에 부합하는 사운드를 각 사용자에게 동시에 제공하는 경우, 사운드가 서로 혼합되어 사용자에게 사운드 정보를 적절하게 제공할 수 없는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 공공장소에서 복수의 사용자가 콘텐츠 영상과 함께 사운드를 개별적으로 청취할 수 있는 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법을 제공하는 데 있다.
상기한 과제를 해결하기 위해 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템은, 콘텐츠를 영상으로 출력하는 거리설치단말기; 및 출력되는 콘텐츠 중 사용자에 의해 선택된 콘텐츠에 대한 사운드를 출력하는 휴대단말기를 포함하되, 거리설치단말기는, 복수의 콘텐츠를 저장하고 있는 콘텐츠 데이터베이스; 콘텐츠의 재생 순서 및 화면상에서의 출력 위치를 포함하는 재생 규칙에 따라 콘텐츠 데이터베이스에 포함된 각 콘텐츠의 재생을 제어하는 스케줄러; 재생 규칙에 따라 적어도 하나 이상의 콘텐츠를 재생하여 영상으로 출력하되, 출력되는 콘텐츠 영상에 단말기 접속주소 및 콘텐츠 식별정보를 포함하는 식별코드를 삽입하여 출력하는 출력부; 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상에 대한 요청정보를 휴대단말기로부터 수신하는 통신부; 및 요청정보에 대응하는 콘텐츠 영상과 동기화된 사운드를 추출하는 사운드 추출부를 포함하며, 통신부는 추출된 사운드를 요청정보를 송신한 휴대단말기로 송신하는 것을 특징으로 한다.
바람직하게는, 콘텐츠 제공 시스템은, 콘텐츠 데이터베이스로부터 요청정보에 대응하는 콘텐츠 영상과 관련된 텍스트정보를 추출하는 정보 추출부를 더 포함하며, 통신부는 추출된 텍스트정보를 요청정보를 송신한 휴대단말기로 전송할 수 있다.
바람직하게는, 상기 휴대단말기는, 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상 내의 식별코드를 촬영하는 카메라; 촬영된 식별코드로부터 단말기 접속주소 및 콘텐츠 식별정보를 추출하는 코드 인식부; 추출된 콘텐츠 식별정보에 대응하는 콘텐츠 영상에 대한 정보를 요청하는 요청정보를 생성하는 요청정보 생성부; 및 추출된 단말기 접속주소에 기초하여 거리설치단말기로 요청정보를 송신하고, 거리설치단말기로부터 추출된 사운드를 수신할 수 있다.
바람직하게는, 상기 식별코드는 바코드 또는 QR 코드일 수 있다.
상기한 과제를 해결하기 위해 본 발명에 따른 모바일을 이용한 콘텐츠 제공 방법은, 콘텐츠를 영상으로 출력하는 거리설치단말기 및 출력되는 콘텐츠 중 사용자에 의해 선택된 콘텐츠에 대한 사운드를 출력하는 휴대단말기를 포함하는 콘텐츠 제공 시스템에 의해 수행되는 콘텐츠 제공 방법으로서, (a) 거리설치단말기가 복수의 콘텐츠를 저장하고 있는 콘텐츠 데이터베이스에서 적어도 하나 이상의 콘텐츠를 재생하여 영상으로 출력하는 단계; (b) 거리설치단말기가 출력되는 콘텐츠 영상에 단말기 접속주소 및 콘텐츠 식별정보를 포함하는 식별코드를 삽입하는 단계; (c) 휴대단말기가 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상 내의 식별코드를 촬영하는 단계; (d) 휴대단말기가 촬영된 식별코드로부터 단말기 접속주소 및 콘텐츠 식별정보를 추출하고, 추출된 콘텐츠 식별정보에 대응하는 콘텐츠 영상에 대한 정보를 요청하는 요청정보를 생성하는 단계; (e) 휴대단말기가 추출된 단말기 접속주소에 기초하여 거리설치단말기로 요청정보를 송신하는 단계; (f) 거리설치단말기가 요청정보에 대응하는 콘텐츠 영상과 동기화된 사운드를 추출하는 단계; 및 (g) 거리설치단말기가 추출된 사운드를 요청정보를 송신한 휴대단말기로 송신하는 단계를 포함한다.
한편, 상기한 목적을 달성하기 위해서 본 발명은 상기 모바일을 이용한 콘텐츠 제공 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 의하면, 출력되고 있는 콘텐츠 영상에 부합하는 사운드를 각 사용자가 소지하는 휴대단말기로 제공함으로써, 공공장소에서 복수의 사용자가 출력되고 있는 콘텐츠 영상과 함께 사운드를 개별적으로 청취할 수 있다.
도 1은 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템을 예시한 도면.
도 2는 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템을 나타낸 블록도.
도 3은 사용자가 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템을 이용하는 과정을 예시한 도면.
도 4는 본 발명에 따른 모바일을 이용한 콘텐츠 제공 방법을 나타낸 흐름도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템 및 방법은 거리설치단말기(100)를 통해 거리를 통행하는 사용자에게 다양한 콘텐츠 영상을 보여주고, 콘텐츠 영상과 함께 콘텐츠 영상에 대한 사운드를 듣거나 및 콘텐츠 영상과 관련된 텍스트정보를 보고 싶어하는 사용자에게 사용자가 휴대한 휴대단말기로 콘텐츠 영상에 대한 사운드 및 텍스트정보를 제공하는 시스템 및 방법에 관한 것이다.
도 1은 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템을 예시한 도면이다.
본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템(10)은 거리설치단말기(100) 및 휴대단말기(200)를 포함하며, 추가로 관리서버(300)를 더 포함할 수 있다.
거리설치단말기(100)는 일반인의 통행이 잦은 공공장소, 거리, 및 관광명소 등 각 지역의 특정 지점에 설치되는 단말기로서, 통행하는 사용자에게 다양한 콘텐츠 정보를 영상으로서 출력하는 장치이다. 거리를 통행하는 사용자는 거리설치단말기(100)에서 출력되는 콘텐츠 영상을 시청할 수 있다. 거리설치단말기(100)는 각 지역에 설치되므로 복수 개가 존재할 수 있으며, 각 거리설치단말기(100)는 유무선 통신망을 통해 관리서버(300)에 연결된다.
한편 거리설치단말기(100)는 디스플레이에 동시에 복수 개의 콘텐츠 영상을 출력할 수 있다. 거리를 통행하는 사용자는 출력되고 있는 콘텐츠 영상들 중에서 자신이 듣고자 하는 콘텐츠 영상의 사운드를 자신의 휴대단말기(200)를 통하여 들을 수 있다.
각각의 거리설치단말기(100)는 설치 지점이 미리 개별적으로 지정되어 있고 각 거리설치단말기(100)별로 고유한 단말기 식별번호 및 단말기 접속주소를 가진다. 각각의 거리설치단말기(100)의 설치지점에 대한 위치정보는 GPS(global positioning system)에 따른 좌표정보(위도, 경도, 및 고도에 대한 정보) 형태로 관리서버(100)의 데이터베이스에 저장될 수 있다.
사용자의 휴대단말기(200)는 사용자가 휴대하는 모바일 장치로서, 개인 통신 단말기(Personal Communication System; PCS), GSM(Global System for Mobile communications) 단말기, 개인 디지털 셀룰러 단말기(Personal Digital Cellular; PDC), 개인 정보 단말기(Personal Digital Assistant; PDA), 스마트폰(Smart Phone), 무선 데이터 통신 단말기 중의 적어도 하나일 수 있으며, 무선 근거리 통신이나 이동통신을 통해 거리설치단말기(100)가 연결되어 있는 통신망에 접속할 수 있는 휴대 장치면 어느 장치든 사용이 가능하다.
최근 이동통신의 발전으로 인하여, 휴대전화 및 휴대장치가 무선랜(Wireless LAN), 와이파이(Wi-Fi) 및 이동통신(3세대 및 4세대 이동통신 포함)을 통해 인터넷망에 연결할 수 있다. 휴대단말기(200)는 무선랜(Wireless LAN), 와이파이(Wi-Fi) 및 이동통신(3세대 및 4세대 이동통신 포함)을 이용하여 거리설치단말기(100)가 연결되어 있는 통신망(예를 들어 인터넷망)에 접속할 수 있는 휴대 장치면 어느 장치든 사용이 가능하다.
휴대단말기(200)와 거리설치단말기(100) 간의 통신은 적외선(Infrared Ray) 통신, RF(Radio Frequency) 통신, 블루투스(BlueTooth), 무선랜(Wireless LAN), 와이파이(Wi-Fi), 및 지그비(Zigbee)를 포함하는 현행 근거리 무선 통신수단, 및/또는 향후 상기 휴대단말기(200)에 구비되는 모든 종류의 근거리 무선 통신수단 및 모든 종류의 이동통신수단이 이용될 수 있다.
관리서버(300)는 거리설치단말기(100)를 중앙에서 관리하는 서버로서, 복수의 거리설치단말기(100)와 인터넷망과 같은 통신망으로 연결되어 있다. 관리서버(300)는 거리설치단말기(100)가 통행인에게 제공하는 다양한 콘텐츠 정보들을 콘텐츠 데이터베이스에 저장하고 있다.
도 2는 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템을 나타낸 블록도이다.
도 1에서처럼 복수의 휴대단말기(200)가 주변의 거리설치단말기(100)와 통신으로 연결될 수 있으며, 복수의 거리설치단말기(100)가 중앙에서 관리하는 관리서버(300)와 연결될 수 있으나, 설명의 편의를 위해 도 2에서는 하나씩만 도시하여 설명하도록 한다.
도 2를 참조하면, 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템(10)은 거리설치단말기(100) 및 휴대단말기(200)를 포함하며, 추가로 관리서버(300)를 포함할 수 있다.
관리서버(100)는 복수의 거리설치단말기(100)를 중앙에서 관리하는 서버이다.
관리서버(100)는 관리부(310), 통신부(320), 단말기 데이터베이스(330), 콘텐츠 데이터베잇(340), 및 설정부(350)를 포함한다.
관리부(310)는 각각의 거리설치단말기(100)와 콘텐츠 및 콘텐츠의 재생 규칙을 동기화하는 동기화부(311) 및 각각의 거리설치단말기(100)에 대한 재생 규칙을 생성하는 스케쥴 생성부(312)를 포함한다.
스케쥴 생성부(312)는 각 거리설치단말기(100)별로 콘텐츠의 재생 순서 및 콘텐츠의 화면상에서의 출력 위치를 포함하는 재생 규칙을 생성한다.
동기화부(311)는 각각의 거리설치단말기(100)별로 콘텐츠 및 재생 규칙을 동기화한다. 관리서버(300) 내의 콘텐츠 데이터베이스(340) 내에 저장되어 있는 콘텐츠에 변경 사항이 발생하면, 동기화부(311)는 거리설치단말기(100)의 동기화부(170)와 연동하여 각 거리설치단말기(100) 내의 콘텐츠 데이터베이스(110)와 관리서버(300) 내의 콘텐츠 데이터베이스(340)를 서로 동기화한다. 또한 각 거리설치단말기(100)를 위한 재생 규칙이 설정부(350)에 의해 설정되거나 변경되면, 동기화부(311)는 거리설치단말기(100)의 스케쥴러(170)와 연동하여 거리설치단말기(100)의 재생 규칙을 설정하거나 변경한다.
설정부(350)는 관리서버(300)의 관리자에 의해 재생 규칙을 입력받음으로써, 각 거리설치단말기(100)에 대한 재생 규칙을 설정하거나 변경하는 역할을 수행한다.
콘텐츠 데이터베이스(340)는 거리설치단말기(100)로 제공할 다양한 콘텐츠를 저장하고 있는 데이터베이스이다.
단말기 데이터베이스(330)는 고유한 단말기 식별번호 및 단말기 접속주소를 거리설치단말기(100)별로 저장하고 있는 데이터베이스로서, 각 거리설치단말기(100)의 설치지점에 대한 위치정보도 또한 저장할 수 있다.
통신부(320)는 거리설치단말기(100)가 접속하는 통신망과 연결되어 거리설치단말기(100)와 서로 데이터 통신을 수행한다.
거리설치단말기(100)는 콘텐츠 데이터베이스(110), 스케쥴러(120), 출려구(130), 사운드추출부(140), 정보 추출부(150), 통신부(160), 동기화부(170)를 포함한다.
콘텐츠 데이터베이스(110)는 복수의 다양한 콘텐츠를 저장하고 있다. 전술한 것처럼 거리설치단말기(100)의 콘텐츠 데이터베이스(110)는 동기화부(170)를 통해 관리서버(300)의 콘텐츠 데이터베이스(340)와 동기화된다.
스케쥴러(120)는 콘텐츠의 재생 순서 및 화면상에서의 출력 위치를 포함하는 재생 규칙에 따라 콘텐츠 데이터베이스(110)에 포함된 각 콘텐츠의 재생을 제어하는 역할을 수행한다. 이를 위해 스케줄러(120)는 관리서버(300)로부터 재생 규칙을 수신하여 저장한다.
출력부(130)는 재생 규칙에 따라 콘텐츠 데이터베이스(110)에 포함된 콘텐츠 중에서 적어도 하나 이상의 콘텐츠를 재생하여 영상으로 출력한다. 그리고 출력부(130)는 출력되는 콘텐츠 영상에 단말기 접속주소 및 콘텐츠 식별정보를 포함하는 식별코드를 삽입하여 출력한다.
출력부(130)는 디스플레이(131, DSP)와 연결되며, 디스플레이(131)는 콘텐츠 영상을 화면으로 출력한다.
단말기 접속주소란 외부에서 거리설치단말기(100)로 접속하기 위한 주소정보로서, IP 어드레스나 URL(uniform resource locator)이 이용될 수 있다.
콘텐츠 식별정보란 거리설치단말기(100)에서 출력되고 있는 각각의 콘텐츠 영상을 구별하기 위하여 각 콘텐츠에 부여되는 고유번호를 의미한다.
그리고 식별코드란 단말기 접속주소 및 콘텐츠 식별정보를 포함하는 코드정보로서, 바코드(bar code)나 QR코드(quick response code)가 이용될 수 있다. QR코드란 많은 정보를 담을 수 있는 격자무늬의 2차원 매트릭스 형식의 코드로서, 숫자 최대 7,089자, 문자(ASCII) 최대 4,296자, 이진(8비트) 최대 2,953바이트, 한자 최대 1,817자를 저장할 수 있으며, 일반 바코드보다 인식속도와 인식률 및 복원력이 뛰어나다. 식별코드로서 QR코드를 이용하면, 식별코드 내에 단말기 접속주소 및 콘텐츠 식별정보를 모두 포함시킬 수 있다. 한편 바코드의 경우 담을 수 있는 정보가 한정되어 있으므로, 식별코드로 바코드를 이용하는 경우 단말기 접속주소 및 콘텐츠 식별정보와 매칭되는 별도의 비교표가 필요하다.
통신부(160)는 통신망에 접속하여 관리서버(300) 및 휴대단말기(200)와 데이터 통신을 수행한다. 우선 통신부(160)는 전술한 것처럼 관리서버(300)와 연결되어 관리서버(300)와 동기화되는 콘텐츠 및 재생 규칙 등을 수신한다. 그리고 통신부(160)는 휴대단말기(200)로부터 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상에 대한 요청정보를 수신한다.
요청정보란 휴대단말기(100)로부터 수신된 신호로서, 사용자가 선택한 콘텐츠에 대한 사운드 및 텍스트정보를 요청하는 신호이다. 이를 위해 요청정보는 사용자에 의해 선택된 콘텐츠 영상을 출력하고 있는 단말기 접속주소 및 사용자에 의해 선택된 콘텐츠의 콘텐츠 식별정보를 포함하고 있다.
사운드 추출부(140)는 출력되고 있는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상, 즉 요청정보에 대응하는 콘텐츠 영상과 동기화된 사운드를 추출한다. 영상과 사운드를 동시에 즐기기 위해서는 영상과 사운드가 서로 동기화되어야 한다. 영상과 사운드가 동기화되지 않으면 영상과 사운드가 서로 맞지 않아 영상 시청에 대한 욕구가 반감될 수 있다. 이를 방지하기 위해, 사운드 추출부(140)는 현재 거리설치단말기(100)에서 추력되고 있는 콘텐츠 영상과 동기화된 사운드를 추출한다. 추출된 사운드는 통신부(160)를 통해 요청정보를 송신한 휴대단말기(200)로 전송되고, 최종적으로 휴대단말기(200)의 스피커(242)를 통해 출력된다.
정보 추출부(150)는 콘텐츠 데이터베이스(110)로부터 요청정보에 대응하는 콘텐츠 영상과 관련된 텍스트정보를 추출한다. 콘텐츠 영상과 관련된 텍스트정보란 콘텐츠 영상과 관련된 각종 부가정보가 텍스트로 기재된 것을 의미한다. 이러한 텍스트정보는 콘텐츠 영상과 함께 콘텐츠 데이터베이스(110)에 저장되어 있다. 추출된 텍스트정보는 통신부(160)를 통해 요청정보를 송신한 휴대단말기(200)로 전송되고, 최종적으로 휴대단말기(200)의 디스플레이(242)를 통해 출력된다.
휴대단말기(200)는 카메라(210), 코드 인식부(220), 요청정보 생성부(230), 출력부(240), 모바일통신부(250)를 포함한다.
카메라(210)는 영상을 촬영하는 장치로서, 사용자는 카메라(210)를 이용하여 거리설치단말기(100)에서 출력되고 있는 콘텐츠 영상 중에서 사운드를 듣고 싶은 콘텐츠 영상 내의 식별코드를 촬영한다.
코드 인식부(220)는 촬영된 식별코드를 분석하여 식별코드가 담고 있는 단말기 접속주소 및 콘텐츠 식별정보를 추출한다.
그리고 요청정보 생성부(230)는 추출된 단말기 접속주소와 추출된 콘텐츠 식별정보를 기초로 요청정보를 생성하고, 생성된 요청정보를 추출된 단말기 접속주소에 대응하는 거리설치단말기(100)로 전송한다. 전술하였지만 요청정보는 추출한 단말기 접속주소에 대한 정보 및 사용가가 선택한 콘텐츠 영상에 대한 콘텐츠 식별정보를 포함한다.
한편 휴대단말기(200)에는 식별코드를 인식하는 수단 및 식별코드를 기초로 요청정보를 생성하는 수단을 포함하는 전용 프로그램이 설치될 수 있다. 이러한 경우, 코드 인식부(220)의 기능 및 요청정보 생성부(230)의 기능은 휴대단말기(200)에 설치되는 전용 프로그램 형태로 구현될 수 있다.
모바일 통신부(250)는 생성된 요청정보를 거리설치단말기(100)로 전송하고, 거리설치단말기(100)로부터 요청정보에 대응하는 콘텐츠에 대한 사운드 및 텍스트정보를 수신한다.
출력부(240)는 모바일통신부(160)를 통해 수신된 사운드 및 텍스트정보를 출력한다. 사운드는 스피커(242, SPK)를 통해 출력되고, 텍스트정보는 디스플레이(241, DSP)를 통해 출력된다.
도 3은 사용자가 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템을 이용하는 과정을 예시한 도면이다.
도 3(a)는 거리설치단말기(100)에서 출력되고 있는 콘텐츠 영상을 예시하는 도면이고, 도 3(b)는 휴대단말기(200)가 콘텐츠 영상 내의 식별코드를 촬영하는 것을 예시하는 도면이며, 도 3(c)는 휴대단말기(200)에서 콘텐츠 영상과 동기화된 사우드 및 텍스트정보가 출력되는 것을 예시하는 도면이다.
거리설치단말기(100)는 디스플레이(131)에 적어도 하나 이상의 콘텐츠 영상(Im1~IM4)을 출력한다. 각각의 출력되고 있는 콘텐츠 영상 내에는 단말기 접속주소 및 콘텐츠 식별정보를 포함하는 식별코드(c1~c4)가 삽입되어 출력된다.
사용자는 거리설치단말기(100)에 출력되고 있는 콘텐츠 영상 중에서 사운드를 듣길 원하는 콘텐츠 영상을 선택하고, 선택한 콘텐츠 영상 내에 삽입된 식별코드를 자신이 소지한 휴대단말기(200)의 카메라(210)를 이용하여 촬영한다.
휴대단말기(200)는 식별코드를 촬영한 영상으로부터 단말기 접속주소 및 콘텐츠 식별정보를 추출한 후, 식별코드를 촬영한 콘텐츠 영상에 대한 사운드 및 텍스트정보를 요청하는 요청정보를 생성하여 거리설치단말기(100)로 전송한다.
거리설치단말기(100)는 휴대단말기(100)가 요청한 요청정보를 기초로 출력되고 있는 콘텐츠 영상 중에서 사용자가 선택한 콘텐츠 영상과 동기화된 사운드 및 텍스트정보를 추출하고, 이를 휴대단말기(200)로 전송한다.
이하에서는 모바일을 이용한 콘텐츠 제공 방법을 설명하도록 한다. 본 발명에 따른 모바일을 이용한 콘텐츠 제공 방법은 본 발명에 따른 모바일을 이용한 콘텐츠 제공 시스템과 본질적으로 동일하므로, 상세한 설명 및 중복되는 설명은 생략하도록 한다.
도 4는 본 발명에 따른 모바일을 이용한 콘텐츠 제공 방법을 나타낸 흐름도이다.
본 발명에 따른 모바일을 이용한 콘텐츠 제공 방법은, 콘텐츠를 영상으로 출력하는 거리설치단말기 및 출력되는 콘텐츠 중 사용자에 의해 선택된 콘텐츠에 대한 사운드를 출력하는 휴대단말기를 포함하는 콘텐츠 제공 시스템에 의해 수행되는 방법이다.
우선 관리서버(300)는 콘텐츠 데이터베이스(340)에 저장되어 있는 콘텐츠에 변경이 생긴 경우 관리서버(300)의 콘텐츠 데이터베이스(340)와 거리설치단말기(100)의 콘텐츠 데이터베이스(110)에 대한 동기화 작업을 수행한다(S10). 또한 관리서버(300)에서 각 거리설치단말기(100)를 위한 재생 규칙이 설정되거나 변경되면, 관리서버(300)는 재생 규칙에 대한 동기화 작업을 수행할 수 있다.
관리서버(300)는 동기화 대상인 콘텐츠 및 재생 규칙을 해당 거리설치단말기(100)로 전송함으로써 동기화 작업을 완료한다(S20). 본 발명에서 동기화 작업(S10, S20)은 생략될 수 있다.
거리설치단말기(100)는 복수의 콘텐츠를 저장하고 있는 콘텐츠 데이터베이스(110)에서 적어도 하나 이상의 콘텐츠를 재생하여 영상으로 출력한다(S30).
거리설치단말기(100)는 거리설치단말기(100)의 접속주소 및 콘텐츠를 구별하기 위한 콘텐츠 식별정보를 포함하는 식별코드를 출력되는 각각의 콘텐츠 영상에 삽입한다(S40).
거리설치단말기(100) 주변을 통행하는 사용자는 거리설치단말기(100)에서 출력되고 있는 콘텐츠 영상을 감상한다. 출력되고 있는 콘텐츠 영상에 대한 사운드를 듣거나 관련 텍스트정보를 보고 싶은 경우, 사용자는 자신이 소지하는 휴대단말기(100)를 이용하여 다음의 단계들이 수행되도록 한다.
현재 출력되고 있는 콘텐츠 영상 중에서 사운드를 듣거나 텍스트정보를 얻고 싶은 콘텐츠가 있는 경우, 사용자는 자신이 휴대한 휴대단말기(200)에 포함된 카메라(210)를 이용하여 콘텐츠 영상에 삽입된 식별코드를 촬영하면 된다.
휴대단말기(200)는 출력되고 있는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상 내의 식별코드를 촬영한다(S50).
그리고나서 휴대단말기(200)는 촬영된 식별코드로부터 단말기 접속주소 및 콘텐츠 식별정보를 추출하고(S60), 추출된 콘텐츠 식별정보에 대응하는 콘텐츠 영상에 대한 정보를 요청하는 요청정보를 생성한다(S70).
휴대단말기(200)는 추출된 단말기 접속주소에 기초하여 추출된 단말기 접속주소에 대응하는 거리설치단말기(100)로 생성된 요청정보를 송신한다(S80).
거리설치단말기(100)는 출력되고 있는 콘텐츠 영상 중에서 송신된 요청정보에 대응하는 콘텐츠 영상을 확인하고, 요청정보에 대응하는 콘텐츠 영상과 동기화된 사운드를 추출한다(S90).
한편, 거리설치단말기(100)는 사운드 외에 요청정보에 대응하는 콘텐츠 영상과 관련된 텍스트정보를 콘텐츠 데이터베이스(110)로부터 추출할 수 있다(S100).
거리설치단말기(100)는 추출된 사운드를 요청정보를 송신한 휴대단말기로 송신하며, 추가로 추출된 텍스트정보도 사운드와 함께 송신할 수 있다(S110).
휴대단말기(200)는 수신한 사운드를 스피커(242)를 통해 출력한다. 또한 휴대단말기(200)는 텍스트정보가 수신된 경우 수신된 텍스트정보를 휴대단말기(200)D의 디스플레이(241)를 통해 출력한다(S120).
본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서는 도면에 도시된 구체적인 실시예를 참고하여 본 발명을 설명하였으나 이는 예시적인 것에 불과하므로, 본 발명이 속하는 기술 분야에서 통상의 기술을 가진 자라면 이로부터 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 보호 범위는 후술하는 특허청구범위에 의하여 해석되어야 하고, 그와 동등 및 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 보호 범위에 포함되는 것으로 해석되어야 할 것이다.
100, 거리설치단말기 200, 휴대단말기
300, 관리서버 110, 콘텐츠 데이터베이스
120, 스케쥴러 130, 출력부
140, 사운드 추출부 150, 정보 추출부
160, 통신부 170, 동기화부

Claims (7)

  1. 적어도 하나 이상의 콘텐츠 영상을 화면에 출력하는 거리설치단말기; 및
    상기 화면에 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상에 대한 사운드를 출력하는 휴대단말기를 포함하되, 상기 거리설치단말기는,
    복수의 콘텐츠를 저장하고 있는 콘텐츠 데이터베이스;
    각 콘텐츠에 대한 재생 순서 및 화면에서의 출력 위치를 포함하는 재생 규칙에 따라 상기 콘텐츠 데이터베이스에 포함된 각 콘텐츠의 재생을 제어하는 스케줄러;
    상기 재생 규칙에 따라 콘텐츠를 재생하여 적어도 하나 이상의 콘텐츠 영상을 화면에 출력하되, 상기 화면에 출력되는 콘텐츠 영상에 단말기 접속주소 및 콘텐츠 식별정보를 포함하는 식별코드를 삽입하여 출력하는 출력부;
    상기 화면에 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상에 대한 요청정보를 상기 휴대단말기로부터 수신하는 통신부; 및
    상기 요청정보에 대응하는 콘텐츠 영상과 동기화된 사운드를 추출하는 사운드 추출부를 포함하며,
    상기 통신부는 상기 추출된 사운드를 상기 요청정보를 송신한 휴대단말기로 송신하는, 모바일을 이용한 콘텐츠 제공 시스템.
  2. 제1항에 있어서, 상기 거리설치단말기는,
    상기 콘텐츠 데이터베이스로부터 상기 요청정보에 대응하는 콘텐츠 영상과 관련된 텍스트정보를 추출하는 정보 추출부를 더 포함하며,
    상기 통신부는 상기 추출된 텍스트정보를 상기 요청정보를 송신한 휴대단말기로 전송하는, 모바일을 이용한 콘텐츠 제공 시스템.
  3. 제1항에 있어서, 상기 휴대단말기는,
    상기 화면에 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상 내의 식별코드를 촬영하는 카메라;
    상기 촬영된 식별코드로부터 단말기 접속주소 및 콘텐츠 식별정보를 추출하는 코드 인식부;
    상기 추출된 콘텐츠 식별정보에 대응하는 콘텐츠 영상에 대한 정보를 요청하는 요청정보를 생성하는 요청정보 생성부; 및
    상기 추출된 단말기 접속주소에 기초하여 상기 거리설치단말기로 상기 요청정보를 송신하고, 상기 거리설치단말기로부터 상기 추출된 사운드를 수신하는 모바일통신부를 포함하는, 모바일을 이용한 콘텐츠 제공 시스템.
  4. 제1항에 있어서, 상기 식별코드는 바코드 또는 QR 코드인 것을 특징으로 하는, 모바일을 이용한 콘텐츠 제공 시스템.
  5. 적어도 하나 이상의 콘텐츠 영상을 화면에 출력하는 거리설치단말기 및 상기 화면에 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상에 대한 사운드를 출력하는 휴대단말기를 포함하는 콘텐츠 제공 시스템에 의해 수행되는 콘텐츠 제공 방법으로서,
    (a) 상기 거리설치단말기가 복수의 콘텐츠를 저장하고 있는 콘텐츠 데이터베이스에서 콘텐츠를 재생하여 적어도 하나 이상의 콘텐츠 영상을 화면에 출력하는 단계;
    (b) 상기 거리설치단말기가 상기 화면에 출력되는 콘텐츠 영상에 단말기 접속주소 및 콘텐츠 식별정보를 포함하는 식별코드를 삽입하는 단계;
    (c) 상기 휴대단말기가 상기 화면에 출력되는 콘텐츠 영상 중에서 사용자에 의해 선택된 콘텐츠 영상 내의 식별코드를 촬영하는 단계;
    (d) 상기 휴대단말기가 상기 촬영된 식별코드로부터 단말기 접속주소 및 콘텐츠 식별정보를 추출하고, 상기 추출된 콘텐츠 식별정보에 대응하는 콘텐츠 영상에 대한 정보를 요청하는 요청정보를 생성하는 단계;
    (e) 상기 휴대단말기가 상기 추출된 단말기 접속주소에 기초하여 상기 거리설치단말기로 상기 요청정보를 송신하는 단계;
    (f) 상기 거리설치단말기가 상기 요청정보에 대응하는 콘텐츠 영상과 동기화된 사운드를 추출하는 단계; 및
    (g) 상기 거리설치단말기가 상기 추출된 사운드를 상기 요청정보를 송신한 휴대단말기로 전송하는 단계를 포함하는, 모바일을 이용한 콘텐츠 제공 방법.
  6. 제5항에 있어서, 상기 콘텐츠 제공 방법은
    상기 거리설치단말기가 상기 콘텐츠 데이터베이스로부터 상기 요청정보에 대응하는 콘텐츠 영상과 관련된 텍스트정보를 추출하는 단계; 및
    상기 거리설치단말기가 상기 추출된 텍스트정보를 상기 요청정보를 송신한 휴대단말기로 전송하는 단계를 더 포함하는, 모바일을 이용한 콘텐츠 제공 방법.
  7. 제5항에 있어서, 상기 식별코드는 바코드 또는 QR 코드인 것을 특징으로 하는, 모바일을 이용한 콘텐츠 제공 방법.
KR1020110052384A 2011-05-31 2011-05-31 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법 KR101113977B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2011/003986 WO2012165673A1 (ko) 2011-05-31 2011-05-31 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법
KR1020110052384A KR101113977B1 (ko) 2011-05-31 2011-05-31 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110052384A KR101113977B1 (ko) 2011-05-31 2011-05-31 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR101113977B1 true KR101113977B1 (ko) 2012-03-05

Family

ID=46140916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110052384A KR101113977B1 (ko) 2011-05-31 2011-05-31 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101113977B1 (ko)
WO (1) WO2012165673A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010095885A (ko) * 2000-04-12 2001-11-07 김승현 음악화일의 방송 실시간 온 디멘드 다운로드시스템
KR20080108772A (ko) * 2007-06-11 2008-12-16 이강석 키오스크를 이용한 정보 제공 시스템
KR20110050087A (ko) * 2009-11-06 2011-05-13 정용주 지역정보 종합 안내 시스템
KR20110050830A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 휴대용 단말기에서 디엔엘에이를 이용하여 멀티 사운드 채널 컨텐츠를 재생하기 위한 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010095885A (ko) * 2000-04-12 2001-11-07 김승현 음악화일의 방송 실시간 온 디멘드 다운로드시스템
KR20080108772A (ko) * 2007-06-11 2008-12-16 이강석 키오스크를 이용한 정보 제공 시스템
KR20110050087A (ko) * 2009-11-06 2011-05-13 정용주 지역정보 종합 안내 시스템
KR20110050830A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 휴대용 단말기에서 디엔엘에이를 이용하여 멀티 사운드 채널 컨텐츠를 재생하기 위한 장치 및 방법

Also Published As

Publication number Publication date
WO2012165673A1 (ko) 2012-12-06

Similar Documents

Publication Publication Date Title
US10439678B2 (en) Method and system for transfering data between plurality of devices
US11716447B2 (en) System and method for real-time audiovisual interaction with a target location
US9904940B2 (en) Methods, systems and computer program products for tailoring advertisements to a user based on actions taken using a portable electronic device
US8997167B1 (en) Live streaming video sharing system and related methods
US20130325952A1 (en) Sharing information
KR101942797B1 (ko) 휴대단말들 간의 무선 랜 링크 형성 방법 및 시스템
CN101611613A (zh) 基于位置和公司服务等级约定来限制电子设备功能的使用
JP2007020193A (ja) 移動通信システムで待機時間を用いる加入者情報提供装置及び方法
CN102348014A (zh) 用于使用声音提供增强现实服务的装置和方法
CN104021441A (zh) 一种制作具有视频和音频的电子简历的系统及方法
CN104010206A (zh) 基于地理位置的虚拟现实视频播放的方法和系统
JP2014006669A (ja) 推奨コンテンツ通知システム、その制御方法および制御プログラム、ならびに記録媒体
KR101692909B1 (ko) 화면 미러링을 이용한 화상 회의 제공 방법 및 시스템
WO2014176804A1 (en) Method, server, and system for obtaining navigation information
KR20120017278A (ko) 휴대용 단말기에서 이벤트 표시 방법, 장치 및 이를 제공하는 시스템
CN103843354A (zh) 用于提供信息的方法和装置
KR101113977B1 (ko) 모바일을 이용한 콘텐츠 제공 시스템 및 그 방법
CN103491125A (zh) 远程多媒体信息接收方法及终端
US9316503B2 (en) Method, server, and system for obtaining navigation information
CN103262495A (zh) 在网络上传送多媒体数据的方法
US10296532B2 (en) Apparatus, method and computer program product for providing access to a content
CN103369366A (zh) 多媒体内容传播服务器及相关的多媒体播放方法
JP6562117B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023045687A1 (zh) 投屏方法、设备及系统
KR101784309B1 (ko) 저전력 근거리 통신을 이용한 개인 정보 교환 방법 및 시스템, 이를 수행하기 위한 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160803

Year of fee payment: 5

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20170117

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 7

R401 Registration of restoration