KR20130001405A - 모바일 스마트 디바이스를 이용한 ｔｖ 방송 프로그램 보조 방법 - Google Patents

모바일 스마트 디바이스를 이용한 ｔｖ 방송 프로그램 보조 방법 Download PDF

Info

Publication number
KR20130001405A
KR20130001405A KR1020110062122A KR20110062122A KR20130001405A KR 20130001405 A KR20130001405 A KR 20130001405A KR 1020110062122 A KR1020110062122 A KR 1020110062122A KR 20110062122 A KR20110062122 A KR 20110062122A KR 20130001405 A KR20130001405 A KR 20130001405A
Authority
KR
South Korea
Prior art keywords
smart device
mobile smart
television
additional information
broadcasting
Prior art date
Application number
KR1020110062122A
Other languages
English (en)
Other versions
KR101348704B1 (ko
Inventor
이길웅
김진의
이은구
Original Assignee
인피언컨설팅 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인피언컨설팅 주식회사 filed Critical 인피언컨설팅 주식회사
Priority to KR1020110062122A priority Critical patent/KR101348704B1/ko
Publication of KR20130001405A publication Critical patent/KR20130001405A/ko
Application granted granted Critical
Publication of KR101348704B1 publication Critical patent/KR101348704B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 텔레비전 방송 프로그램 보조 애플리케이션이 설치된 모바일 스마트 디바이스를 이용하여 텔레비전 방송 프로그램의 부가 정보를 습득하는 방법 및 시스템에 관한 것이다. 본 발명의 방법은 (a) 방송국이 방송망을 통해 텔레비전 장치로 텔레비전 방송 프로그램을 송출하는 단계; (b) 상기 모바일 스마트 디바이스가 상기 애플리케이션을 실행하여 애플리케이션 서버에 접속하는 단계; (c) 상기 모바일 스마트 디바이스의 상기 애플리케이션을 상기 방송국의 텔레비전 방송 프로그램 송출에 실시간으로 동기화 하는 단계; 및 (d) 상기 텔레비전 방송 프로그램과 연관성을 갖는 부가 정보 매체(-사용자 입력 인터페이스를 포함한다)를 상기 모바일 스마트 디바이스 화면으로 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기 부가 정보 매체는 상기 텔레비전 방송 프로그램에 의해 방송되는 화면 상의 인물요소, 물건요소, 배경요소 및 음악요소 중 어느 하나 이상과 실시간 연관성을 갖는 연관성 컨텐츠를 포함할 수 있다.

Description

모바일 스마트 디바이스를 이용한 ＴＶ 방송 프로그램 보조 방법{METHOD FOR ASSISTING REALTIME TV BROADCASTING PROGRAM USING SEPARATE MOBILE SMART DEVICE}
본 발명은 스마트 디바이스에 설치되는 애플리케이션에 관한 것이며, 더욱 상세하게는 애플리케이션 프로그램을 이용하여 TV 방송을 보조하는 방법에 관한 것이다.
방송국에서 송출되는 방송 프로그램은 단말기를 통해서 시청자에게 방송된다. 오늘날 유무선 인터넷을 이용하여 방송이 시청되기도 하지만 전형적으로는 TV 수상기를 통해서 시청자에게 방송되는 것이 일반적이다.
방송이 미치는 사회적인 파급력 때문에 텔레비전을 통해 방송되는 방송 컨텐츠에 관련해서는 많은 법규 상의 규제가 있다. 또한 법규에 의한 다양한 규제 이외에도 시청자들의 다양한 기호와 반응 때문에 방송 컨텐츠를 제작하고 전송함에 있어서 여러 가지 제한이 따른다. 예컨대 TV 드라마를 공중파로 방송함에 있어 TV 수상기 화면에 여러 가지 상업적 광고를 텍스트나 이미지로 끼워서 방송하기가 어렵다는 것이다. 즉 법규적인 문제나 시장에서의 소비자들의 반향 때문에 방송 컨텐츠 구성의 자유도가 떨어지게 마련이다.
또한 방송되고 있는 TV 프로그램에 대한 부가적인 정보, 예컨대 시청자들의 반응을 즉시 알고 싶어도 실질적으로 가능하지 않다. 그런 정보를 얻기 위해서는 사용자가 자신의 PC로 이동하여 인터넷을 통해 방송 프로그램을 송출하는 방송사의 웹 사이트에 접속하여야 한다. 그렇게 되면 잠시 동안 방송을 보지 못하는 불편함을 감수해야 한다. 한편 스마트 TV는 인터넷 접속이 가능하기 때문에 시청자에게 보다 개선된 편리함을 제공할 수 있다. 그러나 마찬 가지로 실시간 방송되고 있는 TV 화면을 웹 사이트 접속 화면으로 바꾸어야 하는 불편함이 수반된다.
본 발명의 발명가는 위와 같은 문제점을 해결하기 위하여 오랫동안 연구 노력한 끝에 본 발명을 완성하게 되었다.
본 발명의 목적은 별도의 스마트 디바이스를 이용하여 TV 방송 프로그램을 보조하는 신규한 방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 텔레비전 장치 통해 방송되는 방송 프로그램을 통해 시청자가 얻을 수 없는 부가적인 정보를 텔레비전 장치가 아닌 스마트 디바이스를 이용해서 충족시킴으로써 시청자의 만족도를 더욱 향상시키고자 함에 있다.
본 발명의 또 다른 목적은 텔레비전 장치를 통해 공중으로 방송됨으로써 제한되는 방송 컨텐츠의 상업적 구성의 자유도를 별도의 스마트 디바이스를 이용해서 크게 확장함으로써 방송 사업자의 상업적 이익을 더욱 보장하고자 함에 있다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.
위와 같은 목적을 달성하기 위한 본 발명의 제 1 국면은 텔레비전 방송 프로그램 보조 애플리케이션이 설치된 모바일 스마트 디바이스를 이용하여 텔레비전 방송 프로그램의 부가 정보를 습득하는 방법으로서:
(a) 방송국이 방송망을 통해 텔레비전 장치로 텔레비전 방송 프로그램을 송출하는 단계;
(b) 상기 모바일 스마트 디바이스가 상기 애플리케이션을 실행하여 애플리케이션 서버에 접속하는 단계;
(c) 상기 모바일 스마트 디바이스의 상기 애플리케이션을 상기 방송국의 텔레비전 방송 프로그램 송출에 실시간으로 동기화 하는 단계; 및
(d) 상기 텔레비전 방송 프로그램과 연관성을 갖는 부가 정보 매체(-사용자 입력 인터페이스를 포함한다)를 상기 모바일 스마트 디바이스 화면으로 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기 부가 정보 매체는 상기 텔레비전 방송 프로그램에 의해 방송되는 화면 상의 인물요소, 물건요소, 배경요소 및 음악요소 중 어느 하나 이상과 실시간 연관성을 갖는 연관성 컨텐츠를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 제 2 국면은 텔레비전 방송 프로그램을 실시간으로 보조하는 모바일 스마트 디바이스로서:
방송국에서 방송망을 통해 텔레비전 장치로 송출되는 상기 텔레비전 방송 프로그램과 연관성을 갖는 부가 정보를 표시하는 부가 정보 표시부;
입력 및 신청이 가능한 사용자 입력 인터페이스; 및
애플리케이션 서버와 실시간으로 통신하면서 상기 텔레비전 방송 프로그램과 실시간으로 동기화하는 통신 수단을 포함하는 텔레비전 방송 프로그램 보조 애플리케이션이 실행되며,
상기 부가 정보 표시부를 통해 상기 모바일 스마트 디바이스의 화면으로 표시되는 부가 정보는 텔레비전 수상기를 통해 방송 중인 방송 컨텐츠 화면 상의 인물요소, 물건요소, 배경요소 및 음악요소 중 어느 하나 이상과 실시간 연관성을 갖는 연관성 컨텐츠를 포함하는 것을 특징으로 한다.
또한, 상기한 목적을 달성하기 위한 본 발명의 제 3 국면은 모바일 스마트 디바이스를 이용한 텔레비전 방송 프로그램을 실시간으로 보조하는 시스템으로서:
텔레비전 방송 프로그램을 제작하여 방송망을 통해 송출하는 방송국 및 상기 방송망을 통해 상기 텔레비전 방송 프로그램을 수신하는 텔레비전 장치를 포함하는 제 1 시스템;
텔레비전 방송 프로그램 보조 애플리케이션이 설치되며, 상기 제 1 시스템의 텔레비전 방송 프로그램에 관련한 부가 정보 매체를 화면에 표시하는 모바일 스마트 디바이스와, 상기 모바일 스마트 디바이스로 데이터를 전송하며 상기 제 1 시스템의 텔레비전 방송과 실시간으로 동기화하는 애플리케이션 서버와, 상기 애플리케이션 서버에 구축되는 데이터베이스 및 상기 데이터베이스를 관리하며 상기 모바일 스마트 디바이스의 화면에 표시되는 부가 정보를 입력하는 매니징 오퍼레이터;를 포함하여 구성되는 제 2 시스템을 포함하며,
상기 제 2 시스템을 통해 상기 제 1 시스템의 텔레비전 방송 프로그램을 보조하는 것을 특징으로 한다.
위와 같은 방법, 시스템 및 모바일 스마트 디바이스의 구성을 통해서, 신규하고 현저한 효과를 거둘 수 있다. TV 장치를 통해서 방송 중인 텔레비전 방송 컨텐츠를 시청자가 즐겁게 시청하면서, 시청 중에 생긴 다양한 관심사(그 방송 컨텐츠 자체에 대한 관심사, 등장 인물, 배경이 된 장소, 방송 화면에 잡힌 물건, 방송을 통해 들리는 음악 등)에 대한 정보를 즉시 제공하고, 즉시 정보를 향유할 수 있는 현저한 효과가 본 발명을 통해 발휘된다. 이를 통해서 시청자의 방송에 대한 만족도는 더욱 향상될 것이다.
또한, 방송 컨텐츠의 상업적 구성의 자유도를 별도의 모바일 스마트 디바이스의 애플리케이션을 통해 크게 확장함으로써 방송 사업자의 상업적 이익이 실현될 것이다.
본 발명의 명세서에서 구체적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 시스템 구성 예를 개략적으로 나타내는 도면이다.
도 2는 본 발명에 따른 애플리케이션 서비스 모듈의 구성예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 모바일 스마트 디바이스의 화면 구성예를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 연관성 컨텐츠의 동영상 플레이리스트를 생성하는 개념을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 모바일 스마트 디바이스의 화면 구성예를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따라 연관성 컨텐츠에 대한 상세 정보를 표시하는 모바일 스마트 디바이스의 화면 구성예를 나타내는 도면이다.
도 7은 본 발명에 따른 방법의 전체 프로세스를 개략적으로 나타내는 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 시스템의 개략적인 구성을 나타낸다. 본 발명은 두 개의 시스템이 유기적으로 결합된다. 제 1 시스템은 방송 컨텐츠를 전송하는 방송 시스템이며, 제 2 시스템은 모바일 스마트 디바이스로 연관성 컨텐츠를 전송하는 데이터 전송 시스템이다. 제 2 시스템에서 전송되는 연관성 컨텐츠는 제 1 시스템에서 실시간으로 방송되는 방송 컨텐츠와 연관성을 갖는다. 이를 통해 제 2 시스템이 제 1 시스템을 보조한다.
상기 제 1 시스템에 있어서, 방송국은 텔레비전 방송 프로그램(TV Broadcasting program contents)을 제작한다. 텔레비전 방송 프로그램은 방송망을 통해 텔레비전 장치를 전송되는 방송 컨텐츠를 의미한다. 방송국 카메라(11)를 이용하여 텔레비전 방송 프로그램을 촬영하고 실시간으로 인코딩하여 방송국 서버(10) 시스템을 통해 디지털 송출한다. 이 방송 프로그램은 방송 기지국(50)이나 기타 방송망(51)을 통해 댁내의 텔레비전 장치(1)를 통해 실시간으로 재생된다. 기타 방송망(51)에는 유료 TV 케이블 네트워크, 인터넷 등이 포함될 수 있다. 텔레비전 방송을 위한 제작, 데이터 전송 및 방송 시스템은 방송 분야에서 널리 알려진 공지 사항이다. 방송기술 자체는 본 발명의 고유한 기술사상에 포섭되지는 않으며 또한 본 발명의 기술사상이 제한되는 것은 아니기 때문에 이에 대한 상세한 설명은 생략한다.
방송국 서버(10)는 다양한 데이터베이스(12, 14)를 포함할 수 있다. 데이터베이스(12)는 본 발명의 서비스를 제공하기 위해 구축된 데이터베이스이다. 이 데이터베이스(12)는 제 2 시스템이 필요로 하는 데이터를 수집하여 1개 이상의 데이터베이스로 구축될 수 있다. 데이터베이스(14)는 제 1 시스템의 방송에서 전용되는 자원에 대한 데이터베이스이다.
제 2 시스템에 있어서, 애플리케이션 서버(20)는 텔레비전 장치(1)를 통해 방송되는 텔레비전 방송 프로그램과 연관성을 갖는 부가 정보를 모바일 스마트 디바이스(100)로 네트워크를 통해 전송한다. 이 네트워크는 WCDMA와 같은 이동전화망의 네트워크(56)일 수 있다. 또한 상기 네트워크는 Wi-fi, Wibro, Wimax 등의 무선 인터넷(55)일 수 있다. 네트워크 상에 존재하는 다수의 단말을 통해서 무선으로 데이터를 전송하는 네트워크라면 특별히 제한되지 않는다. 매니징 오퍼레이터(21)는 상기 제 1 시스템에서 전달받은 데이터를 이용하여 모바일 스마트 디바이스(100)의 화면에 표시되는 부가 정보를 상기 애플리케이션 서버(20)에 입력하여 등록한다.
모바일 스마트 디바이스(100)에는 텔레비전 방송 프로그램 보조 애플리케이션이 설치되며, 이 애플리케이션을 실행하여 상기 애플리케이션 서버(20)에 접속한다. 모바일 스마트 디바이스(100)에 설치되는 애플리케이션은 텔레비전 장치(1)를 통해 방송되는 텔레비전 방송 프로그램에 관련한 부가 정보 매체를 화면에 표시하는 기능을 수행한다.
제 2 시스템은 상기 제 1 시스템의 데이터베이스(12)에 대응하는 데이터베이스(22)를 가지며, 이 데이터베이스(22)에는 모바일 스마트 디바이스(100)로 애플리케이션 서버(20)가 부가 정보를 전송함에 있어서 필요한 방송 컨텐츠 정보가 포함될 수 있다. 한편 데이터베이스(24)는 제 2 시스템의 데이터 전송에 전용되는 자원에 대한 데이터베이스이다.
상기 애플리케이션 서버(20)는 모바일 스마트 디바이스(100)로 편집 영상, 이미지, 라이브 영상의 전송을 위한 인코딩 시스템(Live Encoder Syetem)을 포함할 수 있다. 이 인코딩 시스템을 통해 인코딩된 영상은 미디어 서버를 거쳐 모바일 스마트 디바이스(100)로 전송될 수 있다. 또한 상기 매니징 오퍼레이터(21)를 통해 등록된 영상편집 VOD가 미디어 서버를 통해 모바일 스마트 디바이스(100)로 전송될 수 있다. 인코딩 시스템과 미디어 서버를 통해 컨텐츠를 전송하는 기술은 당업자에게 알려져 있으며 다양한 변형과 응용이 가능하다.
상기 애플리케이션 서버(20)는 상기 모바일 스마트 디바이스의 화면상에 표시되는 데이터와 텔레비전 장치(1)를 통해 송출되는 텔레비전 방송이 재생 시점이 일치할 수 있도록 제 1 시스템과 실시간으로 동기화 한다. 바람직한 일 실시형태에서는 애플리케이션 서버(20)가 제 1 시스템의 라이브 방송 영상을 모바일 스마트 디바이스(100)를 통해 스트리밍하고 동시에 부가 정보를 전송할 수 있다. 또 다른 실시형태에서는 모바일 스마트 디바이스(100)에 라이브 방송 영상을 송출하지 않고 부가 정보만을 전송할 수 있다. 이 경우에 모바일 스마트 디바이스(100)의 미디어 플레이어에는 라이브 방송이 서비스 되지 않음을 표시할 수 있다.
상기 모바일 스마트 디바이스(100)는 아이폰™과 같은 스마트 폰이나 아이패드™나 갤럭시 탭™과 같은 태블릿 PC일 수 있다. 또한 무선 인터넷 접속 또는 무선 통신에 의해 데이터를 받을 수 있는 휴대용 컴퓨팅 기기라면 본 발명의 모바일 스마트 디바이스(100)에 포함될 것이다.
도 2는 모바일 스마트 디바이스(100)에 설치되는 본 발명의 텔레비전 방송 프로그램 보조 애플리케이션의 서비스 모듈의 주요 구성 예를 나타낸다. 본 발명에 따른 애플리케이션 서비스 모듈은 미디어 플레이어(91), 부가 정보 표시부(92), 사용자 입력 인터페이스(93), 결제처리 모듈(94)을 포함할 수 있다. 이들 요소가 결합되어 부가 정보를 제공하는 디바이스 화면상의 구성 수단을 부가 정보 매체라는 용어로 정의하여 설명할 수 있다.
또한, 이들 요소들은 모바일 스마트 디바이스(100)에 기본적으로 설치되어 있는 프로그램에 연동하도록 구성될 수 있다. 상기 부가 정보 표시부(92)를 통해 표시되는 데이터는 텍스트, 이미지, 동영상, 사운드 등의 포맷으로 구성될 수 있다.
또한, 도시되지는 않았으나 본 발명의 모바일 스마트 디바이스는 텔레비전 장치와 통신하는 모듈을 더 포함할 수 있다. 어떤 실시예에서는 텔레비전 장치를 통해 수신되고 재생되는 화면에 바코드 또는 QR 코드를 모바일 스마트 디바이스에 내장된 카메라로 캡쳐하고 처리하는 모듈을 포함할 수 있다. 이렇게 TV 화면의 바코드 또는 QR 코드를 캡쳐함으로써 본 발명에 관련한 애플리케이션을 기기로 다운로드하거나 또는 설치된 애플리케이션을 구동할 수 있다. 바코드 또는 QR 코드에 관련한 인식 처리 절차는 당업자에게 알려져 있다. 또 다른 실시예에서는 텔레비전 장치와 통신하는 모듈은 근거리 무선 통신 방법식인 NFC(Near Field Communication) 모듈일 수 있다. NFC 모듈이 탑재된 모바일 스마트 디바이스를 텔레비전 장치에 터치함으로써 본 발명에 관련한 애플리케이션을 기기에 다운로드 하거나 또는 설치된 애플리케이션을 구동하거나 또는 구매 이벤트를 실행할 수 있다.
한편, 상기 부가 정보 표시부(92)를 통해 표시되는 부가 정보는 텔레비전 장치를 통해 방송되는 방송 컨텐츠와 연관성을 갖는 부가 정보를 의미하는 것으로 정의된다. 해당 텔레비전 방송 프로그램과 연관성을 갖는 VOD(96), 방송편성표(97), 시청자 게시판(98)이 포함될 수 있다. 또한 상기 부가 정보 표시부(92)를 통해 모바일 스마트 디바이스(100)의 화면 상에 표시되는 부가 정보는 방송되는 텔레비전 방송 프로그램과 실시간 연관성을 갖는 연관성 컨텐츠(99a, 99b, 99c, 99d)를 포함할 수 있다. 이들 연관성 컨텐츠들(99a, 99b, 99c, 99d)은 방송 중인 텔레비전 방송 프로그램에 포함되는 인물, 물건, 배경, 음악 중 어느 하나와 연관성을 갖는 컨텐츠로 정의된다. 이러한 연관성 컨텐츠들은 제 2 시스템의 데이터베이스에 구축된다. 각 연관성 컨텐츠에는 고유번호가 부여될 수 있으며, 텔레비전 방송 프로그램 정보, 방송 컨텐츠 방송시간, 연관성 컨텐츠 게시 시간 및 연관성 컨텐츠 종료 시간 등이 인덱스 될 수 있다. 이와 같은 인덱스 정보는 제 1 시스템이 제공하며, 매니징 오퍼레이터가 각 연관성 컨텐츠마다 인덱스 정보를 등록한다.
결제처리 모듈(94)는 상기 연관성 컨텐츠들(99a, 99b, 99c, 99d)이 구매 가능한 상업적인 광고인 경우에는 모바일 스마트 디바이스(100)에서 즉시 구매할 수 있도록 기능한다. 구체적인 결제처리 방법은 모바일 스마트 디바이스(100)에 미리 등록되어 있는 신용카드 정보를 이용할 수 있다. 또한 공지된 방법에 의한 다양한 결제처리를 포함할 수 있다.
사용자 입력 인터페이스(93)는 모바일 스마트 디바이스(100)의 입력 수단을 이용하도록 프로그램될 수 있다. 바람직하게는 터치 입력에 의한 텍스트 입력을 포함한다. 또한 사용자 입력 인터페이스(93)는 다이렉트 전화 수단(95)를 포함할 수 있다. 상기 연관성 컨텐츠가 구매 가능한 상업적인 광고인 경우에 다이렉트 전화 수단(95)을 누름으로써 판매자의 고객센터와 연결될 수 있으며, 또한 간편하게 구매 예약을 할 수 있다.
도 3을 보자. 도 3은 모바일 스마트 디바이스(100)의 화면을 통해 표시되는 본 발명에 따른 애플리케이션의 화면 구성을 예시하고 있다. 이는 본 발명에 따른 부가 정보 매체의 일 실시형태로 이해될 수 있다. 플레이어 영역(101)을 통해 텔레비전 방송 프로그램이 실시간으로 스트리밍 될 수 있다(Live Broadcasting). 플레이어 영역(101)의 우측에는 연관성 컨텐츠 영역(110)에는 미리 정해진 규칙에 따라 설정되고 변화하는, 즉 방송컨텐츠와 실시간 연관성을 갖는 연관성 컨텐츠(111, 113, 115, 117)가 표시될 수 있다.
예컨대 텔레비전 방송 프로그램이 30분짜리 TV 드라마인 "방송 A"라고 가정하자. 제 2 시스템에 미리 구축되는 연관성 컨텐츠 데이터베이스에는 [표 1]과 같은 목록이 미리 작성될 수 있다. 이 목록은 설명의 편의를 위하여 임의로 작성한 것이다.
순서 분류 명칭 고유번호 비고 게시시간 종료시간 게시위치
1 음악 주제곡 ABC12345601X 방송 A의 주제곡 00:00 02:30 111
2 배경 레스토랑 ABC12345602Y 장면 배경이 된 레스토랑 00:00 01:20 113
3 물건 여성복 ABC12345603X 방송 A의 배우 C가 입은 여성복 00:00 02:10 115
4 인물 남성양복 ABC12345604X 방송 A의 배우 L이 모델인 구두 03:00 04:40 117
5 인물 뉴스 ABC12345605Y 방송 A의 배우 K에 관한 뉴스 02:30 08:45 111
… … … … … … … …
10 물건 자동차 ABC12345615Y 배우가 운전 중인 자동차 브랜드 11:00 12:25 113
… … … … … … … …
15 인물 뉴스 ABC12345605Y 방송 A의 배우 K에 관한 뉴스 15:00 15:45 111
16 물건 가방 ABC12345616X 배우가 사용하고 있는 가방 15:.45 17:15 111
17 배경 카페 ABC12345617Y 장면 배경이 된 카페 16:00 17:45 113
18 인물 뉴스 ABC12345618Y 방송 A의 배우 P에 관한 뉴스 14:30 16:12 115
19 음악 배경음악 ABC12345619X 카페에서 나오는 배경음악 16:10 17:45 117
… … … … … … … …
… … … … … … … …
… … … … … … … …
… … … … … … … …
30 음악 주제곡 ABC12345630X 방송 A의 주제곡 28:30 30:00 117
상기 표 1의 목록에 규정된 바와 같이 도 3의 연관성 컨텐츠 영역(110)에 표시되는 연관성 컨텐츠는 방송 재생 시간에 따라 실시간으로 바뀌게 된다.
그런데 텔레비전 방송 시청 중에 연관성 컨텐츠를 선택(터치입력)하여 그 상세한 정보를 보는 것은 방송에 집중할 수 없는 단점이 있다. 이를 개선하기 위한 본 발명의 일 실시예에 따르면 텔레비전 방송이 재생되고 있는 동안에는 텔레비전 방송을 보되 관심 있는 연관성 컨텐츠에 북마크를 표시해 두고 해당 방송이 종료된 다음에 북마크한 연관성 컨텐츠를 보도록 할 수 있다. 예컨대 연관성 컨텐츠 영역에 표시된 연관성 컨텐츠에 북마크를 하면, 해당 컨텐츠가 북마크 컨텐츠 영역(130)에 위치하도록 구성될 수 있다. 도 3의 북마크 컨텐츠 영역(130)에 표시되는 연관성 컨텐츠(131, 132, 133, 134)는 방송 시청 중인 사용자가 특히 관심을 표시한 연관성 컨텐츠에 해당하며, 다수 선택된 경우 화면 이동바(135, 136)이 활성화될 수 있다.
연관성 컨텐츠가 동영상 파일로 이루어진 경우에, 방송 프로그램이 종료된 후에 북마크된 연관성 컨텐츠에 대한 플레이리스트 동영상이 생성되도록 구성할 수 있다. 도 4를 보자. 도 4는 연관성 컨텐츠의 플레이리스트 동영상 파일을 자동으로 생성하는 방법을 개념적으로 나타낸다. 도 4(a)가 본 발명의 방법에 따라 상기 연관성 컨텐츠 영역(110)에서 노출되는 연관성 컨텐츠 1(C1)~ 연관성 컨텐츠 (CN)의 원본 파일들의 배치를 나타낸다고 가정하자. 실제로는 재생되는 시간이 중첩될 수 있다. 사용자는 연관성 컨텐츠 1(C1)~ 연관성 컨텐츠 (CN) 중 관심이 있는 연관성 컨텐츠에 대해서 어느 1개 이상을 자유롭게 선택(북마크)할 수 있다. 예컨대 C2, C4, C5, … CN -1 연관성 컨텐츠에 북마크를 표시하였다고 가정하자. 그렇다면 상기 북마크 컨텐츠 영역(130)에 순차적으로 위치하여 표시될 것이다. 또한 동시에 플레이리스트 생성 프로그램이 해당 연관성 컨텐츠를 순차적으로 배치한 동영상 플레이리스트를 자동 생성한다. 도 4(b)에 도시된 바와 같이, 이렇게 생성된 연광성 컨텐츠 VOD 영상의 구간 프레임(P1, P2, P3 … PM)(M은 1보다 큰 정수)에 있어서 P1=C2, P2=C4, P3=C5, PM=CN -1의 관계를 갖게 된다. 그리고 이렇게 생성된 동영상 플레이리스트 파일을 방송 프로그램이 모두 종료된 후에 플레이어를 통해 자동으로 재생되도록 할 수 있다.
북마크를 입력하는 방법은 애플리케이션이 북마크 입력 사용자 인터페이스를 제공하는 방법, 정해진 시간에 신속히 두 번 터치입력 하도록 하는 방법 등 다양하게 구성될 수 있다.
다시 도 3의 애플리케이션 화면 구성으로 돌아와서, 해당 텔레비전 방송 프로그램의 미리 저장된 VOD가 121, 122, 123 영역에 표시될 수 있다. 사용자가 이것을 선택함으로써 애플리케이션 서버가 미리 저장된 해당 VOD를 모바일 스마트 디바이스로 스트리밍하며, 디바이스의 플레이어를 통해 재생할 수 있다. 또한 웹 사이트 접속 영역(125)을 선택하면 해당 텔레비전 방송 프로그램의 웹 사이트에 접속하도록 구성될 수 있다.
방송편성표 영역(140)은 TV 방송채널의 편성표 정보를 제공하며, 시청자 게시판 영역(150)은 해당 방송 프로그램의 시청자 게시판을 제공한다. 디바이스 사용자는 실시간으로 텍스트를 입력할 수 있으며, 다른 시청자들의 반응을 즉시 확인할 수 있다. 다이렉트 전화 영역(145)은 애플리케이션 서버가 설정한 전화번호로 다이렉트로 연결되도록 하는 기능을 수행한다. 방송 프로그램이 TV 토론회와 같이 시청자의 의견을 표현할 수 있는 경우, 홈 쇼핑과 같은 상업적인 광고 방송인 경우, 전화통화로 기부금을 납부하는 경우 등에 있어서 상기 다이렉트 전화 영역(145)이 활성화된다. 전화통화의 기능이 필요 없는 경우에는 다이렉트 전화 영역(145)이 비활성화된다.
광고 영역(142)에는 광고 배너가 포함될 수 있다. 또한 메뉴 버튼(160)을 선택함으로써 애플리케이션의 메뉴를 표시할 수 있다.
도 5는 도 3의 실시예보다 (1) 모바일 스마트 디바이스(100)의 사이즈가 작은 경우에, 또는 (2) 플레이어(101) 화면을 확대한 경우의 애플리케이션 화면 구성을 예시한다. 이 실시예에서도 연관성 컨텐츠 영역(110)에 표시되는 연관성 컨텐츠(111, 113, 115)는 방송 컨텐츠의 재생 화면이 바뀜에 따라 미리 설정된 규칙에 맞게 실시간으로 변경된다. 방송편성표 영역(140), 시청자 게시판 영역(150), 다이렉트 전화 영역(145)은 도 3의 경우와 그 기능이 같다. 이들 하단의 영역들 대신에 상기에서 설명한 북마크 컨텐츠 영역이 배치될 수도 있다.
도 3 및 도 5에서 모바일 스마트 디바이스(100)의 사용자가 연관성 컨텐츠 영역에 표시되어 있는 연관성 컨텐츠 "가방"을 선택하였다고 하자. 도 6은 "가방"에 대한 터치 입력 이벤트가 발생한 경우의 상세 화면의 구성예를 나타낸다. 타이틀 영역(1110), 이미지 영역(1112), 텍스트 영역(1114)이 포함될 수 있다. 이미지 영역(1112)에 표시되는 영상은 동영상 또는 1개 이상의 정지 영상일 수 있다. 텍스트 영역(1114)에는 가방 제품의 상세한 정보가 기재될 수 있으며, 이 영역에도 이미지가 부가될 수 있다. 사용자가 이 화면을 통해 정보를 취득하고 해당 제품을 사기로 결심하였다면, 구매요청 영역(1116)을 터치함으로써 구매 입력 이벤트를 발생시킬 수 있다. 그러면 결제 처리 모듈에 의해 미리 설정된 결제 처리 절차가 수행될 수 있다. 구매 상담 프로세스가 개설되어 있다면 다이렉트 콜 영역(1145)가 활성화될 수 있다. 이것을 선택하여 다이렉트로 상담센터와 전화통화를 요청할 수 있다. 또한 전술한 NFC 모듈을 통해서 텔레비전 장치에 모바일 디바이스 기기를 터치함으로써 구매 이벤트를 실행할 수 있다.
소비자 게시판(1142)이 포함될 수 있다. 소비자 게시판(1142)를 선택함으로써 이 제품을 구매한 소비자들의 반응을 열람할 수 있다.
도 7은 위와 같은 구성의 텔레비전 방송 프로그램 보조 애플리케이션이 설치된 모바일 스마트 디바이스를 이용하여 텔레비전 방송 프로그램의 부가 정보를 습득하는 개괄적인 프로세스를 나타낸다.
먼저 방송국이 방송망을 통해 텔레비전 방송 프로그램을 송출한다(S10). 이로써 텔레비전 장치를 통해 TV 방송 컨텐츠가 방송된다. 텔레비전 전원이 온 되어 있으며 소망하는 텔레비전 방송 채널에 맞추어져 있다고 가정하자(이러한 가정은 본 명세서 전체에 전제되어 있다). 네트워크 기술의 발전 결과 전통적인 지상파 방송망이나 위성망 뿐만 아니라, 케이블 네트워크, 인터넷, 이동통신망 등의 네트워크를 경유하여 TV 방송 컨텐츠가 전송될 수 있다. 본 단계는 상기 제 1 시스템에 의해 실시된다.
다음으로 TV 방송을 시청하는 시청자가 자신의 모바일 스마트 디바이스에 미리 설치되어 있는 상기 애플리케이션을 실행함으로써(S20), 제 2 시스템의 애플리케이션 서버에 접속한다(S30). 애플리케이션을 실행하고 서버에 접속하면 애플리케이션 서버는 제 1 시스템에서 이루어지는 방송과 제 2 시스템의 모바일 스마트 디바이스의 애플리케이션을 실시간으로 동기화한다(S40).
상기 동기화 단계를 통해 애플리케이션이 최신 것으로 갱신되면, 모바일 스마트 디바이스 화면에 상기 텔레비전 방송 프로그램에 관련된 부가 정보 매체를 출력한다(S50). 방송 채널을 선택하는 이벤트가 입력될 것이다. 시청자는 제 1 시스템에서 TV 장치를 통해 방송되는 방송 컨텐츠를 시청할 것이며, 필요에 따라 연관성을 갖는 연관성 컨텐츠가 표시되는 모바일 스마트 디바이스를 보면서 부가 정보를 습득할 수 있게 된다.
한편, 본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예에 의해 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 첨언한다.

Claims (9)

  1. 텔레비전 방송 프로그램 보조 애플리케이션이 설치된 모바일 스마트 디바이스를 이용하여 텔레비전 방송 프로그램의 부가 정보를 습득하는 방법으로서:
    (a) 방송국이 방송망을 통해 텔레비전 장치로 텔레비전 방송 프로그램을 송출하는 단계;
    (b) 상기 모바일 스마트 디바이스가 상기 애플리케이션을 실행하여 애플리케이션 서버에 접속하는 단계;
    (c) 상기 모바일 스마트 디바이스의 상기 애플리케이션을 상기 방송국의 텔레비전 방송 프로그램 송출에 실시간으로 동기화 하는 단계; 및
    (d) 상기 텔레비전 방송 프로그램과 연관성을 갖는 부가 정보 매체(-사용자 입력 인터페이스를 포함한다)를 상기 모바일 스마트 디바이스 화면으로 출력하는 단계;를 포함하는, 모바일 스마트 디바이스를 이용한 TV 방송 프로그램 보조 방법.
  2. 제1항에 있어서,
    상기 부가 정보 매체는 상기 텔레비전 방송 프로그램에 의해 방송되는 화면 상의 인물요소, 물건요소, 배경요소 및 음악요소 중 어느 하나 이상과 실시간 연관성을 갖는 연관성 컨텐츠를 포함하는 것인, 모바일 스마트 디바이스를 이용한 TV 방송 프로그램 보조 방법.
  3. 제2항에 있어서,
    상기 부가 정보 매체는 결제처리 모듈을 포함하며, 연관성 컨텐츠가 구매가능한 것인 경우에 상기 모바일 스마트 디바이스에서 결제처리 기능을 수행하는 것인, 모바일 스마트 디바이스를 이용한 TV 방송 프로그램 보조 방법.
  4. 제1항에 있어서,
    상기 부가 정보 매체는 복수의 광고 영상을 포함하며 상기 텔레비전 방송 프로그램이 재생됨에 따라 미리 정해진 광고 영상으로 실시간 변경되며,
    (e) 상기 부가 정보 매체의 1개 이상의 광고 영상에 북마크를 표시하는 단계;
    (f) 북마크가 표시된 1개 이상의 광고 영상에 대한 리스트를 생성하고 화면에 표시하는 단계; 및
    (g) 북마크가 표시된 광고 영상에 대한 재생 이벤트가 발생하는 경우 북마크가 표시된 광고 영상을 재생하는 단계를 더 포함하는, 모바일 스마트 디바이스를 이용한 TV 방송 프로그램 보조 방법.
  5. 제1항에 있어서,
    상기 부가 정보 매체는 방송편성표 또는 시청자 게시판을 더 포함하는, 모바일 스마트 디바이스를 이용한 TV 방송 프로그램 보조 방법.
  6. 제1항에 있어서,
    상기 사용자 입력 인터페이스는 상기 텔레비전 방송 프로그램과 관련된 다이렉트 전화 또는 텍스트 입력기를 포함하는, 모바일 스마트 디바이스를 이용한 TV 방송 프로그램 보조 방법.
  7. 텔레비전 방송 프로그램을 실시간으로 보조하는 모바일 스마트 디바이스로서:
    방송국에서 방송망을 통해 텔레비전 장치로 송출되는 상기 텔레비전 방송 프로그램과 연관성을 갖는 부가 정보를 표시하는 부가 정보 표시부;
    입력 및 신청이 가능한 사용자 입력 인터페이스; 및
    애플리케이션 서버와 실시간으로 통신하면서 상기 텔레비전 방송 프로그램과 실시간으로 동기화하는 통신 수단을 포함하는 텔레비전 방송 프로그램 보조 애플리케이션이 실행되며,
    상기 부가 정보 표시부를 통해 상기 모바일 스마트 디바이스의 화면으로 표시되는 부가 정보는 텔레비전 장치를 통해 방송 중인 방송 컨텐츠 화면 상의 인물요소, 물건요소, 배경요소 및 음악요소 중 어느 하나 이상과 실시간 연관성을 갖는 연관성 컨텐츠를 포함하는 것을 특징으로 하는, TV 방송 프로그램을 실시간으로 보조하는 모바일 스마트 디바이스.
  8. 제7항에 있어서,
    상기 애플리케이션은 결제처리 모듈을 포함하며, 상기 연관성 컨텐츠가 구매가능한 것인 경우에 상기 모바일 스마트 디바이스에서 결제처리 기능을 수행하는 것인, TV 방송 프로그램을 실시간으로 보조하는 모바일 스마트 디바이스.
  9. 텔레비전 방송 프로그램을 제작하여 방송망을 통해 송출하는 방송국 및 상기 방송망을 통해 상기 텔레비전 방송 프로그램을 수신하는 텔레비전 장치를 포함하는 제 1 시스템;
    텔레비전 방송 프로그램 보조 애플리케이션이 설치되며, 상기 제 1 시스템의 텔레비전 방송 프로그램에 관련한 부가 정보 매체를 화면에 표시하는 모바일 스마트 디바이스와, 상기 모바일 스마트 디바이스로 데이터를 전송하며 상기 제 1 시스템의 텔레비전 방송과 실시간으로 동기화하는 애플리케이션 서버와, 상기 애플리케이션 서버에 구축되는 데이터베이스 및 상기 데이터베이스를 관리하며 상기 모바일 스마트 디바이스의 화면에 표시되는 부가 정보를 입력하는 매니징 오퍼레이터;를 포함하여 구성되는 제 2 시스템을 포함하며,
    상기 제 2 시스템을 통해 상기 제 1 시스템의 텔레비전 방송 프로그램을 보조하는 것을 특징으로 하는 모바일 스마트 디바이스를 이용한 텔레비전 방송 프로그램을 실시간으로 보조하는 시스템.
KR1020110062122A 2011-06-27 2011-06-27 모바일 스마트 디바이스를 이용한 ｔｖ 방송 프로그램 보조 방법 KR101348704B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110062122A KR101348704B1 (ko) 2011-06-27 2011-06-27 모바일 스마트 디바이스를 이용한 ｔｖ 방송 프로그램 보조 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110062122A KR101348704B1 (ko) 2011-06-27 2011-06-27 모바일 스마트 디바이스를 이용한 ｔｖ 방송 프로그램 보조 방법

Publications (2)

Publication Number Publication Date
KR20130001405A true KR20130001405A (ko) 2013-01-04
KR101348704B1 KR101348704B1 (ko) 2014-01-08

Family

ID=47834446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110062122A KR101348704B1 (ko) 2011-06-27 2011-06-27 모바일 스마트 디바이스를 이용한 ｔｖ 방송 프로그램 보조 방법

Country Status (1)

Country Link
KR (1) KR101348704B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061652A1 (ko) * 2015-10-05 2017-04-13 엘지전자 주식회사 이동 단말기 및 이를 이용한 영상표시장치에서의 결제방법
KR20170049518A (ko) * 2014-09-08 2017-05-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 교차-영역 상호작용성을 가진 독립형 다중-영역 디스플레이
WO2019093838A1 (ko) * 2017-11-13 2019-05-16 (주) 알트소프트 로컬 박스 사업자 간 배너 광고 공유가 가능한 로컬 박스 광고 서비스 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110033629A (ko) * 2009-09-25 2011-03-31 브로드밴드미디어주식회사 책갈피 기능을 제공하기 위한 방송 서비스 시스템 및 방법
KR20110044956A (ko) * 2011-03-30 2011-05-03 한국정보통신주식회사 방송 연동을 통한 광고 제공 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170049518A (ko) * 2014-09-08 2017-05-10 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 교차-영역 상호작용성을 가진 독립형 다중-영역 디스플레이
WO2017061652A1 (ko) * 2015-10-05 2017-04-13 엘지전자 주식회사 이동 단말기 및 이를 이용한 영상표시장치에서의 결제방법
WO2019093838A1 (ko) * 2017-11-13 2019-05-16 (주) 알트소프트 로컬 박스 사업자 간 배너 광고 공유가 가능한 로컬 박스 광고 서비스 시스템

Also Published As

Publication number Publication date
KR101348704B1 (ko) 2014-01-08

Similar Documents

Publication Publication Date Title
US20190082212A1 (en) Method for receiving enhanced service and display apparatus thereof
US10080046B2 (en) Video display device and control method thereof
US9398328B2 (en) Video display device and method for controlling same
CN102209269B (zh) 频道内容关联信息的播放方法、设备和系统
US20120240142A1 (en) Content Provision
EP2501144A2 (en) Content provision
JP2014093695A (ja) 広告提供装置、広告提供システム及び広告提供方法
KR101136279B1 (ko) 미디어 체크인 서비스 제공을 위한 시스템, 서버, 단말, 방법, 및 기록 매체
CN103856826A (zh) 视频信号播放方法与装置
US20130111525A1 (en) Method and apparatus for providing information
US20100122189A1 (en) System and method of providing interactive advertisements
KR101348704B1 (ko) 모바일 스마트 디바이스를 이용한 ｔｖ 방송 프로그램 보조 방법
CN105208449A (zh) 一种同步浏览涉及播出电视节目相关资讯的方法及系统
US10555049B2 (en) Music sharing and advertising
JP2011101307A (ja) 情報配信システム及び情報配信方法
KR101537547B1 (ko) 오버레이 스트리밍을 이용한 온라인 생방송 광고 시스템 및 방법
US20140282632A1 (en) Using audio data to identify and record video content
JP4557265B2 (ja) コンテンツ視聴システムおよびその方法
KR100845145B1 (ko) 디지털 멀티미디어 방송과 리치 미디어 서비스를 연계한광고방법
KR102199568B1 (ko) 전자 장치 및 그 동작 방법
KR101279848B1 (ko) 스마트 디바이스를 이용한 방송 컨텐츠 및 연관성 뉴스 컨텐츠의 결합 방법
JP5542770B2 (ja) 視聴者応答システム
US20170347154A1 (en) Video display apparatus and operating method thereof
KR100667313B1 (ko) 방송 내용 관련 컨텐츠 제공 시스템 및 방법
CN112075084B (zh) 接收装置及接收方法、发送装置及发送方法、以及收发系统及收发方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee