KR100776635B1 - Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치 - Google Patents

Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR100776635B1
KR100776635B1 KR1020060094893A KR20060094893A KR100776635B1 KR 100776635 B1 KR100776635 B1 KR 100776635B1 KR 1020060094893 A KR1020060094893 A KR 1020060094893A KR 20060094893 A KR20060094893 A KR 20060094893A KR 100776635 B1 KR100776635 B1 KR 100776635B1
Authority
KR
South Korea
Prior art keywords
content
network
top box
user set
user
Prior art date
Application number
KR1020060094893A
Other languages
English (en)
Inventor
김영민
양경성
Original Assignee
주식회사 셀런
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀런 filed Critical 주식회사 셀런
Priority to KR1020060094893A priority Critical patent/KR100776635B1/ko
Application granted granted Critical
Publication of KR100776635B1 publication Critical patent/KR100776635B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2854—Wide area networks, e.g. public data networks
    • H04L12/2856—Access arrangements, e.g. Internet access
    • H04L12/2869—Operational details of access network equipments
    • H04L12/2898—Subscriber equipments

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

IP망을 통해 연결된 사용자 셋톱박스와 원격지 서버 시스템 상호간의 원격접속 방법 및 이를 위한 장치가 제공된다. 본 발명에 따른 방법은, a) 사용자 셋톱박스에서, 원격접속 프로그램을 실행하고 특정 컨텐츠를 요청하는 메시지를 IP망(internet protocol network)을 통해 전달하는 단계, b) 원격지 서버 시스템에서, 상기 특정 컨텐츠를 요청하는 메시지의 수신에 응답하여, 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 단계, c) 상기 원격지 서버 시스템에서, 실행된 컨텐츠의 화면을 캡쳐링하는 단계, d) 상기 캡쳐 화면을 MPEG 비디오 인코더를 이용하여 인코딩하고, 상기 MPEG 비디오 인코더에 의해 인코딩된 비디오 데이터를 네트워크 스트리밍 에이전트를 이용하여 IP망을 통해 스트리밍하는 단계, 및 e) 상기 사용자 셋톱박스에서, 상기 원격지 서버 시스템에서 전달된 데이터를 디코딩하여 사용자 화면상에 디스플레이하는 단계를 포함하여 이루어진다. MPEG 비디오 인코더의 바람직한 예로는 H.264 인코더이다. 상기한 방법은, 기존의 사용자 셋톱박스의 하드웨어적 구성에 어떠한 변경 없이도, 사용자에 의한 다양한 컨텐츠로의 접근을 가능하게 하고, 통신속도에 따른 화면전달의 지연을 감소시킨다. 또한, 텍스트에 대한 가독성을 증진시키기 위해, 윈도우 컨트롤 정보로부터 텍스트 데이터가 추가로 제공될 수 있다.

Description

Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템 상호간의 원격접속 방법 및 이를 위한 장치{REMOTE ACCESS METHOD BETWEEN SETTOP BOX AND REMOTE SERVER SYSTEM USING H.264 CODEC AND APPARATUS THEREFOR}
도 1은 본 발명에 따른 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법을 구현하는 시스템의 개략적 블록도이다.
도 2는 본 발명에 따른 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법을 구현하는 시스템의 바람직한 구현예를 보여주는 블록도이다.
본 발명은 원격접속방법에 관한 것으로서, 보다 구체적으로는 IP망을 통해 연결된 사용자 셋톱박스와 원격지 서버 시스템 상호간의 원격접속 방법에 관한 것이다. 본 발명은 또한 이를 위한 장치에 관한 것이다.
원격접속 서비스라 함은 자신이 사용권한을 가지고 있는 전제하에 원격지에 위치한 컴퓨터를 온라인으로 연결하여 사용하는 서비스를 말한다. 원격 데스크탑 기술은 마이크로소프트의 넷미팅, 터미널 서버 또는 원격데스크탑으로 구현되어 있다. 원격접속 프로그램의 실행을 통해 원격지의 컴퓨터에 접속하면, 원격지 컴퓨터의 화면이 전송되어 오고, 이를 보면서 로컬의 입력장치(마우스, 키보드 등)를 이용하여 입력하면, 이러한 입력이 원격지 컴퓨터로 이동하여 원격지 컴퓨터의 어플리케이션프로그램이 작동한다. 원격접속을 통해, 사용자는 가정 또는 이동중인 차량에서도 회사의 서버 또는 회사의 개인 컴퓨터에 접속하여 이메일, 파일, 프로그램 및 네트워크 자원들에 접속할 수 있다. 또한 컴퓨터의 장애가 발생한 경우, 원격지 가정을 방문하지 않고도 고장의 원인을 원격접속을 통해 확인하고 이를 해결하고 있다. 따라서, 애프터서비스를 위한 시간, 비용 등이 절감되는 효과가 구현된다.
이 때, 종래의 원격접속은 원격지 컴퓨터의 화면을 그래픽 이미지{통상, 압축률이 높은 JPEG(joint photographic coding experts group)}로 저장하고 이를 로컬 컴퓨터로 전송한다. 로컬 컴퓨터는 전송된 그래픽 이미지 정보에 기초하여 자신의 모니터에 이를 구현한다.
그러나, 상기한 원격접속 방법은 사용자 셋톱박스에 적용하기 곤란하다는 문제점을 안고 있다. 컴퓨터는 높은 CPU(central processing unit) 처리능력을 갖고 있으나, 사용자 셋톱박스는 CPU 처리능력이 낮다. 따라서, 이미지 파일 형태의 화면 캡쳐링에 의해서는 만족스러운 원격접속을 성취할 수 없다. 특히, 사용자 셋톱박스는 동영상의 처리를 위해 사용되는 경우가 많다. 원격접속을 통한 동영상 파일의 전송은, 사용자 셋톱박스의 낮은 CPU 처리능력에 의해, 화면이 제대로 디스플레 이되지 않게 된다.
이러한 문제점을 해결하기 위해, 한국특허 제555,935호는 멀티미디어 재생장치를, 로컬 컴퓨터를 경유해, 원격지 컴퓨터에 원격접속하는 방법을 개시하고 있다. 구체적으로, 상기 한국특허 제555,935호는 멀티미디어 재생장치를 로컬 컴퓨터에 연결하고, 멀티미디어 재생장치를 상기 로컬 컴퓨터의 원격접속 프로그램을 이용하여 원격지 컴퓨터에 접속하는 원격접속 방법을 개시하고 있다. 그러나, 이러한 방법은 사용자 측에 멀티미디어 재생장치를 추가적으로 구비할 것을 요구하고, 멀티미디어 재생장치가 로컬 컴퓨터와 반드시 연결되어 사용되어야 하는 문제점을 안고 있다.
본 발명의 목적은, 사용자 셋톱박스와 컨텐츠 서버 상호간의 원격접속을 효율적으로 성취하는 방법을 제공하는 것이다.
본 발명의 다른 목적은, CPU 부하가 적으며, 로컬의 플랫폼에도 관계없는, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 효율적으로 교환하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, CPU 처리능력이 낮지만 동영상 재생능력이 탁월한 사용자 셋톱박스의 특성을 고려한, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 효율적으로 교환하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, MPEG 비디오 인코딩에 의해 야기될 수 있는 텍스 트 정보의 가독성 저하문제를 향상시킨, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 효율적으로 교환하는 방법을 제공하는 것이다.
본 발명의 바람직한 구현예에 따르면, a) 사용자 셋톱박스에서, 원격접속 프로그램을 실행하고 특정 컨텐츠를 요청하는 메시지를 IP망을 통해 전달하는 단계, b) 원격지 서버 시스템에서, 상기 특정 컨텐츠를 요청하는 메시지의 수신에 응답하여, 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 단계, c) 상기 원격지 서버 시스템에서, 실행된 컨텐츠의 화면을 캡쳐링하는 단계, d) 상기 캡쳐 화면을 MPEG 비디오 인코더를 이용하여 인코딩하고, 상기 MPEG 비디오 인코더에 의해 인코딩된 비디오 데이터를 네트워크 스트리밍 에이전트를 이용하여 IP망을 통해 스트리밍하는 단계, 및 e) 상기 사용자 셋톱박스에서, 상기 원격지 서버 시스템에서 전달된 데이터를 디코딩하여 사용자 화면상에 디스플레이하는 단계를 포함하여 이루어진, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법이 제공된다.
본 발명의 다른 바람직한 구현예에 따르면, 상기 단계 d)를 수행함과 병행하여, 상기 컨텐츠의 오디오 데이터를 MPEG 오디오 인코더를 이용하여 인코딩하고, 상기 인코딩된 오디오 데이터를, 비디오 데이터와 함께, 네트워크 스트리밍 에이전트를 이용하여 스트리밍하는 것을 특징으로 하는, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법이 제공된다.
본 발명의 또 다른 바람직한 구현예에 따르면, 상기 단계 d)를 수행함과 병행하여, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하고, 상기 텍스트 데이터를, 비디오 데이터와 함께 네트워크 스트리밍 에이전트를 이용하여 스트리밍하는 것을 특징으로 하는, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법이 제공된다.
본 발명의 보다 바람직한 구현예에 따르면, 캡쳐 화면의 비디오 데이터와 윈도우 컨트롤 정보로부터 추출된 텍스트 데이터가 함께 전달될 때, 상기 사용자 셋톱박스에서, 상기 비디오 데이터와 텍스트 데이터를 분리하고, 상기 비디오 데이터에 기초하여 사용자 화면에 영상을 구현하고, 상기 텍스트 데이터에 기초하여 영상 내의 텍스트를 재구성하는 단계를 포함하여 이루어진, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법이 제공된다.
본 발명의 가장 바람직한 구현예에 따르면, 상기 MPEG 비디오 인코더가 ITU에서 정의된 H.264 인코더인 것을 특징으로 하는, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법이 제공된다.
본 발명의 또 다른 보다 바람직한 구현예에 따르면, a) 사용자 셋톱박스에서, 원격접속 프로그램을 실행하여 특정 컨텐츠를 요청하는 메시지를 IP망을 통해 전달하는 단계, b) 원격지 서버 시스템에서, 상기 특정 컨텐츠를 요청하는 메시지의 수신에 응답하여, 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 단계, c) 상기 원격지 서버 시스템에서, 실행된 컨텐츠의 화면을 캡쳐링하는 단계, d) 상기 캡쳐 화면을 H.264 인코더를 이용하여 인코딩하는 단계, d) 상기 원격지 서버 시스템에서, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 단계, e) 상기 캡쳐화면의 인코딩에 의해 얻어진 비디오 데이터와 상기 텍스트 데이터를 상기 IP망을 통해 스트리밍하는 단계, 및 f) 상기 사용자 셋톱박스에서, 상기 비디오 데이터와 상기 텍스트 데이터를 분리하고, 상기 비디오 데이터를 디코딩하여 화면상에 영상을 디스플레이하고 난 후, 상기 텍스트 데이터에 기초하여 상기 영상 내의 텍스트를 재구성하는 단계를 포함하여 이루어진, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법이 제공된다.
본 발명의 다른 바람직한 구현예에 따르면, a) 사용자 셋톱박스의 원격접속 프로그램의 실행에 의해, 상기 사용자 셋톱박스에 접속되고, 사용자 셋톱박스로부터의 특정 컨텐츠의 요청을 수신하는 네트워크 매니저와, b) 상기 네트워크 매니저로부터 사용자 요청을 전달받고, 자신의 플랫폼하에서 사용자로부터 요청된 컨텐츠를 실행하고, 컨텐츠의 디스플레이 화면을 캡쳐링하고, 캡쳐 화면을 MPEG 비디오 인코더를 이용하여 인코딩하여 비디오 데이터를 생성하고, 상기 컨텐츠의 오디오를 MPEG 오디오 인코더를 이용하여 인코딩하여 오디오 데이터를 생성하고, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 컨텐츠 서버와, c) 상기 컨텐츠 서버로부터 전달된 비디오 데이터, 오디오 데이터 및 텍스트 데이터를 스트리밍하는 네트워크 스트리밍 에이전트를 포함하여 이루어진, IP망을 통해 원격접속 프로그램이 내장된 사용자 셋톱박스와 연결되고, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템이 제공된다.
본 발명의 보다 바람직한 구현예에 따르면, 상기 네트워크 매니저는 인터랙티브 인터페이스 유닛과, 원격접속에 의해 사용자에게 서비스되는 컨텐츠 목록 및 상기 컨텐츠 목록에 포함된 컨텐츠를 서비스하는 컨텐츠 서버의 식별정보를 유지관리하는 데이터베이스 유닛과, 사용자 셋톱박스와 컨텐츠 서버와의 네트워크 접속을 제어하는 네트워크 컨트롤러를 포함하여 이루어지고, 상기 컨텐츠 서버는 컨텐츠를 저장하는 컨텐츠 데이터베이스 유닛과, 사용자에 의해 요청된 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 컨텐츠 실행 유닛과, 상기 컨텐츠의 디스플레이 화면을 캡쳐링하는 캡쳐링 유닛과, 상기 캡쳐 화면을 인코딩하는 MPEG 비디오 인코더와, 상기 컨텐츠의 오디오를 인코딩하는 MPEG 오디오 인코더와, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 텍스트 정보 추출기와, 데이터 입출력을 위한 인터랙티브 인터페이스 유닛을 포함하여 이루어진 것을 특징으로 하는, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템이 제공된다.
본 발명의 더더욱 바람직한 구현예에 따르면, 상기 MPEG 비디오 인코더가 ITU에서 정의된 H.264 인코더인 것을 특징으로 하는, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템이 제공된다.
도 1은 본 발명에 따른 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP 망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법을 구현하는 시스템의 개략적 블록도이다. 사용자 셋톱박스(100)는 원격접속 프로그램(101), 방송 인터페이스 유닛(102), 인터랙티브 인터페이스 유닛(103), 셋톱유닛(104) 및 사용자입력신호 수신유닛(105)을 포함한다. 상기 방송인터페이스 유닛(102)은 통상의 방송망(500)을 통해 셋톱박스(100)로 전달되는 방송신호를 수신하고, 이를 셋톱유닛(104)에 전달한다. 상기 인터랙티브 인터페이스 유닛(103)은, IP망(Internet protocol network)(400)에 연결되어 있으며, 리턴패스를 통해 사용자의 요청을 IP망(400)에 전달하고, 다시 IP망(400)을 통해 요청된 정보를 수신한다. 셋톱유닛(104)은 방송 인터페이스 유닛(102)과 인터랙티브 인터페이스 유닛(103)을 통해 수신된 데이터를 처리하여, 텔레비전 수상기(600)의 화면(600a)과 스피커(600b)를 통해, 비디오 및 오디오를 사용자에게 제공한다.
본 발명에 따른 원격접속은 상기 인터랙티브 인터페이스 유닛(103)과 IP망(400)을 통해 수행된다. 사용자입력신호 수신유닛(105)을 통해, 사용자로부터 원격접속이 요청되면, 상기 셋톱박스(100)는 원격접속 프로그램(101)을 실행한다. 원격접속 프로그램(101)의 실행에 의해, 원격지 서버 시스템(200)과의 접속이 행해진다. 원격지 서버 시스템(200)과 사용자 셋톱박스의 정상적 접속에 의해, 원격지 서버 시스템에서 제공가능한 컨텐츠 목록이 사용자 화면(600a)에 디스플레이된다. 사용자로부터 특정 컨텐츠의 요청이 수신되면, 이러한 요청은 인터랙티브 인터페이스 유닛(103)을 경유하여, IP망(400)을 통해, 상기 원격지 서버 시스템(200)으로 전달된다.
상기 원격지 서버 시스템(200)은 네트워크 매니저(210)와, 컨텐츠 서버(220)와, 네트워크 스트리밍 에이전트(230)로 구성된다.
상기 네트워크 매니저(210)는 사용자 셋톱박스(100)로부터의 원격접속에 의한 컨텐츠의 요청을 수신하고, 이러한 요청에 응답할 컨텐츠 서버(200)에 이러한 요청을 전달하다. 이를 위해, 상기 네트워크 매니저(210)는 인터랙티브 인터페이스 유닛(211)과, 원격접속에 의해 사용자에게 서비스되는 컨텐츠 목록 및 상기 컨텐츠 목록에 포함된 컨텐츠를 서비스하는 컨텐츠 서버의 식별정보를 유지관리하는 데이터베이스 유닛(212)과 사용자 셋톱박스와 컨텐츠 서버와의 네트워크 접속을 제어하는 네트워크 컨트롤러(213)를 포함하여 이루어진다.
상기 컨텐츠 서버(220)는 자신의 플랫폼에서 사용자로부터 요청된 컨텐츠를 실행시키고, 컨텐츠의 디스플레이 화면을 캡쳐링하고, 캡쳐 화면을 인코딩한다. 필요할 경우, 필터링 등과 같은 인코딩에 부차적인 작업이 수행된다. 이를 위해, 상기 컨텐츠 서버(220)는 컨텐츠를 저장하는 컨텐츠 데이터베이스 유닛(221)과, 사용자에 의해 요청된 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 컨텐츠 실행 유닛(222)과, 상기 컨텐츠의 디스플레이 화면을 캡쳐링하는 캡쳐링 유닛(223)과, 상기 캡쳐 화면을 MPEG 비디오 압축표준에 근거하여 인코딩하는 MPEG 비디오 인코더(224)와, 데이터 입출력을 위한 인터랙티브 인터페이스 유닛(227)을 포함하여 이루어진다. 바람직하게는, 상기 컨텐츠 서버(220)는 상기 컨텐츠의 오디오를 인코딩하는 MPEG 오디오 인코더(225)와, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 텍스트 정보 추출기(226)를 추가로 포함한다. 그 후, 상기 컨 텐츠 서버(220)에 의해 인코딩된 비디오 데이터, 또는 오디오 데이터 및 윈도우 컨트롤 정보로부터 추출된 텍스트 정보는 네트워크 스트리밍 에이전트(230)로 전달되고, 이곳에서 IP망(400)을 통해 사용자 셋톱박스(100)로 전달된다.
도 2는 본 발명에 따른 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법을 구현하는 시스템의 바람직한 구현예를 보여주는 블록도이다. 도 2에 도시된 원격지 서버 시스템(200)은, 분산형 원격 접속 시스템으로서, 복수의 네트워크 매니저(210a 내지 210n, 통합하여 "210")와, 복수의 컨텐츠 서버(220a 내지 220m, 통합하여 "220")와, 네트워크 스트리밍 에이전트(230a 내지 230q, 통합하여 "230")로 구성된다.
도 1에서 제시된 바와 같이, 각각의 네트워크 매니저(210)는 인터랙티브 인터페이스 유닛(211)과, 원격접속에 의해 사용자에게 서비스되는 컨텐츠 목록 및 상기 컨텐츠 목록에 포함된 컨텐츠를 서비스하는 컨텐츠 서버의 식별정보를 유지관리하는 데이터베이스 유닛(212)과 사용자 셋톱박스와 컨텐츠 서버와의 네트워크 접속을 제어하는 네트워크 컨트롤러(213)를 포함하여 이루어진다.
그리고, 각각의 컨텐츠 서버(220)는 컨텐츠를 저장하는 컨텐츠 데이터베이스 유닛(221)과, 사용자에 의해 요청된 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 컨텐츠 실행 유닛(222)과, 상기 컨텐츠의 디스플레이 화면을 캡쳐링하는 캡쳐링 유닛(223)과, 상기 캡쳐 화면을 MPEG 비디오 압축표준에 근거하여 인코딩하는 MPEG 비디오 인코더(224)와, 데이터 입출력을 위한 인터랙티브 인터페이스 유닛(227)을 포함하여 이루어진다. 바람직하게는, 상기 컨텐츠 서버(220)는 상기 컨텐츠의 오디 오를 인코딩하는 MPEG 오디오 인코더(225)와, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 텍스트 정보 추출기(226)를 추가로 포함한다.
상기 네트워크 스트리밍 에이전트(230) 각각은, 상기 컨텐츠 서버(220)로부터 전달되는 데이터에 기초하여, 사용자가 요청한 컨텐츠를 사용자 셋톱박스(100)에게 전달한다.
구체적 예를 들어 본 발명을 보다 상세히 설명한다. 도 2에 도시된 사용자 셋톱박스(100a 내지 100z, 통합하여 "100") 중 100j로부터 원격접속 프로그램(101)이 실행되었다고 가정해보자. 상기 원격접속 프로그램(101)의 실행에 의해, 원격접속에 의해 서비스되는 컨텐츠 목록이 사용자 화면에 디스플레이된다. 이 때, 상기 컨텐츠 목록은 복수의 네트워크 매니저(210) 중 어느 하나(예를 들면, 네트워크 매니저 210k)와의 네트워크 연결을 통해 전달받거나, 또는 미리 다운로드되어 사용자 셋톱박스 100j에 저장되어 있을 수 있다. 사용자로부터 상기 컨텐츠 목록 내의 특정 컨텐츠의 요청이 수신되면, 상기 사용자 셋톱박스 100j는 이를 네트워크 매니저 210k에 전달한다.
상기 네트워크 매니저 210k는, 인터랙티브 인터페이스 유닛(211)을 통해, 사용자의 요청을 수신하고, 데이터베이스 유닛(212)을 참조하여, 사용자로부터 요청된 컨텐츠를 원격접속에 의해 제공할 수 있는 컨텐츠 서버(예를 들면, 컨텐츠 서버 220h)를 식별하게 된다. 네트워크 컨트롤러(213)의 제어 하에, 상기 사용자의 요청이 인터랙티브 인터페이스 유닛(212)을 통해, 컨텐츠 서버 220h에 전달된다.
상기 컨텐츠 서버 220h는 인터랙티브 인터페이스 유닛(227)을 통해 상기 네 트워크 매니저 210k로부터 전달된 사용자 요청을 수신한다. 사용자 요청의 수신에 응답하여, 컨텐츠를 저장하는 컨텐츠 데이터베이스 유닛(221)으로부터 해당 컨텐츠가 검색되어 추출되고, 상기 컨텐츠 실행 유닛(222)에 의해, 사용자에 의해 요청된 특정 컨텐츠가 상기 컨텐츠 서버 220h의 플랫폼에서 실행된다. 그 후, 캡쳐링 유닛(223)에 의해, 상기 컨텐츠의 디스플레이 화면이 캡쳐링되고, 캡쳐 화면은 MPEG 비디오 인코더(224), 특히 H.264 인코더에 의해 인코딩된다.
바람직하게는, 상기 컨텐츠 서버(220)는 상기 컨텐츠의 오디오를 인코딩하는 MPEG 오디오 인코더(225)와 텍스트 정보 추출기(226)를 추가로 구비하며, 이것에 의해, 컨텐츠의 오디오 데이터의 인코딩과, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터의 추출이 각각 수행된다. MPEG 오디오 인코더(225)의 바람직한 예로는 AAC3 인코더이다.
상기 H.264 인코더(224)에 의해 인코딩된 비디오 데이터와, MPEG 오디오 인코더(225)에 의해 인코딩된 오디오 데이터와, 상기 텍스트 정보 추출기(226)로부터 추출된 텍스트 데이터는 각각 네트워크 스트리밍 에이전트(230)로 전달되고, 네트워크 스트리밍 에이전트(230)는, 유니캐스트 또는 멀티캐스트의 형태로, 수신된 데이터를 IP망(400)을 통해 사용자 셋톱박스 100j에게 전달하게 된다.
사용자 셋톱박스 100j는, 인터랙티브 인터페이스 유닛(103)을 통해, 상기 네트워크 스트리밍 에이전트(230)로부터의 데이터를 수신한다. 그 후, 수신된 데이터는 상기 셋톱유닛(104)에 의해 처리되고, 상기 수신된 데이터를 텔레비전 수상기(600)에 전달된다. 이 때, 상기 셋톱유닛(104)에는 H.264 디코더(미도시)가 통상 내장되어 있으며, 따라서, 사용자 셋톱박스 100j는 기존의 하드웨어적 구성에 어떠한 변경도 요하지 아니한다.
H.264 디코더(미도시)에 의해 디코딩된 비디오 데이터와, 오디오 데이터와, 텍스트 데이터는 상기 셋톱유닛(104)(구체적으로는, 기존의 셋톱유닛의 하나인 역다중화기(미도시))에 의해 분리된다. 이 때, 원격접속 프로그램(101)의 제어 하에, 또는 셋톱유닛(104)에 포함된 디스플레이 컨트롤러(미도시)의 제어 하에, 비디오 데이터가 사용자 화면(600a)에 디스플레이되고, 그 후, 상기 텍스트 데이터에 기초하여 상기 디스플레이된 영상 내의 텍스트를 재구성한다. 컨텐츠 서버(220)에 의해 원도우 컨트롤 정보로부터 텍스트 데이터가 추가적으로 추출되고, 추출된 텍스트 데이터에 기초하여 사용자 화면(600a)에 디스플레이된 영상 내의 텍스트를 재구성함으로써, 텍스트 정보의 가독성을 증진시킬 수 있다. 디코딩된 오디오 데이터는 스피커(600b)를 통해 출력된다.
본 발명에 따른 방법은 다음의 효과를 제공한다.
(1) 본 발명의 방법은, 사용자 셋톱박스를 매개로하여, 원격접속에 의해 다양한 컨텐츠를 이용할 수 있게 한다. 사용자 셋톱박스는 컨텐츠를 자신의 플랫폼에서 실행시키는 것이 아니라, 원격지 서버 시스템의 플랫폼에서 실행된 컨텐츠를 수신하고 이를 화면상에 구현한다. 이러한 원격접속에 의한 컨텐츠의 제공은, 기존의 사용자 셋톱박스의 하드웨어적 구성에 어떠한 변경 없이도, 사용자에 의한 다양한 컨텐츠로의 접근을 가능하게 한다.
(2) 본 발명의 방법은 비디오 데이터를 H.264 인코더를 이용하여 인코딩하고, 이를 네트워크 스트리밍 에이전트를 이용하여 사용자에게 전달한다. 이에 반해, 기존의 원격접속은 JPEG 압축을 이용한다. H.264 인코딩은 압축률이 높고, 통신속도에 따른 화면전달의 지연을 감소시킬 수 있다. 특히, 이러한 원격접속은, IP 셋톱박스를 매개로하여, 게임 또는 동영상을 서비스하는데 적합하다.
(3) H.264 인코딩의 문제점 중의 하나는 화면의 작은 부분이 흐리게 보일 수 있다는 것이다. 동영상의 특성상 전체적인 화면의 움직임은 잘 표현하나, 화면의 미세한 부분은 완성도가 떨어진다. 특히 화면상의 작은 텍스트의 경우, 뭉그러지는 현상이 일어나, 가독성을 저하시킬 수 있다. 본 발명에 따르면, 윈도우 컨트롤 정보로부터 텍스트 데이터(화면상에서의 텍스트 배치 위치, 텍스트 내용, 폰트, 텍스트 사이즈 등)를 추출하고, 추출된 텍스트 데이터에 기초하여 사용자 화면상에 디스플레이된 영상 내의 텍스트를 재구성함으로써, 상기한 문제점이 해결된다.

Claims (13)

  1. 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법에 있어서, 상기 방법이,
    a) 사용자 셋톱박스에서, 원격접속 프로그램을 실행하고 특정 컨텐츠를 요청하는 메시지를 IP망(internet protocol network)을 통해 전달하는 단계,
    b) 원격지 서버 시스템에서, 상기 특정 컨텐츠를 요청하는 메시지의 수신에 응답하여, 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 단계,
    c) 상기 원격지 서버 시스템에서, 실행된 컨텐츠의 화면을 캡쳐링하는 단계,
    d) 상기 캡쳐화면을 MPEG 비디오 인코더를 이용하여 인코딩하고, 상기 MPEG 비디오 인코더에 의해 인코딩된 비디오 데이터를 네트워크 스트리밍 에이전트를 이용하여 IP망을 통해 스트리밍하는 단계,
    e) 상기 단계 d)를 수행함과 병행하여, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 상기 캡쳐화면 내에 존재하는 텍스트 데이터를 추출하고, 상기 텍스트 데이터를, 비디오 데이터와 함께 네트워크 스트리밍 에이전트를 이용하여 스트리밍하는 단계, 및
    f) 상기 사용자 셋톱박스에서, 상기 원격지 서버 시스템에서 전달된 데이터를 디코딩하여 사용자 화면상에 디스플레이하는 단계를 포함하여 이루어진, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법.
  2. 제1항에 있어서, 상기 단계 d)를 수행함과 병행하여, 상기 컨텐츠의 오디오 데이터를 MPEG 오디오 인코더를 이용하여 인코딩하고, 상기 인코딩된 오디오 데이터를, 비디오 데이터와 함께, 네트워크 스트리밍 에이전트를 이용하여 스트리밍하 는 것을 특징으로 하는, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 사용자 셋톱박스에서, 상기 단계 f)를 수행할 때, 상기 비디오 데이터와 텍스트 데이터를 분리하고, 상기 비디오 데이터에 기초하여 사용자 화면에 영상을 구현하고, 상기 텍스트 데이터에 기초하여 영상 내의 텍스트를 재구성하는 단계를 포함하여 이루어진, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법.
  5. 제1항에 있어서, 상기 MPEG 비디오 인코더가 ITU에서 정의된 H.264 인코더인 것을 특징으로 하는, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법.
  6. a) 사용자 셋톱박스에서, 원격접속 프로그램을 실행하여 특정 컨텐츠를 요청하는 메시지를 IP망을 통해 전달하는 단계,
    b) 원격지 서버 시스템에서, 상기 특정 컨텐츠를 요청하는 메시지의 수신에 응답하여, 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 단계,
    c) 상기 원격지 서버 시스템에서, 실행된 컨텐츠의 화면을 캡쳐링하는 단계,
    d) 상기 캡쳐화면을 MPEG 비디오 인코더를 이용하여 인코딩하는 단계,
    e) 상기 원격지 서버 시스템에서, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 단계,
    f) 상기 캡쳐화면의 인코딩에 의해 얻어진 비디오 데이터와 상기 텍스트 데이터를 상기 IP망을 통해 스트리밍하는 단계, 및
    g) 상기 사용자 셋톱박스에서, 상기 비디오 데이터와 상기 텍스트 데이터를 분리하고, 상기 비디오 데이터를 디코딩하여 화면상에 영상을 디스플레이하고 난 후, 상기 텍스트 데이터에 기초하여 상기 영상 내의 텍스트를 재구성하는 단계를 포함하여 이루어진, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법.
  7. 제6항에 있어서, 상기 MPEG 비디오 인코더가 ITU에서 정의된 H.264 인코더인 것을 특징으로 하는, 사용자 셋톱박스와 원격지 서버 시스템 상호간에 IP망을 통한 원격접속에 의해 컨텐츠를 교환하는 방법.
  8. a) 사용자 셋톱박스의 원격접속 프로그램의 실행에 의해, 상기 사용자 셋톱박스에 접속되고, 사용자 셋톱박스로부터의 특정 컨텐츠의 요청을 수신하는 네트워크 매니저와, b) 상기 네트워크 매니저로부터 사용자 요청을 전달받고, 자신의 플랫폼하에서 사용자로부터 요청된 컨텐츠를 실행하고, 컨텐츠의 디스플레이 화면을 캡쳐링하고, 캡쳐화면을 MPEG 비디오 인코더를 이용하여 인코딩하여 비디오 데이터를 생성하는 컨텐츠 서버와, c) 상기 컨텐츠 서버로부터의 데이터를 스트리밍하는 네트워크 스트리밍 에이전트를 포함하여 이루어지고, 상기 컨텐츠 서버는 컨텐츠를 저장하는 컨텐츠 데이터베이스 유닛과, 사용자에 의해 요청된 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 컨텐츠 실행 유닛과, 상기 컨텐츠의 디스플레이 화면을 캡쳐링하는 캡쳐링 유닛과, 상기 캡쳐 화면을 MPEG 압축표준에 근거하여 인코딩하는 MPEG 비디오 인코더와, 상기 컨텐츠의 오디오를 인코딩하는 MPEG 오디오 인코더와, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 텍스트 정보 추출기와, 데이터 입출력을 위한 인터랙티브 인터페이스 유닛을 포함하여 이루어지는, IP망을 통해 원격접속 프로그램이 내장된 사용자 셋톱박스와 연결되고, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템.
  9. 제8항에 있어서, 상기 네트워크 매니저는 인터랙티브 인터페이스 유닛과, 원격접속에 의해 사용자에게 서비스되는 컨텐츠 목록 및 상기 컨텐츠 목록에 포함된 컨텐츠를 서비스하는 컨텐츠 서버의 식별정보를 유지관리하는 데이터베이스 유닛과, 사용자 셋톱박스와 컨텐츠 서버와의 네트워크 접속을 제어하는 네트워크 컨트롤러를 포함하여 이루어지는, IP망을 통해 원격접속 프로그램이 내장된 사용자 셋톱박스와 연결되고, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템.
  10. 제8항에 있어서, 상기 MPEG 비디오 인코더가 ITU에서 정의된 H.264 인코더인 것을 특징으로 하는, IP망을 통해 원격접속 프로그램이 내장된 사용자 셋톱박스와 연결되고, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템.
  11. 제8항에 있어서, 상기 원격지 서버 시스템이 복수의 네트워크 매니저, 복수의 컨텐츠 서버 및 복수의 네트워크 스트리밍 에이전트를 포함하여 이루어지고, 각각의 네트워크 매니저가 인터랙티브 인터페이스 유닛과, 원격접속에 의해 사용자에게 서비스되는 컨텐츠 목록 및 상기 컨텐츠 목록에 포함된 컨텐츠를 서비스하는 컨텐츠 서버의 식별정보를 유지관리하는 데이터베이스 유닛과, 사용자 셋톱박스와 컨텐츠 서버와의 네트워크 접속을 제어하는 네트워크 컨트롤러를 포함하여 이루어지고, 각각의 컨텐츠 서버가 컨텐츠를 저장하는 컨텐츠 데이터베이스 유닛과, 사용자에 의해 요청된 특정 컨텐츠를 자신의 플랫폼에서 실행시키는 컨텐츠 실행 유닛과, 상기 컨텐츠의 디스플레이 화면을 캡쳐링하는 캡쳐링 유닛과, 상기 캡쳐 화면을 MPEG 압축표준에 근거하여 인코딩하는 MPEG 비디오 인코더와, 상기 컨텐츠의 오디오를 인코딩하는 MPEG 오디오 인코더와, 상기 컨텐츠의 윈도우 컨트롤 정보로부터 텍스트 데이터를 추출하는 텍스트 정보 추출기와, 데이터 입출력을 위한 인터랙티브 인터페이스 유닛을 포함하여 이루어진 것을 특징으로 하는, IP망을 통해 원격접속 프로그램이 내장된 사용자 셋톱박스와 연결되고, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템.
  12. 제9항에 있어서, 상기 네트워크 매니저에 의해 관리되는 컨텐츠 목록이 사용자 셋톱박스에 미리 다운로드된 것을 특징으로 하는, IP망을 통해 원격접속 프로그램이 내장된 사용자 셋톱박스와 연결되고, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템.
  13. 제9항에 있어서, 상기 네트워크 매니저에 의해 관리되는 컨텐츠 목록이 사용자 셋톱박스와의 정상적 원격접속이 수행되었을 때 제공되는 것을 특징으로 하는, IP망을 통해 원격접속 프로그램이 내장된 사용자 셋톱박스와 연결되고, 원격접속에 의해 사용자 셋톱박스로부터 요청된 특정 컨텐츠를 제공하는 원격지 서버 시스템.
KR1020060094893A 2006-09-28 2006-09-28 Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치 KR100776635B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060094893A KR100776635B1 (ko) 2006-09-28 2006-09-28 Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060094893A KR100776635B1 (ko) 2006-09-28 2006-09-28 Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR100776635B1 true KR100776635B1 (ko) 2007-11-15

Family

ID=39062064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060094893A KR100776635B1 (ko) 2006-09-28 2006-09-28 Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR100776635B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2497184C2 (ru) * 2007-12-05 2013-10-27 Ол2, Инк. Система и способ сжатия интерактивного потокового видео

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020090268A (ko) * 2001-05-26 2002-12-02 주식회사 엘지이아이 이동통신 단말기를 이용한 컴퓨터 원격제어 시스템 및 방법
KR20030026680A (ko) * 2001-09-26 2003-04-03 주식회사 위트넷 개인휴대단말기를 이용한 원격지 컴퓨터의 제어 시스템 및방법 및 상기 방법을 저장한 기록매체 및 상기 기록매체를탑재한 단말기
KR20040032899A (ko) * 2001-08-08 2004-04-17 톰슨 라이센싱 에스.에이. Ｍｐｅｇ-4 원격 통신 장치
KR20050077809A (ko) * 2005-06-24 2005-08-03 삼성전자주식회사 이동 통신 단말기의 동영상 신호 전송 방법
KR20050096700A (ko) * 2004-03-31 2005-10-06 삼성전자주식회사 엠펙 전송 스트림을 이용한 멀티미디어 시스템
KR20050114870A (ko) * 2004-06-02 2005-12-07 엘지전자 주식회사 원격 데스크탑 제어장치 및 방법
KR100555935B1 (ko) 2004-07-06 2006-03-03 주식회사 소디프 이앤티 멀티미디어 재생장치와 사용자ｐｃ의 원격접속제어시스템과 원격접속제어방법
KR20060022470A (ko) * 2004-09-07 2006-03-10 주식회사 케이티 티브이 수신 신호를 인터넷으로 중계하는 장치 및 그 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020090268A (ko) * 2001-05-26 2002-12-02 주식회사 엘지이아이 이동통신 단말기를 이용한 컴퓨터 원격제어 시스템 및 방법
KR20040032899A (ko) * 2001-08-08 2004-04-17 톰슨 라이센싱 에스.에이. Ｍｐｅｇ-4 원격 통신 장치
KR20030026680A (ko) * 2001-09-26 2003-04-03 주식회사 위트넷 개인휴대단말기를 이용한 원격지 컴퓨터의 제어 시스템 및방법 및 상기 방법을 저장한 기록매체 및 상기 기록매체를탑재한 단말기
KR20050096700A (ko) * 2004-03-31 2005-10-06 삼성전자주식회사 엠펙 전송 스트림을 이용한 멀티미디어 시스템
KR20050114870A (ko) * 2004-06-02 2005-12-07 엘지전자 주식회사 원격 데스크탑 제어장치 및 방법
KR100555935B1 (ko) 2004-07-06 2006-03-03 주식회사 소디프 이앤티 멀티미디어 재생장치와 사용자ｐｃ의 원격접속제어시스템과 원격접속제어방법
KR20060022470A (ko) * 2004-09-07 2006-03-10 주식회사 케이티 티브이 수신 신호를 인터넷으로 중계하는 장치 및 그 방법
KR20050077809A (ko) * 2005-06-24 2005-08-03 삼성전자주식회사 이동 통신 단말기의 동영상 신호 전송 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2497184C2 (ru) * 2007-12-05 2013-10-27 Ол2, Инк. Система и способ сжатия интерактивного потокового видео

Similar Documents

Publication Publication Date Title
US11363350B2 (en) Real-time cloud-based video watermarking systems and methods
US12034987B2 (en) Systems and methods of orchestrated networked application services
US20070028278A1 (en) System and method for providing pre-encoded audio content to a television in a communications network
US20080066092A1 (en) System for interactive images and video
KR20130138263A (ko) 케이블 텔레비전 시스템을 이용하는 비디오 장치들 간의 디지털 비디오의 스트리밍
CN114365503A (zh) 实况媒体内容递送系统和方法
CN106464933B (zh) 用于远程控制对多媒体内容的渲染的设备和方法
WO2018054323A1 (zh) 基于网络电视的vr视频或游戏播放系统、机顶盒
EP3329670A1 (en) Virtual video driver bridge system for multi-source collaboration within a web conferencing system
CN110582012A (zh) 视频切换方法、视频处理方法、装置及存储介质
JP2005198313A (ja) ディジタルリアルタイム対話型番組システム
CN102664939A (zh) 一种屏幕镜像移动终端的方法及设备
CN116636224A (zh) 可替代联网应用程序服务的系统和方法
CN102651745B (zh) 一种业务内容的播放方法、系统和装置
KR100776635B1 (ko) Ｈ.264 코덱을 이용한 셋톱박스와 원격지 서버 시스템상호간의 원격접속 방법 및 이를 위한 장치
US11606628B2 (en) Real-time cloud-based video watermarking systems and methods
KR20240127360A (ko) 비디오 스트리밍 서비스를 위한 관심의 프록시로서의 시선
US10547878B2 (en) Hybrid transmission protocol
CN108924088A (zh) 一种4k网络摄像机传输实现方法
KR20230098146A (ko) 실시간 스트리밍 미디어에 대상 콘텐츠의 삽입
CN113747181A (zh) 基于远程桌面的网络直播方法、直播系统及电子设备
KR100798150B1 (ko) 주문형 동영상 서비스 방법
CN116668779B (zh) 虚拟现实视场分发方法、系统、装置、设备及介质
KR100870047B1 (ko) 주문형 동영상 서비스 방법
KR101933031B1 (ko) 콘텐츠 재생 제어 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20120914

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee