KR100865687B1 - Pon의 onu에서의 ip 방송신호 처리 시스템 - Google Patents

Pon의 onu에서의 ip 방송신호 처리 시스템 Download PDF

Info

Publication number
KR100865687B1
KR100865687B1 KR1020070050005A KR20070050005A KR100865687B1 KR 100865687 B1 KR100865687 B1 KR 100865687B1 KR 1020070050005 A KR1020070050005 A KR 1020070050005A KR 20070050005 A KR20070050005 A KR 20070050005A KR 100865687 B1 KR100865687 B1 KR 100865687B1
Authority
KR
South Korea
Prior art keywords
signal
pon
onu
processor
channel
Prior art date
Application number
KR1020070050005A
Other languages
English (en)
Inventor
조광현
원헌
조력연
박득인
Original Assignee
주식회사 케이티네트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티네트웍스 filed Critical 주식회사 케이티네트웍스
Priority to KR1020070050005A priority Critical patent/KR100865687B1/ko
Application granted granted Critical
Publication of KR100865687B1 publication Critical patent/KR100865687B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/22Adaptations for optical transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • H04N21/4384Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062Network aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 IPTV를 수신하는 가입자단까지 광대역의 대역폭이 보장되는 네트워크를 구성하도록 FTTx PON방식의 ONU(optical network unit)에서 IP 방식의 방송신호를 TV가 수신할 수 있는 디지털 방식의 방송신호로 변환해주는 ONU에서의 IP 방송신호 처리 시스템 및 방법을 제공함으로써 별도의 셋톱박스를 각 가정마다 설치하지 않고 MATV를 통해 IPTV를 이용할 수 있는 PON의 ONU에서의 IP 방송신호 처리 시스템에 관한 것으로, FTTx의 ONU에 있어서, 다운스트림 시에 OLT(50)로부터 전송된 IP 신호의 PON헤더를 분석하며, 업스트림 시에 IP패킷이 들어있는 L2프레임을 전송받아 LLID를 이용하여 PON 헤더에 정보를 추가해서 광신호로 OLT에 전송하는 PON프로세서(10)와; 상기 PON프로세서(10)와 연결되어 있어 ONU의 MAC을 식별하여 포워딩하는 스위치장치로, IGMP Table을 관리하는 IGMP 스누핑 기능을 수행하며, 고유 MAC를 이용하여 전달받은 IP패킷을 L2프레임으로 만들어 상기 PON프로세서(10)로 전달하는 L2프로세서(20)와; 멀티캐스트 IP관리, 멀티캐스트 라우팅 테이블 관리, IP 라우팅 관리를 행하는 스위치이며, 멀티캐스트 MAC 주소를 가지고 있어 상기 L2프로세서(20)로부터 채널변경 요청을 전송받아 IGMP Table에 기록하고, IGMP Join메시지를 생성하여 상기 L2프로세서(20)에 전달하는 L3프로세서(21)와; 상기 L3프로세서(21)로부터 전송된 IP신호를 TS신호로 변환시키고 TS신호를 IP신호로 변환시키는 시스템으로, TV로부터 선택채널 정보를 받아 IP를 매핑하고, 상기 IP맵핑 정보를 이용하여 IP로 채널변경 요청을 L3(21)로 전달하는 TS 변환 시스템과; 디지털로 변환된 상기 TS신호, 위성셋탑(1)신호, 지상파 CATV(2)신호를 변조하고, RF로 업컨버터하여 MATV를 통해 TV로 전송함으로써 방송이 출력되도록 하는 모듈레이터(60)와; 업스트림 시 TV를 통해 입력한 명령정보가 이용자 요청부(71)를 통해 전송되는 리턴메시지 처리부로 구성되는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템에 관한 것이다.
FTTH, ONU, PON, IPTV, TS 변환 시스템, 네트워크 PVR

Description

PON의 ONU에서의 IP 방송신호 처리 시스템{SYSTEM AND METHOD FOR HANDLING THE IP BROADCASTING SIGNAL OF ONU IN PON}
도 1은 본 발명의 PON의 ONU에서의 IP 방송신호 처리 시스템의 전체 구성도,
도 2는 도 1의 IP와 TS의 변환 시스템의 구성도,
도 3은 도 1의 리턴패스 구성도,
도 4는 도 1의 ONU를 네트워크 PVR에 적용한 개념도,
도 5는 본 발명의 PON의 ONU에서의 IP 방송신호 처리 시스템을 이용한 네트워크 PVR 구성도.
*도면의 주요부분에 대한 설명*
10 : PON프로세서 20 : L2프로세서
21 : L3프로세서 30 : TS 변환 시스템
40 : TV 50 : OLT
60 : 모듈레이터 100 : ONU
본 발명은 FTTx의 구현을 위해 인터넷망을 이용하는 IP 방송신호를 ONU 단계에서 MATV에 적합한 디지털 방송신호로 변환하도록 처리하여 댁내 TV로 전송하는 PON의 ONU에서의 IP 방송신호 처리 시스템 및 방법에 관한 것이다.
방송위원회와 정보통신부에서는 2012년까지 우리나라의 모든 방송을 고품질의 디지털방송으로 전환하기 위한 디지털방송 활성화 특별법을 제정하고 공표한 바 있다. 이러한 정책에 따라서 국내의 방송사는 디지털방송을 상용화하기 위하여 아날로그와 디지털 방식의 방송을 동시에 송출하고 있다.
또한 디지털방송에서만 지원이 가능한 HD(High Definition)급 고화질 서비스, 데이터방송 서비스를 상용화하고 있다. 기업들은 디지털 방식의 방송을 수용하기 위하여 PDP, LCD TV 뿐만이 아니라, 셋톱박스와 같은 수신 장치의 보급을 활성화하고 있다.
최근 디지털방송이 활성화 되는 동시에 인터넷 망을 통한 IP는 지상파, 위성, 케이블에 이어 방송의 네 번째 미디어로서 부각되며 통신과 방송의 중요한 매개체로 등장하였다.
IP를 이용하여 디지털 방식의 방송을 제공하는 IPTV(Internet protocol TV)는 인터넷 망을 이용하여 기존의 디지털방송서비스를 모두 제공할 수 있다.
그리고 양방향 서비스의 제공이 쉽고, 인터넷 망에서 서비스되는 다양한 어플리케이션의 수용이 용이하다는 장점이 있다. 그리고 IPTV는 방송국에서만 방송을 제공하는 단방향적인 브로드케스트방식의 시청방식에서 벗어나, UCC(User Created Contents)와 같이 개인이 직접 콘텐츠를 생성하여 독자적으로 인터넷을 이용하여 방송하는 방식도 제공한다.
이렇듯 IPTV는 기존의 미디어로 전송되는 방송과 차별화된 고품질의 다양한 서비스를 제공하는 차세대 방송으로 홍콩 PCCW, 이탈리아의 패스트웹 등 해외에서는 스포츠, 뉴스 등의 방송분야에서IPTV 서비스를 상용화하고 있다.
그리고 국내 굴지의 통신업체들은 IPTV 서비스로 방송 시장에 새로운 출사표를 던지고, 케이블 업체들의 통신 시장 진입과 경쟁하며 방송ㆍ통신 융합 시장의 기선을 잡기 위해 노력하고 있는 추세이다.
하지만 이러한 차세대 디지털방송인 IPTV의 상용화를 위해서는 IPTV가 실시간으로 지상파 방송을 서비스하지 못하는 법적인 제약을 해결해야 되는 문제도 있지만, 최소한 기존의 지상파, 위성, 케이블을 통한 디지털TV와 같은 품질의 서비스를 IPTV가 제공해야만 한다.
IPTV서비스를 위해서는 가입자까지 광대역의 대역폭을 제공하는 네트워크가 필수적인데, 이러한 요구사항을 충족시킬 수 있는 최적의 엑세스망 기술이 FTTx의 PON이다.
또한 IPTV가 디지털TV보다 경쟁력을 갖기 위해서는 세 가지 요소가 고려되어야 한다.
첫째, 셋톱박스를 설치하지 않고 IPTV를 이용할 수 있는 방안이 연구되어야 하고, 둘째, 채널을 변경할 때 발생되는 채널 잽핑 시간을 최소화하는 방안이 연구 되어야 한다.
즉 IP-TV는 CATV나 위성 방송과 달리 채널 변경이 가입자 댁내가 아닌 액세스 네트워크에서 IGMP 프로토콜을 통해 이루어지므로 IP-TV서비스의 채널변경 시간에 대한 우려가 있으며 이러한 IP-TV 서비스의 성공을 위해서는 액세스 장비가 IGMP 프로토콜을 실시간으로 처리하여 수백 msec이내의 채널 변경 시간을 보장해주어야 한다.
이러한 채널 변경 시간은 액세스 장비 (ADSL DSLAM, VDSL DSLAM, L2 스위치, WDM-PON, GE-PON, L3 스위치, Router 등)의 IGMP response time에 의존하며 장비 벤더마다 매우 큰 폭의 차이가 발생한다.
따라서 장비 벤더는 자신의 장비의 Channel zapping time을 측정하여 이 값을 최소화하도록 수정하여야 하며, IP-TV 사업자는 실제로 IP-TV 서비스를 제공하기 전에 충분히 액세스망이 제공해주는 Channel zapping time을 측정하여 이 값을 최소화하여야 한다.
그러나, 현재로서는 Channel zapping message를 특정한 분포를 갖도록 발생시키고 이에 대한 성능 통계를 수집할 수 있는 Tool이 없다.
따라서, Operator가 수십 ~ 수백 대의 PC 또는 STB를 셋팅하고 수동으로 채널변경을 한 후에 그 성능 결과를 분석해야 한다. 따라서, 동적인 Channel zapping 환경을 구현하여 Channel zapping performance를 테스트하는 것은 현실적으로 불가능하다.
또한 마지막으로 통신과 방송의 융합형 서비스를 요구하는 고객들을 충족시 킬 수 있는 부가서비스를 제공해야만 한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, IPTV를 수신하는 가입자단까지 광대역의 대역폭이 보장되는 네트워크를 구성하도록 FTTx PON방식의 ONU에서 IP 방식의 방송신호를 TV가 수신할 수 있는 MATV에 적합한 디지털 방식의 방송신호로 변환해주는 ONU에서의 IP 방송신호 처리 시스템 및 방법을 제공하기 위함이다.
또한 본 발명의 목적은, IPTV의 양방향 통신을 위한 리턴패스를 지원하여 T-커멀스, 데이터 방송 등 인터렉티브한 서비스를 제공하기 위함이다.
또한 본 발명의 목적은, 상기 ONU(70)에서 IPTV의 채널을 변경할 때 발생하는 지연시간을 최소화하도록 ONU에서 여러 IPTV의 채널을 수신하고, 추가적으로 디지털압축 및 복호화 시간을 줄여주는 기능을 하는 ONU에서의 IP 방송신호 처리 시스템을 제공하기 위함이다.
또한 본 발명의 목적은, ONU(Network PVR기능 추가)에서 캐쉬메모리에 일정간격으로 압축을 풀기위한 최초신호를 저장하는 ONU에서의 IP 방송신호 처리 시스템을 제공하기 위함이다.
또한 본 발명의 목적은 ONU(Network PVR기능 추가)에서 PVR기능과 CCTV의 DVR(Digital Video Recorde)을 지원함으로써 ONU에 네트워크를 접속하여 PVR과 DVR을 실시간으로 언제 어디서든지 접속하여 이용 할 수 있게 하기 위함이다.
상기의 목적을 달성하기 위한 본 발명은 FTTx의 ONU(optical network unit)에 있어서, 다운스트림 시에 OLT(50 : optical line terminal)로부터 전송된 IP 신호의 PON헤더를 분석하며, 업스트림 시에 IP패킷이 들어있는 L2프레임을 전송받아 LLID를 이용하여 PON 헤더에 정보를 추가해서 광신호로 OLT에 전송하는 PON프로세서(10)와; 멀티캐스트 IP관리, 멀티캐스트 라우팅 테이블 관리, IP 라우팅 관리를 수행하며, IGMP Table 관리(사용자들의 요청 TV 채널관리)와 IGMP 스누핑 기능을 수행하며, 채널변경 요청을 전송받아 IGMP Table에 기록하고, IGMP Join 메시지를 생성하여 전달하는 L3프로세서(21)와; 상기 PON프로세서(10)와 연결되어 있어 ONU의 MAC을 식별하여 포워딩하는 스위치처리를 수행하며, 상기 L3 프로세스의 IGMP Table 관리 (사용자들의 TV채널 기록)를 위한 정보를 제공하고, L3 프로세스의 IGMP 스누핑을 위한 정보를 제공하며, 고유 MAC를 이용하여 상기 L3프로세스(21)로부터 전달받은 IGMP Join 메시지를 포함하는 IP패킷을 L2프레임으로 만들어 PON(10)으로 전달하는 L2프로세서(20)와; 상기 L3프로세서(21)로부터 전송된 IP신호를 TS신호로 변환시키고 TS신호를 IP신호로 변환시키는 시스템으로, TV로부터 선택채널 정보를 받아 IP를 매핑하고, 상기 IP맵핑 정보를 이용하여 IP로 채널변경 요청을 L3(21)로 전달하는 TS 변환 시스템과; 디지털로 변환된 상기 TS신호, 위성셋탑(1)신호, 지상파 CATV(2)신호를 변조하고, RF로 업컨버터하여 MATV를 통해 TV로 전송함으로써 방송이 출력되도록 하는 모듈레이터(60)와; 업스트림 시 TV를 통해 입력한 명령정보가 이용자 요청부(71)를 통해 전송되는 리턴메시지 처리부로 구성되는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템에 의해 달성된다.
이하 본 발명의 PON(passive optical network)의 ONU(optical network unit)에서의 IP 방송신호 처리 시스템의 일 실시예를 첨부되는 도면을 통해 보다 상세히 설명하도록 한다.
도 1에서 보는 바와 같이, 본 발명의 ONU(optical network unit)에서의 IP 방송신호 처리 시스템은 PON프로세서(10), L2프로세서(20), L3프로세서(21), TS 변환 시스템(30), 모듈레이터(60) 그리고 리턴패스를 위한 리턴 메시지 처리부로 구성되는 ONU에 의해 구현된다.
또한 상기 ONU(optical network unit)는 일측이 OLT(50 : optical line terminal)와 연결되어 있으며 타측이 ONT에 해당하는 댁내 TV(40)와 연결됨으로 인해 FTTx의 PON을 구현하게 된다. 따라서 본 발명의 실시 예에서는 WDM-PON, E-PON, TDM-PON, G-PON, A/B-PON 등의 다양한 PON을 통해 구현될 수 있다.
상기 PON프로세서(10)는 광신호를 전기신호로 바꾸어주며 전반적인 PON 프로토콜 관리를 수행하도록 FTTx의 전반적인 동작을 관리한다.
따라서 다운스트림 시에 상기 OLT(50)로부터 전송된 IP 신호의 PON헤더를 분석하게 되는데 E-PON일 경우, LLID(Logical Link Identifier)로 OLT와 식별 OAM을 통해 OLT와 메시지를 교환한다.
또한 상기 PON(10)은 업스트림 시에 상기 L2프로세서(20)로부터 전달받은 IP페킷이 들어있는 L2프레임을 LLID를 이용하여 PON 헤더에 정보를 추가해서 광으로 OLT에 전송한다.
상기 L2프로세서(20)는 상기 ONU(70)의 MAC(media access control)을 식별하여 포워딩하는 스위치 처리를 수행하며, L3 프로세스의 IGMP(Internet group management protocol) Table 관리 (사용자들의 TV채널 기록)를 위한 정보를 제공하고, L3 프로세스의 IGMP 스누핑을 위한 정보를 제공한다.
또한 상기 L2프로세스(20)는 고유 MAC를 이용하여 상기 L3프로세스(21)로부터 전달받은 IP페킷을 L2프레임으로 만들어 PON(10)으로 전달한다.
상기 L3프로세스(21)는 IGMP Table 관리(사용자들의 요청 TV채널 관리)와 IGMP 스누핑 기능을 수행한다. 또한 Multicast IP관리(TV채널관리), Multicast Routing Table 관리, IP Routing관리(대부분의 경우 default routing일 경우가 많음)를 수행한다.
삭제
삭제
삭제
또한 상기 L3프로세서(21)는 Multicast MAC 주소를 가지고 하기에 설명 될 TS 변환 시스템으로부터 전송된 채널변경 요청을 IGMP Table에 기록하고, IGMP Join메시지를 생성하여 L2프로세서(20)에 전달한다.
상기 TS 변환 시스템은 상기 L3프로세서(21)의 IP신호를 TS신호로 변환시키고 TS신호를 IP신호로 변환시키는 시스템으로, IP입력단자를 통해 입력된 IP신호를 TS 변환 시스템을 통해 디지털방식의 방송신호로 변환시키며 TV로부터 선택채널 정보를 받아 IP를 매핑하고, 상기 IP맵핑 정보를 이용하여 IP로 채널변경 요청을 L3(21)로 전달(IGMP Join 메시지 생성을 위함)한다.
또한 부가기능으로 Multicast routing table에서 가장 빈번하게 IGMP JOIN되는 항목에 대해 (가장 빈번하게 채널이 잡히는 항목, 즉 선호채널)다른 채널보다 QoS를 더욱 보장하도록 한다.(대역폭을 넓게 고정해 준다)
이때 Diffsev 및 RSVP 등을 통해 QoS를 더욱 보장해 주게 된다.
여기서 IPTV의 IGMP "Join 메시지"는 TV 채널을 잡고 있는 메시지인데, 예를들어 KBS를 보기 위해 IGMP join으로 KBS채널을 잡고 있고, 가장 오랫동안 join된 채널 (Lifetime이 긴 채널번호) 즉, 가장 오랫동안 시청이 되는 채널 등에 대해 QoS(Quality of Service)를 더욱 보장해 준다는 의미이다.
상기 모듈레이터(60)는 디지털로 변환된 상기 TS신호, 위성셋탑(1)신호, 지상파 CATV(2)신호를 MATV에 적절한 신호로 변조(지상파일 경우 8VSB, 케이블일 경우 QAM 등)하고, 모듈레이터하고 RF로 업컨버터하여 MATV를 통해 TV로 전송함으로써 방송이 출력되도록 한다.
삭제
삭제
도 2는 TS 변환 시스템(30)에 의해 IP가 MATV에 적합한 디지털 신호로 변환되는 과정을 도시하고 있다.
상기 TS 변환 시스템(30)은 IP수신부(31), IP 디켑슐레이션(32), 채널프로세서(33), 페이로드분석기(34), 멀티플렉서(35), QoS를 고려한 버퍼(36)를 포함하여 구성된다.
상기 IP 수신부(31)는 상기 IP 입력단자의 일측에 연결되어 있어, 상기 IP 입력단자를 통해 입력되는 IP신호를 입력받는다.
상기 IP 디켑슐레이션(32)은 IP 수신부(31)의 타측에 연결되어 있어, 수신받은 IP 신호를 디켑슐레이션한다.
상기 채널프로세서(33)는 IP 헤더의 주소를 분석하고 방송의 채널정보를 저장한다.
상기 페이로드분석기((34)에서는 디켑슐레이션된 IP를 분석하여 MPEG로 압축된 디지털방식의 방송신호를 추출한다.
상기 멀티플렉서(35)는 멀티플렉싱 기능과 디멀티플랙싱 기능을 수행하며, 디지털방식의 방송신호와 채널의 정보를 맵핑하는 역할을 한다.
상기 QoS를 고려한 버퍼(36)는 하나의 스트림으로 오는 여러 개의 방송 채널을 분리하고, 분리된 방송신호를 채널별로 저장했다가 멀티플렉서로 보낸다.
IP에 인켑슐레이션된 디지털방식의 방송신호가 IP 미디어 게이트웨이의 IP입력단자(20)를 통해 TS 시스템(30)의 IP수신부(31)에 수신되면 상기 IP 디켑슐레이 션(32)에 의해 디켑슐레이션 된다.
또한 IP는 채널프로세서(33)에 의해 IP헤더의 주소가 분석되고 방송의 채널정보가 저장되며, 페이로드분석기에 의해 디켑슐레이션된 IP가 분석되어 MPEG로 압축된 디지털방식의 방송신호로 추출된다.
그 후, 디지털방식의 방송신호와 채널의 정보를 멀티플렉서에서 맵핑되고, 분리된 방송신호를 채널별로 QoS를 고려한 버퍼 저장했다가 멀티플렉서로 보내지게 된다.
도 3은 ONU에서의 IP 방송신호 처리 시스템이 IPTV의 양방향의 통신을 제공하기 위한 리턴패스를 제공하는 동작을 도시하고 있다.
IPTV와 데이터방송 등 양방향의 통신을 요구하는 방송서비스를 지원하기 위해서는 미들웨어를 이용한 리턴패스에 관한 처리가 필수적이다. IPTV를 셋톱박스 없이 서비스하기 위해서는 FTTx의 ONU는 디지털TV의 리턴패스를 처리해야만 한다.
최근 IPTV의 국제표준화 추진을 위한 ITU-T FG 제3차 회의에서 양방향 통신을 위한 미들웨어 표준으로써 ACAP(Advanced Common Application Platform) , OCAP(OpenCable Application Platform), MHP(multimedia home platform ) 등이 모두 지원되도록 표준화되고 있다.
그리고 최근 국내에서는 ACAP 표준을 채택한 셋톱박스가 내장된 디지털TV의 보급이 활성화 되고 있다.
이에, 도 3의 블록도는 ONU에서 양방향통신의 흐름을 간략히 보여준다.
상기 PON의 ONU에서의 IP 방송신호 처리 시스템은 이용자요청부(71), 미들웨어(72), 리턴채널 메시지 처리부(73), OOB(74), 전송관리부(75), 리턴채널 메시지 처리부(76), 방송 데이터 저장소(77)를 포함하여 구성된다.
다운스트림 시 OLT(50)로부터 전송된 IP 신호는 PON프로세서(10)를 통해 PON헤더가 분석된 후 L2프로세서(20)로 전달된다.
상기 L2프로세서(20)를 통해 IP 신호에서 해당 PON의 MAC이 식별되어 포워딩된 후 상기 L3프로세서(21)를 경유하여 TS 변환 시스템으로 전송된다.
여기서 상기 IP 신호는 상기 L3프로세서(21)를 통해 TS신호로 변환되어 모듈레이터(60)로 전송되는데, 디지털로 변환된 상기 TS신호뿐만 아니라, 위성셋탑(1)신호, 지상파 CATV(2)신호와 함께 상기 모듈레이터(60)에서 MATV에 적절한 신호로 변조되어 모듈레이터 된 후 RF로 업컨버터되어 MATV(master antenna television)를 통해 TV로 전송됨으로써 방송으로 출력된다.
업 스트림시 TV를 통해 입력한 명령정보는 셋탑박스의 이용자 요청부(71)를 통해 리턴메시지 처리부로 전송된다.
상기 셋탑박스는 이용자요청부(71), ACAP/ 미들웨어(72), 리턴채널메시지 처리부(73)로 구성된다.
상기 이용자요청부(71)는 상기 디지털TV(40)의 모니터를 통해 사용자가 리모콘 등으로 명령정보를 입력하는 모듈이다. 상기 명령정보는 시청하고자 하는 TV프로그램 및 예약 녹화 등을 포함하고 있다.
상기 ACAP/ 미들웨어(72)는 상기 명령정보를 규격에 준수하여 처리하게 되며, 리턴채널메시지 처리부(73)는 이에 따라 상기 ACAP/ 미들웨어(72)로부터 출력되는 리턴신호를 식별이 가능한 유일한 신호로 만든다.
상기 OOB(74 : Out of Band)은 상기 리턴채널메시지 처리부(73)로부터 전송된 상기의 식별 가능한 리턴신호를 RF통신부로 전송하여 리턴 메시지 처리부에 전송한다.
따라서 ACAP/미들웨어가 내장된 셋탑박스에서 리턴신호를 생성하면, OOB(Out of band)에서 수신하여 신호 시그널을 생성하여 동축케이블을 통하여 출력한다.
그 다음 ONU에서 신호 시그널을 수신하면 IP로 변환되고 인터넷망으로 전송된다.
즉, 디지털TV를 시청하는 사용자의 요청이 이용자요청부(71)에 입력되면, 셋탑박스의 ACAP/미들웨어 규격에 준수하여 리턴신호로 처리된다.
이에 따라 셋탑박스에서 리턴신호를 생성해주면, OOB(Out of band)에서 수신하고, OOB에서 신호 시그널을 생성하여 출력한다.
삭제
상기 전송 관리부(75)는 디모듈레이터, 디멀티플렉서, 식별처리기로 구성되며, OOB방식의 사용자 요청신호를 디모듈레이터를 하여 8VSB방식의 신호로 복조한다. 그리고 디멀티플렉서를 통하여 하나의 스트림을 여러 채널의 신호로 분리하고 식별처리기에서 사용자의 디지털TV를 식별한다.
그리고 리턴채널메시지 처리부(76)는 데이터베이스를 검색하여 해당 IP를 매핑하여 TS를 IP신호로 변경해 주는 TS-IP SYSTEM을 거쳐 IP패킷으로 인켑슐레이션 되어 송출된다.
삭제
삭제
전송 관리부(75)로 전송된 식별이 가능한 신호는 OOB방식의 사용자 요청을 디모듈레이터를 하여 8VSB(Vestigial Side Band )방식의 신호로 복조되며, 디멀티플렉서를 통하여 하나의 스트림이 여러 채널의 신호로 분리된 후 식별처리기에서 사용자의 디지털TV가 식별된다.
그리고 리턴채널메시지 처리부에서 검색된 해당 IP를 매핑하여 TS를 IP신호로 변경해 주는 TS-IP SYSTEM을 거쳐 다시 L3프로세서로 전송된다.
이때, 상기 ONU(70)의 시차방송시스템에서는 IPTV의 채널을 변경할 때 발생하는 지연시간을 최소화하도록, 추가적으로 디지털압축 및 복호화 시간을 줄여주는 기능을 구비하고 있다.
따라서 디지털압축 및 복호화에 있어서 그 지연시간을 단축시킬 경우 Mpeg 2/4의 예를 들면 그 압축 영상은 I,B,P정보로 압축 (I : 전체프레임, B,P : 움직임 정보)한다.
즉, 원신호의 대역폭을 줄이기 위하여 압축을 수행하는데. MPEG는 영상전달을 위하여 먼저 I프레임을 전달하고(전체화면 정보 전달) 그다음 B, P(전체화면에서 일부변경되는 정보)를 보냄으로써 영상신호의 크기를 줄일 수 있다.
ONU의 시차방송시스템(78)에서 캐쉬메모리에 일정간격으로 압축을 풀기 위한 최초신호를 저장한다(MPEG의 경우는 I(전체프레임정보))
그리고 고객이 채널을 변경하기 위하여 셋탑박스에서 채널변경요청 메시지(IGMP등)을 보내면, ONU에서는 IGMP메시지(채널요청메시지)를 받는다. 그리고 ONU는 요청된 방송채널스트림을 보낸다.
이때 ONU의 "From IP to TS System" 에서는 요청된 방송채널스트림의 MPEG 신호의 I신호(전체프레임정보, 압축하기 위한 최초의 신호)를 캐쉬에 저장하고 있다가, 캐쉬에 있는 MPEG의 I신호를 먼저 전송해주고 B, P신호(전체프레임정보에서 변화되는 움직임 정보)를 전송해줌으로써 디지털압축/복호화 시간을 줄일 수 있다.
삭제
또한 ONU의 시차방송시스템에서 지원하는 기능인 네트워크PVR은 디지털방식의 신호와 IP를 지원함으로써 PVR보다 한 단계 진보된 형식의 디지털녹화기능을 지원한다.
상기 네트워크PVR은 디지털방식의 신호 또는 IP로 수신된 방송프로그램을 인터넷에 있는 대용량의 하드디스크에 저장한 후, 고객이 원하는 방송만을 서비스한다.
따라서, 네트워크 PVR을 이용하는 고객은 언제나 그리고 어디에서나 휴대인 터넷(WiBro)과 무선랜 등을 사용하여, 인터넷에 접속하여 서비스를 이용할 수 있게 되는 것이다.
상기 리턴 메시지 처리부를 통해 TS 변환 시스템으로부터 전송된 채널변경 요청 신호는 상기 L3프로세서(21)에서 그 Multicast MAC 주소를 통해 IGMP Table에 기록되며, IGMP Join메시지를 생성하여 L2프로세서(20)에 전달된다.
상기 L3(21)로부터 전달된 IP패킷은 L2프레임으로 변환되어 상기 L2프로세서(20)는 고유 MAC를 이용하여 PON(10)으로 전달되고, 상기 L2프로세서(20)로부터 전달된 IP페킷이 들어있는 L2프레임은 상기 PON(10)에서 LLID를 이용하여 PON 헤더에 정보가 추가되어 광으로 OLT에 전송된다.
도 4의 개념도에서 보는 바와 같이, TV 방송국 등의 서비스 제공자(a)는 방송프로그램을 생성하고 아날로그방식 또는 디지털방식으로 신호를 송출하거나, IP로 전송한다.
서비스 가공 계층(b)은 서비스 제공자가송출하는 신호와 IP로 전송하는 데이터에 프로그램 정보 (EPG : Electronic Program Guide)를 In-band 방식으로 삽입하여 재전송한다.
지역 케이블 방송사 등의 서비스 전달 계층(c)은 서비스 가공 계층에서 재전송되는 신호를 가입자의 단말기에 적합하도록 유선과 무선의 신호로써 최종 목적지인 고객에게 전송해 준다. 이때 네트워크PVR의 저장장치인 하드디스크는 고객이 요구한 방송프로그램을 저장하면서 PVR 서비스를 고객에게 제공하게 되는 것이며, 상기 네트워크 PVR에 본 발명의 ONU의 IP 방송신호 처리 시스템이 적용되는 것이다.
도 5의 ONU의 시차방송시스템의 위치에서 서비스하는 네트워크PVR 구성도에서 보는 바와 같이, 네트워크 PVR은 첫째, 인터넷에 연결이 가능한 단말기에 대하여 이동하는 중에도 실시간으로 고품질의 PVR서비스를 이용할 수 있도록 해준다.
따라서 사용자가 네트워크PVR의 서비스를 이용하기 위하여 단말기로 접속을 시도하면, 단말기의 신호를 수신한 노드에서 가장 가까운 지역의 망에 있는 네트워크PVR을 이용한다. 때문에 고품질의 방송을 실시간으로 시청할 수 있다.
둘째, IPTV의 채널을 변경할 때 발생되는 지연 시간을 작게 할 수 있는 솔루션을 제공한다. IPTV의 채널이 변경되는 과정은 IGMP(Internet Group Management Protocol) Leave 메시지로써 채널이 종료되고, Join 메시지로써 변경된 새로운 채널의 서비스를 받을 수 있다. Join 메시지가 변경될 방송채널을 수신하는 노드에 도달 할 때, 채널이 변경되고 서비스를 받을 수 있다. 이때 Leave와 Join메시지가 처리되는 시간의 크기만큼 지연이 발생하게 된다. Join메시지가 변경될 방송채널을 수신하는 노드에 도달하는 시간을 줄이기 위하여 지역 망을 집선하는 SER(Service Edge Router)과 네트워크PVR은 모든 방송채널을 수신한다. 뿐만 아니라 압축된 영상신호를 복원할 때 발생되는 지연시간을 줄이기 위하여, 네트워크PVR에서 신호를 복원하는데 필요한 정보를 캐시메모리에 저장함으로써 지연시간을 최소화한다.
셋째 CCTV(Closed Circuit Television)의 저장하는 솔루션 등의 여러 가지 응용 서비스를 제공한다. 따라서 네트워크 CCTV 등 다양한 IP기반의 부가서비스와 연동된 서비스를 지원한다. 또한 디지털 방식의 네트워크 카메라로 모니터링된 영상이 인터넷을 통해 IP로 전송되어 네트워크PVR에 저장되므로, 고객은 언제나 그리 고 어디서나 인터넷을 통하여 네트워크PVR에 접속하여 CCTV의 영상을 실시간으로 확인할 수 있다.
앞서 상세히 설명한 바와 같이 본 발명의 ONU에서의 IP 방송신호 처리 시스템은 IPTV를 수신하는 가입자단까지 광대역의 대역폭이 보장되는 네트워크를 구성하도록 FTTx PON방식의 ONU에서 IP 방식의 방송신호를 TV가 수신할 수 있는 디지털 방식의 방송신호로 변환해주는 ONU에서의 IP 방송신호 처리 시스템 및 방법을 제공함으로써 별도의 셋톱박스를 각 가정마다 설치하지 않고 MATV를 통해 IPTV를 이용할 수 있다.
또한 본 발명의 ONU에서의 IP 방송신호 처리 시스템은 추가적으로 디지털압축 및 복호화 시간을 줄여주는 기능을 하는 ONU에서의 IP 방송신호 처리 시스템을 제공함으로써 ONU(70)에서 IPTV의 채널을 변경할 때 발생하는 지연시간을 최소화할 수 있다.
또한 본 발명의 ONU는 네트워크PVR기능을 제공함으로써 네트워크를 통해서 ONU에 접속하여 PVR와 CCTV의 DVR기능을 이용 할 수 있다.
이상에서 본 발명의 ONU에서의 IP 방송신호 처리 시스템에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

Claims (9)

  1. FTTx의 ONU(optical network unit)에 있어서,
    다운스트림 시에 OLT(50 : optical line terminal)로부터 전송된 IP 신호의 PON(passive optical network) 헤더를 분석하며, 업스트림 시에 IP패킷이 들어있는 L2프레임을 전송받아 LLID(Logical Link Identifier)를 이용하여 PON 헤더에 정보를 추가해서 광신호로 OLT에 전송하는 PON프로세서(10)와;
    멀티캐스트 IP관리, 멀티캐스트 라우팅 테이블 관리, IP 라우팅 관리를 수행하며, IGMP(Internet group management protocol) Table 관리-사용자들의 요청 TV 채널관리-와 IGMP 스누핑 기능을 수행하며, 채널변경 요청을 전송받아 IGMP Table에 기록하고, IGMP Join 메시지를 생성하여 전달하는 L3프로세서(21)와;
    상기 PON프로세서(10)와 연결되어 있어 ONU의 MAC(media access control)을 식별하여 포워딩하는 스위치처리를 수행하며, 상기 L3 프로세스의 IGMP Table 관리 (사용자들의 TV채널 기록)를 위한 정보를 제공하고, L3 프로세스의 IGMP 스누핑을 위한 정보를 제공하며, 고유 MAC를 이용하여 상기 L3프로세스(21)로부터 전달받은 IGMP Join 메시지를 포함하는 IP패킷을 L2프레임으로 만들어 PON(10)으로 전달하는 L2프로세서(20)와;
    상기 L3프로세서(21)로부터 전송된 IP신호를 TS신호로 변환시키고 TS신호를 IP신호로 변환시키는 시스템으로, TV로부터 선택채널 정보를 받아 IP를 매핑하고, 상기 IP맵핑 정보를 이용하여 IP로 채널변경 요청을 L3(21)로 전달하는 TS 변환 시스템과;
    디지털로 변환된 상기 TS신호, 위성셋탑(1)신호, 지상파 CATV(2)신호를 변조하고, RF로 업컨버터하여 MATV를 통해 TV로 전송함으로써 방송이 출력되도록 하는 모듈레이터(60)와;
    업스트림 시 TV를 통해 입력한 명령정보가 이용자 요청부(71)를 통해 전송되는 리턴메시지 처리부로 구성되는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  2. 제 1항에 있어서,
    상기 TS 변환 시스템은 멀티캐스트 라우팅 테이블에서 가장 빈번하게 IGMP join되는 항목(라이프 타임이 긴 채널번호인 선호채널)을 카운팅해서 고객의 선호채널을 다른 채널보다 더욱 QoS(Quality of Service)가 보장되도록 제어하는 기능을 제공하는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  3. 제 2항에 있어서,
    상기 TS 변환 시스템(30)은,
    IP 입력단자의 일측에 연결되어 있어, 상기 IP 입력단자를 통해 입력되는 IP신호를 입력받는 IP 수신부(31)와;
    IP 수신부(31)의 타측에 연결되어 있어, 수신받은 IP 신호를 디켑슐레이션한다. 상기 IP 디켑슐레이션(32)과;
    IP 헤더의 주소를 분석하고 방송의 채널정보를 저장하는 채널프로세서(33)와;
    디켑슐레이션 된 IP를 분석하여 MPEG로 압축된 디지털방식의 방송신호를 추출하는 페이로드분석기((34)와;
    멀티플랙싱 기능과 디멀티플랙싱 기능을 수행하며, 디지털방식의 방송신호와 채널의 정보를 맵핑하는 멀티플렉서(35)와;
    하나의 스트림으로 오는 여러 개의 방송 채널을 분리하고, 분리된 방송신호를 채널별로 저장했다가 상기 멀티플렉서로 보내는 버퍼(36)로 구성되는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  4. 제 1항에 있어서,
    상기 이용자요청부(71)는 상기 디지털TV(40)의 모니터를 통해 사용자가 리모콘을 통해 명령정보를 입력하는 모듈이며 상기 명령정보는 시청하고자 하는 TV프로그램 및 예약 녹화정보를 포함하고 있는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  5. 제 1항 혹은 제 4항에 있어서,
    상기 이용자요청부(71)는 상기 명령정보를 규격에 준수하여 처리하는 ACAP(Advanced Common Application Platform )/ 미들웨어(72)와 연결되어 있으며, 상기 리턴채널메시지 처리부(73)는 상기 ACAP/ 미들웨어(72)에서 출력되는 리턴신호를 식별이 가능한 신호로 생성하는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  6. 제 1항에 있어서,
    상기 리턴 메시지 처리부는,
    디모듈레이터, 디멀티플렉서, 식별처리기로 구성되며, OOB(Out Of Band)방식의 사용자 요청신호를 디모듈레이터를 하여 8VSB방식의 신호로 복조하며 디멀티플렉서를 통하여 하나의 스트림을 여러 채널의 신호로 분리하고 식별처리기에서 사용자별 디지털TV를 식별하는 전송 관리부(75)와;
    데이터베이스를 검색하여 해당 IP를 매핑하여 TS변환 SYSTEM에 전송하는 리턴채널메시지 처리부(76)와;
    상기 ONU(70)의 IPTV의 채널을 변경할 때 발생하는 지연시간을 최소화하도록, 추가적으로 디지털압축 및 복호화 시간을 줄여주는 시차방송시스템으로 구성되는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  7. 제 6항에 있어서,
    상기 시차방송 시스템은, 디지털압축 및 복호화를 위해 그 지연시간을 단축시키도록, 전체화면 정보를 우선적으로 전달한 다음 전체화면에서 일부 변경되는 정보를 보냄으로써,
    셋탑박스로 입력된 고객의 채널 변경신호에 따른 채널변경요청 메시지(IGMP메시지)를 ONU가 전달받아 이에 따른 요청된 방송채널 스트림을 보내기 위해 전체프레임정보를 먼저 전달하고, 전체프레임정보에서 변화되는 움직임 정보를 그 다음으로 전송해줌으로써 디지털압축/복호화 시간을 줄이는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  8. 제 7항에 있어서,
    상기 시차방송시스템(78)은 그 캐쉬메모리에 일정간격으로 압축을 풀기 위한 최초신호인 전체프레임정보를 저장하는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
  9. 제 7항에 있어서,
    또한 ONU의 시차방송시스템은 디지털방식의 신호 또는 IP로 수신된 방송프로그램을 인터넷에 있는 대용량의 하드디스크에 저장한 후, 고객이 원하는 방송만을 제공하도록 하는 것을 특징으로 하는 PON의 ONU에서의 IP 방송신호 처리 시스템.
KR1020070050005A 2007-05-23 2007-05-23 Pon의 onu에서의 ip 방송신호 처리 시스템 KR100865687B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070050005A KR100865687B1 (ko) 2007-05-23 2007-05-23 Pon의 onu에서의 ip 방송신호 처리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070050005A KR100865687B1 (ko) 2007-05-23 2007-05-23 Pon의 onu에서의 ip 방송신호 처리 시스템

Publications (1)

Publication Number Publication Date
KR100865687B1 true KR100865687B1 (ko) 2008-10-29

Family

ID=40177699

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070050005A KR100865687B1 (ko) 2007-05-23 2007-05-23 Pon의 onu에서의 ip 방송신호 처리 시스템

Country Status (1)

Country Link
KR (1) KR100865687B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106788742A (zh) * 2016-12-12 2017-05-31 四川九州电子科技股份有限公司 双纤融合终端中pon模块管理catv模块的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060034583A (ko) * 2004-10-19 2006-04-24 한국전자통신연구원 E-pon 방송 서비스 시스템에서의 방송 스트림 데이터전송 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060034583A (ko) * 2004-10-19 2006-04-24 한국전자통신연구원 E-pon 방송 서비스 시스템에서의 방송 스트림 데이터전송 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106788742A (zh) * 2016-12-12 2017-05-31 四川九州电子科技股份有限公司 双纤融合终端中pon模块管理catv模块的方法

Similar Documents

Publication Publication Date Title
US10448117B2 (en) Apparatus and methods for packetized content delivery over a bandwidth-efficient network
US10602231B2 (en) Methods and apparatus for local channel insertion in an all-digital content distribution network
US9363028B2 (en) Apparatus and methods for catalog data distribution
US8588249B2 (en) Method and system for delivering video content using internet protocol over a coaxial cable
US8494516B2 (en) Delivery of subscription services to roaming users through head end equipment
US9131255B2 (en) Technique for providing uninterrupted switched digital video service
US7203953B2 (en) Method and apparatus for two-way internet access over a CATV network with channel tracking
US9015783B2 (en) Bandwidth conservation
KR100631718B1 (ko) 디지털 케이블 tv 네트워크에서 주문형 비디오 서비스제공 방법 및 시스템
US20020046406A1 (en) On-demand data system
KR101387496B1 (ko) 방송 수신기, 데이터 전송 방법 및 데이터 처리 방법
US8532172B2 (en) Adaptive language descriptors
CA2958982C (en) Tuning behavior enhancement
US8146129B2 (en) Apparatus and method for providing video content and supplemental information to a client over a switched digital video content-based network
KR100865687B1 (ko) Pon의 onu에서의 ip 방송신호 처리 시스템
KR100861239B1 (ko) 디지털 방송 및 ip 방송의 다수가 이용할 수 있는공청방송과 공청방송에서 양방향 통신지원을 위한 ip미디어 게이트웨이
KR101174116B1 (ko) 공지 콘텐츠 제공을 위한 단말 제어 시스템 및 방법
CN211378163U (zh) 一种三网融合的有线电视网络系统
CA2359854C (en) Providing simulated broadcast services over a limited bandwidth channel
US20190182515A1 (en) Apparatus and method for providing broadcasting service
Pisano Determining the feasibility of a method for improving bandwidth utilization of cable networks
Wang et al. A New Architecture of Merged On-Demand Application Network
Roh Design of Out-of-Band Protocols to Transmit UHDTV

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121022

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131015

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141020

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee