KR100801612B1 - Real time duplex communication method synchronized with digital multimedia broadcast channel - Google Patents

Real time duplex communication method synchronized with digital multimedia broadcast channel Download PDF

Info

Publication number
KR100801612B1
KR100801612B1 KR1020060022435A KR20060022435A KR100801612B1 KR 100801612 B1 KR100801612 B1 KR 100801612B1 KR 1020060022435 A KR1020060022435 A KR 1020060022435A KR 20060022435 A KR20060022435 A KR 20060022435A KR 100801612 B1 KR100801612 B1 KR 100801612B1
Authority
KR
South Korea
Prior art keywords
broadcast
terminal
digital multimedia
retransmission
information
Prior art date
Application number
KR1020060022435A
Other languages
Korean (ko)
Other versions
KR20070092386A (en
Inventor
이승환
Original Assignee
주식회사 다이알커뮤니케이션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다이알커뮤니케이션즈 filed Critical 주식회사 다이알커뮤니케이션즈
Priority to KR1020060022435A priority Critical patent/KR100801612B1/en
Publication of KR20070092386A publication Critical patent/KR20070092386A/en
Application granted granted Critical
Publication of KR100801612B1 publication Critical patent/KR100801612B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • H04L65/1104Session initiation protocol [SIP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/10Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]

Abstract

본원발명은 디지털 멀티미디어 방송(Digital Multimedia Broadcast)과 동기화된 쌍방향 통신 서비스에 관한 것으로서, 더욱 상세하게는 현재 방송되는 디지털 멀티미디어 방송채널 수신자들이 실시간으로 상기 디지털 멀티미디어 방송채널과 동기화된 쌍방향 멀티미디어 통신을 수행할 수 있도록 하는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 시스템 및 그 방법에 관한 것이다.The present invention relates to a two-way communication service synchronized with a digital multimedia broadcast, and more particularly, the currently broadcast digital multimedia broadcasting channel receiver can perform a two-way multimedia communication synchronized with the digital multimedia broadcasting channel in real time. The present invention relates to a real-time interactive communication system synchronized with a digital multimedia broadcasting and a method thereof.

상술한 본원발명의 시스템은, 디지털 멀티미디어 방송망 또는 인터넷 망 중 적어도 하나 이상의 망을 통해 디지털 멀티미디어 방송을 송출하는 디지털 멀티미디어 방송서버와; 상기 디지털 멀티미디어 방송 서버의 방송채널 별로 동기화된 다중 통신 세션을 생성한 후 상기 다중 통신 세션을 이루는 단말기들 사이의 쌍방향 통신서비스를 제공하는 쌍방향 통신서버와; 상기 디지털 멀티미디어 방송망 또는 인터넷 망 중 어느 하나의 망을 통해 상기 디지털 멀티미디어 방송 채널의 방송을 수신하고, 상기 인터넷망을 통해 상기 쌍방향 통신서버에 접속하여 상기 방송채널과 동기화된 다중 통신 세션에 참여하여 상기 다중 세션에 참여한 상기 방송채널 수신 단말기들과 쌍방향 통신을 수행하는 적어도 하나 이상의 단말기를 포함하여 구성되는 것을 특징으로 한다.The above-described system of the present invention comprises: a digital multimedia broadcasting server for transmitting digital multimedia broadcasting through at least one of a digital multimedia broadcasting network and an internet network; A bidirectional communication server which generates a multi-communication session synchronized for each broadcasting channel of the digital multimedia broadcasting server and then provides a bidirectional communication service between terminals forming the multi-communication session; Receives the broadcast of the digital multimedia broadcasting channel through any one of the digital multimedia broadcasting network or the Internet network, accesses the interactive communication server through the Internet network and participates in a multi-communication session synchronized with the broadcasting channel. And at least one terminal for performing two-way communication with the broadcast channel receiving terminals participating in the multi-session.

디지털 멀티미디어 방송, IPTV(Internet Protocol Television), VOIP(Voice Over IP), Messenger, PTT(Push To Talk), SIP(Session Initiation Protocol) Digital Multimedia Broadcasting, Internet Protocol Television (IPTV), Voice Over IP (VOIP), Messenger, Push To Talk (PTT), Session Initiation Protocol (SIP)

Description

디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 방법{Real time duplex communication method synchronized with digital multimedia broadcast channel}Real time duplex communication method synchronized with digital multimedia broadcast channel

도 1은 본원발명의 일 실시 예에 따르는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 제공 시스템의 개략적인 블록 구성도이고,1 is a schematic block diagram of a real-time interactive communication providing system synchronized with a digital multimedia broadcasting according to an embodiment of the present invention;

도 2는 본원발명의 일 실시 예에 따르는 단말기의 개략적인 블록 구성도이며,2 is a schematic block diagram of a terminal according to an embodiment of the present invention;

도 3은 도 2의 단말기의 유저에이전트(UA: User Agent)의 블록 구성도이고,FIG. 3 is a block diagram of a user agent (UA) of the terminal of FIG. 2.

도 4는 도 2의 유저에이전트 제어화면을 나타내는 도면이며,FIG. 4 is a diagram illustrating a user agent control screen of FIG. 2.

도 5는 본원발명의 디지털 멀티미디어 방송과 동기화된 쌍방향 통신 방법의 처리 과정을 나타내는 순서도이고,5 is a flowchart illustrating a process of a two-way communication method synchronized with a digital multimedia broadcasting of the present invention;

도 6은 도 5의 처리과정 중 유저에이전트의 쌍방향 통신 참여 과정을 나타내는 순서도이며,FIG. 6 is a flowchart illustrating a two-way communication participation process of a user agent in the process of FIG. 5.

도 7은 도 5의 처리과정 중 쌍방향 통신 서비스의 일 실시 예로서의 디지털 멀티미디어 방송 재전송 서비스의 처리과정을 나타내는 순서도이다.7 is a flowchart illustrating a process of a digital multimedia broadcasting retransmission service as an embodiment of a two-way communication service among the processes of FIG. 5.

* 도면의 주요 부호에 대한 설명 *Description of the main symbols in the drawings

100: 단말기100: terminal

100a: 이동통신 단말기 100b: 개인용컴퓨터100a: mobile communication terminal 100b: personal computer

110: 통신부 120: 제어부110: communication unit 120: control unit

130: 유저에이전트(UA: User Agent)130: user agent (UA)

131: 프로토콜스텍모듈 132: 미디어코덱131: protocol stack module 132: media codec

133: UA화면제어모듈133: UA screen control module

134: 방송(디지털 멀티미디어 방송)재전송모듈134: broadcasting (digital multimedia broadcasting) retransmission module

140: 표시부 140': 유저에이전트(UA)제어화면140: display unit 140 ': user agent (UA) control screen

141: 방송(디지털 멀티미디어 방송)출력창141: Broadcast (digital multimedia broadcasting) output window

142: 광고창 143: 메신저창142: advertising window 143: messenger window

144: 미디어타입선택창144: Media type selection window

150: 입력부 160: 오디오인터페이스부150: input unit 160: audio interface unit

200: 디지털 멀티미디어 방송서버(또는 "방송서버")200: digital multimedia broadcasting server (or "broadcast server")

300: 쌍방향통신서버300: interactive communication server

310: 레지스트라서버(RS: Registra Server)310: Registra Server (RS)

320: 상태확인기능서버(PS: Presence Server)320: Presence Server (PS)

330: 로케이션서버(LS: Location Server)330: Location Server (LS)

340: 컨퍼런스서버(CS: Conference Server)340: Conference Server (CS)

400: 통신망400: network

410: 디지털 멀티미디어 방송망 420: 인터넷망410: digital multimedia broadcasting network 420: Internet network

본원발명은 디지털 멀티미디어 방송(Digital Multimedia Broadcast)과 동기화된 쌍방향 통신 서비스에 관한 것으로서, 더욱 상세하게는 현재 방송되는 디지털 멀티미디어 방송채널 수신자들이 실시간으로 상기 디지털 멀티미디어 방송채널과 동기화된 쌍방향 멀티미디어 통신을 수행할 수 있도록 하는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 시스템 및 그 방법에 관한 것이다.The present invention relates to a two-way communication service synchronized with a digital multimedia broadcast, and more particularly, the currently broadcast digital multimedia broadcasting channel receiver can perform a two-way multimedia communication synchronized with the digital multimedia broadcasting channel in real time. The present invention relates to a real-time interactive communication system synchronized with a digital multimedia broadcasting and a method thereof.

현재 통신네트워크 기술의 발달로 제공되는 대표적인 서비스로는 디지털 멀티미디어 방송과, 이동통신 망을 포함하는 초고속 인터넷망을 이용한 인터넷전화, 화상회의, 멀티미디어 메세지 전송, 단말기 위치확인 서비스, 인스턴트 메세지 및 프리젠스 서비스, 면회, 이벤트 통지 등을 포함하는 인터넷(Internet) 기반 멀티미디어(Multimedia) 통신 서비스 등을 들 수 있다.Representative services currently provided by the development of communication network technology include digital multimedia broadcasting and Internet telephony, video conferencing, multimedia message transmission, terminal location service, instant message and presence service using a high-speed Internet network including a mobile communication network. Internet-based multimedia communication services including meetings, event notifications, and the like.

상기 디지털 멀티미디어 방송(Digital Multimedia Broadcast)은 현재 국내에서 지상파 또는 위성 DMB로 소개되고 있는 것으로서, 음성, 영상 등 다양한 멀티미디어 신호를 디지털 방식으로 고정ㆍ휴대ㆍ차량용 수신기에 제공하는 방송 서비스를 말한다.The Digital Multimedia Broadcast (Digital Multimedia Broadcast) is currently introduced in Korea as a terrestrial or satellite DMB, and refers to a broadcast service that provides various multimedia signals such as voice and video to a fixed, portable, and vehicle receiver in a digital manner.

상술한 디지털 멀티미디어 방송은 시스템별로 시스템 AㆍDhㆍE의 제공 방식이 있다.In the above-described digital multimedia broadcasting, there are system A, Dh, and E systems.

시스템 A는 디지털 위성 방송과 지상파 디지털 멀티미디어 방송의 유럽식 디 지털 방송 규격(OFDM : 직교 주파수 분할 다중)을 따르고 있고, 시스템 Dh는 지상파 디지털 멀티미디어 방송을 기반으로 하되 위성 디지털 멀티미디어 방송을 수용하는 혼합 방식을 취하고 있으며, 시스템 E는 부호 분할 다중 접속(CDMA)과 거의 동일한 코드 분할 다중(CDM)방식을 택하고 있다.System A follows the European Digital Broadcasting Standard (OFDM: Orthogonal Frequency Division Multiplexing) of digital satellite broadcasting and terrestrial digital multimedia broadcasting, and system Dh is based on terrestrial digital multimedia broadcasting, but adopts a hybrid method of accommodating satellite digital multimedia broadcasting. The system E adopts a code division multiple access (CDM) method which is almost the same as the code division multiple access (CDMA).

그리고 상기 에스아이피(Session Initiation Protocol)는 상술한 바와 같은 인터넷(Internet) 기반 멀티미디어(Multimedia) 서비스를 위한 멀티미디어 세션의 설정, 수정, 종료를 위한 호 제어 신호처리 기능을 제공하여 하나 이상의 참가자들이 함께 세션을 만들고 수정하며 종료할 수 있게 하는 프로토콜로서 IETF(Internet Engineering Task Force)의 MMUSIC(Multiparty Multimedia Session Control)에 의해 제안된 시그널링 프로토콜(Signaling Protocol)이다.In addition, the Session Initiation Protocol provides a call control signal processing function for setting, modifying, and terminating a multimedia session for an Internet-based multimedia service as described above. It is a signaling protocol proposed by the Multiparty Multimedia Session Control (MMUSIC) of the Internet Engineering Task Force (IETF) as a protocol for creating, modifying, and terminating.

상기 에스아이피(SIP: Session Initiation Protocol)는 클라이언트들이 호출을 시작하면 서버가 그 호출에 응답을 하는 클라이언트/서버 구조에 기반을 두고 있으며, 인터넷에서 사용되는 다른 많은 프로토콜과 결합하여 다양한 서비스들을 만들 수 있는 유연성과 확장성을 제공한다. 이러한 서비스의 일반적인 예로서 SAP(Session Advertise Protocol)로 세션에 대한 정보를 관심이 있는 그룹에 제공하고 SIP를 통해 대화를 원하는 상대가 세션에 참가하도록 INVITE하며 SDP(Session Description Protocol)를 통해 열고자 하는 미디어(media type)에 대한 정보를 교환한다. 또한 SDP에 기술된 RTP를 이용해서 실시간 멀티미디어(Multimedia) 통신 서비스를 제공한다.The Session Initiation Protocol (SIP) is based on a client / server structure in which the server responds to the call when the client initiates the call and can create various services in combination with many other protocols used on the Internet. Provide flexibility and scalability. A typical example of such a service is the Session Advertise Protocol (SAP), which provides information about the session to interested groups, INVITEs for people who want to talk over SIP to join the session, and opens it through the Session Description Protocol (SDP). Exchange information about media types. In addition, it provides a real-time multimedia communication service using the RTP described in the SDP.

상술한 바와 같은 디지털 멀티미디어 방송은 시청자들에게 일방적인 정보를 전달하는 데에만 그치고 있다. 즉, 동일 방송채널을 수신하는 시청자들이 서로 쌍방향 통신을 수행할 수 있도록 하는 서비스를 제공하지 못하고 있다.Digital multimedia broadcasting as described above is only to deliver unilateral information to viewers. That is, a service that enables viewers receiving the same broadcast channel to perform two-way communication with each other is not provided.

최근 들어 VOD 등에서 시청자들과 쌍방향 대화를 하는 시스템이 도입되고 있지만 시청자들 사이의 방송에 대한 의견이나 보다 적극적인 참여를 일으킬 수 있는 시스템이 현 방송시스템에서는 존재하지 않는 것이다. Recently, a system for interactive conversation with viewers has been introduced in VOD, but there is no system in the current broadcasting system that can generate opinions or more active participation in broadcasting among viewers.

따라서 본원발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, DMB(Digital multimedia broadcast)나 IPTV 등을 이용하여 디지털 멀티미디어 방송을 수신하는 경우 동일 채널의 방송을 수신하는 사용자들에게 상기 방송채널과 동기화된 쌍방향 다중 통신 세션을 제공하여 동일 방송채널을 수신하는 사용자가 서로 쌍방향 멀티미디어 통신을 수행할 수 있도록 하는 디지털 멀티미디어 방송과 동기화된 쌍방향 통신 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.Accordingly, the present invention is to solve the above-mentioned problems of the prior art, and when receiving a digital multimedia broadcast using digital multimedia broadcast (DMB) or IPTV, and the like to synchronize with the broadcast channel to users receiving the broadcast of the same channel It is an object of the present invention to provide a two-way communication system and a method synchronized with the digital multimedia broadcasting to provide a two-way multi-communication session to allow users receiving the same broadcast channel to perform interactive multimedia communication with each other.

상술한 목적을 달성하기 위한 디지털 멀티미디어 방송과 동기화된 쌍방향 통신 시스템은, 디지털 멀티미디어 방송망 또는 인터넷 망 중 적어도 하나 이상의 망을 통해 디지털 멀티미디어 방송을 송출하는 디지털 멀티미디어 방송서버와; 상기 디지털 멀티미디어 방송 서버의 방송채널 별로 동기화된 다중 통신 세션을 생성한 후 상기 다중 통신 세션을 이루는 단말기들 사이의 쌍방향 통신서비스를 제공하는 쌍방향 통신서버와; 상기 디지털 멀티미디어 방송망 또는 인터넷 망 중 어느 하나의 망을 통해 상기 디지털 멀티미디어 방송 채널의 방송을 수신하고, 상기 인터넷망을 통해 상기 쌍방향 통신서버에 접속하여 상기 방송채널과 동기화된 다중 통신 세션에 참여하여 상기 다중 세션에 참여한 상기 방송채널 수신 단말기들과 쌍방향 통신을 수행하는 적어도 하나 이상의 단말기를 포함하여 구성되는 것을 특징으로 한다.A two-way communication system synchronized with a digital multimedia broadcasting for achieving the above object comprises: a digital multimedia broadcasting server for transmitting digital multimedia broadcasting through at least one of a digital multimedia broadcasting network and an internet network; A bidirectional communication server which generates a multi-communication session synchronized for each broadcasting channel of the digital multimedia broadcasting server and then provides a bidirectional communication service between terminals forming the multi-communication session; Receives the broadcast of the digital multimedia broadcasting channel through any one of the digital multimedia broadcasting network or the Internet network, accesses the interactive communication server through the Internet network and participates in a multi-communication session synchronized with the broadcasting channel. And at least one terminal for performing two-way communication with the broadcast channel receiving terminals participating in the multi-session.

상술한 본원발명에서 상기 다중 통신 세션은 단말기들이 동시에 접속되어, 접속된 단말기들 사이에서 1 대 다, 1 대 1, 다 대 다 쌍방향 멀티미디어 통신을 수행할 수 있도록 하는 통신결합을 말한다. 즉, 상기 다중 통신 세션에 참여(세션 접속)한 단말기들은 접속된 단말기들 사이에서 PTT(Push to talk), VOIP에 의한 음성 메신저 서비스, 문자 메신저 서비스, 멀티미디어 파일 전송 서비스, 방송 재전송 서비스 등의 다중 멀티미디어 통신 서비스를 제공받을 수 있다. 본원발명의 설명에서 상기 다중 통신세션을 컨퍼런스 룸(CR: Conference Room)이라 하고, CR에서 제공되는 상술한 바와 같은 다중 멀티미디어 통신 서비스를 컨퍼런스 룸 서비스(CR 서비스: Conference Room Service)라 한다.In the above-described present invention, the multi-communication session refers to a communication combination in which terminals are simultaneously connected to perform one-to-many, one-to-one, many-to-many two-way multimedia communication between the connected terminals. That is, terminals participating in the multi-communication session (session connection) are connected to multiple terminals such as push to talk (PTT), voice messenger service by VOIP, text messenger service, multimedia file transfer service, and broadcast retransmission service. The multimedia communication service may be provided. In the description of the present invention, the multi-communication session is referred to as a conference room (CR), and the multi-media communication service as described above provided by the CR is called a conference room service (CR service).

상술한 바와 같은 컨러펀스 룸 서비스를 제공하는 상기 쌍방향 통신서버는, 상기 디지털 멀티미디어 방송 채널별 다중 통신 세션을 생성하고 상태확인기능부로부터 에스아이피(SIP: Session Initiation Protocol) 메시지에 의해 통보된 등록 단말기를 다중 통신 세션에 참여시킨 후 다중 통신 세션에 의한 다중 멀티미디어 통신 서비스를 제공하는 컨퍼런스(Conference)서비스부와; 상기 단말기로부터 단말기가 수신하는 상기 디지털 멀티미디어 방송 채널에 대응하는 다중 통신 세션에 대한 접속 요청 SIP 메시지를 수신한 후 상기 단말기의 SIP 접속 요청에 대한 인증 및 등록을 수행하는 레지스트라(Registra)부와: 상기 레지스트라부에서 등록된 단말기 정보를 저장하고 상기 컨퍼런스서비스부로 SIP 메시지에 의해 상기 단말기 정보를 통보하는 상태확인(Presence)기능부를 포함하여 구성되는 것을 특징을 한다.The two-way communication server providing the conference room service as described above generates a multi-communication session for each digital multimedia broadcasting channel, and registers a terminal notified by a session initiation protocol (SIP) message from a status check function unit. A conference service unit that participates in a multi-communication session and then provides a multi-media communication service by the multi-communication session; A registra unit for receiving an access request SIP message for a multi-communication session corresponding to the digital multimedia broadcasting channel received from the terminal and performing authentication and registration for the SIP access request of the terminal; And a status checking function for storing the terminal information registered in the registrar unit and notifying the terminal information by the SIP message to the conference service unit.

상기 디지털 멀티미디어 방송서버는 상기 컨퍼런스서비스부로부터 상기 다중 통신 세션에 접속된 단말기가 전송한 문자메시지를 수신하여 현재 송출되는 디지털 멀티미디어 방송 신호에 자막신호로 부가하여 송출하거나 IP망을 통해 메신저창에 띄우도록 한다..The digital multimedia broadcasting server receives a text message transmitted by a terminal connected to the multi-communication session from the conference service unit, adds the digital multimedia broadcasting signal as a caption signal to the currently transmitted digital broadcasting signal, or displays it in a messenger window via an IP network. To ...

상기 상태확인기능부는 등록된 상기 단말기 정보와 상기 단말기가 수신 중인 상기 디지털 멀티미디어 방송채널 정보와 위치정보를 이용하여 지역별 시청률 조사정보를 생성한다.The status check function unit generates viewer rating survey information for each region by using the registered terminal information, the digital multimedia broadcasting channel information and location information being received by the terminal.

상기 단말기는, 상기 단말기의 SIP 세션의 설정, 변경, 해제를 위한 SIP, SDP, RTP의 처리를 제어하는 프로토콜스텍모듈과; 수신되는 멀티미디어의 데이터의 부호화 및 복호화를 수행하는 미디어코덱과; 상기 디지털 멀티미디어 방송 출력 및 사용자 제어를 위한 화면제어를 수행하는 유저에이전트화면제어모듈((UA(User Agent)화면제어모듈)과; 수신되는 상기 디지털 멀티미디어 방송을 인터넷망을 통해 재전송하는 방송재전송모듈을 구비한 유저에이전트(UA: User Agent)를 포함하여 구성되는 것을 특징으로 한다.The terminal includes: a protocol stack module for controlling processing of SIP, SDP, and RTP for setting, changing, and releasing a SIP session of the terminal; A media codec for encoding and decoding data of the received multimedia; A user agent screen control module (UA (User Agent) screen control module) for performing screen control for digital multimedia broadcasting output and user control; and a broadcast retransmission module for retransmitting the received digital multimedia broadcasting through an internet network. Characterized in that it comprises a user agent (UA: provided).

상술한 구성을 가지는 유저에이전트는 SIP에 의한 쌍방향 통신서버로의 접속 및 컨퍼런스서비스부의 다중 통신 세션의 참여, 그리고 참여된 다중 통신 세션을 이용한 다른 단말기들과의 멀티미디어 데이터 통신을 제어한다.The user agent having the above-described configuration controls access to an interactive communication server by SIP, participation in multiple communication sessions of a conference service unit, and multimedia data communication with other terminals using the participating multiple communication sessions.

상술한 목적을 달성하기 위한 디지털 멀티미디어 방송과 동기화된 쌍방향 통신 방법은, 디지털 멀티 미디어 방송채널 정보에 따라 상기 방송채널에 동기화된 다중 통신세션을 생성하는 다중 통신세션 생성과정과; 상기 디지털 멀티미디어 방송 채널 수신 중인 단말기를 상기 다중 통신세션에 참여시키는 다중 통신세션 설정과정과; 상기 다중 통신세션 설정과정에 의해 상기 다중 통신 세션에 참가한 단말기들 사이의 쌍방향 멀티미디어 전송 서비스를 제공하는 쌍방향 통신 서비스 제공과정을 포함하여 이루어지는 것을 특징으로 한다.A bidirectional communication method synchronized with a digital multimedia broadcasting for achieving the above object comprises: a multi-communication session generating step of generating a multi-communication session synchronized to the broadcasting channel according to digital multimedia broadcasting channel information; Establishing a multiple communication session for joining the terminal receiving the digital multimedia broadcasting channel to the multiple communication session; And a two-way communication service providing process for providing a two-way multimedia transmission service between terminals participating in the multi-communication session by the multi-communication session setting process.

상기 다중 통신세션 설정과정은, 상기 디지털 멀티미디어 방송 수신 단말기로부터 수신되는 방송채널에 대응하는 다중 통신세션의 접속 요청 신호를 수신하는 접속요청메시지 수신 과정과; 상기 접속요청 메시지 정보를 상태확인 정보로 저장한 후 상기 메세지 정보를 이용하여 상기 단말기를 상기 다중 통신세션에 참여시키는 다중 통신세션 참여과정을 포함하여 이루어지는 것을 특징으로 한다.The multi-communication session setting process may include: a connection request message receiving step of receiving a connection request signal of a multi-communication session corresponding to a broadcast channel received from the digital multimedia broadcasting receiving terminal; And storing the access request message information as status confirmation information and then joining the terminal to the multi-communication session using the message information.

상기 쌍방향 통신 서비스 제공과정은, 상기 다중 통신세션 참여 단말기들 사이의 음성, 문자 메신저 서비스와, 멀티미디어 파일 전송 서비스와, 상기 다중 통신세션 참여 단말기들의 멀티미디어 데이터 전송 정보와 위치정보를 이용하여 상기 다중 통신세션에 대응되는 방송채널의 시청률 정보를 생성하는 시청률정보생성서비스와, 상기 단말기 수신 디지털 멀티미디어 방송 신호를 인터넷을 통해 재전송하는 방송재전송 서비스 중 적어도 하나 이상의 서비스를 제공하는 과정인 것을 특징으로 한다.The bidirectional communication service providing process may be performed by using the voice and text messenger service, the multimedia file transmission service, and the multimedia data transmission information and location information of the multiple communication session participating terminals. And at least one of a viewer rating information generation service for generating viewer rating information of a broadcast channel corresponding to a session, and a broadcast retransmission service for retransmitting the terminal-received digital multimedia broadcasting signal through the Internet.

상기 쌍방향 통신 서비스 제공과정 중 상기 방송재전송 서비스는, 재전송방송 수신 등록 SIP 메시지를 전송하는 단말기 정보와 현재 방송채널의 방송신호를 수신하는 단말기로부터 전송되는 방송재전송 등록 SIP 메시지를 이용하여 방송재전송 서비스 대상 단말기정보를 수집하는 방송재전송 단말기 정보 수집과정과; 상기 방송재전송 단말기 정보 수집 과정에서 수집된 방송재전송 단말기들을 그룹화하는 방송재전송 단말기 그룹화과정과; 상기 그룹화된 방송재전송 단말기 중 방송재전송 등록 단말기가 RTP에 의해 수신되는 디지털 멀티미디어 방송 신호를 상기 그룹 내의 상기 재전송방송 수신 등록 단말기들로 전송하는 방송재전송과정에 의해 제공되는 것을 특징으로 한다.During the two-way communication service providing process, the broadcast retransmission service targets a broadcast retransmission service using terminal information transmitting a retransmission broadcast reception registration SIP message and a broadcast retransmission registration SIP message transmitted from a terminal receiving a broadcast signal of a current broadcast channel. A broadcast retransmission terminal information collecting step of collecting terminal information; A broadcast retransmission terminal grouping step of grouping the broadcast retransmission terminals collected in the broadcast retransmission terminal information collection process; Among the grouped broadcast retransmission terminals, the broadcast retransmission registration terminal is provided by a broadcast retransmission process of transmitting a digital multimedia broadcast signal received by the RTP to the retransmission broadcast reception registration terminals in the group.

상기 방송재전송 단말기 그룹화과정은 상기 단말기들의 위치정보를 이용하여 인접 단말기들을 그룹화하는 과정인 것을 특징으로 한다.The broadcast retransmission terminal grouping process is a process of grouping adjacent terminals using location information of the terminals.

상기 방송재전송과정은, 상기 그룹화된 재전송방송 수신 등록 단말기들로 상기 그룹 내의 방송재전송 등록 단말기들의 리스트 정보를 제공하는 방송재전송 등록 단말기 정보제공과정과; 상기 방송재전송 등록 단말기 정보제공과정에서 제공된 리스트 중 어느 하나의 방송재전송 등록 단말기를 선택하는 방송재전송 등록 단말기 선택과정과; 상기 방송재전송 등록 단말기 선택과정에서 선택된 방송재전송 등록 단말기가 자신을 선택한 재전송방송 수신 등록 단말기로 인터넷망을 통해 수신되는 디지털 멀티미디어 방송을 재전송하는 방송신호전송과정;을 포함하여 이루어지는 것을 특징으로 한다.The broadcast retransmission process may include: broadcast retransmission registration terminal information providing process for providing list information of broadcast retransmission registration terminals in the group to the grouped retransmission broadcast reception registration terminals; A broadcast retransmission registration terminal selection process of selecting any broadcast retransmission registration terminal from a list provided in the broadcast retransmission registration terminal information providing process; And a broadcast signal transmission step of retransmitting the digital multimedia broadcast received through the Internet to the retransmission broadcast reception registration terminal selected by the broadcast retransmission registration terminal selected in the broadcast retransmission registration terminal selection process.

상술한 본원발명에서 상기 다중 통신 세션 설정 과정은 SIP에 의해 수행되 고, 상기 다중 통신서비스에 의한 멀티미디어 데이터 전송은 SDP에 의한 RTP에 의해 수행되는 것을 특징으로 한다.In the above-described present invention, the multi-communication session establishment process is performed by SIP, and multimedia data transmission by the multi-communication service is performed by RTP by SDP.

이하, 첨부 도면을 참조하여 본원발명을 더욱 상세히 설명한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본원발명의 일 실시 예에 따르는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 시스템의 개략적인 블록 구성도이고, 도 2는 본원발명의 일 실시 예에 따르는 단말기의 개략적인 블록 구성도이며, 도 3은 도 2의 단말기의 유저에이전트(UA: User Agent)의 블록 구성도이고, 도 4는 본원발명에 의한 디지털 멀티미디어 방송과 동기화된 쌍방향 통신을 위한 유저에이전트 제어화면을 나타내는 도면이다.1 is a schematic block diagram of a real-time interactive communication system synchronized with a digital multimedia broadcasting according to an embodiment of the present invention, Figure 2 is a schematic block diagram of a terminal according to an embodiment of the present invention, 3 is a block diagram of a user agent (UA) of the terminal of FIG. 2, and FIG. 4 is a diagram illustrating a user agent control screen for two-way communication synchronized with digital multimedia broadcasting according to the present invention.

도 1에 도시된 바와 같이 본원 발명의 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 시스템은, 인터넷망 또는 디지털 멀티미디어 방송망(이하 "방송망")을 통해 제공되는 디지털 멀티미디어 방송 서비스의 채널(이하 "방송채널")에 동기되어 개설된 컨퍼런스 룸(CR: Conference Room)에 SIP 메시지를 이용하여 접속하여 컨퍼런스 룸(CR: Conference Room)서비스(이하 "CR서비스")를 제공받는 단말기(100)와; 상기 디지털 멀티미디어 방송망 또는 인터넷망 중 적어도 하나 이상의 망을 통해 디지털 멀티미디어 방송 서비스를 제공하는 디지털 멀티미디어 방송서버(이하 "방송서버")(200)와; 상기 단말기의 SIP 메시지를 수신한 후 상기 단말기를 CR 서비스에 접속하도록 상기 CR에 참여시켜 단말기들 사이에서 수신되는 방송채널에 동기화된 쌍방향 통신서비스를 제공하기 위한 레지스트라서비스, 상태확인기능서비스, 위치정보서비스(로케이션서비스) 및 컨퍼런스룸 서비스를 제공하는 쌍방향 통신서버(300)를 포함하여 구성된다.As shown in FIG. 1, a real-time interactive communication system synchronized with the digital multimedia broadcasting of the present invention is a channel of a digital multimedia broadcasting service provided through an internet network or a digital multimedia broadcasting network (hereinafter referred to as a "broadcast network") (hereinafter referred to as "broadcast channel"). A terminal 100 which is connected to a conference room (CR) opened in synchronization with a mobile station using a SIP message and receives a conference room (CR) service (hereinafter referred to as a “CR service”); A digital multimedia broadcasting server (hereinafter, referred to as a "broadcast server") 200 for providing a digital multimedia broadcasting service through at least one of the digital multimedia broadcasting network and the internet network; A registrar service, a status check function service, and location information for providing a two-way communication service synchronized to a broadcast channel received between terminals by joining the CR to access the CR service after receiving the SIP message of the terminal. It comprises a two-way communication server 300 that provides services (location services) and conference room services.

도 1에서는 본원발명의 레지스트라부로서 레지스트라서비스를 제공하는 레지스트라부는 레지스트라서버(RS: Registra Server)(310)로, 본원발명의 상태확인기능서비스를 제공하는 상태확인기능부는 상태확인기능서버(PS: Presence Server)(320)로, 본원발명의 위치정보제공 서비스를 제공하는 위치정보제공부는 로케이션서버(LS: Location Server)(330)로, 본원발명의 컨퍼런스서비스를 제공하는 컨퍼런스서비스(CR 서비스)부는 컨퍼런스서버(CS: Conference Server)(340)로 도시하였다. In FIG. 1, a registrar unit that provides a registrar service as a registrar unit of the present invention is a registrar server (RS) 310, and a state check function unit that provides a status check function service of the present invention is a state check function server (PS). Presence Server (320), the location information providing unit for providing a location information providing service of the present invention to a location server (LS) (330), a conference service (CR service) unit for providing a conference service of the present invention A conference server (CS) 340 is illustrated.

도 1에 도시된 상기 단말기(100)는 디지털 멀티미디어 방송 수신 기능 및 SIP프로토콜 제어에 의한 CR 서비스를 제공받기 위한 쌍방향 통신 기능을 가지는 이동통신 단말기(110) 또는 개인용 컴퓨터(120)로 구성될 수 있다. 이때 이동통신 단말기(110)는 디지털 멀티미디어 방송 수신을 위한 방송수신용 안테나와 디지털 멀티미디어 방송신호 재생 기능이 구비되고, CR서비스를 제공받기 위한 유저에이전트를 탑재하며, 상기 개인용컴퓨터(120)는 디지털 멀티미디어 방송 수신용 모듈과 디지털 멀티미디어 방송신호 재생 기능이 구비되고, CR서비스를 제공받기 위한 유저에이전트가 탑재된다.The terminal 100 illustrated in FIG. 1 may be configured as a mobile communication terminal 110 or a personal computer 120 having a two-way communication function for receiving a digital multimedia broadcasting reception function and a CR service by SIP protocol control. . At this time, the mobile communication terminal 110 is equipped with a broadcast receiving antenna and digital multimedia broadcasting signal reproduction function for receiving digital multimedia broadcasting, and is equipped with a user agent for receiving a CR service, the personal computer 120 is a digital multimedia A broadcast receiving module and a digital multimedia broadcasting signal reproducing function are provided, and a user agent for receiving a CR service is mounted.

도 2 내지 도 4는 본원발명의 단말기(100)의 공통 구성을 나타내는 도면이다.2 to 4 are views showing a common configuration of the terminal 100 of the present invention.

도 2 내지 도 4를 참조하여 도 1의 단말기(100)를 더욱 상세히 설명하면 다음과 같다.The terminal 100 of FIG. 1 will be described in more detail with reference to FIGS. 2 to 4 as follows.

도 2에 도시된 바와 같이, 도 1의 단말기(100)는 이동통신 단말기(100a) 또는 개인용 컴퓨터(100b)에 관계없이, 디지털 멀티미디어 방송망(410)과 인터넷망(420) 중 어느 하나의 망을 통해 디지털 멀티미디어 방송채널의 방송신호를 수신하고, 상기 인터넷망(420)을 통해 패킷 데이터 통신을 수행할 수 있도록 하는 통신부(110)와; 통신부(110)에 의한 방송신호의 수신 및 패킷통신의 제어, 송수신되는 패킷데이터의 부호화(encoding) 및 복호화(decoding)를 수행하는 제어부(120)와; 제어부(120)를 통해 도 1의 쌍방향 통신서버(300)와 SIP 메시지를 송수신하여 CR 접속을 위한 세션을 설정하고, SDP, RTP를 이용하여 상기 CR를 경유하는 다른 단말기와의 쌍방향 멀티미디어 통신을 수행하며, CR 서비스 제공을 위한 유저에이전트제어화면(이하, "UA제어화면")(140')을 제공하는 유저에이전트(UA: User Agent)(130)와; 단말기의 구동상태 정보, UA제어화면(140')을 출력하는 표시부(140)와; 사용자 제어명령을 입력받는 입력부(150)와; 사용자의 오디오 송수신을 위한 소리 신호의 입출력을 위한 마이크 및 스피커, AD/DA 컨버터 등을 포함하는 오디오인터페이스부(160)를 포함하여 구성된다.As shown in FIG. 2, the terminal 100 of FIG. 1 uses either the digital multimedia broadcasting network 410 or the internet network 420 regardless of the mobile communication terminal 100a or the personal computer 100b. A communication unit 110 for receiving a broadcast signal of a digital multimedia broadcasting channel and performing packet data communication through the Internet network 420; A control unit 120 for receiving a broadcast signal and controlling packet communication by the communication unit 110 and encoding and decoding packet data transmitted and received; Send and receive SIP messages with the interactive communication server 300 of FIG. 1 through the control unit 120 to establish a session for CR connection, and perform interactive multimedia communication with another terminal via the CR using SDP and RTP. A user agent (UA) 130 providing a user agent control screen (hereinafter referred to as "UA control screen") 140 'for providing a CR service; A display unit 140 for outputting driving state information of the terminal and the UA control screen 140 '; An input unit 150 for receiving a user control command; And an audio interface unit 160 including a microphone, a speaker, an AD / DA converter, and the like, for input and output of a sound signal for transmitting and receiving a user's audio.

상술한 구성에서 상기 통신부(110)는 이동통신 단말기(110)의 경우에는 기지국과의 RF 통신을 위한 RF안테나를 포함하는 RF부와 디지털 멀티미디어 방송 수신을 위한 디지털 멀티미디어 방송용 안테나를 포함하는 디지털 멀티미디어 방송 수신용 안테나부로 구성되고, 개인용 컴퓨터(120)의 경우에는 랜카드, ATM카드 등의 네트워크 접속 인터페이스와, 외장형 또는 내장형 디지털 멀티미디어 방송 수신장치로 구성될 수 있다. 그리고 IPTV를 시청하는 경우, 이동통신 단말기는 무선 인터넷망에 접속되고, 개인용 컴퓨터는 인터넷망에 접속된다. 이 경우 이동통신 단말기 와 개인용 컴퓨터에는 IP주소가 할당된다.In the above-described configuration, the communication unit 110 includes, in the case of the mobile communication terminal 110, an RF unit including an RF antenna for RF communication with a base station and a digital multimedia broadcasting antenna for receiving digital multimedia broadcasting. In the case of the personal computer 120, the personal computer 120 may include a network connection interface such as a LAN card and an ATM card, and an external or internal digital multimedia broadcasting receiver. When watching IPTV, the mobile communication terminal is connected to the wireless Internet network, and the personal computer is connected to the Internet network. In this case, IP addresses are assigned to mobile terminals and personal computers.

상술한 구성을 가지는 단말기(100)는 UA(130)에 의해 CR 서비스를 제공받으며, 수신 중인 방송채널의 방송신호를 RTP를 이용 인터넷망을 통해 다른 단말기로 재전송하는 기능을 수행한다.The terminal 100 having the above-described configuration is provided with a CR service by the UA 130 and performs a function of retransmitting a broadcast signal of a broadcast channel being received to another terminal through an internet network using RTP.

즉, UA(130)는 사용자의 방송채널 선택이 있는 경우 구동되어 RS(310)로 방송채널 정보와 단말기 또는 사용자 식별자 정보를 가지는 SIP 이벤트 서브스크라이브 메시지를 전송하여 로그인이 수행되어 CS(340)에 접속된 후 RTP에 의한 VOIP. PTT. SMS 등의 다양한 쌍방향 멀티미디어 통신을 통해 CR 서비스를 제공받게 된다. 그리고 사용자의 설정과 CS(340)의 SIP 제어메시지에 의해 방송 재전송을 수행한다.That is, the UA 130 is driven when there is a user's broadcast channel selection and sends a SIP event subscription message having the broadcast channel information and the terminal or user identifier information to the RS 310 to log in to the CS 340. VOIP by RTP after being connected. PTT. CR services are provided through various interactive multimedia communication such as SMS. The broadcast retransmission is performed by the user setting and the SIP control message of the CS 340.

상술한 바와 같은 기능을 수행하는 UA(130)는 접속요청 메시지를 송신할 때에는 클라이언트 형식(UAC, User Agent Client)으로 동작하고, 접속요청 메시지를 수신하여 처리할 때에는 서버 형식(UAS, User Agent Server)으로 동작한다. UA(130)는 다른 UA와 직접 연결을 설정하거나 Proxy/Redirect Server들의 도움으로 다른 UA와 연결을 설정하며, 호(呼, call) 상태를 저장하고 관리할 수도 있다.The UA 130 performing the above-described functions operates in a client format (UAC, User Agent Client) when transmitting a connection request message, and in a server format (UAS, User Agent Server) when receiving and processing an access request message. ) The UA 130 may establish a direct connection with another UA or establish a connection with another UA with the help of Proxy / Redirect Servers, and may store and manage a call state.

상술한 기능을 위하여 상기 UA(130)는 도 3에 도시된 바와 같이, SIP-SDP-RTP 등의 제어를 위한 프로토콜스텍모듈(131)과; RTP에 의해 송수신되는 멀티미디어의 부호화 및 복호화를 위한 미디어코덱(132)과; 방송출력 및 사용자 제어를 위한 화면제어를 수행하는 UA화면제어모듈(133)과; 방송재전송을 위한 방송재전송모듈(134)을 포함하여 구성된다.For the above function, the UA 130 includes a protocol stack module 131 for controlling SIP-SDP-RTP, as shown in FIG. 3; A media codec 132 for encoding and decoding multimedia transmitted and received by RTP; A UA screen control module 133 which performs screen control for broadcasting output and user control; It comprises a broadcast retransmission module 134 for broadcast retransmission.

상술한 구성에서 프로토콜스텍모듈(131)은 응용계층에서의 CR서비스를 위한 CS(340)와의 세션 설정을 위한 SIP 시그널링처리, 설정된 세션의 변경을 위한 SDP 시그널링 처리 및 설정된 세션을 통한 멀티미디어 데이터의 송수신을 위한 RTP 신호처리를 수행한다.In the above configuration, the protocol stack module 131 performs SIP signaling processing for establishing a session with the CS 340 for CR service in the application layer, SDP signaling processing for changing the established session, and transmission and reception of multimedia data through the established session. Perform RTP signal processing for.

상기 미디어코덱(132)은 제어부(120)로부터 입력되는 멀티미디어 데이터를 복호화하여 복호화정보를 화면제어모듈(133)로 출력한다. 그리고 단말기(100) 사용자가 전송하고자 하는 음성, 텍스트, 이미지 등을 포함하는 멀티미디에 파일 데이터가 RTP에 의해 전송될 수 있도록 부호화하여 출력한다. 부호화된 데이터는 RTP에 의해 목적지 단말기 또는 CS(340)로 전송된다.The media codec 132 decodes the multimedia data input from the controller 120 and outputs the decoded information to the screen control module 133. The terminal 100 encodes and outputs the file data to the multimedia including the voice, text, image, and the like that the user wants to transmit. The encoded data is transmitted to the destination terminal or CS 340 by RTP.

다음으로 상기 UA화면제어모듈(133)은 미디어코덱(132)에서 입력되는 멀티미디어 데이터 파일 형태와 제어부(120)에서 입력되는 방송신호 정보를 동시에 출력하는 UA제어화면(140')을 생성하여 출력한다. 제어부(120)는 출력된 UA제어화면(140') 정보에 따라 표시부에 방송화면과 함께 쌍방향 멀티미디어 통신 데이터를 출력한다.Next, the UA screen control module 133 generates and outputs a UA control screen 140 'that simultaneously outputs the multimedia data file type input from the media codec 132 and the broadcast signal information input from the control unit 120. . The controller 120 outputs interactive multimedia communication data together with the broadcast screen on the display unit according to the output UA control screen 140 '.

도 4는 상기 UA제어화면(140')의 일 실시 예를 나타내는 도면으로서, 도 4에 도시된 바와 같이 상기 UA제어화면(140')은 방송신호가 출력되는 방송출력창(141)과; 광메시지를 출력하는 광고창(142), 문자 메신저 서비스를 위한 메신저창(143)과; 멀티미디어 쌍방향 통신을 위한 기능 선택을 위한 기능선택창(144)을 포함하여 구성될 수 있다.4 is a diagram illustrating an embodiment of the UA control screen 140 ', and as shown in FIG. 4, the UA control screen 140' includes a broadcast output window 141 for outputting a broadcast signal; An advertisement window 142 for outputting an optical message, a messenger window 143 for a text messenger service; It may be configured to include a function selection window 144 for function selection for multimedia interactive communication.

이 때, 상기 광고창(142)은 광고수신을 설정한 경우에만 출력되도록 구성되 어 광고수신 설정자만이 광고 수신에 따라 발생하는 광고머니를 지급받도록 설정될 수 있다.In this case, the advertisement window 142 may be configured to be output only when the advertisement reception is set, so that only the advertisement reception setter may receive the advertisement money generated according to the advertisement reception.

그리고 기능선택창(144)은 PTT, VOIP, Message, 방송재전송 등의 서비스를 위한 재전송 버튼(PTT(1), VOIP(2), Message(3), 재전송(4)...)들 및 도면에는 미도시되어 있으나 파일 첨부 등의 기능 버튼들이 구비된다. 그리고 각 버튼의 선택은 키패드의 특정키에 할당될 수 있다.And the function selection window 144 is a retransmission button (PTT (1), VOIP (2), Message (3), retransmission (4) ...) and drawings for services such as PTT, VOIP, Message, broadcast retransmission Although not shown, there are provided function buttons such as a file attachment. And the selection of each button can be assigned to a specific key of the keypad.

이를 더욱 상세히 설명하면 상기 기능선택창(144)에서 사용자가 PTT를 선택한 경우 특정키를 누른 후 사용자가 단말기로 입력하는 음성은 디지털 신호로 변환된 후 RTP 패킷에 포함되어 CS(340)로 전송되고, CS(340)는 해당 신호를 동일 방송채널의 방송을 수신하며 CR에 접속된 단말기들로 멀티캐스트 또는 브로드캐스트에 의해 전송하여 송신자의 음성신호가 동일 방송채널을 수신하는 다른 단말기들에서 출력되도록 한다. 이 경우 음성신호의 재생은 각각의 UA(130)의 미디어코덱이 수행하게 된다.In more detail, when the user selects the PTT in the function selection window 144, the voice input by the user after pressing a specific key is converted into a digital signal and then transmitted to the CS 340 by being included in an RTP packet. The CS 340 receives the broadcast of the same broadcast channel and transmits the signal through multicast or broadcast to the terminals connected to the CR so that the sender's voice signal is output from other terminals receiving the same broadcast channel. do. In this case, the playback of the audio signal is performed by the media codec of each UA 130.

다음으로 VOIP(1) 버튼은 인터넷을 통한 음성통화 서비스를 제공하는 것으로서, 단말기 사용자가 동일 방송 채널을 수신하며, CR에 접속된 특정사용자 또는 그룹 사용자와 음성통화를 수행할 수 있도록 한다.Next, the VOIP (1) button provides a voice call service through the Internet, so that the terminal user receives the same broadcast channel and performs a voice call with a specific user or a group user connected to the CR.

메시지(message(3)) 버튼은 메시지창에 의한 메신저 서비스를 제공하고, 재전송(4) 버튼은 하기의 도 7에서 설명할 방송재전송 기능 중 방송재전송 요구 또는 재전송 방송 수신을 설정할 수 있도록 한다.The message (3) button provides a messenger service by the message window, and the resend 4 button enables to set a broadcast retransmission request or a retransmission broadcast reception among the broadcast retransmission functions to be described with reference to FIG.

그리고 미 도시된 파일버튼은 전송되는 메시지에 파일을 첨부하거나, 사용자 가 선택한 특정 단말기 또는 CR에 접속된 전체 단말기로 파일을 송수신할 수 있도록 한다.The file button, not shown, attaches a file to a transmitted message or transmits and receives a file to a specific terminal selected by a user or to an entire terminal connected to a CR.

다시 도 1을 참조하여 본원발명의 시스템 구성을 참조하여 본원발명의 시스템 구성을 설명한다.The system configuration of the present invention will be described with reference to FIG. 1 again with reference to the system configuration of the present invention.

상술한 도 1의 경우 상기 쌍방향 통신서버(300)의 각 기능을 독립된 서버에서 수행하도록 서로 분리된 서버로 도시하였다. 이 경우 레지스트라서버(RS: Registra Server)(310)는 본원발명의 레지스트라부로서 레지스트라서비스를 제공하고, 상태확인기능서버(PS: Presence Server)(320)는 본원발명의 상태확인기능부로서 상태확인기능서비스를 제공하며, 로케이션서버(LS: Location Server)(330)는 본원발명의 위치정보제공부로서 위치정보제공서비스를 제공하고, 컨퍼런스서버(CS: Conference Server)(340)는 본원발명의 컨퍼런스서비스부로서 컨퍼런스서비스(CR 서비스)를 제공하는 것으로서 각각이 서로 연동하는 독립된 서버로 구현된 것으로 도시하였으나, 상기 각각의 서버는 쌍방향 통신서버(300)인 하나의 서버에 통합 구성되어 서비스의 형태로 제공될 수도 있다.In the case of FIG. 1 described above, each function of the bidirectional communication server 300 is illustrated as a server separated from each other so as to be performed by an independent server. In this case, a registrar server (RS) 310 provides a registrar service as a registrar unit of the present invention, and a status check function server (PS) 320 is a state check function as a status check function of the present invention. It provides a functional service, the location server (LS: Location Server) 330 provides a location information providing service as a location information providing unit of the present invention, Conference Server (CS) (340) is a conference of the present invention As a service unit, a conference service (CR service) is provided as an independent server which is interlocked with each other. However, each server is integrated in one server, which is a two-way communication server 300, in the form of a service. May be provided.

상술한 각 서버를 상세히 설명하면 다음과 같다.Each server described above is described in detail as follows.

상기 RS(310)는 단말기(100)로부터 전송된 SIP 메시지를 이용하여 단말기(100)가 정당한 SIP 세션 설정을 위한 사용자인지에 대한 인증을 수행하고, 인증이 수행된 단말기 정보를 추출하여 PS(320)로 전송하는 기능을 수행한다. 즉, 상기 RS(310)는 단말기(100)로부터 전송된 SIP의 이벤트 서브스크라이브(Event Subscribe) 메시지 중 헤더에서 단말기 식별자 정보를 추출하여 해당 메시지를 전송한 단말기에 대한 인증을 수행한 후 단말기 정보(단말기 식별자, 위치정보, 주소정보)를 추출하여 PS(320)로 전송하는 기능을 수행한다.The RS 310 performs authentication on whether the terminal 100 is a user for establishing a legitimate SIP session by using a SIP message transmitted from the terminal 100, extracts terminal information on which authentication has been performed, and outputs the PS 320. ) To send to. That is, the RS 310 extracts the terminal identifier information from the header of the event subscribe message of the SIP transmitted from the terminal 100 and performs authentication on the terminal that transmitted the corresponding message. Terminal identifier, location information, address information) to extract and transmit to the PS (320).

상기 PS(320)는 상기 RS(310)로부터 전송되는 SIP에 의한 세션이 설정된 단말기들의 식별자, 위치, 접속상태, 수신 방송채널 정보 등을 저장한다. 그리고 실시간으로 CR에 참여한 단말기의 저장된 상태정보를 이용하여 CR에 동기화된 방송채널에 대한 시청률 조사, 과금 등의 부가 기능을 수행한다. 이때, PS(320)는 CR 접속 단말기 상태 정보 중 단말기의 위치 및 수신 방송채널 정보를 이용하여 방송채널 수신에 대한 지역별 시청률을 조사할 수도 있다. 또한 상기 PS(320)는 광고제공의 경우 광고 수신을 등록한 단말기의 사용자에게는 광고 수신에 따른 광고머니 지급 정보를 생성한다.The PS 320 stores identifiers, locations, connection states, received broadcast channel information, etc. of terminals in which a session by SIP transmitted from the RS 310 is established. In addition, by using the stored state information of the terminal participating in the CR in real time, the viewer performs additional functions such as audience rating survey and billing for the broadcast channel synchronized with the CR. In this case, the PS 320 may investigate a region rating of the broadcast channel reception by using the location of the terminal and the received broadcast channel information among the CR access terminal status information. In addition, in the case of advertisement provision, the PS 320 generates advertisement money payment information according to advertisement reception to a user of a terminal that has registered to receive advertisements.

상기 LS(330)는 SIP UA의 위치정보를 저장하고 관리하는 것으로서, 접속된 UA의 단말기 실제적인 위치정보 및 주소정보를 저장한다. 실제적인 단말기의 위치정보 제공을 위하여 상기 LS(330)는 이동통신망의 HAL, GPS 등과 연동되도록 구성될 수 있다. 그리고 상기 LS는 주소정보를 저장하는 것에 의해 도면에는 미도시된 프록시 또는 리다이렉트 서버로 수신되는 SIP 메시지의 전송경로 식별을 위한 주소정보를 제공한다. The LS 330 stores and manages location information of a SIP UA, and stores actual location information and address information of a connected UA terminal. In order to provide actual location information of the terminal, the LS 330 may be configured to interwork with HAL, GPS, etc. of the mobile communication network. In addition, the LS provides address information for identifying a transmission path of a SIP message received by a proxy or redirect server, which is not shown in the drawing by storing address information.

상기 CS(340)는 방송서버(200)에서 현재 방송하는 디지털 멀티미디어 방송채널(이하 "방송채널")에 동기된 컨퍼런스룸(CR: Conference Room)을 생성하고, PS(320)로부터 SIP에 의해 CR에 접속요청한 사용자 단말기 정보를 수신하여 멀티미디어 쌍방향 통신을 위한 세션을 설정한 후 RTP(Real time Transport Protocol)에 의해 해당 방송채널을 시청하는 단말기들 상호간의 CR(Conference Room) 서비스를 제공한다. 이 경우 상기 CS(340)는 방송채널에 동기화된 CR의 생성을 위하여 방송서버(200)의 디지털 멀티미디어 방송 시간 정보를 저장할 수도 있다.The CS 340 generates a conference room (CR) synchronized with a digital multimedia broadcasting channel (hereinafter, referred to as a "broadcast channel") currently broadcasted by the broadcast server 200, and CR from the PS 320 by SIP. After receiving the user terminal information requested for the connection to establish a session for multimedia two-way communication and provides a CR (Conference Room) service between the terminals watching the corresponding broadcast channel by the Real Time Transport Protocol (RTP). In this case, the CS 340 may store digital multimedia broadcasting time information of the broadcasting server 200 to generate a CR synchronized with the broadcasting channel.

그리고 상기 CS(340)가 제공하는 CR(Conference Room)은 동일 방송채널을 수신하며 상기 CR에 접속한 사용자 단말기들을 위한 다중 통신 세션을 의미하며, 상기 CR서비스는 다중 통신 세션을 통해 단말기들의 사용자들이 실시간으로 음성, 문자 메시지, PTT 서비스, 멀티캐스트(Multicast) 또는 브로드캐스트(Broadcast)에 의한 일괄적인 광고방송 등의 쌍방향멀티미디어 통신을 수행할 수 있도록 하는 서비스를 말한다. 또한, CS(340)는 단말기들 사이의 디지털 멀티미디어 방송 재전송 기능(이하 "방송 재전송 기능")을 제어하는 것으로서 이는 도 7의 설명에서 더욱 상세히 설명한다.In addition, a conference room (CR) provided by the CS 340 refers to a multi-communication session for user terminals that receive the same broadcast channel and accesses the CR. Refers to a service that enables interactive multimedia communication such as voice, text message, PTT service, multicast, or broadcast broadcast in real time. In addition, the CS 340 controls the digital multimedia broadcasting retransmission function (hereinafter, referred to as "broadcast retransmission function") between terminals, which will be described in more detail with reference to FIG. 7.

상술한 본원발명에서 전송되는 SIP 메시지는 일반적으로 시작라인(Start line)과, 헤더(Header)와, 메시지바디(message body)로 구성된다. 여기서 시작라인(Start line)에는 요청할 메소드(Method)와 SIP URI 등의 메시지 전송 대상의 주소가 기재된다. 그리고 헤더(Header)에는 세션을 제어(control)하기 위한 단말기 식별자 정보 등의 값들이 세팅된다. 다음으로 메시지바디(message body)에는 헤더(header)에서 컨텐트 타입(Content-type)에 설정된 타입의 내용이 들어가게 된다. 메시지바디(message body)에는 SDP를 사용한 미디어 타입(media type)에 대한 기술 부분이 포함될 수 있다.The SIP message transmitted in the present invention is generally composed of a start line, a header, and a message body. Here, the start line describes a method of requesting a message and an address of a message transmission target such as a SIP URI. In the header, values such as terminal identifier information for controlling a session are set. Next, the message body contains the content of the type set in the content-type in the header. The message body may include a description of a media type using SDP.

본원발명의 경우에는 상술한 바와 같은 구조를 가지는 SIP 메시지 중 이벤트 서브스크라이브 메시지(Event Subscribe message)와 노티파이 메시지(Notify message)를 통해 CR 서비스를 위한 단말기들의 세션을 설정하게 된다. 즉, 본원발명의 시스템에서 CR서비스를 제공받기 위해 단말기(100)는 SIP 이벤트 서브스크라이브(Event Subscribe) 메시지를 RS(310)로 전송하고, RS(310)는 단말기(100) 정보를 PS(320)에 전송한다. PS(320)는 단말기(100) 정보를 저장한 후 CS(340)로 이벤트 노티파이(Event Notify) 메시지로 통보하게 되고, CS(340)는 단말기(100) 수신 대상 방송채널에 동기화된 CR의 쌍방향통신을 위한 다중 통신 세션에 단말기(100)를 참여시켜 단말기(100)가 CR에 접속되어 CR에 의한 쌍방향통신서비스(CR 서비스)를 제공받도록 한다.In the present invention, sessions of terminals for a CR service are established through an event subscribe message and a notify message among SIP messages having the structure described above. That is, in order to receive the CR service in the system of the present invention, the terminal 100 transmits a SIP event subscribe message to the RS 310, and the RS 310 transmits the terminal 100 information to the PS 320. To send). The PS 320 stores the terminal 100 information and then notifies the CS 340 to an event notify message, and the CS 340 of the CR synchronized with the broadcast channel to which the terminal 100 is received. The terminal 100 participates in a multi-communication session for two-way communication so that the terminal 100 is connected to the CR to receive a two-way communication service (CR service) by the CR.

상술한 본원발명의 시스템은 상술한 구성 이외에도 SIP 메시지를 전송 대상 목적지 주소로 포워딩(Forwarding)을 수행하는 SIP 프록시(Proxy) 서버, 전송대상 목적지 주소를 추출하여 제공하는 리다이렉트(Redirect) 서버 등을 더 포함하며 이는 종래기술에서 자명한 사항이므로 그 상세한 설명은 생략한다.In addition to the above-described configuration, the above-described system of the present invention further includes a SIP proxy server for forwarding SIP messages to a transmission destination address, a redirect server for extracting and providing a delivery destination address, and the like. This is obvious in the prior art, so the detailed description thereof will be omitted.

도 5는 본원발명의 디지털 멀티미디어 방송과 동기화된 쌍방향 통신 방법의 처리 과정을 나타내는 순서도이고, 도 6은 도 5의 처리과정 중 유저에이전트의 쌍방향 통신 참여 과정을 나타내는 순서도이며, 도 7은 도 5의 처리과정 중 쌍방향 통신 서비스의 일 실시 예로서의 디지털 멀티미디어 방송 재전송 서비스의 처리과 정을 나타내는 순서도이다.FIG. 5 is a flowchart illustrating a process of a bidirectional communication method synchronized with a digital multimedia broadcasting of the present invention. FIG. 6 is a flowchart illustrating a bidirectional communication participation process of a user agent during the process of FIG. 5. FIG. 7 is a flowchart of FIG. FIG. 1 is a flowchart illustrating a process of processing a digital multimedia broadcasting retransmission service as an embodiment of a two-way communication service.

이하, 도 5 내지 도 7을 참조하여 본원발명의 디지털 멀티미디어 방송과 동기화된 쌍방향 통신 방법의 처리과정을 상세히 설명한다.Hereinafter, a process of the bidirectional communication method synchronized with the digital multimedia broadcasting of the present invention will be described in detail with reference to FIGS. 5 to 7.

도 5에 도시된 바와 같이, 본원발명의 디지털 멀티미디어 방송과 동기화된 쌍방향 통신을 위하여는 먼저, CS(340)가 방송채널에 동기되어 CR을 생성한다. 이를 위하여 상기 CS(340)는 방송서버(200)로부터 방송채널 정보를 실시간으로 제공받거나, 방송채널 정보를 저장하게 된다(S1).As shown in FIG. 5, for two-way communication synchronized with the digital multimedia broadcasting of the present invention, the CS 340 generates a CR in synchronization with a broadcast channel. To this end, the CS 340 receives the broadcasting channel information from the broadcasting server 200 in real time or stores the broadcasting channel information (S1).

방송채널 정보에 대응되는 CR을 생성한 CS(340)는 PS(320)로 해당 CR에 대응하는 방송채널을 수신하면서 CR 접속 요청을 보낸 UA(130)를 탑재한 단말기 정보(또는 사용자 정보)를 SIP 이벤트 서브스크라이브(Event Subscribe) 메시지를 통해 요청하여 전송받은 후 해당 단말기(100)의 UA(130)들을 해당 UA들이 수신하는 방송채널에 대응하는 CR에 의해 CR 서비스를 제공받을 수 있도록 세션을 설정하고 설정된 세션을 다중 통신을 위한 세션 그룹으로 설정한다. 이 과정에서 PS(320)는 CR 참여를 요청하는 단말기 정보가 입력되면 실시간으로 해당 정보를 CS(340)로 전송하고, CS는 수신된 정보 중 단말기의 수신 방송채널 정보를 이용하여 해당 단말기(100)의 UA(130)와 CR 서비스를 위한 세션을 설정하는 것에 의해 단말기를 CR에 참여시킨다(S2). The CS 340 that generates the CR corresponding to the broadcast channel information receives the terminal information (or user information) equipped with the UA 130 that sends the CR connection request to the PS 320 while receiving the broadcast channel corresponding to the CR. After requesting and receiving through the SIP Event Subscribe message, the session is set up so that the UAs 130 of the terminal 100 can be provided with the CR service by the CR corresponding to the broadcast channel received by the corresponding UAs. And set the session as a session group for multiple communication. In this process, when the terminal information requesting CR participation is input, the PS 320 transmits the corresponding information to the CS 340 in real time, and the CS uses the received broadcast channel information of the terminal among the received information. The UE joins the CR by establishing a session for the CR service with the UA 130 (S2).

도 6은 상술한 S2 과정 중 유저에이전트(UA)들의 쌍방향 통신 참여 과정을 나타내는 순서도로서 이를 상세히 설명한다.FIG. 6 is a flowchart illustrating a two-way communication participation process of user agents UA in the above-described S2 process.

상술한 S1 과정에 의해 생성된 CR에 참여하기를 원하는 사용자는 자신의 단 말기(100)에서 UA(130)를 구동하게 되고, 초기 구동시 UA(130)는 CR서비스를 위한 인증정보를 SIP 이벤트 서브스크라이브 메시지(Event Subscribe Message)로 하여 RS(310)로 전송하여 로그인을 수행한다. 상기 로그인 절차를 위한 SIP 이벤트 서브스크라이브 메시지는 UA의 실행 후 사용자가 방송채널을 선택하는 경우 기설정된 정보를 UA(130)가 포함시켜 직접전송하거나, 또는 사용자의 로그인 정보 입력화면을 출력하는 것에 의해 이루어질 수 있다. 그리고 사용자 로글인을 위해 전송되는 상기 SIP 이벤트 서브스크라이브 메시지에는 UA제어화면(140')에 출력되도록 선택된 방송채널 정보도 포함된다(S21).The user who wants to participate in the CR generated by the above-described S1 process drives the UA 130 in his terminal 100, and during the initial driving, the UA 130 sends the SIP information to the SIP event for the CR service. A login message is transmitted to the RS 310 as an event subscribe message. The SIP event subscription message for the login procedure may be directly transmitted by the UA 130 including preset information when the user selects a broadcast channel after execution of the UA, or by outputting a login information input screen of the user. Can be done. In addition, the SIP event subscribe message transmitted for user login includes the broadcast channel information selected to be output on the UA control screen 140 '(S21).

단말기(100)의 UA(130)로부터 SIP 이벤트 서브스크라이브 메시지를 수신한 RS(310)는 수신된 정보 중 사용자 식별자 또는 단말기 식별자를 이용하여 인증을 수행한다. 그리고 인증이 수행된 경우에는 수신된 정보에서 단말기 정보 또는 사용자 정보와, 수신방송채널 정보 등의 UA정보를 PS(320)로 전송한다(S23).Upon receiving the SIP event subscribe message from the UA 130 of the terminal 100, the RS 310 performs authentication using a user identifier or a terminal identifier among the received information. When authentication is performed, the terminal transmits the terminal information or the user information from the received information and the UA information such as the reception broadcast channel information to the PS 320 (S23).

S23 과정에서 UA정보를 수신한 PS(320)는 수신된 UA정보를 등록 저장한 후 CS(340)로부터의 SIP 이벤트 서브스크라이브 메시지의 수신을 대기함이 없이 곧바로 SIP 이벤트 노티파이(Event Notify) 메시지를 통해서 수신 방송채널에 동기화된 CR에 참여 요청한 단말기의 사용자 정보와 수신 방송채널 정보를 포함하는 UA정보를 CS(340)로 통보한다. UA정보를 수신한 CS(340)는 해당 UA정보에 포함된 방송채널 정보에 대응되는 CR의 세션에 상기 UA정보를 가지는 단말기의 UA와의 세션을 추가하는 것에 의해 단말기 UA를 통해 사용자가 현재 수신되는 방송채널에 동기화된 CR에 참여하게 된다(S24). After receiving the UA information in step S23, the PS 320 registers and stores the received UA information and immediately waits for the reception of the SIP event subscription message from the CS 340 without receiving a SIP event notify message. Through UA informs the CS 340 of the UA information including the user information of the terminal requesting to participate in the CR synchronized to the reception broadcast channel and the reception broadcast channel information. Receiving the UA information, the CS 340 currently receives the user through the terminal UA by adding a session with the UA of the terminal having the UA information to the session of the CR corresponding to the broadcast channel information included in the corresponding UA information. Participate in the CR synchronized with the broadcast channel (S24).

다음으로 다시 도 5를 참조하여 본원발명의 처리과정을 설명하면 다음과 같다. 상술한 바와 같은 도5의 S1과 S2 과정 및 도 6의 처리과정에 의해 CR이 생성되고 CR 서비스를 위한 단말기들 사이의 다중 통신 세션이 설정된 이후에는 CR을 경유하거나 또는 단말기들 사이의 직접적인 RTP 통신에 의한 PTT, VOIP, 메신저, 방송재전송 서비스, 상태확인(Presence)기능에 의한 시청률조사 서비스, 특정 단말기의 광고 요청 또는 기 설정된 광고 방송을 제공하고 수신자에게 광고머니를 지급하는 광고서비스, 단말기 사용자가 전송한 문자정보를 방송서버(200)를 통해 방송채널의 방송신호에 포함되는 자막신호로 전송하는 MO(Mobile Orient) 서비스 등의 다양한 CR서비스를 제공한다(S3).Next, the process of the present invention will be described with reference to FIG. 5 as follows. After the CR is generated by the processes S1 and S2 of FIG. 5 and the process of FIG. 6 as described above, and a multi-communication session between the terminals for the CR service is established, the RTP communication is performed via the CR or directly between the terminals. PTT, VOIP, messenger, broadcast retransmission service, viewership survey service by presence check function, advertisement service that provides advertisement request or preset advertisement broadcasting of specific terminal and pays advertising money to the receiver. It provides various CR services such as MO (Mobile Orient) service for transmitting the transmitted character information to the subtitle signal included in the broadcast signal of the broadcast channel through the broadcast server 200 (S3).

여기서 상술한 CR 서비스 중 상태확인(Presence)기능을 이용한 시청률 조사 서비스는 PS(320)에서 수행된다. 즉, PS(320) 서버는 SIP의 상태확인(Presence)기능을 이용하여 현재 방송중인 방송채널에 동기화된 UA정보를 추출하고, LS(330)로부터 CR에 참여한 단말기의 위치 정보를 수신하여 해당 CR에 대응하는 방송채널의 지역별, 시간대별 시청률정보를 생성한다. 그리고 단말기(100)의 UA로부터 전송되는 멀티미디어 데이터 정보를 수신하는 것에 의해 단지 방송을 틀어놓은 것이 아니라 실제로 시청하고 있는 경우만을 시청률조사에 포함시킬 수 있다. 따라서 본원발명의 PS(320)에 의한 시청률 조사는 지역별 실제 참여 상태에 따른 정확한 시청률을 조사할 수 있도록 한다.Here, the viewer rating survey service using the presence check function of the above-described CR service is performed in the PS 320. That is, the PS 320 server extracts the UA information synchronized to the broadcasting channel currently broadcasting by using the presence presence function of the SIP, receives the location information of the terminal participating in the CR from the LS 330, and receives the corresponding CR. Generate viewer rating information for each region and time zone of the broadcast channel corresponding to the broadcast channel. And by receiving the multimedia data information transmitted from the UA of the terminal 100, it is possible to include not only the broadcast but also the case where the viewer is actually watching the viewer rating. Therefore, the viewer rating survey by the PS 320 of the present invention enables to investigate the accurate viewer rating according to the actual participation state by region.

다음으로 상기 광고서비스는 단말기(100)의 UA(130)가 사용자가 선택한 광고정보를 RTP에 의해 전송하면, CS(340)는 수신된 광고정보를 CR에 접속된 단말기들 의 UA로 브로드캐스트(broadcast)한다. 이와 달리 본원발명은 광고서비스를 위한 별도의 광고서비를 구비할 수 있으며 이 경우 단말기(100)의 UA(130)는 사용자가 선택한 광고정보를 광고서버로 전송하고, 광고서버가 PS(320)의 정보를 이용하여 UA(130)가 수신하는 방송채널에 대응하는 CR에 접속된 단말기들의 UA로 브로드캐스트(Broadcast) 방식에 의해 전송하게 된다. 이때, 수신 단말기(100)들의 UA(130)들은 광고수신 여부를 설정할 수 있으며, PS는 광고수신이 설정된 단말기(100)들의 UA(130)로 전송되는 광고정보를 저장하여 차후 해당 UA의 단말기 사용자에게 광고머니는 지급할 수 있도록 광고머니 정보를 생성할 수도 있다.Next, when the UA 130 of the terminal 100 transmits the advertisement information selected by the user by RTP, the CS 340 broadcasts the received advertisement information to the UAs of terminals connected to the CR ( broadcast). In contrast, the present invention may be provided with a separate advertising service for the advertising service, in this case UA 130 of the terminal 100 transmits the advertisement information selected by the user to the ad server, the ad server of the PS (320) By using the information, the UA 130 transmits the UA to the UAs of terminals connected to the CR corresponding to the broadcast channel by a broadcast method. In this case, the UAs 130 of the receiving terminals 100 may set whether to receive an advertisement, and the PS stores the advertisement information transmitted to the UA 130 of the terminals 100 to which the advertisement reception is set, and subsequently, the terminal user of the corresponding UA. Ad money may also generate advertisement money information.

상기 방송재전송서비스는 디지털 멀티미디어 방송의 수신 품질 저하 및 디지털 멀티미디어 수신기를 구비하지 않은 사용자를 위하여 디지털 멀티미디어 방송수신품질이 좋은 사용자가 IP망(인터넷망)으로 디지털 멀티미디어 방송을 송신하여 디지털 멀티미디어 방송의 수신 품질 저하 및 디지털 멀티미디어 수신기를 구비하지 않은 사용자도 IP망을 통해 디지털 멀티미디어 방송에 참여할 수 있도록 하는 서비스를 말한다.The broadcast retransmission service receives digital multimedia broadcasts by transmitting digital multimedia broadcasts to an IP network (Internet network) by a user having good digital multimedia broadcast reception quality for a user who does not have a digital multimedia broadcasting receiver and a digital multimedia receiver. It is a service that allows users who do not have a quality deterioration and digital multimedia receiver to participate in digital multimedia broadcasting through an IP network.

상술한 본원발명의 방송재전송서비스는 디지털 멀티미디어 방송을 인터넷망으로 확장함으로써 방송수신기를 구비하지 사용자들도 인터넷을 통해 방송을 수신할 수 있도록 디지털 멀티미디어 방송 영역을 확장할 수 있을 뿐만 아니라, 방송신호의 수신품질이 열악한 지역에 위치된 단말기가 인터넷을 통해 디지털 멀티미디어 방송을 수신할 수 있도록 함으로써 방송음영지역을 해소할 수 있으며, 이는 지상파 DMB의 경우 효과적인 방송음영지역 해소방안이 될 수 있다.The above-described broadcast retransmission service of the present invention extends the digital multimedia broadcasting area to extend the digital multimedia broadcasting to the Internet network so that users who do not have a broadcast receiver can also receive the broadcasting via the Internet, Terminals located in regions with poor reception quality can receive digital multimedia broadcasting through the Internet, thereby eliminating broadcasting shade areas, which can be an effective solution for terminating terrestrial DMB.

도 7은 상술한 방송재전송서비스를 위한 처리과정을 나타내는 순서도이다.7 is a flowchart illustrating a processing procedure for the above-described broadcast retransmission service.

도 7에 도시된 바와 같이, 현재 방송채널의 방송신호를 수신하는 단말기 중 사용자가 방송재전송 기능을 설정한 단말기(100)들의 UA(130)들은 주기적으로 자신의 수신 방송채널 신호의 품질(신호대 잡음비 등) 및 인터넷망의 데이터 전송지연정보 등을 평가하여 일정 기준 이상인 경우 방송재전송 등록을 위한 SIP 메시지를 CS(340)로 전송하여 등록한다. 또한 방송신호의 품질이 열악한 단말기들의 UA(130)들은 재전송방송 수신 등록을 위한 SIP 메시지를 CS(340)로 전송하여 등록한다(S31).As illustrated in FIG. 7, UAs 130 of terminals 100, in which a user sets a broadcast retransmission function among terminals receiving a broadcast signal of a current broadcast channel, periodically check the quality (signal-to-noise ratio) of their received broadcast channel signal. Etc.) and data transmission delay information of the Internet network, and if it exceeds a predetermined standard, the SIP message for registration of broadcasting retransmission is transmitted to the CS 340 and registered. In addition, the UA 130 of the terminals having poor quality of the broadcast signal transmits and registers a SIP message for retransmission broadcasting reception registration to the CS 340 (S31).

CS(340)는 방송재전송 등록을 수행한 단말기들에 재전송방송 수신 등록을 수행한 단말기들을 그룹화한다. 이때 상기 CS(340)는 LS(330)의 단말기 위치정보 또는 GPS 정보 등을 이용하여 지역적으로 방송재전송 등록을 수행한 단말기들에 재전송방송 수신 등록을 수행한 단말기들을 그룹화할 수 있다(S32).The CS 340 groups the terminals that have performed the retransmission broadcast registration to the terminals that have registered the broadcast retransmission. In this case, the CS 340 may group terminals that have registered retransmission broadcast reception to terminals that have locally registered broadcast retransmission registration using terminal location information or GPS information of the LS 330 (S32).

상술한 S32과정에서 그룹화된 방송재전송 등록을 수행한 단말기들에 재전송방송 수신 등록을 수행한 단말기들의 그룹은 적어도 하나 이상의 방송재전송 등록 단말기를 포함할 수다. 하나의 방송재전송 등록 단말기만이 등록된 경우에는 다수의 재전송방송 수신 등록 단말기들과 방송재전송을 위한 세션을 설정한다.The group of terminals that have performed retransmission broadcast registration to the terminals that have registered broadcast retransmission registration grouped in step S32 may include at least one broadcast retransmission registration terminal. When only one broadcast retransmission registration terminal is registered, a session for broadcast retransmission is established with a plurality of retransmission broadcast reception registration terminals.

이와 달리, 두 개 이상의 방송재전송 등록 단말기를 포함하는 경우 CS(340)는 재전송방송 수신 등록 단말기들로 방송재전송 등록 단말기 리스트 정보를 전송한다. 방송재전송 등록 단말기 목록을 수신한 재전송방송수신 등록 단말기의 사용자는 방송재전송 등록 단말기들 중 특정 단말기를 선택하게 되고, 이에 의해 선택 된 방송재전송 등록 단말기와 이를 선택한 재전송방송 수신 등록 단말기들 사이에 방송재전송을 위한 세션이 설정된다. 이때 재전송방송 수신 등록 단말기들은 방송재전송 등록 단말기를 선택하여 네트워크 지연(network delay)를 체크하는 것에 의해 가장 좋은 전송품질을 가지는 방송재전송 등록 단말기를 선택할 수 있다.In contrast, when two or more broadcast retransmission registration terminals are included, the CS 340 transmits broadcast retransmission registration terminal list information to retransmission broadcast reception registration terminals. The user of the retransmission broadcast receiving registration terminal receiving the list of broadcast retransmission registration terminals selects a specific terminal among the broadcast retransmission registration terminals, and thereby broadcast retransmission between the selected broadcast retransmission registration terminal and the selected retransmission broadcast receiving registration terminals. A session is established for. In this case, the retransmission broadcast receiving registration terminals may select a broadcast retransmission registration terminal having the best transmission quality by selecting a broadcast retransmission registration terminal and checking a network delay.

상술한 바와 같이 선택된 단말기들의 세션은 방송재전송 등록 단말기 및 재전송방송 수신 등록 단말기들의 어플리케이션 계층(application layer)에서 동작되는 UA(130)들 사이에 형성된다(S33). As described above, the session of the selected terminals is formed between the UAs 130 operating in the application layer of the broadcast retransmission registration terminal and the retransmission broadcast reception registration terminals (S33).

S33 과정에 의해서 재전송방송 수신 등록 단말기에 의해 방송재전송 등록 단말기가 선택되어 세션이 설정된 후에는 수신되는 방송신호는 방송재전송 등록 단말기가 MPEG4 등의 동영상 압축 데이터로 변환한 후 RTP를 이용하여 P2P형태로 자신과 세션이 설정된 재전송방송 수신 등록 단말기들로 전송한다(S34).After the broadcast retransmission registration terminal is selected by the retransmission broadcast reception registration terminal by the step S33 and the session is established, the received broadcast signal is converted into video compressed data such as MPEG4 by the broadcast retransmission registration terminal into a P2P format by using RTP. It transmits to itself and the retransmission broadcast receiving registration terminals established a session (S34).

이에 의해 수신품질이 나쁜 사용자나 디지털 멀티미디어 방송 수신기를 가지지 않은 사용자들도 인터넷망을 통해 디지털 멀티미디어 방송을 수신할 수 있게 된다.As a result, users with poor reception quality or users who do not have a digital multimedia broadcasting receiver can receive digital multimedia broadcasting through the Internet.

상술한 바와 같은 구성 및 처리과정을 수행하는 본원발명은 디지털 멀티미디어 방송과 인터넷을 통한 쌍방향 통신을 이용하여 사이버상으로 방송을 동일하게 시청할 수 있는 효과를 줄 수 있다. 또한 디지털 멀티미디어 방송과 SIP를 이용하여 사용자에게 다양한 부가가치를 창출할 수 있다.The present invention performing the configuration and processing as described above can have the effect of equally watching the broadcast on the cyber using digital multimedia broadcasting and interactive communication through the Internet. In addition, digital multimedia broadcasting and SIP can be used to create various added values to users.

상술한 본원발명은 스포츠경기 등과 같은 방송에서 디지털 멀티미디어 방송 을 시청하는 시청자들이 마치 한곳에서 시청하는 것처럼 사이버상의 개설된 대화방에 모여 않아서 방송을 보게 되고 서로 자신의 광고메시지를 통해 효과적인 정보를 전달할 뿐만 아니라 커뮤니케이션을 통해 방송에 대한 의견도 서로 나눌 수 있게 되어 본격적인 쌍방향방송을 이루는 것에 의해 사이버상에서 지역과 상관없이 동일한 체험을 할 수 있도록 한다.The present invention as described above is not only a viewer watching digital multimedia broadcasting in broadcasting such as sports games, but also gathered in an open chat room in cyber as if they are watching in one place to see the broadcast and communicate each other effectively through their own advertising messages. Through communication, opinions about broadcasting can be shared with each other, and by real-time interactive broadcasting, the same experience can be experienced regardless of region in cyberspace.

그리고 상술한 본원발명은 SIP의 상태확인(Presence)기능을 이용하여 단지 방송을 틀어놓은 것이 아니라 실제로 참여하고 본 경우를 별도로 조사할 수 있으며, 단말기의 위치정보를 이용하여 지역별 시청률조사를 아주 정확하게 수행할 수도 있다. In addition, the present invention described above is not merely playing the broadcast using the presence function of the SIP (Presence) function, but actually participates in the case of investigating separately, and performs a survey of viewer ratings by region using the location information of the terminal very accurately. You may.

또한 PTT(Push To Talk)를 이용하여 여러 사람에게 동시에 자신의 음성을 전달함으로써 일체감을 더 느끼게 할 수도 있다. You can also use PTT (Push To Talk) to deliver your voice to many people at the same time to make them feel more united.

상술한 본원발명은 디지털 멀티미디어 방송의 수신시 수신되는 디지털 멀티미디어 방송과 동기화된 컨퍼런스 룸 서비스를 제공받을 수 있도록 함으로써, 동일 디지털 멀티미디어 방송을 수신하는 단말기 사용자들이 동일 장소에서 함께 수신하는 것과 같은 효과를 제공한다.The present invention as described above provides a conference room service synchronized with a digital multimedia broadcast received upon reception of a digital multimedia broadcast, thereby providing the same effect as terminal users receiving the same digital multimedia broadcast together at the same place. do.

또한, 상술한 본원발명은 SIP에 의해 컨퍼런스 룸에 참여한 동일 디지털 멀티미디어 방송 수신 단말기들을 모니터링할 수 있도록 함으로써 디지털 멀티미디어 방송에 대한 시청률조사를 보다 효율적으로 수행할 수 있도록 하는 효과를 제공한 다.In addition, the present invention described above provides an effect of more efficiently performing an audience rating survey for digital multimedia broadcasting by monitoring the same digital multimedia broadcasting receiving terminals participating in a conference room by SIP.

또한, 상술한 본원발명은 컨퍼런스 룸을 통해 광고를 수행하는 경우 단말기들의 광고 수신을 확인할 수 있어 효율적인 광고를 수행할 수 있도록 하는 효과를 제공한다.In addition, the present invention described above provides an effect of enabling efficient advertisements by confirming the reception of advertisements of terminals when performing advertisements through a conference room.

또한 상술한 본원발명은 SIP를 이용하여 IP망(인터넷망)을 통해 방송중에도 쌍방향으로 멀티미디어 통신을 수행할 수 있도록 하며, 디지털 멀티미디어 방송을 재전송할 수 있도록 함으로써 디지털 멀티미디어 방송망과 인터넷망을 융합하여 디지털 멀티미디어 방송시장을 확장할 수 있도록 하는 효과를 제공한다.In addition, the present invention described above is capable of performing multimedia communication in both directions during broadcasting through an IP network (Internet network) using SIP, and by re-transmitting digital multimedia broadcasting, digital digital broadcasting network and the Internet network to converge the digital It provides the effect of expanding the multimedia broadcasting market.

Claims (10)

삭제delete 삭제delete 삭제delete 삭제delete 디지털 멀티 미디어 방송채널 정보에 따라 상기 방송채널에 동기화된 다중 통신세션을 생성하는 다중 통신세션 생성과정과;A multi-communication session generating step of generating a multi-communication session synchronized to the broadcast channel according to digital multimedia broadcast channel information; 상기 디지털 멀티미디어 방송 채널 수신 중인 단말기를 상기 다중 통신세션에 참여시키는 다중 통신세션 설정과정과;Establishing a multiple communication session for joining the terminal receiving the digital multimedia broadcasting channel to the multiple communication session; 상기 다중 통신세션 설정과정에 의해 상기 다중 통신세션 참여 단말기들 사이의 음성, 문자 메신저 서비스와, 멀티미디어 파일 전송 서비스와, 상기 다중 통신세션 참여 단말기들의 멀티미디어 데이터 전송 정보와 위치정보를 이용하여 상기 다중 통신세션에 대응되는 방송채널의 시청률 정보를 생성하는 시청률정보생성서비스와, 상기 단말기 수신 디지털 멀티미디어 방송 신호를 인터넷을 통해 재전송하는 방송재전송 서비스 중 적어도 하나 이상의 서비스를 제공하는 쌍방향 통신 서비스 제공과정을 포함하되, The multi-communication session is established by using a voice and text messenger service, a multimedia file transfer service, and multimedia data transmission information and location information between the multi-communication session participating terminals. Providing an interactive communication service providing at least one or more of a viewer rating information generation service for generating viewer rating information of a broadcasting channel corresponding to a session, and a broadcast retransmission service for retransmitting the terminal digital multimedia broadcasting signal through the Internet; , 상기 방송재전송 서비스는 재전송방송 수신 등록 SIP 메시지를 전송하는 단말기 정보와 현재 방송채널의 방송신호를 수신하는 단말기로부터 전송되는 방송재전송 등록 SIP 메시지를 이용하여 방송재전송 서비스 대상 단말기정보를 수집하는 방송재전송 단말기 정보 수집과정과, 상기 방송재전송 단말기 정보 수집 과정에서 수집된 방송재전송 단말기들을 그룹화하는 방송재전송 단말기 그룹화과정과, 상기 그룹화된 방송재전송 단말기 중 방송재전송 등록 단말기가 RTP에 의해 수신되는 디지털 멀티미디어 방송 신호를 상기 그룹내의 상기 재전송방송 수신 등록 단말기들로 전송하는 방송재전송과정에 의해 수행되는 것을 특징으로 하는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 방법.The broadcast retransmission service is a broadcast retransmission terminal for collecting broadcast retransmission service target terminal information by using terminal information transmitting a retransmission broadcast reception registration SIP message and a broadcast retransmission registration SIP message transmitted from a terminal receiving a broadcast signal of a current broadcast channel. A broadcast retransmission terminal grouping group for grouping the broadcast retransmission terminals collected in the broadcast retransmission terminal information collection process, and a broadcast retransmission registration terminal among the grouped broadcast retransmission terminals to receive a digital multimedia broadcasting signal received by RTP; And a broadcast retransmission process for transmitting to the retransmission broadcast receiving registration terminals in the group. 제 5항에 있어서, 상기 다중 통신세션 설정과정은,The method of claim 5, wherein the multi-communication session is set up. 상기 디지털 멀티미디어 방송 수신 단말기로부터 수신되는 방송채널에 대응하는 다중 통신세션의 접속 요청 신호를 수신하는 접속요청메시지 수신 과정과;A connection request message receiving step of receiving a connection request signal of multiple communication sessions corresponding to a broadcast channel received from the digital multimedia broadcasting receiving terminal; 상기 접속요청 메시지 정보를 상태확인 정보로 저장한 후 상기 메세지 정보를 이용하여 상기 단말기를 상기 다중 통신세션에 참여시키는 다중 통신세션 참여과정을 포함하여 이루어지는 것을 특징으로 하는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 방법.And a participation in a multi-communication session for storing the access request message information as status information and joining the terminal to the multi-communication session using the message information. Communication method. 삭제delete 삭제delete 제 5항에 있어서, 상기 방송재전송 단말기 그룹화과정은 상기 단말기들의 위치정보를 이용하여 인접 단말기들을 그룹화하는 과정인 것을 특징으로 하는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 방법.The method of claim 5, wherein the grouping of the broadcast retransmission terminals is a process of grouping adjacent terminals by using location information of the terminals. 7. 제 5항에 있어서, 상기 방송재전송과정은,The method of claim 5, wherein the broadcast retransmission process, 상기 그룹화된 재전송방송 수신 등록 단말기들로 상기 그룹 내의 방송재전송 등록 단말기들의 리스트 정보를 제공하는 방송재전송 등록 단말기 정보제공과정과;A broadcast retransmission registration terminal information providing process of providing list information of broadcast retransmission registration terminals in the group to the grouped retransmission broadcast reception registration terminals; 상기 방송재전송 등록 단말기 정보제공과정에서 제공된 리스트 중 어느 하나의 방송재전송 등록 단말기를 선택하는 방송재전송 등록 단말기 선택과정과;A broadcast retransmission registration terminal selection process of selecting any broadcast retransmission registration terminal from a list provided in the broadcast retransmission registration terminal information providing process; 상기 방송재전송 등록 단말기 선택과정에서 선택된 방송재전송 등록 단말기가 자신을 선택한 재전송방송 수신 등록 단말기로 인터넷망을 통해 수신되는 디지털 멀티미디어 방송을 재전송하는 방송신호전송과정을 포함하여 이루어지는 것을 특징으로 하는 디지털 멀티미디어 방송과 동기화된 실시간 쌍방향 통신 방법.And a broadcast signal transmission step of retransmitting a digital multimedia broadcast received through an internet network to a retransmission broadcast reception registration terminal selected by the broadcast retransmission registration terminal selected in the broadcast retransmission registration terminal selection process. Real-time two-way communication method synchronized with.
KR1020060022435A 2006-03-09 2006-03-09 Real time duplex communication method synchronized with digital multimedia broadcast channel KR100801612B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060022435A KR100801612B1 (en) 2006-03-09 2006-03-09 Real time duplex communication method synchronized with digital multimedia broadcast channel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060022435A KR100801612B1 (en) 2006-03-09 2006-03-09 Real time duplex communication method synchronized with digital multimedia broadcast channel

Publications (2)

Publication Number Publication Date
KR20070092386A KR20070092386A (en) 2007-09-13
KR100801612B1 true KR100801612B1 (en) 2008-02-11

Family

ID=38689741

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060022435A KR100801612B1 (en) 2006-03-09 2006-03-09 Real time duplex communication method synchronized with digital multimedia broadcast channel

Country Status (1)

Country Link
KR (1) KR100801612B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590378B1 (en) * 2009-09-07 2016-02-02 에스케이텔레콤 주식회사 System and method for minimizing signal interference about union section of broadcasting and communication in local area and apparatus applied to the same
US10498782B2 (en) 2011-12-12 2019-12-03 Samsung Electronics Co., Ltd. Method and apparatus for experiencing a multimedia service
KR101363700B1 (en) * 2012-09-05 2014-02-21 한국과학기술원 Method and system for providing user interface for participating interactive broadcasting program with group unit
KR101648031B1 (en) * 2015-04-07 2016-08-16 주식회사 누리고 Device and application for offering mobile oriented service

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828839A (en) * 1996-11-14 1998-10-27 Interactive Broadcaster Services Corp. Computer network chat room based on channel broadcast in real time
KR20010010941A (en) * 1999-07-23 2001-02-15 이기복 Transmitting and receiving system of chatting information, method for chatting using the same and method for researching a program rating while receiving the chatting information
KR20010077417A (en) * 2000-02-02 2001-08-17 조수연 A sports relay broadcasting service system and a service method using a network
KR20020020040A (en) * 2000-09-07 2002-03-14 김점수 Sports broadcasting system using an internet
KR20020050903A (en) * 2000-12-22 2002-06-28 장효상 Education, Broad Casting, Multi-User Image Conference and Chatting Service Provision Method Using Internet
KR20050079291A (en) * 2004-02-05 2005-08-10 노틸러스효성 주식회사 Method of superimposing text/moving picture on a tv screen and the server

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828839A (en) * 1996-11-14 1998-10-27 Interactive Broadcaster Services Corp. Computer network chat room based on channel broadcast in real time
KR20010010941A (en) * 1999-07-23 2001-02-15 이기복 Transmitting and receiving system of chatting information, method for chatting using the same and method for researching a program rating while receiving the chatting information
KR20010077417A (en) * 2000-02-02 2001-08-17 조수연 A sports relay broadcasting service system and a service method using a network
KR20020020040A (en) * 2000-09-07 2002-03-14 김점수 Sports broadcasting system using an internet
KR20020050903A (en) * 2000-12-22 2002-06-28 장효상 Education, Broad Casting, Multi-User Image Conference and Chatting Service Provision Method Using Internet
KR20050079291A (en) * 2004-02-05 2005-08-10 노틸러스효성 주식회사 Method of superimposing text/moving picture on a tv screen and the server

Also Published As

Publication number Publication date
KR20070092386A (en) 2007-09-13

Similar Documents

Publication Publication Date Title
CN101573943B (en) Media channel management
US7296091B1 (en) System and method for receiving over a network a broadcast from a broadcast source
CN101946458B (en) Delivery of multicast data
JP4575663B2 (en) Method and apparatus for performing multicast communication in a UMTS network
US7573837B1 (en) Establishment of multicast Push-to-X over Cellular (PoC) communication
JP2013515445A (en) System and method for bidirectional synchronized video viewing
CN101631029A (en) Method for switching live session and method and terminal for synchronizing multi-terminal channel switch
US8908853B2 (en) Method and device for displaying information
US9246695B2 (en) Method and apparatus for providing virtual closed circuit television
AU2004300323B2 (en) Push to watch: a video person-to-person streaming application
KR100801612B1 (en) Real time duplex communication method synchronized with digital multimedia broadcast channel
CN101547402B (en) Method and device for establishing IPTV multicast service
EP2345248B1 (en) A method and apparatus for providing interactive television
US7735108B2 (en) System and method for controlling push to talk interruptions while watching television
KR101033728B1 (en) System and Method for providing community during playing broadcasting signal
CN101588251A (en) A kind of method and apparatus of IMS instant message group sending
KR100863416B1 (en) System and method for providing P2P based audio and video communication service, method for providing, method for communicating, recoding medium thereof
US20100020156A1 (en) Method and device for simultaneous multipoint distributing of video, voice and data
CN101795391B (en) Message playing method used for video conference and video conference system
EP2590378B1 (en) Method and system for audio broadcast in video surveillance
KR20100031592A (en) System and method for providing community during playing broadcasting signal
US20130335510A1 (en) System for exchanging ptt messages for brief multi video conferences
CN1977558B (en) Technique for distributing content data
Cricri et al. Mobile and Interactive Social Television—A Virtual TV Room
WO2009053871A1 (en) Communications service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131125

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141203

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151123

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170216

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180123

Year of fee payment: 11