KR20090000771A - 실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신시스템 및 방법 - Google Patents

실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신시스템 및 방법 Download PDF

Info

Publication number
KR20090000771A
KR20090000771A KR1020070032260A KR20070032260A KR20090000771A KR 20090000771 A KR20090000771 A KR 20090000771A KR 1020070032260 A KR1020070032260 A KR 1020070032260A KR 20070032260 A KR20070032260 A KR 20070032260A KR 20090000771 A KR20090000771 A KR 20090000771A
Authority
KR
South Korea
Prior art keywords
chat room
information
viewing
participants
terminal
Prior art date
Application number
KR1020070032260A
Other languages
English (en)
Other versions
KR100911692B1 (ko
Inventor
김민
최병철
이진철
Original Assignee
주식회사 케이티프리텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티프리텔 filed Critical 주식회사 케이티프리텔
Priority to KR1020070032260A priority Critical patent/KR100911692B1/ko
Publication of KR20090000771A publication Critical patent/KR20090000771A/ko
Application granted granted Critical
Publication of KR100911692B1 publication Critical patent/KR100911692B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03J—TUNING RESONANT CIRCUITS; SELECTING RESONANT CIRCUITS
    • H03J1/00—Details of adjusting, driving, indicating, or mechanical control arrangements for resonant circuits in general
    • H03J1/02—Indicating arrangements
    • H03J1/025—Indicating arrangements with voiced announcement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 WCDMA와 같은 이동 통신을 위한 무선 통신 시스템 등에서, 사용자가 유무선 단말을 이용하여 이미 개설되어 공개된 유무선 상의 다자간 대화방 채널에 대한 관람을 요청할 때 해당 채널의 다자간 대화 영상과 음성 정보 등 대화방 시청 정보를 실시간으로 스트리밍하여 사용자 단말로 제공하는 시스템 및 방법에 관한 것이다. 본 발명에 따라 대화방 시청 서비스를 제공하는 통신 시스템은, 다자간에 영상 통화하는 대화방이 개설되고 상기 개설된 대화방이 공개 설정되는 경우에, 상기 공개 설정된 대화방에 참여자들의 통합 영상을 포함하는 대화방 정보를 미리 정해진 압축 방식으로 인코딩하는 인코더, 및 상기 인코딩된 정보를 실시간 스트리밍하여 대화방 시청 정보를 생성하는 스트리밍 서버를 포함한다.
Figure P1020070032260
대화방, MCU, 공개 채널, 시청, 스트리밍 서비스, RTE

Description

실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신 시스템 및 방법{Communication System and Method for Providing Real-time Watching of Multi-point Conversation Service}
도 1은 코어망을 통하여 유무선 단말간에 이루어지는 일반적인 대화방/채팅 서비스를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 통신 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라 이동 단말을 이용한 대화방 참여 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 이동 단말을 이용한 대화방 관람 시청 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 통신 시스템의 동작 설명을 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
MS: Mobile Station(이동 단말)
260: MCU(Multi-point Control Unit)
280: SIP(Session Initiation Protocol) 유닛
290: 대화방 관람 서비스 시스템
291: 메뉴 서버
293: RTE(Real-time Encoder)
294: 스트리밍 서버
본 발명은 유무선 단말에 동영상 시청 서비스를 제공하는 시스템 및 방법에 관한 것으로서, 특히, WCDMA(wideband code division multiple access)와 같은 이동 통신을 위한 무선 통신 시스템 등에서, 사용자가 유무선 단말을 이용하여 이미 개설되어 공개된 유무선 상의 다자간 대화방 채널에 대한 관람을 요청할 때 해당 채널의 다자간 대화 영상과 음성 정보 등 대화방 시청 정보를 실시간으로 스트리밍(streaming)하여 사용자 단말로 제공하는 시스템 및 방법에 관한 것이다.
도 1은 코어망을 통하여 유무선 단말간에 이루어지는 일반적인 대화방/채팅 서비스를 설명하기 위한 도면이다.
도 1을 참조하면, 최근 일반 공중망과 IP(Internet Protocol) 망이 통합되어 연동되는 코어망을 통하여 유무선 상의 정보가 서로 유기적으로 전달되는 체계가 구축되어 사용자에게 다양한 통신 서비스가 가능하게 되었다. 예를 들어, 데스크탑 또는 노트북 PC들 간에 문자 정보 기반의 다자간 메신저(messenger) 채팅 등이 가능하고, 이뿐만 아니라 대화방을 개설하여 다자간에 서로의 모습을 보면서 음성 또는 문자 메시지를 주고받으며 화상 회의를 할 수 있는 시대가 되었다.
이와 같은 다자간 대화방은 무선 기지국과 통신하는 이동 단말을 통하여서도 가능하다. 즉, PC와 PC간 뿐만 아니라, 이동 단말간 또는 이동 단말과 PC간에 대화방을 개설하여 다자간에 서로의 모습을 보면서 음성 또는 문자 메시지를 주고받으며 화상 회의를 할 수 있다.
그러나, 이와 같은 다자간 대화방을 개설하는 경우에, 대화방에 참여하여 다자간 영상 통화나 채팅 등을 할 수 있는 인원은 제한된다. PC를 이용하는 경우에는 좀 덜한 문제이지만, 이동 단말을 이용하는 경우에 있어서는, 디스플레이 화면이 작으므로 한 화면에서 대화에 참여한 모든 사람을 구분할 정도로 표시하기에는 최대 16명 정도로 제한된다. 더 이상의 참여 인원을 늘릴 수 있다 하더라도 이는 모든 참여자들에 대한 정보를 수집하여 통합 영상을 모든 참여자들의 단말로 제공하는 서버에 큰 부담으로 작용하므로 실질적으로 무한히 참여자 수를 늘리는 데에는 한계가 있다.
따라서, 각자의 단말을 이용하여 대화방에 참여하고자 하는 사용자 입장에서는 참여 인원수 제한이 해제될 때까지 기다렸다가 참여하는 수밖에 없으며, 참여자들간의 대화방을 시청할 수는 없다는 문제점이 있다. 예를 들어, 정치인과 여러 참여자들이 대담하거나, 유명 연예인과 여러 참여자들 간에 대화하는 대화방에 참여하고자 하여도, 인원수가 제한되어 더 이상 참여할 수 없는 경우에, 해당 대화방에 참여하기를 희망하는 많은 사람들이 더 있을 수 있으며, 이때 희망자들이 각자의 단말을 이용하여 해당 대화방에서 대담하거나 주고 받는 광경을 관람할 수 있는 방법이 없다. 또한, 인원수가 아직 제한 수만큼 채워지지 않은 경우에도, 관람만을 희망하는 사람들이 각자의 단말을 이용하여 해당 대화방을 관람함으로써 간접 참여할 수 있는 방법이 없다는 문제점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, WCDMA와 같은 이동 통신을 위한 무선 통신 시스템 등에서, 사용자가 각자의 단말을 이용하여 이미 개설되어 공개된 유무선 상의 다자간 대화방 채널을 관람 또는 시청할 수 있도록 하기 위하여, 사용자 단말을 통하여 관람 요청 시에 해당 채널의 다자간 대화 영상과 음성 정보 등 대화방 시청 정보를 실시간으로 스트리밍하여 해당 단말로 제공하는 시스템 및 방법을 제공하는 데 있다.
또한, 본 발명의 다른 목적은, 유무선망이 서로 연동하는 환경에서 사용자들간의 대화방 서비스를 활성화시키고 신규 고객 만족 서비스를 창출하기 위하여, 개설된 대화방을 제3자 입장에서 관람 또는 시청할 수 시스템 및 방법을 제공하는 데 있다.
상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 일면에 따른, 대화방 시청 서비스를 제공하는 통신 시스템은, 다자간에 영상 통화하는 대화방이 개설되고 상기 개설된 대화방이 공개 설정되는 경우에, 상기 공개 설정된 대화방에 참여자들의 통합 영상을 포함하는 대화방 정보를 미리 정해진 압축 방식으로 인코딩하는 인코더; 및 상기 인코딩된 정보를 실시간 스트리밍하여 대화방 시청 정보를 생성하는 스트리밍 서버를 포함한다.
상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 다른 일면에 따른, 대화방 시청 서비스를 제공하는 단말은, 대화방 시청을 위한 브라우져를 통하여, 관람 요청을 전송하고 상기 관람 요청에 따라 제공되는 공개 채널 리스트 중에서 선택한 채널에 대한 대화방 시청 정보를 수신하여, 상기 대화방 시청 정보를 이용하여 사용자 인터페이스를 구동하여 대화방 시청 서비스를 제공하는 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 또 다른 일면에 따른, 사용자 단말에서 다자간 대화방의 시청을 서비스하는 방법은, 관람 요청을 전송하고, 상기 관람 요청에 따라 공개 채널 리스트를 수신하는 단계; 상기 공개 채널 리스트 중에서 선택한 채널에 대한 채널 선택 정보를 전송하고, 상기 채널 선택 정보에 따라 대화방 시청 정보를 수신하는 단계; 및 상기 대화방 시청 정보에 따라 대화방 시청 서비스를 제공하는 단계를 포함한다.
상기와 같은 본 발명의 목적을 달성하기 위한 본 발명의 또 다른 일면에 따른, 대화방 시청 정보를 제공하는 방법은, 다자간에 영상 통화하는 대화방이 개설되고 상기 개설된 대화방이 공개 설정되는 경우에, 상기 공개 설정된 대화방에 참여자들의 통합 영상을 포함하는 대화방 정보를 미리 정해진 압축 방식으로 인코딩하는 단계; 및 상기 인코딩된 정보를 실시간 스트리밍하여 대화방 시청 정보를 제공하는 단계를 포함한다.
이하에서는 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 그러나, 이하에서 설명될 실시예 및 도면은 본 발명의 기술사상의 범위를 제한하거나 한정하는 의미로 해석될 수는 없다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따라 다자간 대화방 시청 정보 제공을 위한 통신 시스템(200)을 설명하기 위한 도면이다. 도 2를 참조하면, 본 발명의 일실시예에 따른 통신 시스템(200)은 이동 단말들(mobile station: MS)(210, 220, 230), 기지국(240), 코어망(core network)(250), MCU(Multi-point Control Unit: 다자간 통신 제어 유닛)(260), 유선 단말(270), SIP(Session Initiation Protocol Unit) 유닛(unit)(280), 및 대화방 관람 서비스 시스템(290)을 포함한다.
본 발명의 바람직한 일실시예에 따른 통신 시스템(200)은 영상 통화가 가능하고 대화방 기능이 지원되는 WCDMA(wideband code division multiple access) 기반의 이동 단말들(210~230)을 통하여 실시간 스트리밍 기술을 활용하여 유무선 상에서 다자간 영상 통화 중인 대화방에 대한 관람 또는 시청 서비스를 제공한다. 상기 통신 시스템(200)은 WCDMA(wideband code division multiple access)와 같이 데이터 다운로드/업로드가 빠른 이동 통신 시스템에 적용되는 것이 바람직하지만, 이에 한정되는 것은 아니고 영상 통화를 지원할 수 있을 정도의 성능을 가지는 모든 유선 또는 무선 통신 시스템에 적용할 수 있다. 이하, 이동 단말들(210~230)로 또는 이동 단말들(210~230)에서 본 발명에 따른 방송 시청 서비스를 제공하는 방법을 예로들어 설명하지만, 이에 한정되는 것은 아니며, 이동 단말들(210~230) 대신에 공중망 기반의 일반 유선 전화기나, IP(Internet Protocol) 망 기반의 데스크탑 컴퓨터 또는 노트북 컴퓨터(270)라 할지라도 영상 통화와 대화방 기능을 위하여 카메 라를 구비하고 VOD(Video on Demand)가 지원되는 모든 단말이 사용될 수 있다.
여기서, 이동 단말들(210~230)은 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone: Personal Communications Services phone)일 수 있을 뿐만 아니라, 무선 통신이 가능한 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000), 노트북 PC, 데스크탑 PC, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA:Personal Digital Assistant), 스마트폰(Smart phone), 왑폰(WAP phone:Wireless application protocol phone), 모바일 게임기(mobile play-station) 등을 포괄적으로 의미한다.
이동 단말들(210~230)은 기지국(240)의 중계를 받아 통화, 디지털 방송, 디지털 미디어 스트리밍, 다운로드 및 업로드 등의 통신 서비스를 받을 수 있다. 기지국(240)과 코어망(250) 사이에는, 통신 상에서 발생하는 서킷 트래픽(circuit traffic) 또는 IP(internet protocol) 패킷 트래픽(packet traffic) 등이 해당 위치의 목적지 이동 단말, 유선 전화, 응용서버 등으로 적절히 송수신 될 수 있도록 제어하고, 무선 자원의 스케줄링에 따른 RRM(Radio Resource Management) 기능 및 셀간의 이동성을 지원하는 핸드오프(handoff) 기능 등을 수행하는 RNC(Radio Network Controller: 제어기)가 있으나 편의상 도 2에 도시하지 않았다.
여기서, 이동 단말들(210~230)은 영상 통화 기능을 지원하는 휴대형 단말로서, 영상 통화 기능을 이용한 화상 회의, 정치인과의 대담, 유명인과의 대화 등의 다자간 영상 통화가 이루어지는 대화방 서비스가 지원되는 경우에 이동 단말들(210~230)의 LCD(Liquid Crystal Display) 등 디스플레이 수단의 화면에는, 도 3과 같이, 이동 단말들(210~230)에 구비된 소정 카메라로 촬영된 본인의 모습과 함께 대화방에 참여한 사람들의 모습이 동시에 표시될 수 있다. 대화방이 개설된 후 대화방 참여자들의 영상 정보, 참여자들 간에 대화하는 음성 정보, 참여자들 간에 주고 받는 문자 데이터 등은 이동 단말들(210~230)의 소정 어플리케이션에 따라 디스플레이 수단, 음성 출력 수단(스피커) 등 사용자 인터페이스를 구동함으로써, 이동 단말들(210~230)의 사용자들이 서로의 모습을 보면서 대화방에 참여할 수 있도록 한다.
특히, 본 발명에서, 이동 단말들(210~230)은 공중망과 IP(Internet Protocol) 망이 통합된 코어망(250)에 연결된 MCU(260), SIP 유닛(280), 및 대화방 관람 서비스 시스템(290)의 연동으로 본 발명에 따른 대화방 시청 서비스를 제공할 수 있다. 본 발명의 대화방 시청 서비스를 위하여 MCU(260), SIP 유닛(280), 및 대화방 관람 서비스 시스템(290)은 IP(Internet Protocol) 패킷망 또는 서킷(circuit: 회선) 망인 일반 공중망에 연결되어 실시될 수 있다.
이동 단말들(210~230)이 본 발명에 따른 대화방 시청 서비스를 제공하는 경우에, 이동 단말들(210~230)의 디스플레이 수단의 분할된 화면에는, 도 4와 같이, 대화방 관람 서비스 시스템(290)으로부터 다운로드된 각 참여자의 각 이동 단말에 구비된 소정 카메라로 촬영된 본인의 모습을 포함한 각 참여자의 모습이 동시에 표시될 수 있다. 본 발명에 따른 대화방 시청 서비스를 위하여, 대화방 관람 서비스 시스템(290)으로부터 실시간 스트리밍되어 다운로드되는 공개된 대화방에 대한 시청 정보를 이용하여 사용자 단말의 디스플레이 수단 및 음성 출력 수단 등 사용자 인터페이스를 구동함으로써 해당 대화방의 영상 정보, 음성 정보, 문자 데이터 등을 출력하여 VOD를 지원하는 모든 유무선 단말이 사용될 수 있다.
도 4와 같이, 본 발명에 따른 대화방 시청 서비스에서는, 기존과 같이 대화방 참여자의 수에 제한 없이, 유무선 단말을 사용하는 무수히 많은 각 사용자 단말(1,2,3,...N), 예를 들어, 대화방 관람 서비스 시스템(290)의 용량이 커버하는 한 수백 또는 수천명의 시청자들이 모두 동시에 다자간 대화방 채널을 관람 또는 시청할 수 있게 된다. 따라서, 정치인과 여러 참여자들이 대담하거나, 유명 연예인과 여러 참여자들 간에 대화하는 대화방에 참여하지는 못하는 사람들일 지라도 본 발명에 따른 시청 서비스의 시청자가 되어서 유무선 단말을 이용하여 대화방 시청 서비스를 받을 수 있다.
이를 위하여, 사용자 단말은 대화방 시청을 위한 무선 인터넷 브라우져(browser) 등을 통하여, 관람 요청을 전송할 수 있다. 이에 따라, 사용자 단말에는 상기 관람 요청에 따라 대화방 관람 서비스 시스템(290)으로부터 공개 채널 리스트가 제공된다. 이때, 사용자 단말에서 공개 채널 리스트 중 시청을 희망하는 어느 한 채널을 선택하면, 대화방 관람 서비스 시스템(290)으로부터 해당 채널에 대한 대화방 시청 정보를 제공 받는다. 사용자 단말은 상기 대화방 시청 정보를 이용하여 사용자 인터페이스 등을 구동함으로써, 디스플레이 화면에 해당 채널의 대화방에 대한 참여자 영상, 음성 정보, 문자 정보 등을 사용자에게 보여 줄 수 있다.
사용자 단말이 위와 같은 대화방 시청 서비스를 제공 받도록 하기 위하여, MCU(260), SIP 유닛(280), 및 대화방 관람 서비스 시스템(290)이 유기적으로 연동 한다.
MCU(260)는 개설된 대화방의 참여자들 간에 영상, 음성, 문자 메시지 등을 주고 받도록 참여자 단말들 간의 다자간 영상 통화를 중계하는 제어부에 해당한다. MCU(260)는 참여자 단말들로부터 전송되는 각 사용자 얼굴이 포함된 동영상을 수집하여, 대화방에 참여한 모든 사람들의 모습이 각 참여자 단말의 한 화면에 표시되도록 하기 위한 각 영상을 먹싱(multiplexing)하여 통합 영상을 생성하고 각 참여자 단말로 보내준다. 예를 들어, 도 4와 같이 4명의 참여자가 있는 경우에, 상기 통합 영상 따라 참여자 단말은 4 분할된 각 화면에 참여자의 모습이 하나씩 표시되도록 할 수 있다. 또한, MCU(260)는 참여자들 간에 대화하는 음성 정보나, 참여자들이 주고 받는 인스턴트(instant) 메시지 등 문자 메시지가 각 참여자 단말로 실시간 전송되도록 중계할 수 있다.
특히, 본 발명을 위하여, 어느 한 사용자가 대화방을 개설하고 개설된 대화방을 공개하도록 설정하는 경우에, MCU(260)는 공개 설정된 대화방에 대한 공개 채널 정보와 대화방 정보를 SIP 유닛(280)으로 출력한다. SIP 유닛(280)은 세션 설정부로서, 상기 공개 설정된 대화방에 대한 세션을 설정하여 상기 MCU(260)로부터 출력되는 공개 채널 정보와 대화방 정보를 대화방 관람 서비스 시스템(290)으로 전송한다.
MCU(260)가 SIP 유닛(280)을 통하여 대화방 관람 서비스 시스템(290)으로 전송하는 공개 채널 정보는 상기 공개된 대화방에 대한 대화방 명칭, 개설자명, 참여자수, 참여자들의 네임, 및 대화방 진행 시간 등을 포함할 수 있다. 여기서, 대화 방 명칭은 공개 설정되어 개설된 대화방의 이름, 개설자명은 대화방을 개설한 사람의 ID(identification)나 닉네임(nick name), 참여자수는 대화방에 현재 참여한 사람수, 참여자들의 네임은 대화방에 현재 참여한 사람들 각각의 ID나 닉네임, 그리고 대화방 진행 시간은 대화방이 개설된 후부터 현재 진행 시점까지의 시간 등일 수 있다.
또한, MCU(260)가 SIP 유닛(280)을 통하여 대화방 관람 서비스 시스템(290)으로 전송하는 대화방 정보는 상기 공개된 대화방에 참여자들의 통합 영상을 포함한다. 이외에도, 상기 대화방 정보에는 상기 공개된 대화방에 참여자들 간에 대화하는 음성 정보와 참여자들 간에 주고 받는 문자 정보 등을 포함할 수 있다. MCU(260)가 지원하는 통합 영상은 참여자 단말의 디스플레이 수단에서 대화방에 참여자들의 모습이 4, 8, 16,... 등으로 분할된 화면에 각 참여자들의 모습을 표시할 수 있도록 생성되는 데이터에 의하여 이루어진다.
한편, 도 2에서, 대화방 관람 서비스 시스템(290)은 메뉴 서버(291), 데이터베이스(292), RTE(Real-time Encoder: 실시간 인코더)(293), 및 스트리밍(streaming) 서버(294)를 포함한다.
MCU(260)가 SIP 유닛(280)을 통하여 전송하는 공개 채널 정보는 메뉴 서버(291)가 수신하고, MCU(260)가 SIP 유닛(280)을 통하여 전송하는 대화방 정보는 RTE(293)가 수신한다.
메뉴 서버(291)는 상기 공개 채널 정보를 수신하여 데이터베이스(292)에 공개 채널 리스트를 저장한다. 대화방이 공개될 때마다 메뉴 서버(291)는 SIP 유닛 (280)을 통하여 MCU(260)로부터 각 대화방에 대한 공개 채널 정보를 수신하여 대화방 명칭별로 공개 채널 리스트를 저장하여 관리할 수 있다. 예를 들어, 메뉴 서버(291)는 상기 공개 채널 정보에 포함된 위와 같은 정보에 기초하여 데이터베이스(292)에 각 대화방 명칭별로 그 하위 구조로 개설자명, 참여자수, 참여자들의 네임, 및 대화방 진행 시간 등을 대응시켜 저장시킬 수 있다.
공개된 대화방을 시청하려는 사용자 단말로부터 코어망(250)을 통하여 관람 요청을 받으면, 메뉴 서버(291)는 데이터베이스(292)에 관리되고 있는 위와 같은 공개 채널 리스트를 사용자 단말로 전송하게 된다.
한편, RTE(293)는 인코딩 수단으로서, 대화방들이 공개될 때마다 각 대화방에 대한 대화방 정보를 인코딩하기 위하여 예상되는 공개 대화방들의 수만큼 복수의 인코더들을 운용할 수 있으며, 각 공개 대화방에 대한 대화방 정보(영상, 음성 및 문자 메시지 등)를 실시간 인코딩한다. 예를 들어, IP망 트래픽 형태의 대화방 정보를 사용자 단말의 소정 코덱(사용자 인터페이스 구동 수단)을 통하여 인식되도록 하기 위하여, RTE(293)는 대화방 정보를 소정 코덱(codec) 방식으로 변환한 후 미리 정해진 압축 방식으로 실시간 인코딩하여 패킷(packet)화할 수 있다.
이에 따라, 메뉴 서버(291)가 제공한 상기 공개 채널 리스트를 제공받은 단말로부터 채널 선택 정보를 수신하면, 상기 RTE(293)는 해당 채널에 대응되는 인코더로부터의 인코딩 정보를 스트리밍 서버(294)로 출력한다. 스트리밍 서버(294)는 RTE(293)가 출력하는 상기 채널 선택 정보에 대응되는 인코딩 정보를 RTSP(Real-Time Streaming Protocol) 규격으로 실시간 스트리밍한 대화방 시청 정보를 생성하 고, 상기 생성한 대화방 시청 정보를 코어망(250)을 통하여 사용자 단말로 제공한다.
이에 따라, 사용자 단말은 선택한 채널에 대한 대화방 시청 정보를 수신하여 상기 대화방 시청 정보에 따라 사용자 인터페이스를 구동함으로써 대화방 시청 서비스를 받을 수 있다. 본 발명에서는 그 수에 제한 없이 많은 사용자들이 도 4와 같이 대화방에서의 상황을 실시간으로 시청할 수 있도록 함으로써, 참여하지는 못하는 사용자에게 간접 참여의 기회를 제공하게 된다.
이와 같이, 대화방 관람 서비스 시스템(290)은 다자간에 영상 통화하는 대화방이 개설되고 상기 개설된 대화방이 공개 설정되는 경우에, RTE(293)를 이용하여 상기 공개 설정된 대화방에 참여자들의 통합 영상을 포함하는 대화방 정보를 미리 정해진 압축 방식으로 인코딩하고, 스트리밍 서버(294)를 통하여 상기 인코딩된 정보를 실시간 스트리밍하여 대화방 시청 정보를 생성함으로써, 사용자 단말의 요청을 받는 경우에 해당 채널의 대화방 시청 정보를 사용자 단말로 전송할 수 있다.
이하, 도 5를 참조하여 본 발명의 일실시예에 따른 통신 시스템(200)의 대화방 시청 서비스 동작을 중심으로 좀더 자세히 설명한다.
먼저, 사용자는 카메라가 탑재되어 영상 통화 기능 등이 지원되는 사용자 단말 MS/PC (1), 즉, 기지국(240)과 통신하는 이동 단말(MS), 또는 IP 망을 이용하는 유선 단말인 데스크 탑 PC나 노트북 PC와 같은 유선 단말에서, 대화방을 시청하기 위하여 인터넷 브러우져 등을 통하여 화상 회의, 대담, 채팅 등을 위한 대화방을 개설하고 공개 설정한다(S510).
이때, 사용자 단말 MS/PC (1)을 통하여 개설자의 모습을 포함하는 동영상이 MCU(260)로 전송되고(S511), 유무선망을 이용하는 다른 가입자들이 각 유무선 단말 MS/PC (2,3,4,...)을 이용하여 상기 개설된 대화방에 참여 요청하고(S512), MCU(260)의 수락을 받아 상기 개설된 대화방에 참여함으로써(S513), 각 유무선 단말 MS/PC (2,3,4,...)의 참여자들 모습 관련 동영상도 MCU(260)로 전송된다(S514).
이에 따라, MCU(260)는 개설자를 포함한 참여자 단말들로부터 전송되는 각 참여자 얼굴이 포함된 동영상을 수집하여, 대화방에 참여한 모든 사람들의 모습이 각 참여자 단말의 한 화면에 표시되도록 하기 위하여 각 영상을 먹싱(multiplexing)하여 통합 영상을 생성하고(S520), 통합 영상을 포함한 대화방의 참여자들 간의 음성 정보, 문자 메시지 등의 대화방 정보를 각 참여자 단말로 보내줌으로써(S521), 이에 따라 대화방 참여자들이 화상 회의, 대담, 채팅 등 다자간 영상 통화를 이용할 수 있게 한다(S522).
특히, 개설된 대화방이 공개 설정된 경우에, MCU(260)는 공개 설정된 대화방에 대한 공개 채널 정보와 대화방 정보를 SIP 유닛(280)으로 출력하고, SIP 유닛(280)은 상기 공개 설정된 대화방에 대한 세션을 설정하여 상기 MCU(260)로부터 출력되는 공개 채널 정보와 대화방 정보를 대화방 관람 서비스 시스템(290)으로 전송한다(S523).
MCU(260)가 SIP 유닛(280)을 통하여 대화방 관람 서비스 시스템(290)으로 전송하는 공개 채널 정보는 상기 공개된 대화방에 대한 대화방 명칭, 개설자명, 참여자수, 참여자들의 네임, 및 대화방 진행 시간 등을 포함할 수 있다. 또한, MCU(260)가 SIP 유닛(280)을 통하여 대화방 관람 서비스 시스템(290)으로 전송하는 대화방 정보는 상기 공개된 대화방에 참여자들의 통합 영상을 포함한다. 이외에도, 상기 대화방 정보에는 상기 공개된 대화방에 참여자들 간에 대화하는 음성 정보와 참여자들 간에 주고 받는 문자 메시지 정보 등을 포함할 수 있다.
이에 따라, 대화방 관람 서비스 시스템(290)의 메뉴 서버(291)는 상기 공개 채널 정보를 수신하여 데이터베이스(292)에 공개 채널 리스트를 저장한다(S530). 대화방이 공개될 때마다 메뉴 서버(291)는 SIP 유닛(280)을 통하여 MCU(260)로부터 각 대화방에 대한 공개 채널 정보를 수신하여 대화방 명칭별로 그 하위 구조로 개설자명, 참여자수, 참여자들의 네임, 및 대화방 진행 시간 등을 대응시켜 저장시킬 수 있다.
대화방 관람 서비스 시스템(290)의 RTE(293)는 대화방들이 공개될 때마다 각 대화방에 대한 대화방 정보를 인코딩하기 위하여 예상되는 공개 대화방들의 수만큼 복수의 인코더들을 운용하여, 각 공개 대화방에 대한 대화방 정보(영상, 음성 및 문자 메시지 등 포함)를 참여자 단말의 소정 코덱(사용자 인터페이스 구동 수단)을 통하여 인식되도록 소정 코덱(codec) 방식으로 실시간 변환 및 패킷화하는 인코딩을 수행한다(S540).
대화방 관람 서비스 시스템(290)의 스트리밍 서버(294)는 RTE(293)가 출력하는 인코딩 정보를 RTSP(Real-Time Streaming Protocol) 규격으로 실시간 스트리밍한 대화방 시청 정보를 생성하여 상기 공개된 대화방을 시청하려는 다른 유무선 가입자 단말 MS/PC (j,k,l,...)로 전송할 수 있다(S550). 예를 들어, 다른 유무선 가 입자 단말 MS/PC (j,k,l,...)은 인터넷 브라우져 등 소정 수단을 통하여 위와 같이 공개 설정된 대화방이 운영되는 사이트에 방문하여(S560), 상기 공개된 대화방을 시청하기 위한 관람 요청을 코어망(250)을 통하여 대화방 관람 서비스 시스템(290)으로 전송할 수 있다(S561). 이에 따라, 메뉴 서버(291)는 데이터베이스(292)에 관리되고 있는 위와 같은 공개 채널 리스트를 단말 MS/PC (j,k,l,...)로 전송한다(S562).
단말 MS/PC (j,k,l,...)은 메뉴 서버(291)가 제공한 상기 공개 채널 리스트를 수신하고, 이에 따라 디스플레이 수단에 표시되는 대화방 명칭을 보고 해당 사용자는 희망하는 채널을 선택할 수 있다(S570). 이때, 사용자는 대화방 명칭을 클릭하여, 대화방 명칭의 하위 정보인 개설자명, 참여자수, 참여자들의 네임, 및 대화방 진행 시간 등을 참고하여 시청을 희망하는 채널을 선택할 수 있다. 시청하고자 하는 사용자의 채널 선택에 따라, 단말 MS/PC (j,k,l,...)은 해당 채널에 대한 정보를 포함하는 채널 선택 정보를 대화방 관람 서비스 시스템(290)으로 전송한다(S571).
이에 따라, 대화방 관람 서비스 시스템(290)의 RTE(293)는 상기 채널 선택 정보에 대응되는 인코더로부터의 인코딩 정보를 스트리밍 서버(294)로 출력하고, 스트리밍 서버(294)는 RTE(293)가 출력하는 상기 채널 선택 정보에 대응되는 인코딩 정보를 RTSP(Real-Time Streaming Protocol) 규격으로 실시간 스트리밍한 대화방 시청 정보를 생성하여, 상기 생성한 대화방 시청 정보를 코어망(250)을 통하여 단말 MS/PC (j,k,l,...)로 제공한다(S572).
이에 따라, 사용자 단말은 선택한 채널에 대한 대화방 시청 정보를 수신하여 상기 대화방 시청 정보에 따라 사용자 인터페이스를 구동함으로써 디스플레이 수단을 통하여 대화방 시청 서비스를 받을 수 있다(S580). 디스플레이 화면에는 사용자가 요청한 해당 채널의 대화방에서 이루어지는 참여자 동영상, 음성 정보, 문자 메시지 정보 등이 표시되고, 단말 MS/PC (j,k,l,...)의 수에 제한 없이 많은 N 수의 사용자들이 도 4와 같이 대화방에서의 상황을 실시간으로 시청할 수 있다.
본 명세서에서 개시된 방법 및 장치에서 사용되는 기능은 하드웨어 적으로 구현될 수도 있으며, 소프트웨어 적으로 구현될 수도 있는데, 가령 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
상술한 바와 같이 본 발명에 따른 통신 시스템 및 방법에서는, 사용자 단말을 통하여 관람 요청 시에 해당 채널의 다자간 대화 영상과 음성 정보 등을 실시간으로 스트리밍하여 해당 단말로 제공하므로, 사용자들은 그 수에 제한없이 유무선 상의 다자간 대화방 채널을 관람 또는 시청할 수 있다.
또한, 발명에 따른 통신 시스템 및 방법에서는, 개설된 대화방을 제3자 입장에서 관람 또는 시청할 수 있도록 하므로, 유무선망이 결합된 사용자 편의의 환경에서 사용자들간의 대화방 서비스를 활성화시킬 수 있고, 신규 고객 만족 서비스를 창출할 수 있다.
그리고, 본 발명에 따른 통신 시스템 및 방법은, 영상 통화 등 VOD가 지원되는 단말과 통신할 수 있는 모든 유무선 통신 시스템에 적용할 수 있다.

Claims (14)

  1. 대화방 시청 서비스를 제공하는 통신 시스템에 있어서,
    다자간에 영상 통화하는 대화방이 개설되고 상기 개설된 대화방이 공개 설정되는 경우에,
    상기 공개 설정된 대화방에 참여자들의 통합 영상을 포함하는 대화방 정보를 미리 정해진 압축 방식으로 인코딩하는 인코더; 및
    상기 인코딩된 정보를 실시간 스트리밍하여 대화방 시청 정보를 생성하는 스트리밍 서버
    를 포함하는 것을 특징으로 하는 통신 시스템.
  2. 제1항에 있어서,
    상기 대화방 정보는 상기 참여자들 간에 대화하는 음성 정보를 포함하는 것을 특징으로 하는 통신 시스템.
  3. 제1항에 있어서,
    상기 대화방 정보는 상기 참여자들 간에 주고 받는 문자 정보를 포함하는 것을 특징으로 하는 통신 시스템.
  4. 제1항에 있어서,
    적어도 하나 이상의 공개된 대화방에 대한 공개 채널 정보를 수신하여 데이터베이스에 공개 채널 리스트를 저장하는 메뉴 서버를 더 포함하고,
    상기 스트리밍 서버는 단말로부터의 요청에 따라 상기 공개 채널 리스트 중 어느 한 채널에 대응되는 대화방 시청 정보를 상기 단말로 제공하는 것을 특징으로 하는 통신 시스템.
  5. 제4항에 있어서,
    상기 메뉴 서버는 상기 단말로부터 관람 요청을 받는 경우에 상기 공개 채널 리스트를 상기 단말로 전송하고,
    상기 스트리밍 서버는 상기 인코더가 출력하는 상기 단말로부터의 채널 선택 정보에 대응되는 인코딩 정보를 실시간 스트리밍하여 상기 대화방 시청 정보를 생성하는 것을 특징으로 하는 통신 시스템.
  6. 제5항에 있어서, 상기 인코더는 복수의 대화방들에 대응되는 복수의 인코더들을 포함하고,
    상기 단말로부터 상기 채널 선택 정보를 수신하면 해당 인코더로부터의 인코딩 정보를 상기 스트리밍 서버로 출력하는 것을 특징으로 하는 통신 시스템.
  7. 제4항에 있어서, 상기 공개 채널 정보는 대화방 명칭, 개설자명, 참여자수, 참여자들의 네임, 및 대화방 진행 시간 중 적어도 하나 이상을 포함하고,
    상기 데이터베이스는 공개된 각 대화방 명칭별로 개설자명, 참여자수, 참여자들의 네임, 및 대화방 진행 시간 중 적어도 하나 이상을 상기 공개 채널 리스트로 관리하는 것을 특징으로 하는 통신 시스템.
  8. 제4항에 있어서,
    개설된 대화방의 다자간 영상 통화를 중계하고, 공개 설정된 대화방에 대한 공개 채널 정보와 대화방 정보를 출력하는 제어부; 및
    상기 공개 설정된 대화방에 대한 세션을 설정하여 상기 제어부로부터 출력되는 상기 공개 채널 정보를 상기 메뉴 서버로 전송하고, 상기 제어부로부터 출력되는 상기 대화방 정보를 상기 인코더로 전송하는 세션 설정부
    를 더 포함하는 것을 특징으로 하는 통신 시스템.
  9. 대화방 시청 서비스를 제공하는 단말에 있어서,
    대화방 시청을 위한 브라우져를 통하여, 관람 요청을 전송하고 상기 관람 요청에 따라 제공되는 공개 채널 리스트 중에서 선택한 채널에 대한 대화방 시청 정보를 수신하여,
    상기 대화방 시청 정보를 이용하여 사용자 인터페이스를 구동하여 대화방 시청 서비스를 제공하는 것을 특징으로 하는 단말.
  10. 제9항에 있어서, 상기 대화방 시청 정보는,
    공개된 다자간 대화방에 참여자들의 통합 영상을 포함하는 대화방 정보를 미리 정해진 압축 방식으로 인코딩한 후에 상기 인코딩된 정보를 실시간 스트리밍한 정보인 것을 특징으로 하는 단말.
  11. 제9항에 있어서, 상기 단말은 기지국과 통신하는 이동 단말 또는 IP 망에 연결된 유선 단말인 것을 특징으로 하는 단말.
  12. 사용자 단말에서 다자간 대화방의 시청을 서비스하는 방법에 있어서,
    관람 요청을 전송하고, 상기 관람 요청에 따라 공개 채널 리스트를 수신하는 단계;
    상기 공개 채널 리스트 중에서 선택한 채널에 대한 채널 선택 정보를 전송하고, 상기 채널 선택 정보에 따라 대화방 시청 정보를 수신하는 단계; 및
    상기 대화방 시청 정보에 따라 대화방 시청 서비스를 제공하는 단계
    를 포함하는 것을 특징으로 하는 대화방 시청 서비스 방법.
  13. 대화방 시청 정보를 제공하는 방법에 있어서,
    다자간에 영상 통화하는 대화방이 개설되고 상기 개설된 대화방이 공개 설정되는 경우에,
    상기 공개 설정된 대화방에 참여자들의 통합 영상을 포함하는 대화방 정보를 미리 정해진 압축 방식으로 인코딩하는 단계; 및
    상기 인코딩된 정보를 실시간 스트리밍하여 대화방 시청 정보를 제공하는 단계
    를 포함하는 것을 특징으로 하는 대화방 시청 정보 제공 방법.
  14. 제13항에 있어서,
    상기 인코딩하는 단계 전에, 적어도 하나 이상의 공개된 대화방에 대한 공개 채널 정보와 대화방 정보를 수신하고, 상기 공개 채널 정보에 기초하여 공개 채널 리스트를 관리하는 단계를 포함하고,
    상기 대화방 시청 정보를 생성하는 단계는 채널 선택 정보를 포함하는 요청에 따라 상기 공개 채널 리스트 중 해당 채널에 대응되는 인코딩 정보를 실시간 스트리밍한 대화방 시청 정보를 제공하는 단계
    를 포함하는 것을 특징으로 하는 대화방 시청 정보 제공 방법.
KR1020070032260A 2007-04-02 2007-04-02 실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신시스템 및 방법 KR100911692B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070032260A KR100911692B1 (ko) 2007-04-02 2007-04-02 실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070032260A KR100911692B1 (ko) 2007-04-02 2007-04-02 실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090000771A true KR20090000771A (ko) 2009-01-08
KR100911692B1 KR100911692B1 (ko) 2009-08-11

Family

ID=40483909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070032260A KR100911692B1 (ko) 2007-04-02 2007-04-02 실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100911692B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102142399B1 (ko) * 2013-12-30 2020-09-15 주식회사 케이티 영상 대화와 문자 대화를 전송하는 장치 및 방법, 그리고 대화 데이터를 표시하는 방법
KR20160093505A (ko) 2015-01-29 2016-08-08 이규범 다자간 통화를 위한 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100193684B1 (ko) * 1996-06-14 1999-06-15 김종범 화상회의 또는 멀티미디어 네트웍에 있어서 영상 및 음성의 전송과 다자간 원격통화망 구성 방법 및 그 장치
KR20010096832A (ko) * 2000-04-15 2001-11-08 윤상권 인터넷을 이용한 영상 채팅 방법
KR100602704B1 (ko) * 2004-04-01 2006-07-20 주식회사 팬택앤큐리텔 다자간 화상통화시의 동적 화면표시 제어 장치 및 그 방법

Also Published As

Publication number Publication date
KR100911692B1 (ko) 2009-08-11

Similar Documents

Publication Publication Date Title
US20170208291A1 (en) System and method for video communication on mobile devices
US9024997B2 (en) Virtual presence via mobile
JP4299320B2 (ja) グループ通信サーバ
JP2008523662A (ja) 画像ベースのプッシュ・ツー・トークのユーザインタフェース向き画像交換方法
CN101036404A (zh) 组通信会话中的内容格式化和设备配置
KR20050094229A (ko) 멀티미디어 채팅 시스템 및 그 운용방법
KR20090022137A (ko) 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법
CN101610465A (zh) 用于将文本信息转换为语音信息的通信方法及通信系统
WO2012075937A1 (zh) 视频通话方法及可视电话
CN101317363A (zh) 终端通话过程中的媒体流替换方法及系统
CN101400149A (zh) 一种移动终端实现远程协助的系统和方法
KR20120079010A (ko) 통화 중 미디어 데이터 전송 시스템 및 방법
AU2004300323B2 (en) Push to watch: a video person-to-person streaming application
CN100581197C (zh) 一种获取媒体特征信息的方法和系统以及终端设备
EP2030339A2 (en) Method and system for enabling a conference call
KR100738918B1 (ko) 이동통신 단말기를 이용한 사설 방송 서비스 제공 방법,서버 및 시스템
KR100625123B1 (ko) 이동 통신 데이터망에서 ｓｉｐ와 ｓｄｂ를 이용한 ｐｔｔ서비스 구현 방법 및 시스템
CN101132554A (zh) 通信终端设备、会议服务器装置以及相关方法
KR100911692B1 (ko) 실시간으로 다자간 대화방의 시청 서비스를 제공하는 통신시스템 및 방법
CN102045535B (zh) 一种实现用户视频选择客服人员的装置、系统及方法
JP2013110481A (ja) データ共有機能を有した通話システム
KR100872076B1 (ko) 영상 통화 중 대체 영상 서비스를 제공하는 방법과 그를 위한 시스템 및 이동통신 단말기
CN102546994B (zh) 一种多媒体会议成员实现消息交互的方法及系统
CN112637676B (zh) 多媒体文件处理方法、系统、通信设备及可读存储介质
KR20070011722A (ko) 일반전화를 이용하여 화상회의에 참석할 수 있는 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120801

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180917

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190805

Year of fee payment: 11