KR101962447B1 - 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법 - Google Patents

단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법 Download PDF

Info

Publication number
KR101962447B1
KR101962447B1 KR1020120018627A KR20120018627A KR101962447B1 KR 101962447 B1 KR101962447 B1 KR 101962447B1 KR 1020120018627 A KR1020120018627 A KR 1020120018627A KR 20120018627 A KR20120018627 A KR 20120018627A KR 101962447 B1 KR101962447 B1 KR 101962447B1
Authority
KR
South Korea
Prior art keywords
packet
data packet
transmission
signaling
flag
Prior art date
Application number
KR1020120018627A
Other languages
English (en)
Other versions
KR20130101653A (ko
Inventor
김혜수
전혜영
김신애
민형석
박재성
서주희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120018627A priority Critical patent/KR101962447B1/ko
Publication of KR20130101653A publication Critical patent/KR20130101653A/ko
Application granted granted Critical
Publication of KR101962447B1 publication Critical patent/KR101962447B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

단말 장치가 개시된다. 본 단말 장치는 적어도 하나의 외부 장치와 연결되어 적어도 하나의 외부 장치로부터 실시간 어플리케이션에 사용되는 데이터 패킷 및 데이터 패킷에 대응하는 시그널링 패킷을 수신하는 인터페이스부, 시그널링 패킷에 포함된 정보를 이용하여 데이터 패킷에 포함된 영상을 포함하는 화면을 구성하는 신호 처리부, 구성된 화면을 디스플레이하는 디스플레이부 및 데이터 패킷 및 시그널링 패킷에 각각 포함된 플래그를 이용하여 데이터 패킷 및 시그널링 패킷을 동기화시켜 처리하도록 신호 처리부를 제어하는 제어부를 포함한다.

Description

단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법{TERMINAL APPARATUS AND METHOD OF EXECUTING A REAL-TIME APPLICATION USING THEREOF}
본 발명은 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법에 관한 것으로, 보다 상세하게는 실시간 어플리케이션에 사용되는 패킷을 제어하는 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법에 관한 것이다.
최근 멀티미디어 통신 서비스가 대중화되어 가면서 지역적으로 멀리 떨어진 상대방의 얼굴을 마주 보면서 대화를 할 수 있는 실시간 어플리케이션 기반으로 멀티미디어가 발전하고 있다. 이러한 실시간 어플리케이션은 다수의 사용자가 참여하므로 여러 지역을 연결할 수 있는 네트워크를 통해 각 사용자의 단말 장치로 정보를 송수신할 수 있다.
한편, 실시간 어플리케이션을 실행하기 위해서는 데이터 패킷 및 시그널링 패킷을 함께 전송하는데, 네트워크를 통해 정보를 송수신하는 경우 패킷이 라우터 등을 통과할 때 패킷 순서가 변경될 수 있어 데이터 패킷 및 시그널링 패킷이 송신측에서 함께 전송되더라도 수신측에서는 각각 상이한 시점에 수신될 수 있다.
각각 상이한 시점에 데이터 패킷 및 시그널링 패킷을 수신하여 실시간 어플리케이션이 실행되는 경우 디스플레이 화면에 표시되는 사용자 정보 및 영상이 서로 일치하지 않는 문제가 발생할 수 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 실시간 어플리케이션을 실행할 때, 데이터 패킷 및 그에 대응하는 시그널링 패킷을 동기화시켜 처리할 수 있는 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법을 제공함에 있다.
이상의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 실시간 어플리케이션을 실행하기 위한 단말 장치는, 적어도 하나의 외부 장치와 연결되어 상기 적어도 하나의 외부 장치로부터 상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 수신하는 인터페이스부, 상기 시그널링 패킷에 포함된 정보를 이용하여 상기 데이터 패킷에 포함된 영상을 포함하는 화면을 구성하는 신호 처리부, 상기 구성된 화면을 디스플레이하는 디스플레이부 및 상기 데이터 패킷 및 상기 시그널링 패킷에 각각 포함된 플래그를 이용하여 상기 데이터 패킷 및 상기 시그널링 패킷을 동기화시켜 처리하도록 상기 신호 처리부를 제어하는 제어부를 포함한다.
여기서, 상기 인터페이스부를 통해 수신된 상기 데이터 패킷 및 상기 시그널링 패킷을 저장하기 위한 저장부를 더 포함할 수 있으며, 상기 제어부는, 상기 데이터 패킷 및 상기 시그널링 패킷 중 하나가 먼저 수신되어 상기 저장부에 저장되면 다른 하나가 수신될 때까지 대기하도록 상기 신호 처리부를 제어할 수 있다.
또한, 상기 적어도 하나의 외부 장치로 전송할 전송 데이터 패킷 및 상기 전송 데이터 패킷에 대응하는 전송 시그널링 패킷을 생성하는 패킷 생성부를 더 포함할 수 있으며, 상기 제어부는 상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그를 삽입하도록 상기 패킷 생성부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 주기적으로 또는 기 설정된 이벤트가 발생하는 경우에 상기 동기화 정보가 기록된 전송 플래그를 삽입하도록 상기 패킷 생성부를 제어할 수 있다.
한편, 상기 전송 데이터 패킷에 삽입되는 전송 플래그는, 상기 전송 데이터 패킷의 RTP 헤더 익스텐션(header extension) 영역에 삽입될 수 있으며, 상기 전송 시그널링 패킷에 삽입되는 전송 플래그는, SDP(Session Description Protocol) 또는 XMPP(eXtensible Messaging and Presence Protocol)에 따른 전송 시그널링 패킷의 어트리뷰트(attribute)영역에 삽입될 수 있다.
그리고, 상기 실시간 어플리케이션은 영상 회의를 위한 어플리케이션일 수 있으며, 상기 시그널링 패킷은, 세션 정보, 회의 그룹 정보, 사용자 속성 정보 및 상기 데이터 패킷에 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 중 적어도 하나를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 실시간 어플리케이션을 실행하기 위한 단말 장치는, 적어도 하나의 외부 장치와 연결되는 인터페이스부, 상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 생성하는 패킷 생성부 및 상기 데이터 패킷 및 상기 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 플래그를 삽입하도록 상기 패킷 생성부를 제어하고, 상기 플래그가 삽입된 상기 데이터 패킷 및 상기 시그널링 패킷을 상기 인터페이스부를 통해 상기 적어도 하나의 외부 장치로 전송하는 제어부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 단말 장치를 이용한 실시간 어플리케이션 실행 방법은, 적어도 하나의 외부 장치와 연결되는 단계, 상기 연결된 적어도 하나의 외부 장치로부터 상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 수신하는 단계, 상기 시그널링 패킷에 포함된 정보를 이용하여 상기 데이터 패킷에 포함된 영상을 포함하는 화면을 구성하는 단계 및 상기 구성된 화면을 디스플레이하는 단계를 포함할 수 있으며, 상기 화면을 구성하는 단계는, 상기 데이터 패킷 및 상기 시그널링 패킷에 각각 포함된 플래그를 이용하여 상기 데이터 패킷 및 상기 시그널링 패킷을 동기화시켜 처리할 수 있다.
그리고, 상기 수신된 데이터 패킷 및 시그널링 패킷을 저장하는 단계를 더 포함할 수 있으며, 상기 화면을 구성하는 단계는, 상기 데이터 패킷 및 상기 시그널링 패킷 중 하나가 먼저 수신되어 상기 저장부에 저장되면 다른 하나가 수신될 때까지 대기할 수 있다.
또한, 상기 적어도 하나의 외부 장치로 전송할 전송 데이터 패킷 및 상기 전송 데이터 패킷에 대응하는 전송 시그널링 패킷을 생성하는 단계를 더 포함할 수 있으며, 상기 패킷을 생성하는 단계는, 상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그를 삽입할 수 있다.
그리고, 상기 패킷을 생성하는 단계는, 상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 주기적으로 또는 기 설정된 이벤트가 발생하는 경우에 상기 동기화 정보가 기록된 전송 플래그를 삽입할 수 있다.
한편, 상기 전송 데이터 패킷에 삽입되는 전송 플래그는, 상기 전송 데이터 패킷의 헤더 익스텐션(header extension) 영역에 삽입될 수 있으며, 상기 전송 시그널링 패킷에 삽입되는 전송 플래그는, SDP(Session Description Protocol) 또는 XMPP(eXtensible Messaging and Presence Protocol)에 따른 전송 시그널링 패킷의 어트리뷰트(attribute)영역에 삽입될 수 있다.
그리고, 상기 실시간 어플리케이션은 영상 회의를 위한 어플리케이션일 수 있으며, 상기 시그널링 패킷은, 세션 정보, 회의 그룹 정보, 사용자 속성 정보 및 상기 데이터 패킷에 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 중 적어도 하나를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 단말 장치를 이용한 실시간 어플리케이션 실행 방법은, 적어도 하나의 외부 장치와 연결되는 단계, 상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 생성하는 단계, 상기 데이터 패킷 및 상기 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 플래그를 삽입하는 단계 및 상기 플래그가 삽입된 상기 데이터 패킷 및 상기 시그널링 패킷을 상기 연결된 적어도 하나의 외부 장치로 전송하는 단계를 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 실시간 어플리케이션을 실행하는 경우 데이터 패킷과 시그널링 패킷을 동기화시켜 처리함으로써, 각 패킷이 시간적으로 상이한 시점에 수신되더라도 디스플레이 화면에 표시되는 사용자 정보 및 영상이 서로 일치되도록 할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 실시간 어플리케이션을 실행하기 위한 시스템을 나타내는 모식도이다.
도 2는 본 발명의 일 실시 예에 따른 단말 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 단말 장치의 보다 상세한 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 데이터 패킷의 헤더 구조를 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 시그널링 패킷을 기술하기 위한 description을 나타내는 도면이다.
도 6은 사용자가 추가된 경우 실시간 어플리케이션의 동작을 설명하기 위한 도면이다.
도 7은 발표자가 변경된 경우 실시간 어플리케이션의 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 단말 장치의 다른 구성을 나타내는 블럭도이다.
도 9는 본 발명의 일 실시 예에 따른 단말 장치를 이용한 실시간 어플리케이션의 실행 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 단말 장치를 이용한 실시간 어플리케이션의 다른 실행 방법을 나타내는 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 실시간 어플리케이션을 실행하기 위한 시스템을 나타내는 모식도이다.
도 1에 도시된 바와 같이, 본 실시간 어플리케이션을 실행하기 위한 시스템(1000)은 네트워크를 통해 서로 연결된 복수의 단말 장치(100-1, 100-2, 100-3)를 포함한다. 이러한 복수의 단말 장치(100-1, 100-2, 100-3)는 TV, 휴대폰, PDA, 노트북 PC, 모니터, 태블릿 PC, 전자 책, 전자 액자, 키오스크 등과 같이 디스플레이 유닛을 구비한 다양한 장치로 구현될 수 있다. 여기서, 실시간 어플리케이션이란 네트워크를 통해 상호 연결된 단말 장치들 간에 실시간으로 데이터를 송수신하며 커뮤니케이션 할 수 있는 어플리케이션을 의미한다.
실시간 어플리케이션의 실행을 위해서는 데이터 패킷 및 시그널링 패킷이 필요하다. 데이터 패킷은 실시간 어플리케이션에 참가하는 사용자들을 촬상한 영상 데이터, 사용자들의 음성을 녹음한 음성 데이터 및 문서 데이터를 포함하며, 시그널링 패킷은 세션 정보 및 실시간 어플리케이션에 참가하는 사용자 정보 등을 포함한다.
실시간 어플리케이션을 실행하는 방법은 패킷의 전송 루트(route)에 따라 크게 두 가지로 구분할 수 있다. 하나는, 머지(merge) 방식으로, 복수의 단말 장치 각각은 네트워크 상의 MCU(Multi-point Control Unit)를 통해 간접적으로 연결되어 있다. MCU란 다지점 제어장치로서, 실시간 어플리케이션을 실행하기 위한 시스템에서 복수의 단말 장치간에 접속할 수 있도록 하는 전용 장치를 말한다. 즉, 데이터 패킷 및 시그널링 패킷은 하나의 단말 장치에서 다른 단말 장치로 직접적으로 전송되는 것이 아니라, MCU에 전송된 후 MCU가 각 단말 장치에서 수신한 복수의 데이터 패킷 및 시그널링 패킷을 하나의 데이터 패킷 및 시그널링 패킷으로 통합하여 각 단말 장치로 전송하는 방식이다.
다른 하나는, 릴레이(relay) 방식으로, 복수의 단말 장치는 서로 직접적으로 연결되어 있다. 즉, 각각의 단말 장치는 데이터 패킷 및 시그널링 패킷을 자신을 제외한 다른 단말 장치로 직접적으로 전송하는 방식이다.
복수의 단말 장치(100-1, 100-2, 100-3) 각각은 상술한 방식으로 전송된 데이터 패킷 및 시그널링 패킷을 처리하여 서로 동기화하여 신호 처리할 수 있으며, 신호 처리된 영상 데이터, 음성 데이터 및 텍스트 데이터를 출력하여 실시간 어플리케이션을 실행할 수 있다.
여기서, 데이터 패킷 및 시그널링 패킷은 각각 UDP(User Datagram Protocol) 및 TCP(Transmission Control Protocol)를 사용하여 송수신된다. 즉, 데이터는 UDP 패킷으로, 시그널링은 TCP 패킷으로 송수신된다. TCP는 정보를 정상적으로 수신한 경우 수신측에서 송신측으로 ACK(ACKnowledge) 신호를 전송하며, 송신측은 정보가 손실되는 등으로 ACK 신호가 수신되지 않으면 계속적으로 정보를 전송하여 정보의 전달을 보증할 수 있다. UDP는 정보를 보낸다는 신호나 받는다는 신호 절차를 거치지 않고, 송신측에서 일방적으로 데이터를 전달하는 통신 프로토콜이다. 데이터 패킷은 일부 손실되더라도 실질적으로 사용자의 영상 또는 음성이 일부 손실될 뿐이며, 따라서, 실시간 어플리케이션의 실행에 있어 크게 문제되지 않으므로 UDP를 이용하여 전송할 수 있다. 그러나, 세션 정보, 사용자 정보를 포함하며 실시간 어플리케이션의 실행 환경 등을 결정하는 시그널링 패킷은 시간이 걸리더라도 송신측에 전달되는 것이 중요하며 TCP 패킷으로 전송하는 것이 바람직하다.
한편, UDP는 패킷 순서의 제어나 패킷 손실 검출을 위해 필요한 시퀀스 번호나, 패킷 동기화를 위한 타임 스탬프 등이 존재하지 않으므로 UDP 패킷에 시퀀스 번호나 타임 스탬프를 포함하는 RTP(Real-time Transport Protocol) 헤더를 씌워 보낸다.
또한, 시그널링 패킷은 일반적으로 SIP/SDP 또는 XMPP 등을 사용할 수 있다. SIP(Session Initiation Protocol)은 인터넷 전화와 같은 멀티미디어 세션을 수립하고, 수정, 종료하는 실시간 어플리케이션 계층 제어 프로토콜이다. SDP는 IETF(Internet Engineering Task Force, 국제 인터넷 표준화 기구)에서 표준화 작업을 수행하고 있는 프로토콜로서 internet MBONE(Multicast backbone)상에서 멀티미디어 회의를 선전하고, 회의참여에 필요한 특정 정보를 주고 받기 위해 텍스트(text)로 세션 정보를 기술하는 프로토콜이며, RTP(Real-time Transport Protocol), RTSP(Real Time Streaming Protocol), SIP(Session Initiation Protocol) 등과 결합되어 사용될 수 있다. XMPP(eXtensible Messaging and Presence Protocol)은 IETF에서 제정한 국제 표준 프로토콜로 인스턴트 메신저를 위한 프로토콜이며, 다른 사용자와 실시간 통신을 할 수 있는 메시지와 현재 상태 정보를 주고 받기에 유용한 프로토콜이다.
한편, 도 1에서는 3개의 단말 장치가 네트워크를 통해 서로 연결된 것으로 표현하였으나, 2 이상의 단말 장치가 네트워크를 통해 연결되어 있다면 실시간 어플리케이션의 실행이 가능할 것이다.
도 2는 본 발명의 일 실시 예에 따른 단말 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면, 단말 장치(100)는 인터페이스부(110), 신호 처리부(120), 디스플레이부(130) 및 제어부(140)를 포함한다.
인터페이스부(110)는 외부 장치와 연결된다. 구체적으로, 인터페이스부(110)는 적어도 하나의 외부 장치와 연결되어 외부 장치로부터 실시간 어플리케이션에 사용되는 데이터 패킷 및 데이터 패킷에 대한 시그널링 패킷을 수신할 수 있다. 한편, 외부 장치는 도 1을 참조하여 설명한 바와 같이 네트워크를 통해 연결된 다른 단말 장치 또는 MCU가 될 수 있다.
신호 처리부(120)는 데이터 패킷에 포함된 영상을 포함하는 화면을 구성한다. 즉, 신호 처리부(120)는 시그널링 패킷에 포함된 정보를 이용하여 데이터 패킷에 포함된 영상을 포함하는 화면을 구성할 수 있다.
여기서, 데이터 패킷 및 시그널링 패킷을 이용하여 화면을 구성하는 과정에 대하여 구체적으로 설명한다. 상술한 바와 같이 데이터 패킷에는 영상 데이터, 음성 데이터 및 텍스트 데이터 등이 포함될 수 있으며, 시그널링 데이터에는 세션 정보, 사용자 정보 등이 포함될 수 있다. 또한, 실시간 어플리케이션이 영상 회의를 위한 어플리케이션인 경우 시그널링 데이터에는 세션 정보, 회의 그룹 정보, 사용자 속성 정보(발표자 또는 참가자인지 여부) 중 적어도 하나를 더 포함할 수 있으며, MCU로부터 데이터 패킷을 수신하는 경우, 즉, 데이터 패킷에 복수의 사용자의 영상 데이터가 포함되어 있는 경우에는 각 영상 데이터의 좌표 정보가 더 포함될 수 있다.
신호 처리부(120)는 시그널링 패킷에 포함된 정보를 이용하여 기 설정된 UI(User Interface)를 구성할 수 있다. 예를 들어, 실시간 어플리케이션에 참가한 사용자가 3명인 경우 각 사용자의 영상을 표시하기 위해 3개의 영역으로 분할되고, 분할된 각 영역에 사용자 ID 등의 사용자 정보가 표시된 UI를 구성할 수 있다. 또한, 영상 회의인 경우에는 발표자 및 참가자를 표시하는 아이콘, 텍스트 등을 표시할 수 있다.
또한, 신호 처리부(120)는 데이터 패킷에 포함된 영상 데이터에 대하여 디코딩, 스케일링, 프레임 레이트 변환 등의 신호 처리 과정을 거친 후, 신호 처리된 영상을 시그널링 데이터를 이용하여 구성한 UI상의 해당 영역에 표시되도록 화면을 구성할 수 있다. 즉, UI 상에서 각 사용자의 영상을 표시하기 위해 분할된 영역에 데이터 패킷에 포함된 영상이 포함되도록 화면을 구성할 수 있다.
MCU로부터 복수의 사용자의 영상 데이터가 포함된 데이터 패킷을 수신하는 경우에는, 시그널링 데이터에 포함되어 있는 각 사용자의 영상 데이터의 좌표 정보를 이용하여 특정 사용자의 영상을 UI상의 대응하는 영역에 포함되도록 화면을 구성할 수 있다.
한편, 신호 처리부(120)는 데이터 패킷에 포함된 영상 데이터를 이용하여 디스플레이될 화면을 구성하는 것으로 설명하였으나, 도 1에서 설명한 바와 같이, 데이터 패킷에는 영상 데이터뿐만 아니라 음성 데이터 및 문서 데이터도 포함할 수 있다. 따라서, 신호 처리부(120)는 음성 출력부(미도시)를 통해 출력될 수 있도록 음성 데이터에 대하여 디코딩 등의 신호 처리를 수행할 수도 있으며, 문서 데이터에 대해서도 적절한 신호 처리를 수행하여 UI상의 별도의 영역에 표시되도록 화면을 구성할 수 있을 것이다.
디스플레이부(130)는 신호 처리부(120)에서 구성한 화면을 디스플레이한다. 이러한 디스플레이부(130)는 CRT(Cathod Ray Tube), LCD(Liquid Criystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes) 등과 같은 다양한 장치로 구현될 수 있다.
제어부(140)는 단말 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(140)는 인터페이스부(110), 신호 처리부(120) 및 디스플레이부(130) 각각을 제어하여, 대응되는 동작을 수행하도록 할 수 있다.
또한, 제어부(140)는 데이터 패킷 및 시그널링 패킷에 각각 포함된 플래그를 이용하여 데이터 패킷 및 시그널링 패킷을 동기화시켜 처리하도록 신호 처리부(120)를 제어할 수 있다.
구체적으로, 데이터 패킷 및 시그널링 패킷에는 각각 동기화 정보가 기록된 플래그가 삽입될 수 있다. 그리고, 제어부(140)는 데이터 패킷 및 시그널링 패킷에 동기화 정보가 기록된 플래그가 삽입되어 있는 경우, 삽입된 플래그의 동기화 정보를 확인하여 데이터 패킷과 그에 대응하는 시그널링 패킷을 동기화시킬 수 있다. 즉, 제어부(140)는 시그널링 패킷에 포함된 세션 정보, 사용자 정보 등을 이용하여 시그널링 패킷과 동기화된 데이터 패킷에 포함된 영상을 포함하는 화면을 구성하도록 신호 처리부를 제어할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 단말 장치의 보다 상세한 구성을 나타내는 블럭도이다.
도 3을 참조하면, 단말 장치(100)는 인터페이스부(110), 신호 처리부(120), 디스플레이부(130), 제어부(140) 뿐만 아니라 저장부(150) 및 패킷 생성부(160)를 더 포함할 수 있다.
저장부(150)는 인터페이스부(110)를 통해 수신된 데이터 패킷 및 시그널링 패킷을 저장한다. 구체적으로, 저장부(150)는 데이터 패킷 또는 시그널링 패킷 중 하나가 먼저 수신되면 수신된 데이터 패킷 또는 시그널링 패킷을 저장한다.
그리고, 제어부(140)는 먼저 수신된 데이터 패킷 또는 시그널링 패킷과 동기화될 시그널링 패킷 또는 데이터 패킷이 수신될 때까지 디스플레이될 화면을 구성하지 않고 대기하도록 신호 처리부(120)를 제어할 수 있다. 이후, 동기화될 시그널링 패킷 또는 데이터 패킷이 수신되면 제어부(140)는 시그널링 패킷에 포함된 정보를 이용하여 데이터 패킷에 포함된 영상을 포함하는 화면을 구성하도록 신호 처리부(120)를 제어할 수 있다.
한편, 데이터 패킷이 먼저 수신된 경우에는 동기화될 시그널링 패킷이 수신되기 전 데이터 패킷에 포함된 영상 데이터에 대하여 디코딩 등의 신호 처리를 수행하여 대기할 수도 있다.
패킷 생성부(160)는 전송 데이터 패킷 및 전송 시그널링 패킷을 생성한다. 구체적으로, 패킷 생성부(160)는 네트워크를 통해 연결된 적어도 하나의 외부 장치로 전송할 전송 데이터 패킷 및 전송 데이터 패킷에 대응하는 전송 시그널링 패킷을 생성할 수 있다.
여기서, 전송 데이터 패킷, 전송 시그널링 패킷 및 전송 플래그는 외부 장치로부터 수신한 데이터 패킷, 시그널링 패킷 및 플래그와 실질적으로 동일한 개념이나, 수신한 데이터 패킷, 시그널링 패킷 및 플래그와 구분하기 위해 '전송'이라는 용어를 사용하기로 한다.
그리고, 제어부(140)는 전송 데이터 패킷 및 전송 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그를 삽입하도록 패킷 생성부(160)를 제어할 수 있다.
데이터 패킷에 삽입되는 전송 플래그는 전송 데이터 패킷의 헤더 익스텐션(header extension) 영역에 삽입될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 데이터 패킷의 헤더 구조를 나타내는 도면이다.
도 4에 따르면 데이터 패킷의 헤더는 기존의 헤더 영역 외에 헤더 익스텐션 영역을 포함한다. 헤더 익스텐션 영역은 전송 규격에 따른 것으로 기존의 헤더에 추가되어 사용자가 필요한 정보를 삽입할 수 있도록 한 영역이다. 도 4는 RTP 헤더를 나타낸 것으로 RTP 표준에 의하면 익스텐션 필드를 1로 설정하면 기본 헤더 이외에 추가적인 정보를 전송할 수 있는 헤더 익스텐션 영역을 사용할 수 있다. 헤더 익스텐션을 정의하고 길이를 설정하기 위한 영역(Defined by profile 및 Length) 이후의 영역에 전송 플래그(flag<002>)가 삽입될 수 있다. 한편, RTP 헤더 익스텐션 영역에 플래그를 삽입합으로써 수신측에서 RTP 모듈에 영향을 주지 않는다.
전송 시그널링 패킷에 삽입되는 전송 플래그는 SDP 또는 XMPP에 따른 전송 시그널링 패킷의 어트리뷰트 영역에 삽입될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 시그널링 패킷을 기술하기 위한 description을 나타내는 도면이다.
도 5에 따르면 시그널링 패킷은 "a"로 정의할 수 있는 어트리뷰트(attribute) 영역에 전송 플래그(flag:<002>)를 삽입할 수 있다. 어트리뷰트 영역이란 전송 규격에 따른 것으로 사용자가 패킷에 대한 부가적인 정보를 삽입할 수 있도록 지정된 영역이다. 도 5는 SDP를 사용한 일 실시 예로서 SDP description 내에 데이터 패킷에 대한 정보(m)를 넣고 어트리뷰트(a)로 전송 플래그를 삽입할 수 있다. 도 5에서 알 수 있는 바와 같이 어트리뷰트 영역에는 플래그뿐만 아니라 영상 회의 그룹 정보(room_info), 사용자 속성 정보(presenter and participant, 발표자 또는 참가자인지 여부), 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 정보(region) 등이 포함될 수 있다.
한편, 도 4 및 도 5에서는 RTP, SDP 또는 XMPP를 사용하여 전송 플래그를 삽입하는 것을 예로 들었으나, 전송 데이터 패킷 및 전송 시그널링 패킷이 다른 전송 규약에 따르더라도, 전송 규약에 따라 사용자가 부가적인 정보를 삽입할 수 있는 영역이 존재하는 경우에는 이상에서 설명한 바와 같이 동기화 정보가 기록된 전송 플래그가 삽입될 수 있다.
그리고, 제어부(140)는 전송 데이터 패킷 및 전송 시그널링 패킷 각각에 주기적으로 또는 기 설정된 이벤트가 발생하는 경우에 동기화 정보가 기록된 전송 플래그를 삽입하도록 패킷 생성부(160)를 제어할 수 있다.
전송 데이터 패킷 및 전송 시그널링 패킷 각각에 주기적으로 전송 플래그를 삽입하는 경우는 순차적으로 생성되는 n개의 패킷마다 전송 플래그를 삽입하는 경우이다. 예를 들어, 5개의 패킷마다 주기적으로 전송 플래그를 삽입하거나 모든 패킷에 전송 플래그를 삽입할 수 있다.
한편, 기 설정된 이벤트란, 세션 정보의 변화 또는 발표자의 변경 등의 이벤트를 의미한다. 즉, 사용자가 추가 또는 삭제되거나 사용자의 주소 변경이 있는 경우, 사용자의 속성, 즉, 발표자 및 참가자의 변경이 있는 경우에 전송 플래그를 삽입할 수 있다.
도 6은 사용자가 추가된 경우 실시간 어플리케이션의 동작을 설명하기 위한 도면이다. 본 발명을 보다 쉽게 이해할 수 있도록 종래 기술과 비교하여 설명하기로 한다.
데이터 패킷 1 및 시그널링 패킷 1은 사용자가 추가되기 전의 데이터 및 정보를 포함하는 패킷이며 데이터 패킷 2 및 시그널링 패킷 2는 사용자가 추가된 후의 데이터 및 정보를 포함하는 패킷이다.
도 6의 (a)는 종래기술에 따른 실시간 어플리케이션의 동작을 나타내는 도면으로서 3명의 사용자(사용자 1, 2 및 3)에 대한 정보를 포함하는 시그널링 패킷 1(601) 및 데이터 패킷 1(602)이 수신되어 그에 따른 실시간 어플리케이션 화면(606)이 표시된다. 이후, 사용자 4가 추가되어 4명의 사용자에 대한 정보를 포함하는 시그널링 패킷 2(603)이 수신되어 UI가 변경되어 표시된다. 그러나, 이후 수신된 데이터 패킷(604)은 3명의 대한 정보를 포함하는 데이터 패킷 1(604) 이므로 사용자 4의 영상이 포함되지 않은 화면(607)을 표시한다. 이후, 4명에 대한 정보를 포함하는 데이터 패킷 2(605)가 수신되면 사용자 4의 영상이 포함된 화면(608)이 표시될 수 있다.
도 6의 (b)는 본 발명의 일 실시 예에 따른 어플리케이션의 동작을 나타내는 도면으로서, 도 6의 (a)와 같이 3명의 사용자(사용자 1, 2 및 3)에 대한 정보를 포함하는 시그널링 패킷 1(611) 및 데이터 패킷 1(612)이 수신되어 그에 따른 실시간 어플리케이션 화면(616)이 표시된다. 이후, 사용자 4가 추가되어 4명의 사용자에 대한 정보를 포함하는 시그널링 패킷 2(613)가 수신되면, 시그널링 패킷 2(613)와 동기화될 데이터 패킷 2(615)가 수신되었는지 확인하여 데이터 패킷 2(615)가 수신될 때까지는 시그널링 패킷 2(613)를 처리하지 않고 대기한다. 한편, 3명의 사용자(사용자 1, 2 및 3)에 대한 정보를 포함하는 데이터 패킷 1(614)이 수신되면 기존의 UI에 데이터 패킷 1(614)에 따른 영상이 포함된 화면(617)이 표시되며, 데이터 패킷 2(615)가 수신되면, 시그널링 패킷 2(613) 및 데이터 패킷 2(615)를 동기화시켜 처리하여 4명의 사용자의 영상이 포함된 화면(618)을 구성하여 표시할 수 있다. 이에 따라, 본 발명은 실시간 어플리케이션 실행 중 세션 정보의 변화가 있는 경우에도 변경된 정보가 포함된 데이터 패킷 및 시그널링 패킷을 동기화하여 일치된 정보를 표시할 수 있다.
도 7은 발표자가 변경된 경우 실시간 어플리케이션의 동작을 설명하기 위한 도면이다. 본 발명을 보다 쉽게 이해할 수 있도록 종래 기술과 비교하여 설명하기로 한다.
데이터 패킷 1 및 시그널링 패킷 1은 발표자가 변경되기 전의 데이터 및 정보를 포함하는 패킷이며 데이터 패킷 2 및 시그널링 패킷 2는 발표자가 변경된 후의 데이터 및 정보를 포함하는 패킷이다.
도 7의 (a)는 종래기술에 따른 실시간 어플리케이션의 동작을 나타내는 도면으로서 사용자 1이 발표자일 때의 정보를 포함하는 시그널링 패킷 1(701) 및 데이터 패킷 1(702)가 수신되어 그에 따른 실시간 어플리케이션 화면(706)이 표시된다. 이후, 발표자가 사용자 1에서 사용자 2로 변경된 정보를 포함하는 시그널링 패킷 2(703)가 수신되어 UI상에서는 발표자가 변경되어 표시된다. 그러나, 이후 수신된 데이터 패킷(704)은 발표자가 변경되기 전의 영상을 포함하는 데이터 패킷 1(704)이므로, 표시되는 화면(707) 상에는 사용자 2의 영상이 발표자로 변경되어 표시되더라도 실제로는 사용자 2가 참가자일 때의 영상이 표시되게 된다. 이후, 발표자가 사용자 2로 변경된 영상을 포함하는 데이터 패킷 2(705)가 수신되면 사용자 2가 발표자일 때의 영상이 포함된 화면(708)이 표시될 수 있다.
도 7의 (b)는 본 발명의 일 실시 예에 따른 어플리케이션의 동작을 나타내는 도면으로서, 도 7의 (a)와 같이 사용자 1이 발표자일 때의 정보를 포함하는 시그널링 패킷 1(711) 및 데이터 패킷 1(712)이 수신되어 그에 따른 실시간 어플리케이션 화면(716)이 표시된다. 이후, 발표자가 사용자 2로 변경된 정보를 포함하는 시그널링 패킷 2(713)가 수신되면, 시그널링 패킷 2(713)와 동기화될 데이터 패킷 2(715)가 수신되었는지 확인하여 데이터 패킷 2(715)가 수신될 때까지는 시그널링 패킷 2(713)를 처리하지 않고 대기한다. 한편, 사용자 1이 발표자일 때의 정보를 포함하는 데이터 패킷 1(714)이 수신되면 기존의 UI에 데이터 패킷 1(714)에 따른 영상이 포함된 화면(717)이 표시되며, 이후, 데이터 패킷 2(715)가 수신되면, 시그널링 패킷 2(713) 및 데이터 패킷 2(715)를 동기화시켜 처리하여 사용자 2가 발표자인 영상이 포함된 화면(718)을 구성하여 표시할 수 있다. 이에 따라, 본 발명은 실시간 어플리케이션 실행 중 발표자의 변화가 있는 경우에도 변경된 정보가 포함된 데이터 패킷 및 시그널링 패킷을 동기화하여 일치된 정보를 표시할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 단말 장치의 다른 구성을 나타내는 블럭도이다.
도 8에 따르면 단말 장치(100)는 인터페이스부(110), 제어부(140) 및 패킷 생성부(160)를 포함한다.
인터페이스부(110)는 외부 장치와 연결된다. 구체적으로, 인터페이스부(110)는 적어도 하나의 외부 장치와 연결될 수 있으며, 외부 장치는 도 1을 참조하여 설명한 바와 같이 네트워크를 통해 연결된 다른 단말 장치 또는 MCU가 될 수 있다.
패킷 생성부(160)는 데이터 패킷 및 시그널링 패킷을 생성한다. 구체적으로, 패킷 생성부(160)는 네트워크를 통해 연결된 적어도 하나의 외부 장치로 전송할 데이터 패킷 및 데이터 패킷에 대응하는 시그널링 패킷을 생성할 수 있다.
제어부(140)는 데이터 패킷 및 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 플래그를 삽입하도록 패킷 생성부(160)를 제어할 수 있다.
또한, 제어부(140)는 플래그가 삽입된 데이터 패킷 및 시그널링 패킷을 인터페이스부(110)를 통해 적어도 하나의 외부 장치로 전송하도록 상기 인터페이스부(110)를 제어할 수 있다.
한편, 인터페이스부(110), 제어부(140) 및 패킷 생성부(160)에 대한 자세한설명은 상술하였으므로 생략하기로 한다.
도 9는 본 발명의 일 실시 예에 따른 단말 장치를 이용한 실시간 어플리케이션의 실행 방법을 나타내는 흐름도이다.
도 9에 따르면 먼저 외부 장치와 연결된다(S910). 구체적으로 단말 장치는 적어도 하나의 외부 장치와 연결될 수 있으며, 이러한 외부 장치는 도 1을 참조하여 설명한 바와 같이 네트워크를 통해 연결된 다른 단말 장치 또는 MCU가 될 수 있다. 그리고, 데이터 패킷 및 시그널링 패킷을 수신한다(S920). 즉, 연결된 적어도 하나의 외부 장치로부터 실시간 어플리케이션에 사용되는 데이터 패킷 및 데이터 패킷에 대응하는 시그널링 패킷을 수신할 수 있다.
그리고, 데이터 패킷에 포함된 영상을 포함하는 화면을 구성한다(S930). 수신한 시그널링 패킷에 포함된 정보를 이용하여 데이터 패킷에 포함된 영상을 포함하는 화면을 구성할 수 있다. 한편, 화면을 구성하는 단계(S930)는 데이터 패킷 및 시그널링 패킷에 각각 포함된 플래그를 이용하여 데이터 패킷 및 시그널링 패킷을 동기화시켜 처리할 수 있다. 그리고, 구성된 화면을 디스플레이 한다(S940).
한편, 단말 장치를 이용한 실시간 어플리케이션의 실행 방법은 수신된 데이터 패킷 및 시그널링 패킷을 저장하는 단계를 더 포함할 수 있다(미도시). 그리고, 화면을 구성하는 단계(S930)는 데이터 패킷 및 시그널링 패킷 중 하나가 먼저 수신되어 저장부에 저장되면 다른 하나가 수신될 때까지 대기할 수 있다.
또한, 적어도 하나의 외부 장치로 전송할 전송 데이터 패킷 및 전송 데이터 패킷에 대응하는 전송 시그널링 패킷을 생성하는 단계(미도시)를 더 포함할 수 있으며, 이때, 전송 데이터 패킷 및 전송 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그를 삽입할 수 있다. 이러한 전송 플래그는 주기적으로 또는 기설정된 이벤트가 발생하는 경우에 삽입할 수 있다. 기 설정된 이벤트란 세션 정보의 변화 또는 발표자의 변경 등의 이벤트가 될 수 있다. 전송 데이터 패킷에 삽입되는 전송 플래그는 전송 데이터 패킷의 헤더 익스텐션 영역에 삽입될 수 있으며, 전송 시그널링 패킷에 삽입되는 전송 플래그는 SDP 또는 XMPP에 따른 전송 시그널링 패킷의 어트리뷰트 영역에 삽입될 수 있다. 그리고, 실시간 어플리케이션이 영상 회의를 위한 어플리케이션인 경우 시그널링 패킷은 플래그뿐만 아니라 세션 정보, 회의 그룹 정보, 사용자 속성 정보 및 데이터 패킷에 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 중 적어도 하나를 더 포함할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 단말 장치를 이용한 실시간 어플리케이션의 다른 실행 방법을 나타내는 흐름도이다.
도 10에 따르면, 외부 장치와 연결된다(S1010). 구체적으로 단말 장치는 적어도 하나의 외부 장치와 연결될 수 있으며, 이러한 외부 장치는 도 1을 참조하여 설명한 바와 같이 네트워크를 통해 연결된 다른 단말 장치 또는 MCU가 될 수 있다. 그리고, 데이터 패킷 및 시그널링 패킷을 생성한다(S1020). 즉, 실시간 어플리케이션에 사용되는 데이터 패킷 및 데이터 패킷에 대응하는 시그널링 패킷을 생성할 수 있다. 이후, 데이터 패킷 및 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 플래그를 삽입한다(S1030). 그리고 플래그가 삽입된 데이터 패킷 및 시그널링 패킷을 연결된 적어도 하나의 외부 장치로 전송한다(S1040).
100 : 단말 장치 110 : 인터페이스부
120 : 신호 처리부 130 : 디스플레이부
140 : 제어부 150 : 저장부
160 : 패킷 생성부
1000 : 실시간 어플리케이션을 실행하기 위한 시스템

Claims (16)

  1. 실시간 어플리케이션을 실행하기 위한 단말 장치에 있어서,
    적어도 하나의 외부 장치와 연결되어 상기 적어도 하나의 외부 장치로부터 상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 수신하는 인터페이스부;
    상기 시그널링 패킷에 포함된 정보 및 상기 데이터 패킷에 포함된 영상을 포함하는 화면을 구성하는 신호 처리부;
    상기 구성된 화면을 디스플레이하는 디스플레이부; 및
    상기 데이터 패킷 및 상기 시그널링 패킷에 각각 포함된 플래그를 이용하여 상기 데이터 패킷 및 상기 시그널링 패킷을 동기화시켜 처리하도록 상기 신호 처리부를 제어하는 제어부;를 포함하고,
    상기 시그널링 패킷은 상기 데이터 패킷에 대응되는 세션 정보, 회의 그룹 정보, 사용자 속성 정보 및 상기 데이터 패킷에 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 중 적어도 하나를 포함하고,
    상기 플래그는, 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그인, 단말 장치.
  2. 제1항에 있어서,
    상기 인터페이스부를 통해 수신된 상기 데이터 패킷 및 상기 시그널링 패킷을 저장하기 위한 저장부;를 더 포함하며,
    상기 제어부는, 상기 데이터 패킷 및 상기 시그널링 패킷 중 하나가 먼저 수신되어 상기 저장부에 저장되면 다른 하나가 수신될 때까지 대기하도록 상기 신호 처리부를 제어하는 것을 특징으로 하는 단말 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 외부 장치로 전송할 전송 데이터 패킷 및 상기 전송 데이터 패킷에 대응하는 전송 시그널링 패킷을 생성하는 패킷 생성부;를 더 포함하며,
    상기 제어부는 상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 상기 동기화 정보가 기록된 전송 플래그를 삽입하도록 상기 패킷 생성부를 제어하는 것을 특징으로 하는 단말 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 주기적으로 또는 기 설정된 이벤트가 발생하는 경우에 상기 동기화 정보가 기록된 전송 플래그를 삽입하도록 상기 패킷 생성부를 제어하는 것을 특징으로 하는 단말 장치.
  5. 제3항에 있어서,
    상기 전송 데이터 패킷에 삽입되는 전송 플래그는,
    상기 전송 데이터 패킷의 RTP 헤더 익스텐션(header extension) 영역에 삽입되는 것을 특징으로 하는 단말 장치.
  6. 제3항에 있어서,
    상기 전송 시그널링 패킷에 삽입되는 전송 플래그는,
    SDP(Session Description Protocol) 또는 XMPP(eXtensible Messaging and Presence Protocol)에 따른 전송 시그널링 패킷의 어트리뷰트(attribute)영역에 삽입되는 것을 특징으로 하는 단말 장치.
  7. 제1항에 있어서,
    상기 실시간 어플리케이션은 영상 회의를 위한 어플리케이션인 것을 특징으로 하는 단말 장치.
  8. 실시간 어플리케이션을 실행하기 위한 단말 장치에 있어서,
    적어도 하나의 외부 장치와 연결되는 인터페이스부;
    상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 생성하는 패킷 생성부; 및
    상기 데이터 패킷 및 상기 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 플래그를 삽입하도록 상기 패킷 생성부를 제어하고, 상기 플래그가 삽입된 상기 데이터 패킷 및 상기 시그널링 패킷을 상기 인터페이스부를 통해 상기 적어도 하나의 외부 장치로 전송하도록 상기 인터페이스부를 제어하는 제어부;를 포함하고,
    상기 시그널링 패킷은 상기 데이터 패킷에 대응되는 세션 정보, 회의 그룹 정보, 사용자 속성 정보 및 상기 데이터 패킷에 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 중 적어도 하나를 포함하고,
    상기 플래그는, 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그인, 단말 장치.
  9. 단말 장치를 이용한 실시간 어플리케이션 실행 방법에 있어서,
    적어도 하나의 외부 장치와 연결되는 단계;
    상기 연결된 적어도 하나의 외부 장치로부터 상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 수신하는 단계;
    상기 시그널링 패킷에 포함된 정보 및 상기 데이터 패킷에 포함된 영상을 포함하는 화면을 구성하는 단계; 및
    상기 구성된 화면을 디스플레이하는 단계;를 포함하며,
    상기 화면을 구성하는 단계는,
    상기 데이터 패킷 및 상기 시그널링 패킷에 각각 포함된 플래그를 이용하여 상기 데이터 패킷 및 상기 시그널링 패킷을 동기화시켜 처리하는 것을 특징으로 하고,
    상기 시그널링 패킷은 상기 데이터 패킷에 대응되는 세션 정보, 회의 그룹 정보, 사용자 속성 정보 및 상기 데이터 패킷에 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 중 적어도 하나를 포함하고,
    상기 플래그는, 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그인, 실시간 어플리케이션 실행 방법.
  10. 제9항에 있어서,
    상기 수신된 데이터 패킷 및 시그널링 패킷을 저장하는 단계;를 더 포함하며,
    상기 화면을 구성하는 단계는,
    상기 데이터 패킷 및 상기 시그널링 패킷 중 하나가 먼저 수신되어 저장부에 저장되면 다른 하나가 수신될 때까지 대기하는 것을 특징으로 하는 실시간 어플리케이션 실행 방법.
  11. 제9항에 있어서,
    상기 적어도 하나의 외부 장치로 전송할 전송 데이터 패킷 및 상기 전송 데이터 패킷에 대응하는 전송 시그널링 패킷을 생성하는 단계;를 더 포함하며,
    상기 패킷을 생성하는 단계는,
    상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 상기 동기화 정보가 기록된 전송 플래그를 삽입하는 것을 특징으로 하는 실시간 어플리케이션 실행 방법.
  12. 제11항에 있어서,
    상기 패킷을 생성하는 단계는,
    상기 전송 데이터 패킷 및 상기 전송 시그널링 패킷 각각에 주기적으로 또는 기 설정된 이벤트가 발생하는 경우에 상기 동기화 정보가 기록된 전송 플래그를 삽입하는 것을 특징으로 하는 실시간 어플리케이션 실행 방법.
  13. 제11항에 있어서,
    상기 전송 데이터 패킷에 삽입되는 전송 플래그는,
    상기 전송 데이터 패킷의 헤더 익스텐션(header extension) 영역에 삽입되는 것을 특징으로 하는 실시간 어플리케이션 실행 방법.
  14. 제11항에 있어서,
    상기 전송 시그널링 패킷에 삽입되는 전송 플래그는,
    SDP(Session Description Protocol) 또는 XMPP(eXtensible Messaging and Presence Protocol)에 따른 전송 시그널링 패킷의 어트리뷰트(attribute)영역에 삽입되는 것을 특징으로 하는 실시간 어플리케이션 실행 방법.
  15. 제9항에 있어서,
    상기 실시간 어플리케이션은 영상 회의를 위한 어플리케이션이인 것을 특징으로 하는 실시간 어플리케이션 실행 방법.
  16. 단말 장치를 이용한 실시간 어플리케이션 실행 방법에 있어서,
    적어도 하나의 외부 장치와 연결되는 단계;
    상기 실시간 어플리케이션에 사용되는 데이터 패킷 및 상기 데이터 패킷에 대응하는 시그널링 패킷을 생성하는 단계;
    상기 데이터 패킷 및 상기 시그널링 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 플래그를 삽입하는 단계; 및
    상기 플래그가 삽입된 상기 데이터 패킷 및 상기 시그널링 패킷을 상기 연결된 적어도 하나의 외부 장치로 전송하는 단계;를 포함하고,
    상기 시그널링 패킷은 상기 데이터 패킷에 대응되는 세션 정보, 회의 그룹 정보, 사용자 속성 정보 및 상기 데이터 패킷에 복수의 사용자의 영상이 포함된 경우 각 영상의 좌표 중 적어도 하나를 포함하고,
    상기 플래그는, 패킷 각각에 상호 동기화를 위한 동기화 정보가 기록된 전송 플래그인 실시간 어플리케이션 실행 방법.


KR1020120018627A 2012-02-23 2012-02-23 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법 KR101962447B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120018627A KR101962447B1 (ko) 2012-02-23 2012-02-23 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120018627A KR101962447B1 (ko) 2012-02-23 2012-02-23 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법

Publications (2)

Publication Number Publication Date
KR20130101653A KR20130101653A (ko) 2013-09-16
KR101962447B1 true KR101962447B1 (ko) 2019-03-27

Family

ID=49451685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120018627A KR101962447B1 (ko) 2012-02-23 2012-02-23 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법

Country Status (1)

Country Link
KR (1) KR101962447B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097185A (ja) * 2005-09-28 2007-04-12 Avaya Technology Corp マルチメディアストリームにおける同期化ウォーターマーキング
JP2011135433A (ja) * 2009-12-25 2011-07-07 Fujitsu Ltd パケット通信制御装置、メモリアクセス制御装置及び情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097185A (ja) * 2005-09-28 2007-04-12 Avaya Technology Corp マルチメディアストリームにおける同期化ウォーターマーキング
JP2011135433A (ja) * 2009-12-25 2011-07-07 Fujitsu Ltd パケット通信制御装置、メモリアクセス制御装置及び情報処理システム

Also Published As

Publication number Publication date
KR20130101653A (ko) 2013-09-16

Similar Documents

Publication Publication Date Title
KR101243065B1 (ko) 회의 단말기, 회의 서버, 회의 시스템 및 데이터 처리 방법
US8988486B2 (en) Adaptive video communication channel
CN104365088B (zh) 用于视频图像分享和控制的方法、系统及介质
US9525847B2 (en) Media negotiation method, device, and system for multi-stream conference
KR101354793B1 (ko) 입력 오디오 스트림 및 입력 비디오 스트림을 동기화하는 방법, 복수의 컴퓨팅 장치에 걸쳐서 전송되고 있는 미디어 스트림들을 동기화하기 위한 시스템, 및 컴퓨터 판독가능 매체
EP2728830B1 (en) Method and system for synchronizing audio and video streams in media relay conferencing
CN103797810A (zh) 同步的无线显示设备
KR20090022137A (ko) 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법
WO2011109578A1 (en) Digital conferencing for mobile devices
WO2014101428A1 (zh) 画面控制的方法及终端、视频会议装置
CN102480613B (zh) 会议电视系统的终端的视频监控方法、装置及系统
WO2014187282A1 (zh) 一种建立视频会议界面的方法、装置及视频终端
US20130061280A1 (en) Apparatus, and associated method, for providing synchronized media play out
WO2012079424A1 (zh) 分布式视频的处理方法、系统及多点控制单元
WO2007140668A1 (fr) procédé et appareil pour réaliser une surveillance à distance dans un système de téléconférence
WO2014161326A1 (zh) 视频通讯方法及装置
US20160241683A1 (en) Method and device for processing capability negotiation, and telepresence endpoint
WO2014177082A1 (zh) 一种视频会议中处理视频的方法及终端
CN110996039B (zh) 电子白板共享方法、系统和计算机可读存储介质
KR101962447B1 (ko) 단말 장치 및 이를 이용한 실시간 어플리케이션 실행 방법
CN106302377B (zh) 媒体会话处理方法和相关设备及通信系统
WO2017080191A1 (zh) 基于多屏互动的图片处理方法及系统
JP5579660B2 (ja) 多地点接続テレビ会議装置
WO2016090904A1 (zh) 媒体数据流的传输方法和装置
JP2013196218A (ja) 通信サーバー、通信制御システムおよびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant