KR20010112896A - Data transmission method in video conferencing using multi buffering system - Google Patents

Data transmission method in video conferencing using multi buffering system Download PDF

Info

Publication number
KR20010112896A
KR20010112896A KR1020010067741A KR20010067741A KR20010112896A KR 20010112896 A KR20010112896 A KR 20010112896A KR 1020010067741 A KR1020010067741 A KR 1020010067741A KR 20010067741 A KR20010067741 A KR 20010067741A KR 20010112896 A KR20010112896 A KR 20010112896A
Authority
KR
South Korea
Prior art keywords
data
audio
video
server
client
Prior art date
Application number
KR1020010067741A
Other languages
Korean (ko)
Inventor
장정호
Original Assignee
(주)인디키노
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인디키노 filed Critical (주)인디키노
Priority to KR1020010067741A priority Critical patent/KR20010112896A/en
Publication of KR20010112896A publication Critical patent/KR20010112896A/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 인터넷상에서 화상 및 음성 전송을 통한 회의 및 채팅시스템으로서 기존에 일반적으로 적용해온 서버스트리밍 기법을 탈피해 서버(Server)를 경유하지 않고, 클라이언트(CLIENT)사이에 Peer to Peer방식을 채택함으로써 서버의 부하를 획기적으로 줄이며, 버퍼를 이중으로 설계하여 안정적인 화상 및 음성 데이터의 송수신을 가능하게 하는 방법이다.The present invention is a conferencing and chat system through video and audio transmission over the Internet, and by using the Peer to Peer method between the clients (CLIENT) without breaking through the server streaming techniques commonly applied in the past It is a method to dramatically reduce the load on the server and to enable stable transmission and reception of video and audio data by designing a double buffer.

화상 및 음성 전송방식은 우선 화상의 경우 클라이언트에서 캡쳐된 화상을 압축하여 프레임 컨트롤을 통해 상대방 클라이언트로 전송하며, 음성의 경우에는 압축코덱을 사용하여 전송하고, 이후에 화상과 음성을 수신하는 과정에서 1단계 임시버퍼를 사용하여 데이터를 저장하고 2단계 버퍼링을 통해 시간이나 데이터 흐름속도의 차이를 보상하여 안정적인 화상과 음성을 수신하게 된다.In the video and audio transmission method, first, the captured image from the client is compressed and transmitted to the other client through the frame control, and in the case of audio, the compressed codec is transmitted and then the image and audio are received. Data is stored using a first-stage temporary buffer, and two-stage buffering is used to compensate for differences in time or data flow rate to receive stable video and audio.

Description

다단계 버퍼링을 이용한 화상 및 음성 데이터를 전송하는 화상회의 방법{DATA TRANSMISSION METHOD IN VIDEO CONFERENCING USING MULTI BUFFERING SYSTEM}Video conferencing method for transmitting video and audio data using multi-stage buffering {DATA TRANSMISSION METHOD IN VIDEO CONFERENCING USING MULTI BUFFERING SYSTEM}

본 발명은 화상회의 시스템 구축방법에 관한 것으로서, 더욱 상세하게는 인터넷을 통해 실시간 화상회의나 채팅을 실현하는 경우, 종래의 서버를 통한 클라이언트 접속방법을 적용함에 있어서의 문제점을 대폭 개선하여 서버를 거치지 않고 클라이언트간 직접 접속방법인 Peer to Peer방식을 채택하고, 또한 화상 및 음성 전송시 데이터의 유실을 방지하기 위해 2단계 이상의 버퍼링 기능을 추가시킴으로써 서버에 걸리는 부하를 최소화 함과 동시에 안정적인 데이터 전송을 할수 있는 운용방법이다.The present invention relates to a videoconferencing system construction method. More particularly, when real-time videoconferencing or chatting is realized through the Internet, it is possible to greatly improve the problems in applying a client access method through a conventional server. By adopting Peer to Peer method, which is a direct connection method between clients, and adding two or more buffering functions to prevent data loss during video and audio transmission, it is possible to minimize the load on the server and to transmit data stably. It is an operation method.

종래의 인터넷 화상회의 방식은 대부분의 경우 화상서버와 음성서버를 별도로 두고 송신측 데이터는 우선 서버에 저장이 되고, 스트리밍을 통해 수신측 클라이언트에 전달되는 방식이였으므로, 화상회의 시스템 도입시 화상 및 음성서버를 별도로 구성하여야 하며, 서버에 부하가 걸려 속도 및 테이터 유실이 불가피하였다.In the conventional Internet video conferencing method, in most cases, a video server and a voice server are separately provided, and the sender data is first stored in the server and then transmitted to the receiving client through streaming. The server must be configured separately, and the load and load of the server were inevitable.

기존방식에서 서버는 디렉토리 서버 방식 설계로 서버간 분리 운용을 통해 서버의 확장이 계속적으로 요구되며, 추가 확장시 서버별 컨트롤 프로그램을 탑재하여야 하는 문제가 있었으며, 서버의 네트워크 상황이나 전용선의 지원속도에 따라 종속적으로 화상 및 음성데이터의 질이 좌우될수 있는 한계를 가지고 있다.In the conventional method, the server is a directory server type design, which requires continuous server expansion through separate operation between servers, and there is a problem that a server-specific control program needs to be installed for further expansion. Accordingly, there is a limit that the quality of image and audio data can be dependently dependent.

따라서 서버에서 사용자의 증가나 전용선의 상태가 불안하고 과대한 양의 데이터를 처리하게 될 경우, 서버의 성능이 순간적으로 저하되어 안정적인 서비스를 보장할 수 없는 문제점이 있어왔다.Therefore, when the increase in the number of users or the state of the leased line in the server and processing a large amount of data, the performance of the server is instantaneously degraded, there has been a problem that can not guarantee a stable service.

또한 기존의 서버방식의 인터넷 화상회의 시스템에서 많이 사용하던 버퍼링 방식은 대부분 공개되어 있는 압축해제 및 재생툴에 포함되어 있는 1단계 버퍼만을 사용하여, 대량의 데이터가 유입되거나 서버측 전용선이 불안정하여 데이터 유입이 간헐적인 경우, 버퍼링을 안정적으로 할수 없어 수신 클라이언트에서 끊김현상이 발생할수 있으며, 이런현상을 방지하기 위해 버퍼를 지나치게 길게 설정할 경우도 데이터의 지체시간이 길어 실시간 회의에 의미가 퇴색되어 버리는 결과를 초래할 수 있다.In addition, the buffering method used in the existing server-type internet video conferencing system uses only one-stage buffer included in most of the decompression and playback tools that are publicly available. If the inflow is intermittent, the buffering cannot be made stable, which may cause a disconnection in the receiving client.If the buffer is set too long to prevent such a phenomenon, the delay time of the data is long and the meaning of the real time meeting is lost. May result.

이러한 종래의 서버 중계 스트리밍(Streaming)방식의 1단계 버퍼링을 통한 화상회의 시스템을 획기적으로 개선한 것이 본 다단계 버퍼링을 이용한 화상 및 음성 데이터를 전송하는 화상회의 방법으로서, 서버중계 방식과는 달리 Peer to Peer 방식을 채택하고 버퍼링을 다단계로 나누어 데이터를 전송 및 수신하여, 보다 안정적인 서비스가 가능하도록 하였다.The remarkable improvement of the video conferencing system through the one-step buffering of the conventional server relay streaming method is the video conferencing method using the multi-stage buffering, which is different from the server relay method. By adopting Peer method and dividing buffering into multiple stages, data can be transmitted and received, enabling more stable service.

본 발명은 종래의 기술이 가지고 있는 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 화상 및 음성 전송시 Peer to Peer 방식을 채택하여 서버의 부하를 최소화하고, 2단계 이상의 버퍼를 이용함으로써 채널이 데이터를 1단계 버퍼에 저장하는 동안 2단계 버퍼에 저장되어 있는 데이터는 시간이나 데이터 흐름속도의 차이를 보상하여 안정적인 전송 및 수신이 가능하고, 동일한 효과 이상으로 단일 버퍼링보다 지체시간을 적게 걸리게 한다.The present invention has been made to solve the above problems of the prior art, the object of the present invention is to adopt a Peer to Peer method when transmitting video and audio to minimize the load on the server, using a buffer of two or more stages Thus, while the channel stores data in the first stage buffer, the data stored in the second stage buffer can compensate for the difference in time or data flow rate, enabling stable transmission and reception, and have less latency than the single buffer over the same effect. To get caught.

일반적으로 인터넷 화상회의 시스템에서는 전송방식으로 스트리밍 기법을 사용하는데 이러한 방식은 데이터가 물 흐르듯이 나타났다가 사라지는 방식으로 보통 단일단계의 버퍼링에 데이터를 잘게 잘라서 모아준 뒤, 일정량의 데이터가 모아지면 플레이 시켜주는 방식으로서 네트워크나 전용선의 영향에 따라 데이터의 유입이 간헐적일 경우에, 수신측 클라이언트도 화상 및 음성의 끊김이나 지체현상이 발생할 수 있다. 이러한 문제를 해결하기 위해서 본 시스템에서는 전송측 클라이언트에서 캡쳐된 화상과 음성데이터를 압축하여 화상의 경우에는 프레임 컨트롤을 통해 상대방 클라이언트로 전송하며, 음성의 경우에는 압축코덱을 사용하여 전송하고, 이후에 화상과 음성을 수신하는 과정에서 1단계 임시버퍼를 사용하여 데이터를 저장하고 2단계 이상의 버퍼링을 통해 데이터를 수신하게 함으로써 데이터의 전송이 불안정할 경우에도 수신측 클라이언트에서는 안정적인 데이터를 받아들일수 있게 하는 방식이다.In general, Internet video conferencing system uses a streaming technique as a transmission method, which appears and disappears as data flows and is usually cut into small pieces of data in a single step of buffering, and then played when a certain amount of data is collected. If the inflow of data is intermittent due to the influence of a network or a dedicated line as a way of giving, the receiving client may also have a disconnection or delay of video and audio. In order to solve this problem, this system compresses the image and audio data captured by the transmitting client and transmits the image to the other client through the frame control in case of the image, and transmits the image using the compression codec in the case of the voice. In the process of receiving video and audio, the data is stored using the first-stage temporary buffer and the data is received through two or more levels of buffering so that the receiving client can receive stable data even if the data transmission is unstable. That's the way.

도 1은 종래의 화상채팅시 일반적으로 사용해 온 서버방식의 화상회의 시스템 운용방법을 개략적으로 설명하기 위한 구성도이다.1 is a configuration diagram schematically illustrating a method of operating a server type video conferencing system generally used in a conventional video chat.

사용자들이 인터넷에 접속하면 우선 해당 웹서버에 접속하여 인증절차와 대기실서버를 거친후 화상 및 음성서버를 통해 회의자들과 상호 접속하게 되며, 이때 글라이언트간의 직접적인 접속이 이루어지지 않음으로써 서버에 부하가 걸리게 된다.When users connect to the Internet, they first access the web server, go through the authentication process and the waiting room server, and then interact with the conferences via video and voice servers. Will take.

도 2는 Peer to Peer방식의 시스템으로서 서버는 Client의 인증 및 접속과 채팅을 위한 기능만을 수행하며, 화상 및 음성은 서버를 거치지 않으므로 서버의 부하를 최소한으로 하는 구성도이다.2 is a system of a Peer to Peer method, the server performs only functions for client authentication, connection and chat, and the configuration of the server load is minimized because video and audio do not go through the server.

도 3은 바람직한 구체예에 따른 PtoP 방식의 클라이언트간 화상회의 시스템을 위한 화상 및 음성 전송, 수신 방법에 관한 개략적인 도면으로서 먼저 화상전송의 경우 클라이언트1은 화상을 캡쳐하여 JPG 형태로 압축을 하게되고 네트워크의 상황에 따라 프레임 조정을 거친후 UDP프로토콜을 이용하여 클라이언트2에게 화상을 전송한다. 클라이언트2는 전송된 압축화상을 해제하여 1,2단계의 버퍼링을 통해화상데이터를 재생한다. 음성의 경우도 화상과 흡사한 프로세스로 캡쳐, 압축, 전송, 해제, 버퍼링과 음원재생 과정을 통해 클라이언트2에게 데이터가 전달되는 절차를 나타내는 흐름도이다.3 is a schematic diagram of a video and audio transmission and reception method for a PtoP client-to-client video conferencing system according to a preferred embodiment. First, in case of video transmission, client 1 captures an image and compresses the image in JPG format. After the frame is adjusted according to the network situation, the image is transmitted to the client 2 using the UDP protocol. Client 2 releases the transmitted compressed image and plays the image data through buffering in steps 1 and 2. In the case of voice, a flowchart similar to an image is a flowchart illustrating a process of transferring data to client 2 through a process of capturing, compressing, transmitting, releasing, buffering, and playing a sound source.

상기한 목적을 달성하기 위하여 본 발명은, 인터넷 화상회의를 실현함에 있어서, 화상과 음성데이터의 전송 및 수신시 양쪽의 속도차이, 혹은 데이터 전송의 시간 차이를 해소하기 위해 버퍼를 이용하며, 단일버퍼 사용시 발생할 수 있는 지체시간이나 데이터 끊김현상을 방지하기 위해 중간에서 데이터를 임시 기억하는 단계를 2단계 이상으로 하여, 보다 안정적인 시스템을 구축할수 있다.In order to achieve the above object, the present invention, in realizing Internet video conferencing, uses a buffer to solve the speed difference between the transmission and reception of video and audio data or the time difference of data transmission. In order to prevent lag time or data dropping that may occur during use, the step of temporarily storing data in the middle is set to two or more steps, so that a more stable system can be constructed.

인터넷을 통한 화상회의 시스템을 이용할 경우 클라이언트는 인터넷에 접속하는 동시에 자신의 IP를 통해 카메라와 마이크를 통해 입력된 화상 및 음성데이터를 발송하게 되는데, 이때 기존의 서버방식과는 달리 회의실 서버에 접속되어 있는 모든 상대방 사용자에게 동시에 직접 데이터를 전송하게 된다.When using the video conferencing system through the Internet, the client connects to the Internet and sends video and audio data input through the camera and microphone through his IP. Unlike the existing server method, the client is connected to the conference room server. Data will be sent directly to all the other users at the same time.

화상전송의 경우 전송측 사용자는 화상을 캡쳐하여 JPG 형태로 압축을 하게되고 네트워크의 상황에 따라 프레임 조정을 거친후 UDP프로토콜을 이용하여 다른 사용자들에게 화상을 전송한다. 수신측 사용자는 전송된 압축화상을 해제하여 2단계 이상의 버퍼링을 통해 화상데이터를 재생한다. 음성의 경우도 화상과 흡사한 프로세스로 캡쳐, 압축, 전송, 해제, 버퍼링과 음익재생과정을 통해 사용자들 간에 데이터를 송,수신하게 된다.In the case of image transmission, the user of the transmission side captures the image and compresses it in JPG format, adjusts the frame according to the network conditions, and then transmits the image to other users using the UDP protocol. The receiving user releases the transmitted compressed image and reproduces the image data through two or more steps of buffering. In the case of audio, data is transmitted and received between users through a process similar to an image through capture, compression, transmission, release, buffering, and sound reproduction.

캡쳐된 화상 데이터는 화면을 여러 프레임으로 나누어 압축하여 순차적으로 초당 15프레임 이상을 전송할 수 있어 보다 부드러운 영상을 구현하며, 음성의 경우에는 화상회의시 끊김현상과 지체현상을 없애기 위해, 서버를 거치지 않고 직접 상대방 사용자에게 데이터를 전송하되, 이때 2단계 이상의 버퍼링기법을 사용하여, 최대한 안정성을 보장한다.Captured image data is divided into several frames and compressed to transmit more than 15 frames per second in order to achieve a smoother image.In the case of voice, it is possible to eliminate interruptions and lags during video conferencing without going through a server. The data is directly transmitted to the counterpart user, but using two or more buffering techniques ensures maximum stability.

상기한 구성의 본 발명에 따르면, 인터넷을 통해 실시간 화상회의나 채팅을 실현하는 경우, 종래의 서버를 통한 클라이언트 접속방법을 적용함에 있어서의 문제점을 대폭 개선하여 사용자간 직접 접속방법인 Peer to Peer 방식을 채택하고, 또한 화상 및 음성 전송시 데이터의 유실을 방지하기 위해 2단계 이상의 버퍼링 기능을 추가시킴으로써 서버에 걸리는 부하로 인한 데이터의 유실이나 전달시간의 지체를 최소화함과 동시에 안정적인 화상회의를 가능하게 하는 운용방법이다.According to the present invention of the above configuration, when real-time video conferencing or chat via the Internet, the Peer to Peer method which is a direct connection method between users by greatly improving the problem in applying the client connection method through a conventional server In addition, by adding two or more buffering functions to prevent data loss during video and audio transmission, stable video conferencing is possible while minimizing data loss or delay of transmission time due to load on the server. It is an operation method.

또한 2단계 이상의 버퍼링 기술을 사용하여 서버의 네트워크 상황이나 전용선의 지원속도에 따라 종속적으로 화상 및 음성데이터의 질이 좌우될 수 있는 문제, 즉 서버에서 사용자의 증가나 전용선의 상태가 불안하고 과대한 양의 데이터를 처리하게 될 경우, 서버의 성능이 순간적으로 저하되어 안정적인 서비스를 보장할 수 없는 문제점을 보완하고 지체시간을 최소화하면서도 보다 안정적인 시스템을 구축할 수 있다.In addition, the quality of video and audio data may depend on the network conditions of the server or the speed of the leased line by using two-stage buffering technology. That is, the increase of users in the server or the state of the leased line is unstable and excessive. When processing a large amount of data, the performance of the server can be degraded momentarily to compensate for the problem of not being able to guarantee stable service, and to build a more stable system with minimum delay time.

Claims (1)

인터넷을 통한 화상회의 구현시 압축된 화상 및 음성데이터의 전송방식에 있어 2단계 이상의 다단계 버퍼링을 통한 안정적 회의시스템 구축방법How to build a stable conference system through multi-stage buffering in two or more stages in the transmission of compressed video and audio data when implementing video conferencing over the Internet
KR1020010067741A 2001-10-31 2001-10-31 Data transmission method in video conferencing using multi buffering system KR20010112896A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010067741A KR20010112896A (en) 2001-10-31 2001-10-31 Data transmission method in video conferencing using multi buffering system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010067741A KR20010112896A (en) 2001-10-31 2001-10-31 Data transmission method in video conferencing using multi buffering system

Publications (1)

Publication Number Publication Date
KR20010112896A true KR20010112896A (en) 2001-12-22

Family

ID=19715585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010067741A KR20010112896A (en) 2001-10-31 2001-10-31 Data transmission method in video conferencing using multi buffering system

Country Status (1)

Country Link
KR (1) KR20010112896A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030057136A (en) * 2001-12-28 2003-07-04 천병준 Internet real-time chat session data processing method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62260487A (en) * 1986-05-06 1987-11-12 Fujitsu Ltd Picture communication control system
JPH0449789A (en) * 1990-06-18 1992-02-19 Nec Corp Picture encoding device for inter-multipoint communication
KR960028515A (en) * 1994-12-28 1996-07-22 배순훈 Display device for multi-party video conferencing system
JPH11355741A (en) * 1998-06-04 1999-12-24 Brother Ind Ltd Video telephone system
KR20010010499A (en) * 1999-07-20 2001-02-15 추봉진 Structure of cell receiver for efficient aal-2 cps(common part sublayer) function and buffer management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62260487A (en) * 1986-05-06 1987-11-12 Fujitsu Ltd Picture communication control system
JPH0449789A (en) * 1990-06-18 1992-02-19 Nec Corp Picture encoding device for inter-multipoint communication
KR960028515A (en) * 1994-12-28 1996-07-22 배순훈 Display device for multi-party video conferencing system
JPH11355741A (en) * 1998-06-04 1999-12-24 Brother Ind Ltd Video telephone system
KR20010010499A (en) * 1999-07-20 2001-02-15 추봉진 Structure of cell receiver for efficient aal-2 cps(common part sublayer) function and buffer management

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030057136A (en) * 2001-12-28 2003-07-04 천병준 Internet real-time chat session data processing method

Similar Documents

Publication Publication Date Title
US7773581B2 (en) Method and apparatus for conferencing with bandwidth control
US6278478B1 (en) End-to-end network encoding architecture
US6944136B2 (en) Two-way audio/video conferencing system
US6963353B1 (en) Non-causal speaker selection for conference multicast
US7007098B1 (en) Methods of controlling video signals in a video conference
RU2398362C2 (en) Connection of independent multimedia sources into conference communication
US20050237931A1 (en) Method and apparatus for conferencing with stream selectivity
CA2591732C (en) Intelligent audio limit method, system and node
US9426423B2 (en) Method and system for synchronizing audio and video streams in media relay conferencing
EP1868348B1 (en) Conference layout control and control protocol
US7688817B2 (en) Real time transport protocol (RTP) processing component
US20070047590A1 (en) Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream
JP2004506347A (en) Personal Video Conference System with Distributed Processing Structure
WO2009067954A1 (en) A method and device for processing an audio stream
JP2006526936A (en) Bit rate adjustment method
JP2012151555A (en) Television conference system, television conference relay device, television conference relay method and relay program
CN108965777B (en) Echo cancellation method and device
US20020194606A1 (en) System and method of communication between videoconferencing systems and computer systems
JP2006340321A (en) Network system and communication method in network system
KR20070018269A (en) System and method for extending video conference using multipoint conference unit
KR20010112896A (en) Data transmission method in video conferencing using multi buffering system
CN110087020B (en) Method and system for realizing video networking conference by iOS equipment
CN211670946U (en) Real-time audio and video comprehensive processing board card
JP2006074359A (en) Transmission reception system of audio data in teleconference system and control method
JP2002290940A (en) Video conference system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application