KR101600891B1 - Synchronization method and system for audio and video of a plurality terminal - Google Patents
Synchronization method and system for audio and video of a plurality terminal Download PDFInfo
- Publication number
- KR101600891B1 KR101600891B1 KR1020140140561A KR20140140561A KR101600891B1 KR 101600891 B1 KR101600891 B1 KR 101600891B1 KR 1020140140561 A KR1020140140561 A KR 1020140140561A KR 20140140561 A KR20140140561 A KR 20140140561A KR 101600891 B1 KR101600891 B1 KR 101600891B1
- Authority
- KR
- South Korea
- Prior art keywords
- stc
- pts
- time interval
- time
- video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
Abstract
Description
본 발명은 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법에 관한 것으로, 보다 상세하게는 실시간으로 수신되는 PTS와 STC간의 간격을 일정하게 유지시켜 각 단말기의 버퍼링 시작 시점에 관계없이 각 단말기에서 표시되는 영상 및 음성을 일치시키는 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법에 관한 것이다.The present invention relates to a synchronization system and method for synchronizing video and audio output to a plurality of terminals, and more particularly, to a synchronization system and method for synchronizing video and audio output to a plurality of terminals, And more particularly, to a synchronization system and method for synchronizing video and audio output to a plurality of terminals that match video and audio displayed on each terminal.
본 발명은 동기화 시스템 및 방법에 관한 것이다.The present invention relates to a synchronization system and method.
MPEG-2 전송스트림 방식의 방송 재생용 프로토콜을 활용한 단말기 등에서 Multicast 수신 데이터에 대해 재생 오류를 유발할 수 있는 buffer underrun 현상을 방지하기 위해 충분한 데이터의 버퍼링은 필수적 과정이다.In order to prevent a buffer underrun phenomenon which may cause a playback error in a multicast reception data in a terminal utilizing a protocol for broadcasting reproduction of an MPEG-2 transport stream, sufficient data buffering is an essential process.
이러한 버퍼링 과정에 있어서, 단말기 별로 일정한 크기의 버퍼에 데이터를 채워 넣을 때까지 데이터를 수신한 후 재생을 개시하게 되며, 이때, 각 단말기 별로 버퍼링 된 데이터의 상태에 따라서 재생 시간에 차이가 발생하게 된다.In this buffering process, data is received until the buffer is filled with data of a predetermined size for each terminal, and playback is started. At this time, a difference occurs in the reproduction time depending on the state of the buffered data for each terminal .
수신 데이터의 가장 큰 비중을 차지하는 영상 데이터의 경우, 출력될 화면 데이터의 I, P, B frame의 크기가 일정하지 않고, 따라서 크기가 일정하지 않은 데이터를 정해놓은 양을 채울 때까지 누적하여 버퍼링하게 되면, 재생 시작 전, 버퍼링 된 영상 정보가 차지하는 시간량은 각각의 단말기에 따라 차이가 발생하게 된다. 이는 단말기 사이의 영상 및 음성 출력에 있어서 시간차가 발생하게 되는 원인이 된다.In case of the image data occupying the largest proportion of the received data, the sizes of the I, P and B frames of the screen data to be outputted are not constant, and thus the data of unequal size is accumulated and buffered until the set amount is filled , The amount of time occupied by the buffered image information before the start of reproduction varies depending on each terminal. This causes a time difference in the video and audio output between the terminals.
근접한 공간에 설치 된 복수의 단말기에서 방송이 재생되는 경우, 이와 같은 재생의 시간차가 발생하며, 동일 공간에서 복수의 단말기에서 시간차가 있는 소리가 발생하면, 하울링 현상과 유사한 소리의 울림 현상이 발생하게 된다.When a broadcast is reproduced from a plurality of terminals installed in a close space, such a reproduction time difference occurs. When a plurality of terminals have a time difference in the same space, a sound similar to a howling phenomenon occurs do.
위의 소리의 울림 현상을 방지하기 위한 방법으로 복수의 단말기 중 특정 단말기의 소리만을 활용해 음향 시스템에 입력하고, 나머지 단말기는 음을 소거하거나, 또는 영상만을 표현하는 시스템으로 구축되지만, 음이 소거된 단말기를 시청하는 경우 영상과 음성이 동기화가 이루어지지 않아 시청자는 괴리감을 느끼게 된다.In order to prevent the sound of the above sound, the system is constructed by using only the sound of a specific terminal among a plurality of terminals and inputting it to the sound system, and the remaining terminals are used to erase the sound or to express only the image. When the user watches the terminal, the viewer does not synchronize the video and voice.
따라서, 복수의 단말기의 재생에서, 단말기 간에 시작 시점을 동기화 하거나, 이미 재생 중인 단말기와 재생지점을 동기화 하기 위하여는, 종래 기술에서와 같이 버퍼링 과정에 있어, 정해진 크기의 버퍼를 모두 채울 때까지 진행하는 것이 아닌 다른 방법을 필요로 하게 된다. Therefore, in order to synchronize the starting point between the terminals or to synchronize the reproducing point with the reproducing point in the reproduction of a plurality of terminals, in the buffering process as in the related art, until all the buffers of the predetermined size are filled But it requires a different method.
즉, 종래의 네트워크를 통한 방송 재생 서비스에 있어서, 다수 개의 플레이어 단말 또는 이기종 단말을 통한 방송 재생을 제공하는 경우에는, 서버에서 보내는 데이터가 각 플레이어 단말별로 상이하거나, 서버에서 유지하는 버퍼링 데이터의 양, 각 플레이어 단말의 네트워크 상태, 각 플레이어 단말의 재생 방식, 각 플레이어 단말의 버퍼링 방식 및 양 등과 같은 각 플레이어 단말의 환경에 따라 각 플레이어 단말에서의 방송 재생 위치가 차이날 수밖에 없으며, 이에 따라 각 플레이어 단말의 방송 재생들에 대한 동기화가 이루어지지 않는 문제가 발생한다.That is, in the case of providing broadcast playback through a plurality of player terminals or a heterogeneous terminal in a conventional broadcast and playback service over a network, data sent from the server is different for each player terminal, or the amount of buffering data , The network reproduction state of each player terminal, the network state of each player terminal, the reproduction system of each player terminal, the buffering method and amount of each player terminal, and the like, There arises a problem that synchronization is not achieved with respect to broadcast reproductions of the terminal.
특히 단일공간에서 복수기기가 방송 재생을 할 경우, 종래의 기술로서는 해결할 수 없는 동기화의 문제가 발생하며, 이를 해결하기 위해서는 복수의 단말기간 방송 재생 동기화 기능이 반드시 필요하다.
In particular, when a plurality of devices reproduce a broadcast in a single space, a problem of synchronization that can not be solved by the conventional technology occurs, and in order to solve this problem, it is necessary to synchronize broadcasting and playback of a plurality of terminals.
본 발명의 배경이 되는 기술은 한국등록특허공보 제10-0927447호에 개시되어 있는 바와 같다.The background of the present invention is as disclosed in Korean Patent Registration No. 10-0927447.
그러나 상기 한국등록특허공보 제10-0927447호 역시 상술한 문제점에 대한 해결책을 전혀 제시하지 못하고 있는 실정이다.
However, Korean Patent Registration No. 10-0927447 does not provide any solution to the above-mentioned problems.
상술한 바와 같은 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 실시간으로 수신되는 PTS와 STC간의 간격을 일정하게 유지시켜 각 단말기의 버퍼링 시작 시점에 관계없이 각 단말기에서 표시되는 영상 및 음성을 일치시키는 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법을 제공하기 위함이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems and it is an object of the present invention to provide a method and apparatus for maintaining a constant interval between PTS and STC received in real time, The present invention provides a synchronization system and method for synchronizing video and audio output to a plurality of matching terminals.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명인, 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템은, 실제로 재생되어야하는 시간(Presentation Time Stamp; 이하 PTS)과 실제 재생되는 시간(System Time Clock; 이하 STC)과의 시간간격을 설정하는 시간간격설정부; 실시간으로 입력되는 영상데이터에서 PTS를 추출하여 처음 추출된 PTS를 STC로 설정하고, 상기 STC로부터 상기 시간간격에 해당되는 PTS가 수신되는 시점부터 상기 영상데이터를 재생하고, 새로운 PTS가 수신되면 상기 새로운 PTS와 상기 설정된 STC의 시간간격을 유지시키는 시간간격유지부;를 포함하고, 상기 시간간격유지부는, 새로운 PTS가 수신되면 새로운 PTS와 STC와의 시간간격을 비교하여 시간간격이 일정범위이상 벌어지면 STC의 증가속도를 빠르게하고, 시간간격이 일정범위 이상 줄어들면 STC의 증가속도를 느리게하여 시간간격을 일정하게 유지시키는 STC속도조절부를 더 포함하는 것을 특징으로 하며, 상기 STC속도조절부는, 
삭제delete
삭제delete
또한, 상기 시간간격유지부는, 상기 영상데이터에 포함된 영상신호를 상기 STC속도조절부에서 조절된 STC의 증가속도에 따라 재생하게 하는 영상신호속도조절부; 및 상기 영상데이터에 포함된 음성신호를 상기 STC속도조절부에서 조절된 STC의 증가속도에 따라 리샘플링하여 음성출력부를 통해 재생하는 음성신호속도조절부;를 더 포함하는 것을 특징으로 한다.
Also, the time interval maintaining unit may include a video signal speed adjusting unit for causing the video signal included in the video data to be reproduced in accordance with an increasing rate of the STC adjusted by the STC rate adjusting unit; And a voice signal speed controller for resampling the voice signal included in the image data according to the increasing rate of the STC controlled by the STC speed controller and reproducing the voice signal through the voice output unit.
본 발명인, 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화방법은, (a) 실제로 재생되어야하는 시간(Presentation Time Stamp; 이하 PTS)과 실제 재생되는 시간(System Time Clock; 이하 STC)과의 시간간격을 설정하는 단계; (b) 실시간으로 입력되는 영상데이터에서 PTS를 추출하여 처음 추출된 PTS를 STC로 설정하고, 상기 STC로부터 상기 시간간격에 해당되는 PTS가 수신되는 시점부터 상기 영상데이터를 재생하고, 새로운 PTS가 수신되면 상기 새로운 PTS와 상기 설정된 STC의 시간간격을 유지시키는 단계;를 포함하고, 상기 (b)단계는, (b1) 새로운 PTS가 수신되면 새로운 PTS와 STC와의 시간간격을 비교하여 시간간격이 일정범위이상 벌어지면 STC의 증가속도를 빠르게하고, 시간간격이 일정범위 이상 줄어들면 STC의 증가속도를 느리게하여 시간간격을 일정하게 유지시키는 단계;를 더 포함하는 것을 특징으로 하며, 상기 (b1)단계는, 
삭제delete
삭제delete
또한, 상기 (b) 단계는, (b2) 상기 영상데이터에 포함된 영상신호를 상기 (b1)단계에서 조절된 STC의 증가속도에 따라 재생하게 하는 단계; 및 (b3) 상기 영상데이터에 포함된 음성신호를 상기 (b1)단계에서 조절된 STC의 증가속도에 따라 리샘플링하여 음성출력부를 통해 재생하는 단계;를 더 포함하는 것을 특징으로 한다.The step (b) may further include the steps of: (b2) reproducing an image signal included in the image data according to an increasing rate of the STC adjusted in the step (b1); And (b3) resampling the audio signal included in the video data according to the increasing rate of the STC adjusted in the step (b1), and reproducing the audio signal through the audio output unit.
이상 살펴본 바와 같은 본 발명에 따르면, 실시간으로 수신되는 PTS와 STC간의 간격을 일정하게 유지시켜 각 단말기의 버퍼링 시작 시점에 관계없이 각 단말기에서 표시되는 영상 및 음성을 일치시키는 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법을 제공할 수 있다.
As described above, according to the present invention, it is possible to maintain the interval between the PTS and the STC received in real time constant so that the video and audio signals output from a plurality of terminals, And a synchronization system and method for synchronizing audio.
도 1은 본 발명의 바람직한 실시예에 따른 동기화 시스템의 구성을 나타낸 블록도
도 2는 본 발명의 바람직한 실시예에 따른 동기화 시스템의 제공 순서를 나타낸 순서도이다.1 is a block diagram showing the configuration of a synchronization system according to a preferred embodiment of the present invention;
2 is a flowchart illustrating a procedure of providing a synchronization system according to a preferred embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
이하, 본 발명의 실시예들에 의하여 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
Hereinafter, the present invention will be described with reference to the accompanying drawings, which illustrate a synchronization system and method for synchronizing video and audio output to a plurality of terminals according to embodiments of the present invention.
도 1은 본 발명의 바람직한 실시예에 따른 동기화 시스템의 구성을 나타낸 블록도이다.1 is a block diagram illustrating a configuration of a synchronization system according to a preferred embodiment of the present invention.
도 1을 참고하면, 본 발명인, 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템(100) 및 방법은, 시간간격설정부(110), 시간간격유지부(120)를 포함한다.Referring to FIG. 1, a
시간간격설정부(110)는, 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템(100)은, 실제로 재생되어야하는 시간(Presentation Time Stamp; 이하 PTS)과 실제 재생되는 시간(System Time Clock; 이하 STC)과의 시간간격을 설정한다.The time
여기서 시간간격은, PTS에서 STC를 뺀 차이값을 고정시키기 위해 설정되는 시간값인 것이 바람직하다.Here, the time interval is preferably a time value set for fixing the difference value obtained by subtracting the STC from the PTS.
시간간격유지부(120)는, 실시간으로 입력되는 영상데이터에서 PTS를 추출하여 처음 추출된 PTS를 STC로 설정하고, 상기 STC로부터 상기 시간간격에 해당되는 PTS가 수신되는 시점부터 상기 영상데이터를 재생하고, 새로운 PTS가 수신되면 상기 새로운 PTS와 상기 설정된 STC의 시간간격을 유지시킨다.The time
즉, STC는 고정된 값이 아니라 가변되는 값이며, PTS값을 통해 조정되는 값인 것이 바람직하다.That is, the STC is not a fixed value but a variable value, and is preferably a value adjusted through a PTS value.
여기서, 상기 시간간격유지부(120)는, 처음 추출된 PTS로부터 상기 시간간격에 해당되는 PTS가 수신하기 전까지 버퍼링을 통해 상기 영상데이터를 저장부에 저장한 후, 시간간격이 일치된 시점부터 실제 재생을 시작하는 것이 바람직하다.Here, the time
즉, STC는 PTS를 통해 조정되는 값이기 때문에 PTS가 수신되지 않은 상태에서 재생이 시작되는 것이 불가하기 때문에 시간간격은 버퍼링을 통해 영상데이터를 저장한 후 시간간격이 일치된 시점부터 재생을 시작하는 것이 바람직하다.That is, since the STC is a value adjusted through the PTS, playback can not be started in a state in which the PTS is not received. Therefore, after storing the video data through the buffering in the time interval, .
그리고, 시간간격유지부(120)는 STC속도조절부(122), 영상신호속도조절부(124) 및 음성신호속도조절부(126)를 포함한다.The time
STC속도조절부(122)는, 새로운 PTS가 수신되면 새로운 PTS와 STC와의 시간간격을 비교하여 시간간격이 일정범위이상 벌어지면 STC의 증가속도를 빠르게하고, 시간간격이 일정범위 이상 줄어들면 STC의 증가속도를 느리게하여 시간간격을 일정하게 유지시킨다.When a new PTS is received, the
여기서, STC속도조절부(122)는, Here, the STC
[수학식 1][Equation 1]
[수학식 2]&Quot; (2) "
[수학식 3]&Quot; (3) "
여기서, ΔT는 실시간으로 수신되는 PTS와 현재의 STC값의 차, Tbuf는 시간간격설정부(110)에서 설정된 시간간격이고, δ는 오차허용범위이다.
Here,? T is a difference between a PTS received in real time and a current STC value, Tbuf is a time interval set in the time
영상신호속도조절부(124)는, 상기 영상데이터에 포함된 영상신호를 상기 STC속도조절부(122)에서 조절된 STC의 증가속도에 따라 영상출력부를 통해 재생한다.The video signal
음성신호속도조절부(126)는, 상기 영상데이터에 포함된 음성신호를 상기 STC속도조절부(122)에서 조절된 STC의 증가속도에 따라 리샘플링하여 음성출력부를 통해 재생한다.The audio signal
여기서, 리샘플링은, STC속도 증가속도에 따라 원래의 음성신호를 축소 또는 확대시켜 음성신호를 재구축하여 끊기거나 겹쳐짐이 없는 음성을 재생해주기 위해 사용된다.
Here, the resampling is used to reconstruct a voice signal by reducing or enlarging the original voice signal according to the rate of increase of the STC rate to reproduce the voice without interruption or overlapping.
도 2는 본 발명의 바람직한 실시예에 따른 동기화 시스템의 제공 순서를 나타낸 순서도이다.2 is a flowchart illustrating a procedure of providing a synchronization system according to a preferred embodiment of the present invention.
우선, 시간간격설정부(110)가 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템(100)은, 실제로 재생되어야하는 시간(Presentation Time Stamp; 이하 PTS)과 실제 재생되는 시간(System Time Clock; 이하 STC)과의 시간간격을 설정한다(S110).The
그 다음, 시간간격유지부(120)가 실시간으로 입력되는 영상데이터에서 PTS를 추출하여 처음 추출된 PTS를 STC로 설정하고, 상기 STC로부터 상기 시간간격에 해당되는 PTS가 수신되는 시점부터 상기 영상데이터를 재생하고, 새로운 PTS가 수신되면 상기 새로운 PTS와 상기 설정된 STC의 시간간격을 유지시킨다(S120).Then, the time
여기서, 시간간격유지부(120)는, 처음 추출된 PTS로부터 상기 시간간격에 해당되는 PTS가 수신하기 전까지 버퍼링을 통해 상기 영상데이터를 저장한 후, 시간간격이 일치된 시점부터 실제 재생을 시작하는 것이 바람직하다.Here, the time
그 다음, 시간간격유지부(120)의 STC속도조절부(122)가, 새로운 PTS가 수신되면 새로운 PTS와 STC와의 시간간격을 비교하여 시간간격이 일정범위이상 벌어지면 STC의 증가속도를 빠르게하고, 시간간격이 일정범위 이상 줄어들면 STC의 증가속도를 느리게하여 시간간격을 일정하게 유지시킨다(S130).Then, the STC
그 다음, 시간간격유지부(120)의 영상신호속도조절부(124)가, 상기 영상데이터에 포함된 영상신호를 상기 STC속도조절부(122)에서 조절된 STC의 증가속도에 따라 영상출력부를 통해 재생한다(S140).Then, the video
그 다음, 시간간격유지부(120)의 음성신호속도조절부(126)가, 상기 영상데이터에 포함된 음성신호를 상기 STC속도조절부(122)에서 조절된 STC의 증가속도에 따라 리샘플링하여 음성출력부를 통해 재생한다(S150).Then, the audio signal
여기서, S140단계와 S150단계는 동일한 시간대에 동작하여 서로 동일한 STC에 영상출력부와 음성출력부를 통해 각각 출력되는 것이 바람직하다.Here, it is preferable that steps S140 and S150 operate in the same time zone and are output to the same STC through the video output unit and the audio output unit, respectively.
S120 내지 S150의 동작은, 영상데이터가 재생하는 동안 반복되되, 영상데이터의 수신이 종료되는 시점에서 종료되는 것이 바람직하다.
It is preferable that the operations of S120 to S150 are repeated during the reproduction of the video data but terminated at the time when the reception of the video data ends.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning and scope of the claims and the equivalents thereof are included in the scope of the present invention Should be interpreted.
100: 단말기 110: 시간간격설정부
120: 시간간격유지부 122: STC속도조절부
124: 영상신호속도조절부 126: 음성신호속도조절부100: Terminal 110: Time interval setting unit
120: Time interval maintaining unit 122: STC speed adjusting unit
124: video signal speed adjuster 126: audio signal speed adjuster
Claims (8)
실시간으로 입력되는 영상데이터에서 PTS를 추출하여 처음 추출된 PTS를 STC로 설정하고, 상기 STC로부터 상기 시간간격에 해당되는 PTS가 수신되는 시점부터 상기 영상데이터를 재생하고, 새로운 PTS가 수신되면 상기 새로운 PTS와 상기 설정된 STC의 시간간격을 유지시키는 시간간격유지부;를 포함하고,
상기 시간간격유지부는,
새로운 PTS가 수신되면 새로운 PTS와 STC와의 시간간격을 비교하여 시간간격이 일정범위이상 벌어지면 STC의 증가속도를 빠르게하고, 시간간격이 일정범위 이상 줄어들면 STC의 증가속도를 느리게하여 시간간격을 일정하게 유지시키는 STC속도조절부를 더 포함하는 것을 특징으로 하며,
상기 STC속도조절부는,
STC의 증가속도를 일반 재생 속도보다 작게 설정하고,
STC의 증가속도를 일반 재생 속도로 설정하며,
(ΔT: 실시간으로 수신되는 PTS와 현재의 STC값의 차, Tbuf: 시간간격설정부에서 설정된 시간간격, δ: 오차허용범위) STC의 증가속도를 일반 재생 속도보다 크게 설정하여 STC와 PTS의 속도를 일정하게 유지시키는 것을 특징으로 하는 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템.
A time interval setting unit for setting a time interval between a presentation time stamp (PTS) and a system time clock (STC);
The PTS is extracted from the video data input in real time, the PTS is extracted first, the STC is set, and the PTS corresponding to the time interval is received from the STC. When a new PTS is received, And a time interval maintaining unit for maintaining a time interval between the PTS and the set STC,
Wherein the time-
When a new PTS is received, the time interval between the new PTS and STC is compared. If the time interval becomes longer than a certain range, the STC increases in speed. If the time interval decreases more than a certain range, And an STC speed control unit for controlling the STC speed control unit,
The STC rate adjuster includes:
The increase rate of the STC is set to be smaller than the normal playback speed,
The increase rate of the STC is set to the normal playback speed,
(ΔT: Difference between PTS and current STC value received in real time, Tbuf: Time interval set by time interval setting section, δ: Error tolerance range) STC and PTS speed Wherein the synchronization of the video and audio output to the plurality of terminals is synchronized.
상기 영상데이터에 포함된 영상신호를 상기 STC속도조절부에서 조절된 STC의 증가속도에 따라 영상출력부를 통해 재생하는 영상신호속도조절부; 및
상기 영상데이터에 포함된 음성신호를 상기 STC속도조절부에서 조절된 STC의 증가속도에 따라 리샘플링하여 음성출력부를 통해 재생하는 음성신호속도조절부;를 더 포함하는 것을 특징으로 하는 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화시스템.
The apparatus according to claim 1,
A video signal speed regulator for regenerating a video signal included in the video data through the video output unit according to an increasing rate of the STC controlled by the STC speed controller; And
And a voice signal speed controller for resampling the voice signal included in the video data according to an increasing rate of the STC controlled by the STC speed controller and reproducing the voice signal through the voice output unit. A synchronization system that synchronizes video and audio.
(b) 실시간으로 입력되는 영상데이터에서 PTS를 추출하여 처음 추출된 PTS를 STC로 설정하고, 상기 STC로부터 상기 시간간격에 해당되는 PTS가 수신되는 시점부터 상기 영상데이터를 재생하고, 새로운 PTS가 수신되면 상기 새로운 PTS와 상기 설정된 STC의 시간간격을 유지시키는 단계;를 포함하고,
상기 (b)단계는,
(b1) 새로운 PTS가 수신되면 새로운 PTS와 STC와의 시간간격을 비교하여 시간간격이 일정범위이상 벌어지면 STC의 증가속도를 빠르게하고, 시간간격이 일정범위 이상 줄어들면 STC의 증가속도를 느리게하여 시간간격을 일정하게 유지시키는 단계;를 더 포함하는 것을 특징으로 하며,
상기 (b1)단계는,
STC의 증가속도를 일반 재생 속도보다 작게 설정하고,
STC의 증가속도를 일반 재생 속도로 설정하며,
(ΔT: 실시간으로 수신되는 PTS와 현재의 STC값의 차, Tbuf: 시간간격설정부에서 설정된 시간간격, δ: 오차허용범위) STC의 증가속도를 일반 재생 속도보다 크게 설정하여 STC와 PTS의 속도를 일정하게 유지시키는 것을 특징으로 하는 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화방법.
(a) setting a time interval between a presentation time stamp (PTS) and a system time clock (STC);
(b) extracting a PTS from video data input in real time, setting a first extracted PTS as an STC, reproducing the video data from a time when a PTS corresponding to the time interval is received from the STC, And maintaining a time interval between the new PTS and the set STC,
The step (b)
(b1) If a new PTS is received, the time interval between the new PTS and the STC is compared. If the time interval becomes longer than a certain range, the STC increases in speed, And maintaining the interval constant,
The step (b1)
The increase rate of the STC is set to be smaller than the normal playback speed,
The increase rate of the STC is set to the normal playback speed,
(ΔT: Difference between PTS and current STC value received in real time, Tbuf: Time interval set by time interval setting section, δ: Error tolerance range) STC and PTS speed Wherein the video and audio signals output from the plurality of terminals are synchronized with each other.
(b2) 상기 영상데이터에 포함된 영상신호를 상기 (b1)단계에서 조절된 STC의 증가속도에 따라 영상출력부를 통해 재생하는 단계; 및
(b3) 상기 영상데이터에 포함된 음성신호를 상기 (b1)단계에서 조절된 STC의 증가속도에 따라 리샘플링하여 음성출력부를 통해 재생하는 단계;를 더 포함하는 것을 특징으로 하는 복수의 단말기에 출력되는 비디오 및 오디오를 동기화시키는 동기화방법.
6. The method of claim 5, wherein step (b)
(b2) reproducing the video signal included in the video data through the video output unit according to the increasing rate of the STC controlled in the step (b1); And
(b3) resampling the audio signal included in the video data according to the increasing rate of the STC adjusted in the step (b1), and reproducing the audio signal through the audio output unit. A synchronization method that synchronizes video and audio.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140140561A KR101600891B1 (en) | 2014-10-17 | 2014-10-17 | Synchronization method and system for audio and video of a plurality terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140140561A KR101600891B1 (en) | 2014-10-17 | 2014-10-17 | Synchronization method and system for audio and video of a plurality terminal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101600891B1 true KR101600891B1 (en) | 2016-03-09 |
Family
ID=55537104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140140561A KR101600891B1 (en) | 2014-10-17 | 2014-10-17 | Synchronization method and system for audio and video of a plurality terminal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101600891B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109996117A (en) * | 2019-03-04 | 2019-07-09 | 青岛海信传媒网络技术有限公司 | A kind of method and apparatus obtaining streaming media playing duration |
| CN110557454A (en) * | 2019-09-10 | 2019-12-10 | 广州河东科技有限公司 | Method for realizing synchronous playing of multiple machines based on cloud network music player |
| WO2022267640A1 (en) * | 2021-06-24 | 2022-12-29 | 华为技术有限公司 | Video sharing method, and electronic device and storage medium |
| CN115866309A (en) * | 2022-11-29 | 2023-03-28 | 广州后为科技有限公司 | Audio and video caching method and device supporting multi-channel video synchronization |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063102A (en) * | 1998-03-02 | 2000-11-06 | 마츠시타 덴끼 산교 가부사키가이샤 | Method of and system capable of precisely clipping a continuous medium obtained from a multiplexed bit stream |
| KR100735312B1 (en) * | 2006-02-14 | 2007-07-04 | 삼성전자주식회사 | Method for processing data in a terminal with digital broadcasting receiver |
| KR20110090597A (en) * | 2010-02-04 | 2011-08-10 | 삼성전자주식회사 | Method and apparatus for reproducing multimedia data based on controlling reproducing rate |
| KR101352768B1 (en) * | 2012-07-30 | 2014-01-16 | 주식회사 디지털존 | Video frame synchronization method and apparatus among video players |
-
2014
- 2014-10-17 KR KR1020140140561A patent/KR101600891B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063102A (en) * | 1998-03-02 | 2000-11-06 | 마츠시타 덴끼 산교 가부사키가이샤 | Method of and system capable of precisely clipping a continuous medium obtained from a multiplexed bit stream |
| KR100735312B1 (en) * | 2006-02-14 | 2007-07-04 | 삼성전자주식회사 | Method for processing data in a terminal with digital broadcasting receiver |
| KR20110090597A (en) * | 2010-02-04 | 2011-08-10 | 삼성전자주식회사 | Method and apparatus for reproducing multimedia data based on controlling reproducing rate |
| KR101352768B1 (en) * | 2012-07-30 | 2014-01-16 | 주식회사 디지털존 | Video frame synchronization method and apparatus among video players |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109996117A (en) * | 2019-03-04 | 2019-07-09 | 青岛海信传媒网络技术有限公司 | A kind of method and apparatus obtaining streaming media playing duration |
| CN110557454A (en) * | 2019-09-10 | 2019-12-10 | 广州河东科技有限公司 | Method for realizing synchronous playing of multiple machines based on cloud network music player |
| CN110557454B (en) * | 2019-09-10 | 2022-07-05 | 广州河东科技有限公司 | Method for realizing synchronous playing of multiple machines based on cloud network music player |
| WO2022267640A1 (en) * | 2021-06-24 | 2022-12-29 | 华为技术有限公司 | Video sharing method, and electronic device and storage medium |
| CN115866309A (en) * | 2022-11-29 | 2023-03-28 | 广州后为科技有限公司 | Audio and video caching method and device supporting multi-channel video synchronization |
| CN115866309B (en) * | 2022-11-29 | 2023-09-22 | 广州后为科技有限公司 | Audio and video caching method and device supporting multipath video synchronization |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102536652B1 (en) | Dynamic reduction of alternative content playback to support aligning the end of the alternative content with the end of the substitute content. | |
| EP2752023B1 (en) | Method to match input and output timestamps in a video encoder and advertisement inserter | |
| KR102469142B1 (en) | Dynamic playback of transition frames while transitioning between media stream playbacks | |
| US9549027B2 (en) | Network-synchronized media playback | |
| US9742965B2 (en) | Apparatus, systems and methods for user controlled synchronization of presented video and audio streams | |
| JP5178375B2 (en) | Digital broadcast reproduction apparatus and digital broadcast reproduction method | |
| JP2005523650A (en) | Apparatus and method for synchronization of audio and video streams | |
| KR20100064532A (en) | Apparatus and method for audio and video synchronization in wireless communication network | |
| JP2004208308A (en) | Method and apparatus for synchronizing reproduction of audio frame and/or video frame, video driver circuit, and decoder box | |
| KR101600891B1 (en) | Synchronization method and system for audio and video of a plurality terminal | |
| JP2015515208A (en) | Buffer management method for synchronization of correlated media presentations | |
| CN108810656B (en) | Real-time live broadcast TS (transport stream) jitter removal processing method and processing system | |
| JP2009272945A (en) | Synchronous reproduction apparatus | |
| KR100678938B1 (en) | Apparatus and method for synchronization between moving picture and caption | |
| JP6720566B2 (en) | Audio equipment | |
| JP2001078185A (en) | Signal processor | |
| US20220013131A1 (en) | Method, a system, and a program for playing back audio/video signals with automatic adjustment of latency | |
| US20100166382A1 (en) | Video and audio reproduction system, distribution device, and synchronization adjustment method | |
| KR20080089721A (en) | Lip-synchronize method | |
| JPWO2013150852A1 (en) | DIGITAL DATA DISTRIBUTION DEVICE AND METHOD, DIGITAL DATA REPRODUCTION DEVICE AND METHOD, SYNCHRONOUS REPRODUCTION SYSTEM, PROGRAM, AND RECORDING MEDIUM | |
| JP3462831B2 (en) | Digital video playback system | |
| US20230396813A1 (en) | System and method for synchronized data playback and aircraft | |
| JP2005223821A (en) | Multistream reproduction system | |
| JP2008067179A (en) | Receiver and coded data reproduction method | |
| JP6347204B2 (en) | REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200302 Year of fee payment: 5 |