KR20050076968A - Video lip-synchronization method in digital broadcasting receiver - Google Patents
Video lip-synchronization method in digital broadcasting receiver Download PDFInfo
- Publication number
- KR20050076968A KR20050076968A KR1020040004824A KR20040004824A KR20050076968A KR 20050076968 A KR20050076968 A KR 20050076968A KR 1020040004824 A KR1020040004824 A KR 1020040004824A KR 20040004824 A KR20040004824 A KR 20040004824A KR 20050076968 A KR20050076968 A KR 20050076968A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- information
- pts
- image processing
- lip sync
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 디지털방송수신기의 립싱크방법에 관한 것으로서, 비디오 프로세서를 통해 영상프로세싱이 완료된 경우에 해당 비디오 정보에 립싱크를 수행하도록 함으로써, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해 립싱크가 틀려짐으로써 발생되는 다양한 오류를 최소화한다. 이를 위해, 소정의 영상디코딩 명령에 따라 비디오디코더로 입력되는 비디오프레임에서 비디오재생시간(Presentation Time Stamp : PTS)정보를 분리하여 프레임별로 저장하는 제1과정; 상기 제1과정과는 별도로 해당 비디오프레임에서 비디오정보를 분리하여 디코딩하고 연결된 소정의 영상프로세스를 통해 영상처리하는 제2과정;상기 제2과정의 비디오정보 영상처리완료에 따라 소정의 영상처리 완료통지정보를 발생하는 제3과정;상기 제3과정에서 발생한 영상처리 완료통지정보에 따라 상기 제2과정에서 영상처리싱된 비디오 프레임을 상기 제1과정에서 저장한 비디오재생시간정보(PTS)를 이용해 립싱크하는 제4과정을 통해, 디지털 방송 수신기의 비디오 립싱크를 수행하도록 한다.The present invention relates to a lip sync method of a digital broadcasting receiver, and when the image processing is completed through a video processor, the lip sync is performed by performing a lip sync on the corresponding video information. Minimize the various errors that occur. To this end, a first step of separating the video presentation time stamp (PTS) information from the video frame input to the video decoder according to a predetermined video decoding command to store for each frame; A second process of separating and decoding video information from a corresponding video frame separately from the first process and performing image processing through a predetermined image process; notification of completion of predetermined image processing according to completion of video information image processing of the second process A third step of generating information; a lip sync using the video reproduction time information (PTS) stored in the first step of the video frame processed in the second step according to the image processing completion notification information generated in the third step; In a fourth process, the video lip sync is performed by the digital broadcast receiver.
Description
본 발명은 비디오 프로세서를 통해 영상프로세싱이 완료된 경우에 해당 비디오 정보에 립싱크를 수행하도록 함으로써, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해 립싱크가 틀려짐으로써 발생되는 다양한 오류를 최소화할 수 있도록 하는, 디지털방송수신기의 립싱크방법에 관한 것이다. According to the present invention, when image processing is completed through a video processor, lip sync is performed on the corresponding video information, thereby minimizing various errors caused by incorrect lip sync due to time delay due to switching of a video format. The present invention relates to a lip sync method for a digital broadcast receiver.
일반적으로, 멀티미디어를 지원해주는 핵심요소로는 디지털화와 더불어 화상 압축기술이 있는데, 화상압축기술 중 MPEG(Moving Pictures Expert Group)-2는 멀티미디어 환경에 가장 핵심 기술인 디지털 동영상의 압축 부호화를 위한 국제적인 표준안이다.In general, the core elements supporting multimedia include image compression technology as well as digitization. Among the image compression technologies, MPEG (Moving Pictures Expert Group) -2 is an international standard for compression encoding of digital video, which is the core technology for multimedia environment. .
이러한, MPEG-2를 채용한 디지털방송수신기는, 오디오/비디오 다중 비트스트림이 입력되면 트랜스포트 역다중화부에서 오디오와 비디오정보를 분리하며, 이렇게 분리된 비디오정보와 오디오정보는 디코딩을 위해 각기 비디오디코더와 오디오디코더로 입력되는데, 통상적으로는 도 1에 도시된 바와 같이, PES(packetized elementary stream)형태로 각기 입력된다.The digital broadcast receiver employing MPEG-2 separates audio and video information from a transport demultiplexer when an audio / video multiple bitstream is input, and the separated video information and the audio information are separated from each other for decoding. A decoder and an audio decoder are input to the decoder and the audio decoder, and are typically input in the form of a packetized elementary stream (PES), as shown in FIG.
도 1에서 비디오디코더(101)는 입력되는 PES형태의 비디오정보에서 오버헤더를 제거하고, 순수한 비디오 정보를 가변길이디코딩(variable length decoding)한 후 역양자화, 역이산코사인변환(iDCT)과정을 통해 원래 화면의 픽셀값을 복원하며, 비디오프로세서(VDP)(102)는 이를 디스플레이 영상 포맷에 맞게 변환하여 소정의 표시부를 통해 외부에 출력되도록 한다.In FIG. 1, the video decoder 101 removes an overheader from input PES-type video information and performs variable length decoding on pure video information, followed by inverse quantization and inverse discrete cosine transform (iDCT). The pixel value of the original screen is restored, and the video processor (VDP) 102 converts it to a display image format so that it is output to the outside through a predetermined display unit.
그리고, 오디오디코더(103)는 MPEG알고리즘 또는 오디오 코딩(AC)-3알고리즘 등을 이용하여 입력되는 오디오 비트스트림을 원래의 신호로 복원한 후 이를 아날로그 형태로 변환하여 스피커 등으로 출력한다.The audio decoder 103 restores the input audio bitstream to an original signal using an MPEG algorithm or an audio coding (AC) -3 algorithm, and then converts the audio bitstream into an analog form and outputs the analog signal to a speaker.
또한, 시스템 디코더(104)는 PCR(Program Clock Reference)정보로부터 STC(System Time Clock)을 복구하여 비디오 디코더(101)와 오디오 디코더(103)로 출력하고, 비디오 디코더(101)와 오디오 디코더(103)는 복구된 STC에 각기 동기시켜 비디오디코딩과 오디오디코딩을 수행한다.In addition, the system decoder 104 recovers the STC (System Time Clock) from the PCR (Program Clock Reference) information and outputs it to the video decoder 101 and the audio decoder 103, and the video decoder 101 and the audio decoder 103. ) Performs video decoding and audio decoding in synchronization with the recovered STC, respectively.
한편, 디지털방송수신기는 다중화된 디지털신호를 사용하기 때문에 기존의 아날로그 시스템과는 달리 비디오와 오디오신호의 동기를 맞추어 주는 별도의 A/V립싱크(Lip-synchronization)가 필요한데, 이러한 일반적인 립싱크는 비디오, 오디오 복호 재생시마다 주어지는 PTS(Presentation Time Stamp)와 STC를 이용해 이루어지는데, 예컨대, 도 2에 도시된 바와 같이, (B)와 (C)의 경우처럼 STC를 기준으로 PTS가 미리 설정된 특정범위내에 있으면 A/V립싱크가 맞는다고 판단하고 정상적인 디코딩을 수행하여 A/V데이터를 출력시킨다. 하지만, (A)나 (D)의 경우처럼 STC를 기준으로 PTS가 미리 설정된 특정범위를 벗어나면 디코딩을 스킵하던지, 반복이나 기다림을 통해 A/V립싱크를 맞추며, 이 때 (A)의 경우는 PTS값이 STC보다 빠른 경우이므로 STC값에 맞는 PTS를 포함한 디코딩 단위를 맞추기 위해서 현재 프레임의 디코딩을 수행하지 않고 다음 디코딩 단위로 이동하는 스킵을 수행하고, (D)의 경우는 (A)와 반대인 경우로서, PTS값이 STC보다 늦는 경우이므로 디코딩 단위를 반복하거나 기다리게해서 A/V립싱크를 맞추게 된다.On the other hand, because the digital broadcast receiver uses multiplexed digital signals, unlike conventional analog systems, a separate A / V Lip-synchronization is required to synchronize video and audio signals. It is made using PTS (Presentation Time Stamp) and STC which are given every time audio decoding is reproduced. For example, as shown in (B) and (C), if PTS is within a predetermined range based on STC as shown in FIG. A / V Lip Sync is determined to be correct, and normal decoding is performed to output A / V data. However, as in the case of (A) or (D), if the PTS is out of the preset specific range based on STC, decoding is skipped or A / V lip sync is adjusted by repeating or waiting. In this case, (A) Since PTS value is faster than STC, skip to move to next decoding unit without decoding current frame to fit decoding unit including PTS that fits STC value, and (D) is opposite to (A) In this case, since the PTS value is later than the STC, the decoding unit is repeated or waited to adjust the A / V lip sync.
하지만, 이러한 일반적인 립싱크 방식은 전술한 바와 같이, 디코딩시에 립싱크가 이루어지기 때문에, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해, 또는 비디오 자체적인 동기문제 등으로 인해 나중에 가서는 특히, 비디오프로세서의 프로세싱 단계에서는 앞서 맞춘 립싱크가 틀려짐으로써 그로 인해 다양한 오류가 발생되는 문제점이 있어 왔다.However, as described above, since the lip sync is performed at the time of decoding, as described above, due to time delay due to switching of the video format or the like, due to the synchronization problem of the video itself, the video processor may be used. In the processing stage, the lip sync that has been set earlier has a problem that causes various errors.
이에 본 발명은 상기한 문제점을 해소시키기 위하여 개발된 것으로, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해 립싱크가 틀려짐으로써 발생되는 다양한 오류를 최소화할 수 있도록 하는, 디지털방송수신기의 립싱크방법을 제공하는데 그 목적이 있다.Accordingly, the present invention was developed to solve the above problems, and provides a lip sync method for a digital broadcast receiver, which can minimize various errors caused by incorrect lip sync due to time delay due to switching of a video format. Its purpose is to.
이러한 목적에 따라 본 발명은, 디지털방송수신기의 립싱크방법은, 비디오 프로세서를 통해 영상프로세싱이 완료된 경우에 해당 비디오 정보에 립싱크를 수행하도록 함으로써, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해 립싱크가 틀려짐으로써 발생되는 다양한 오류를 최소화할 수 있게 하고자 한다. According to the present invention, the lip sync method of the digital broadcast receiver is configured to perform a lip sync on the video information when the image processing is completed through the video processor, so that the lip sync is incorrect due to the time delay caused by the switching of the video format. It is intended to minimize the various errors caused by the load.
이를 위해 본 발명은, 소정의 영상디코딩 명령에 따라 비디오디코더로 입력되는 비디오프레임에서 비디오재생시간(Presentation Time Stamp : PTS)정보를 분리하여 프레임별로 저장하는 제1과정; To this end, the present invention comprises a first step of separating the video presentation time stamp (PTS) information from the video frame input to the video decoder according to a predetermined video decoding command to store for each frame;
상기 제1과정과는 별도로 해당 비디오프레임에서 비디오정보를 분리하여 디코딩하고 연결된 소정의 영상프로세스를 통해 영상처리하는 제2과정;A second step of separating and decoding video information from a corresponding video frame separately from the first step and performing image processing through a predetermined image process connected thereto;
상기 제2과정의 비디오정보 영상처리완료에 따라 소정의 영상처리 완료통지정보를 발생하는 제3과정;A third step of generating predetermined image processing completion notification information according to the completion of the video information image processing of the second process;
상기 제3과정에서 발생한 영상처리 완료통지정보에 따라 상기 제2과정에서 영상처리싱된 비디오 프레임을 상기 제1과정에서 저장한 비디오재생시간정보(PTS)를 이용해 립싱크하는 제4과정을 통해, 디지털 방송 수신기의 비디오 립싱크를 수행하도록 한다.According to a fourth process of lip-syncing the video frame processed in the second process using the video reproduction time information (PTS) stored in the first process according to the image processing completion notification information generated in the third process, Perform video lip sync of the broadcast receiver.
이하, 첨부된 도면을 참조하여 본 발명을 살펴보면 다음과 같다.Hereinafter, the present invention will be described with reference to the accompanying drawings.
먼저, 도 3을 참조하여 본 발명에 따른 디지털방송수신기를 예로 들어 설명한다.First, a digital broadcast receiver according to the present invention will be described with reference to FIG. 3.
상기 도 3에 도시된 바와 같이, 본 발명에 따른 디지털방송수신기는, 전송패킷스트림을 수신하는 튜너부(300)와, 상기 튜너부(300)에서 수신한 전송패킷 스트림을 VSB/QPSK디코딩하는 VSB/QPSK디코더(301)와, 디코딩한 전송패킷스트림을 디멀티플렉싱하는 전송패킷스트림 디멀티플렉서(302)와, 상기 전송패킷스트림 디멀티플렉서(308)에서분리된 비디오프레임에서 비디오정보와 비디오재생시간(Presentation Time Stamp)정보로 분리하는 비디오파서부(304)와, 상기 비디오파서부(304)에서 분리된 비디오재생시간(Presentation Time Stamp)정보를 해당 비디오프레임별로 FIFO(First In First Out)방식에 따라 저장하는 비디오 PTS정보저장부(305)와, 상기 비디오파서부(304)에서 분리된 비디오 정보를 디코딩하는 비디오디코더(306)와, 상기 전송패킷스트림 디멀티플렉서에서 분리한 클럭참조정보(ProgramClock Reference : PCR)를 복원하여 비디오재생기준시간정보(System Time Clock)를 발생하는 STC발생부(309)와, 상기 비디오 디코더(306)에서 디코딩한 비디오정보를 영상신호처리하고 그 비디오정보의 영상신호처리완료에 따라 소정의 영상처리 완료통지정보를 발생하는 비디오 프로세서(307)와, 상기 비디오 프로세서(307)에서 발생한 영상처리 완료통지정보에 따라 상기 비디오 PTS정보 저장부(305)에 저장된 비디오재생시간정보(PTS)와 STC발생부(309)에서 발생한 STC정보를 비교하여 그 비교결과에 따라 상기 비디오 프로세서(307)에서 영상신호처리한 비디오정보를 립싱크시키는 비디오 립싱크처리부(308)로 이루어진다.As shown in FIG. 3, the digital broadcast receiver according to the present invention includes a tuner 300 for receiving a transport packet stream and a VSB for decoding VSB / QPSK of the transport packet stream received by the tuner 300. / QPSK decoder 301, a transport packet stream demultiplexer 302 for demultiplexing the decoded transport packet stream, and video information and a video playback time in a video frame separated by the transport packet stream demultiplexer 308 (Presentation Time Stamp A video parser 304 for dividing the information into video information and a video presentation time stamp information separated from the video parser 304 according to a FIFO (First In First Out) method for each video frame. A PTS information storage unit 305, a video decoder 306 for decoding the video information separated by the video parser 304, and a clock reference separated by the transmission packet stream demultiplexer. The STC generator 309 which restores the program (ProgramClock Reference: PCR) to generate the system time clock information, and the video information decoded by the video decoder 306, the video signal processing and the video information Stored in the video PTS information storage unit 305 according to the video processing completion notification information generated by the video processor 307 and the video processor 307 generating predetermined image processing completion notification information according to the video signal processing completion of the video signal. The video lip sync processor 308 compares the video playback time information (PTS) and STC information generated by the STC generator 309 and lip-syncs the video information processed by the video processor 307 according to the comparison result. .
이렇게 이루어진 디지털방송수신기에서, 본 발명의 비디오 립싱크 방법은, 먼저, 소정의 비디오 디코딩 명령에 따라 튜너부(300)를 통해 전송패킷스트림이 수신되고, VSB/QPSK디코더(301)를 통해 상기 튜너부(300)에서 수신한 전송패킷스트림이 디코딩되어, 전송패킷 스트림 디멀티플렉서(302)에서 비디오 프레임이 분리되면, 비디오 파서부(304)는 상기 전송패킷 스트림 디멀티플렉서(304)에서 분리한 비디오프레임에서 비디오정보와 비디오재생시간(Presentation Time Stamp)정보로 분리한다.In this digital broadcast receiver, the video lip sync method of the present invention first receives a transmission packet stream through the tuner unit 300 according to a predetermined video decoding command, and then through the VSB / QPSK decoder 301, the tuner unit. When the transport packet stream received at 300 is decoded and the video frame is separated from the transport packet stream demultiplexer 302, the video parser unit 304 performs video information on the video frame separated from the transport packet stream demultiplexer 304. And video presentation time stamp information.
그리고, 상기 비디오파서부(304)는 분리한 비디오재생시간(Presentation Time Stamp)정보를 상기 비디오 PTS정보 저장부(305)에 해당 비디오프레임별로 FIFO(First In First Out)방식에 따라 순차적으로 저장하는데, 가능한한 그 저장전에 상기 비디오 파서부(304)에서 분리한 비디오재생시간정보(PTS)를 해당 비디오프레임별로 구별될 수 있도록 플랙(flag)정보 등을 통해 소정의 식별코드로 식별처리하는 것이 바람직하다.The video parser 304 sequentially stores separated video presentation time stamp information in the video PTS information storage unit 305 for each video frame according to a FIFO (First In First Out) method. Preferably, the video playback time information (PTS) separated by the video parser 304 is identified with a predetermined identification code through flag information so as to be distinguished for each video frame before storing the video. Do.
다음, 이와는 별도로 상기 STC발생부(309)는 상기 전송패킷스트림 디멀티플렉서(302)에서 분리한 클럭참조정보(Program Clock Reference : PCR)를 복원하여 비디오재생기준시간정보(System Time Clock)를 발생하며, 비디오 프로세서(307)는 상기 비디오 디코더(306)에서 디코딩한 비디오정보를 영상신호처리하고 그 비디오정보의 영상신호처리완료에 따라 소정의 영상처리 완료통지정보를 발생한다.Next, separately from the STC generation unit 309 restores the Clock Reference Information (PCR) separated by the transmission packet stream demultiplexer 302 to generate a video playback reference time information (System Time Clock), The video processor 307 processes video signals decoded by the video decoder 306 and generates predetermined video processing completion notification information according to the video signal processing of the video information.
그러면, 본 발명의 비디오 립싱크처리부(308)는 상기 비디오 프로세서(307)에서 발생한 영상처리 완료통지정보에 따라 상기 비디오 PTS정보 저장부(305)에 저장된 비디오재생시간정보(PTS)와 STC발생부(309)에서 발생한 STC정보를 비교하여 그 비교결과에 따라 상기 비디오 프로세서(307)에서 영상신호처리한 비디오정보를 립싱크시킨다.Then, the video lip sync processing unit 308 according to the image processing completion notification information generated by the video processor 307, the video playback time information (PTS) stored in the video PTS information storage unit 305 and STC generation unit ( The STC information generated at 309 is compared, and the video information processed by the video processor 307 is lip-synced according to the comparison result.
즉, 상기 비디오 프로세서(307)에서 발생한 영상처리 완료통지정보에 따라 상기 비디오 프로세서(307)에서 영상처리싱된 비디오 프레임의 해당 비디오재생시간정보(PTS)를상기 비디오 PTS정보 저장부(305)에 저장된 비디오재생시간정보(PTS)로부터 독출하고, 이렇게 독출한 비디오재생시간정보(PTS)를 상기 STC발생부(309)에서 발생한 비디오재생기준시간정보(STC)와 비교하여 그 비교 결과에 상기 비디오 프로세서(307)에서 영상처리싱된 비디오 정보의 립싱크를 수행한다.That is, according to the image processing completion notification information generated by the video processor 307, the corresponding video reproduction time information (PTS) of the video frame processed by the video processor 307 is transferred to the video PTS information storage unit 305. Read out from the stored video playback time information (PTS), and compare the video playback time information (PTS) thus read out with the video playback reference time information (STC) generated by the STC generator 309, and compare the result with the video processor. In operation 307, a lip sync of the image processed video information is performed.
이와 같이, 본 발명에 따른 디지털 방송 수신기의 비디오 립싱크 방법은, 비디오 프로세서를 통해 영상프로세싱인 완료된 비디오 정보에 립싱크를 수행하도록 함으로써, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해 립싱크가 틀려짐으로써 발생되는 다양한 오류를 최소화할 수 있게 되는데, 이하에서는 도 4를 참조하여 본 발명에 따른 디지털 방송 수신기의 비디오 립싱크 방법을 좀 더 상세히 설명한다. As described above, the video lip sync method of the digital broadcasting receiver according to the present invention is caused by performing a lip sync on the completed video information that is image processing through a video processor, thereby causing lip sync to be incorrect due to time delay caused by switching of the video format. Various errors may be minimized. Hereinafter, a video lip sync method of the digital broadcast receiver according to the present invention will be described in more detail with reference to FIG. 4.
상기 도 4에 도시된 바와 같이, 본 발명에 따른 디지털 방송 수신기의 비디오 립싱크 방법은, 먼저 소정의 비디오디코딩 명령을 감시하고 있다가(S400) 비디오디코딩명령이 입력된 경우(S401), 비디오디코더로 입력되는 비디오프레임을 대기하고 있다가(S402), 비디오프레임이 입력되면 입력된 비디오 프레임으로부터 비디오재생시간(Presentation Time Stamp : PTS)정보를 분리하여(S404) 프레임별로 저장한다(S406).As shown in FIG. 4, the video lip sync method of the digital broadcasting receiver according to the present invention first monitors a predetermined video decoding command (S400), and then receives a video decoding command (S401). While waiting for an input video frame (S402), when a video frame is input, video presentation time stamp (PTS) information is separated from the input video frame (S404) and stored for each frame (S406).
즉, 본 발명의 바람직한 저장양태는 도시된 바와 같이, 소정의 영상디코딩 명령에 따라 비디오디코더로 입력되는 비디오프레임에서 비디오재생시간(PTS)정보를 분리하고(S404), 단계(S404)에서 분리한 비디오재생시간정보(PTS)를 해당 비디오프레임별로 구별될 수 있도록 식별처리하여(S405), 단계(S405)에서 식별처리한 비디오재생시간정보를 해당 비디오 프레임별로 저장한다(S407). That is, the preferred storage aspect of the present invention is to separate the video playback time (PTS) information from the video frame input to the video decoder according to a predetermined video decoding command (S404), and in step S404 as shown The video playback time information (PTS) is identified to be distinguished for each video frame (S405), and the video playback time information identified in step S405 is stored for each video frame (S407).
그리고, 전술한 일련의 단계(S405, S406, S407)와는 별도로 해당 비디오프레임에서 비디오정보를 분리하여 디코딩하고(S408) 연결된 소정의 영상프로세서로 입력해(S409) 그 영상프로세서를 통해 영상처리하고(S410), 단계(S410)의 비디오정보 영상처리완료에 따라 소정의 영상처리 완료통지정보를 발생한 다음(S411), 단계(S411)에서 발생한 영상처리 완료통지정보에 따라 단계(S412)에서 영상처리싱된 비디오 프레임을 단계(S406)에서 저장한 비디오재생시간정보(PTS)를 이용해 립싱크하도록 한다.In addition to the above-described steps (S405, S406, S407), video information is separated and decoded in a corresponding video frame (S408), inputted to a predetermined image processor (S409), and image processed through the image processor (S409). S410), and generates predetermined image processing completion notification information according to the video information image processing completion of step S410 (S411), and image processing processing in step S412 according to the image processing completion notification information generated in step S411. The video frame is lip-synced using the video playback time information (PTS) stored in step S406.
예컨대, 바람직한 본 발명의 립싱크 양태는 도시된 바와 같이, 단계(S413)에서 발생한 영상처리 완료통지정보에 따라 영상처리싱된 비디오 프레임의 해당 비디오재생시간정보(PTS)를 단계(S406)에서 저장한 비디오재생시간정보(PTS)로부터 독출하고(S414), 단계(S414)에서 독출한 비디오재생시간정보(PTS)를 영상디코딩 명령에 따라 상기 비디오디코더로 입력되는 클럭참조정보(Program Clock Reference : PCR)를 복원하여 생성한 비디오재생기준시간정보(STC)와 비교하고(S415), 단계(S415)의 비교 결과에 따라 단계(S412)에서 영상처리싱된 비디오 프레임비디오의 립싱크를 수행하도록 한다(S416).For example, a preferred lip sync aspect of the present invention stores the corresponding video reproduction time information (PTS) of the video frame image-processed according to the image processing completion notification information generated in step S413 in step S406, as shown. Read out from the video playback time information (PTS) (S414), and clock reference information (Program Clock Reference: PCR) inputted to the video decoder according to the video decoding command by reading the video playback time information (PTS) read in step S414. Compared with the video reproduction reference time information (STC) generated by reconstructing (S415) and performing a lip syncing of the video frame video processed in step S412 according to the comparison result of step S415 (S416). .
이와 같이, 본 발명에 따른 디지털 방송 수신기의 비디오 립싱크 방법은, 비디오 프로세서를 통해 영상프로세싱인 완료된 비디오 정보에 립싱크를 수행하도록 함으로써, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해 립싱크가 틀려짐으로써 발생되는 상당한 오류를 최소화할 수 있게 된다.As described above, the video lip sync method of the digital broadcasting receiver according to the present invention is caused by performing a lip sync on the completed video information that is image processing through a video processor, thereby causing lip sync to be incorrect due to time delay caused by switching of the video format. This can minimize significant errors.
다음, 도 5a와 도 5b를 참조해 본 발명에 사용되는 PTS의 저장양태를 좀 더 상세히 설명하는데, 먼저 도 5a에 도시된 바와 같이, 본 발명에 따라 별도로 구비된 비디오 PTS정보 저장부에는 소정의 미리 설정된 식별처리알고리즘에 따라 해당 비디오프레임별로 식별된 비디오 PTS정보를 해당 비디오프레임별로 순차적으로(progressive) FIFO(First In First Out)방식에 따라 저장하는 양태가 도시되어 있으며, 도 5b에서는 본 발명에 따라 PTS정보를 비디오프레임별로 식별할 수 있도록 하는 양태가 도시되어 있는데, 여기서는 비디오프레임의 해당 PTS정보에 소정의 식별코드를 코딩시키는 양태가 도시되어 있다. 이러한 양태는 단순한 일예에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변형은 얼마든지 가능하다.Next, the storage mode of the PTS used in the present invention will be described in more detail with reference to FIGS. 5A and 5B. First, as shown in FIG. 5A, a video PTS information storage unit provided separately according to the present invention has a predetermined structure. A video PTS information identified for each video frame according to a predetermined identification processing algorithm is stored in a progressive FIFO (First In First Out) manner for each video frame. FIG. Accordingly, an aspect of identifying the PTS information for each video frame is illustrated. Here, an aspect of coding a predetermined identification code in the corresponding PTS information of the video frame is illustrated. This embodiment is merely an example and various modifications are possible without departing from the technical spirit of the present invention.
이상에서 상세히 설명한 바와 같이, 본 발명에 따른 디지털방송수신기의 립싱크방법은, 비디오 프로세서를 통해 영상프로세싱인 완료된 비디오 정보에 립싱크를 수행하도록 함으로써, 비디오 포맷의 절환 등으로 인한 시간지연으로 인해 립싱크가 틀려짐으로써 발생되는 다양한 오류를 최소화할 수 있게 되는 효과가 있다.As described in detail above, the lip sync method of the digital broadcast receiver according to the present invention, by performing a lip sync to the completed video information that is image processing through a video processor, the lip sync due to time delay due to switching of video format, etc. There is an effect that can minimize the various errors caused by the load.
본 발명은 기재된 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.Although the invention has been described in detail only with respect to the specific examples described, it will be apparent to those skilled in the art that various modifications and variations are possible within the spirit of the invention, and such modifications and variations belong to the appended claims.
도 1은 일반적인 비디오립싱크방법을 설명하기 위한 도면,1 is a view for explaining a general video lip sync method;
도 2는 도 1의 비디오립싱크방법을 좀 더 상세히 설명하기 위한 도면,2 is a view for explaining the video lip syncing method of FIG. 1 in more detail;
도 3은 본 발명이 적용된 디지털방송수신기를 예로 들어 설명한 도면,3 is a view illustrating an example of a digital broadcast receiver to which the present invention is applied;
도 4는 본 발명의 디지털방송수신기의 비디오립싱크방법을 도시한 도면,4 is a view showing a video lip sync method of a digital broadcast receiver of the present invention;
도 5a와 도 5b는 본 발명에 사용되는 PTS를 좀 더 상세히 설명하기 위한 도면이다.5a and 5b are views for explaining in more detail the PTS used in the present invention.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
301 : 튜너부 302 : VSB/QPSK디코더301: Tuner section 302: VSB / QPSK decoder
303 : 전송패킷스트림 디멀티플렉서 304 : 비디오 파서부303: Transmission packet stream demultiplexer 304: Video parser
305 : 비디오 PTS정보 저장부 306 비디오 디코더305: Video PTS information storage unit 306 Video decoder
307 : 비디오 프로세서 308 : 비디오립싱크처리부307: video processor 308: video lip sync processing unit
309 : STC발생부309: STC generator
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040004824A KR20050076968A (en) | 2004-01-26 | 2004-01-26 | Video lip-synchronization method in digital broadcasting receiver |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040004824A KR20050076968A (en) | 2004-01-26 | 2004-01-26 | Video lip-synchronization method in digital broadcasting receiver |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050076968A true KR20050076968A (en) | 2005-07-29 |
Family
ID=37264601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040004824A KR20050076968A (en) | 2004-01-26 | 2004-01-26 | Video lip-synchronization method in digital broadcasting receiver |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20050076968A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041180B2 (en) | 2005-05-24 | 2011-10-18 | Pixtree Inc. | Hardware apparatus and method having video/audio encoding and multiplexing functionality |
| US10633741B2 (en) | 2015-06-26 | 2020-04-28 | Applied Materials, Inc. | Recursive inject apparatus for improved distribution of gas |
| WO2021060578A1 (en) * | 2019-09-25 | 2021-04-01 | 엘지전자 주식회사 | Image display device, lip-sync correction method thereof, and image display system |
-
2004
- 2004-01-26 KR KR1020040004824A patent/KR20050076968A/en not_active Application Discontinuation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041180B2 (en) | 2005-05-24 | 2011-10-18 | Pixtree Inc. | Hardware apparatus and method having video/audio encoding and multiplexing functionality |
| US10633741B2 (en) | 2015-06-26 | 2020-04-28 | Applied Materials, Inc. | Recursive inject apparatus for improved distribution of gas |
| WO2021060578A1 (en) * | 2019-09-25 | 2021-04-01 | 엘지전자 주식회사 | Image display device, lip-sync correction method thereof, and image display system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6862044B2 (en) | Digital broadcast receiving apparatus for restoring and synchronizing sound and image data and control method thereof | |
| US7742687B2 (en) | Digital television recorders and stream format conversion and methods thereof | |
| US7675876B2 (en) | Transport demultiplexor with bit maskable filter | |
| US8111283B2 (en) | Method and apparatus for encoding/decoding video data to implement local three-dimensional video | |
| EP0964576A1 (en) | Method and arrangement for receiving digital video signals | |
| JP4725104B2 (en) | Decoding device and decoding method | |
| KR100294663B1 (en) | Mpeg decoder and decoding control method | |
| CN1245830C (en) | Method and apparatus for simultaneous recording and displaying two different video programs | |
| JP4931034B2 (en) | Decoding device, decoding method, program, and program recording medium | |
| US20140003539A1 (en) | Signalling Information for Consecutive Coded Video Sequences that Have the Same Aspect Ratio but Different Picture Resolutions | |
| US8238446B2 (en) | Method and apparatus for reproducing digital broadcasting | |
| US7630404B2 (en) | Data output apparatus, decoding apparatus, and recording medium | |
| EP1119206A1 (en) | MPEG decoding device | |
| JP2013532432A (en) | Receiver capable of channel change with a single decoder and method at the receiver | |
| US7596297B2 (en) | Information processing apparatus and method program, and recording medium | |
| JP5400009B2 (en) | Transcoding device, transcoding method and program | |
| JP4403404B2 (en) | Decoding device and decoding method | |
| KR100473116B1 (en) | content conversion device and method the same | |
| JP2872104B2 (en) | Time stamp adding apparatus and method, and moving image compression / expansion transmission system and method using the same | |
| US6731657B1 (en) | Multiformat transport stream demultiplexor | |
| US7970056B2 (en) | Method and/or apparatus for decoding an intra-only MPEG-2 stream composed of two separate fields encoded as a special frame picture | |
| KR20050076968A (en) | Video lip-synchronization method in digital broadcasting receiver | |
| KR20000055875A (en) | Method for audio/video signal synchronizing of digital broadcasting receiver | |
| US20060257108A1 (en) | Multimedia reproduction apparatus | |
| KR20080089721A (en) | Lip-synchronize method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |