KR20170067546A - 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법 - Google Patents

오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법 Download PDF

Info

Publication number
KR20170067546A
KR20170067546A KR1020150174324A KR20150174324A KR20170067546A KR 20170067546 A KR20170067546 A KR 20170067546A KR 1020150174324 A KR1020150174324 A KR 1020150174324A KR 20150174324 A KR20150174324 A KR 20150174324A KR 20170067546 A KR20170067546 A KR 20170067546A
Authority
KR
South Korea
Prior art keywords
audio signal
video signal
unique information
signal
information
Prior art date
Application number
KR1020150174324A
Other languages
English (en)
Inventor
이미숙
강경옥
박태진
백승권
서상원
성종모
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150174324A priority Critical patent/KR20170067546A/ko
Priority to US15/228,333 priority patent/US20170163978A1/en
Publication of KR20170067546A publication Critical patent/KR20170067546A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법이 개시된다.
동기화 시스템의 복호화 방법은 부호화 장치로부터 수신한 오디오 신호 및 비디오 신호를 복호화하는 단계; 복호화한 비디오 신호에서 상기 오디오 신호의 제1 고유 정보를 추출하는 단계; 복호화한 오디오 신호를 이용하여 상기 오디오 신호의 제2 고유 정보를 생성하는 단계; 상기 제1 고유 정보와 상기 제2 고유 정보를 비교하여 상기 오디오 신호와 상기 비디오 신호 간의 지연을 결정하는 단계; 및 상기 지연에 따라 상기 오디오 신호와 상기 비디오 신호를 동기화하는 단계를 포함하고, 상기 제2 고유 정보는, 상기 부호화 장치에서 부호화하기 전의 오디오 신호를 이용하여 생성되고, 상기 비디오 정보에 삽입될 수 있다.

Description

오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법{SYSTEM AND METHOD FOR AUDIO SIGNAL AND A VIDEO SIGNAL SYNCHRONIZATION}
본 발명은 부호화/복호화 장치에서 오디오 신호 및 비디오 신호를 동기화하기 위한 시스템 및 방법에 관한 것이다.
연속되는 오디오 신호와 비디오 신호를 실시간으로 전송하여 방송하는 서비스가 제공되고 있다. 이때, 오디오 신호와 비디오 신호를 전송하기 위해서는 송신단에서 오디오 신호와 비디오 신호를 부호화하여 전송하고, 수신단에서 수신한 신호에서 오디오 신호와 비디오 신호를 복호화하여 재생해야 한다.
그러나, 송신단에서 오디오 신호와 비디오 신호의 동기를 일치 시키더라고, 부호화 과정, 복호화 과정 또는 전송 과정에서 오디오 신호, 또는 비디오 신호의 지연이 발생할 수 있다. 이때, 수신단에 재생하는 오디오 신호와 비디오 신호의 동기가 일치하지 않아 서비스의 품질이 저하될 수 있는 실정이다.
따라서, 오디오 신호와 비디오 신호간의 지연을 검출하여 자동으로 동기를 맞추는 방법이 요청되고 있다.
본 발명은 비디오 신호, 또는 오디오 신호의 지연에 따른 문제 발생을 방지하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 부호화 장치로부터 수신한 오디오 신호 및 비디오 신호를 복호화하는 단계; 복호화한 비디오 신호에서 상기 오디오 신호의 제1 고유 정보를 추출하는 단계; 복호화한 오디오 신호를 이용하여 상기 오디오 신호의 제2 고유 정보를 생성하는 단계; 상기 제1 고유 정보와 상기 제2 고유 정보를 비교하여 상기 오디오 신호와 상기 비디오 신호 간의 지연을 결정하는 단계; 및 상기 지연에 따라 상기 오디오 신호와 상기 비디오 신호를 동기화하는 단계를 포함하고, 상기 제1 고유 정보는, 상기 부호화 장치에서 부호화하기 전의 오디오 신호를 이용하여 생성되고, 상기 비디오 정보에 삽입될 수 있다.
본 발명의 일실시예에 따른 복호화 방법의 지연을 결정하는 단계는, 상기 제1 고유 정보와 매칭되는 상기 제2 고유 정보를 검색하고, 검색된 제2 고유 정보를 생성하기 위하여 사용한 상기 오디오 신호의 프레임과 상기 제1 고유 정보를 추출한 상기 오디오 신호의 프레임 간의 차이를 상기 지연으로 결정할 수 있다.
본 발명의 일실시예에 따른 복호화 방법의 비디오 신호는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 기초한 프레임들 간의 간격에 따라 상기 제1 고유 신호가 삽입되는 프레임이 결정될 수 있다.
본 발명의 일실시예에 따른 복호화 방법의 비디오 신호는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 삽입되는 제1 고유 신호의 크기가 결정될 수 있다.
본 발명의 일실시예에 따른 복호화 방법의 제1 고유 신호는, 상기 비디오 신호의 부호화 특징에 따라 상기 오디오 신호의 고유 정보를 프레임 간 순방향 예측 부호화 영상인 P (Unidirectionally Predicted) 프레임, 또는 쌍방향 예측 부호화 영상인 B(Bidirectionally Predictive) 프레임에 삽입될 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 부호화 장치로부터 수신한 오디오 신호 및 비디오 신호를 복호화하는 단계; 복호화한 비디오 신호에서 상기 오디오 신호의 제1 고유 정보를 추출하는 단계; 복호화한 오디오 신호에서 상기 비디오 신호의 제1 고유 정보를 추출하는 단계; 복호화한 오디오 신호를 이용하여 상기 오디오 신호의 제2 고유 정보를 생성하는 단계; 복호화한 비디오 신호를 이용하여 상기 비디오 신호의 제2 고유 정보를 생성하는 단계; 상기 오디오 신호의 제1 고유 정보, 상기 오디오 신호의 제2 고유 정보, 상기 비디오 신호의 제1 고유 정보, 및 상기 비디오 신호의 제2 고유 정보를 비교하여 상기 오디오 신호와 상기 비디오 신호 간의 지연을 결정하는 단계; 및 상기 지연에 따라 상기 오디오 신호와 상기 비디오 신호를 동기화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법의 오디오 신호는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 기초한 프레임들 간의 간격에 따라 상기 비디오 신호의 제1 고유 신호가 삽입되는 프레임이 결정될 수 있다.
본 발명의 일실시예에 따른 복호화 방법의 오디오 신호는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 삽입되는 제1 비디오 신호의 제1 고유 신호의 크기가 결정될 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 오디오 신호를 이용하여 상기 오디오 신호의 제1 고유 정보를 생성하는 단계; 상기 제1 고유 정보를 비디오 신호에 삽입하는 단계; 및 상기 제1 고유 정보에 대응하는 상기 오디오 신호 및 상기 오디오 신호의 제1 고유 정보가 삽입된 비디오 신호를 부호화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법의 생성하는 단계는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 오디오 신호의 제1 고유 정보를 생성할 프레임들 간의 간격을 결정할 수 있다.
본 발명의 일실시예에 따른 부호화 방법의 생성하는 단계는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 제1 오디오 신호의 고유 정보의 크기를 결정할 수 있다.
본 발명의 일실시예에 따른 부호화 방법의 삽입하는 단계는, 상기 비디오 신호의 부호화 특징에 따라 상기 오디오 신호의 제1 고유 정보를 프레임 간 순방향 예측 부호화 영상인 P 프레임, 또는 쌍방향 예측 부호화 영상인 B 프레임에 삽입할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 오디오 신호를 이용하여 상기 오디오 신호의 제1 고유 정보를 생성하는 단계; 비디오 신호를 이용하여 상기 비디오 신호의 제1 고유 정보를 생성하는 단계; 상기 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입하는 단계; 상기 비디오 신호의 제1 고유 정보를 비디오 신호에 삽입하는 단계; 및 상기 비디오 신호의 제1 고유 정보가 삽입된 오디오 신호 및 상기 오디오 신호의 제1 고유 정보가 삽입된 비디오 신호를 부호화하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법의 생성하는 단계는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 오디오 신호의 제1 고유 정보를 생성할 프레임들 간의 간격, 또는 상기 비디오 신호의 제1 고유 정보를 생성할 프레임들 간의 간격을 결정할 수 있다.
본 발명의 일실시예에 따른 부호화 방법의 생성하는 단계는, 상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 제1 오디오 신호의 고유 정보의 크기 및 상기 비디오 신호의 제1 고유 정보의 크기를 결정할 수 있다.
본 발명의 일실시예에 따른 부호화 방법의 삽입하는 단계는, 상기 비디오 신호의 부호화 특징에 따라 상기 오디오 신호의 제1 고유 정보를 프레임 간 순방향 예측 부호화 영상인 P 프레임, 또는 쌍방향 예측 부호화 영상인 B 프레임에 삽입할 수 있다.
본 발명의 일실시예에 의하면, 부호화 장치에서 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입하여 전송하고, 복호화 장치가 복호화한 비디오 신호에서 추출한 제1 고유 정보와 복호화한 오디오 신호에서 생성한 제2 고유 정보를 비교한 결과에 따라 비디오 신호와 오디오 신호를 동기화함으로써, 비디오 신호, 또는 오디오 신호의 지연에 따른 문제 발생을 방지할 수 있다.
도 1은 본 발명의 일실시예에 따른 동기화 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 동기화 시스템의 부호화 장치를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 동기화 시스템의 부호화 장치의 동작 일례이다.
도 4는 본 발명의 제1 일실시예에 따른 동기화 시스템의 부호화 장치의 구성들 간의 동작을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 동기화 시스템의 복호화 장치를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 동기화 시스템의 복호화 장치의 동작 일례이다.
도 7은 본 발명의 제1 일실시예에 따른 동기화 시스템의 복호화 장치의 구성들 간의 동작을 나타내는 도면이다.
도 8은 본 발명의 제2 일실시예에 따른 동기화 시스템의 부호화 장치의 구성들 간의 동작을 나타내는 도면이다.
도 9는 본 발명의 제2 일실시예에 따른 동기화 시스템의 복호화 장치의 구성들 간의 동작을 나타내는 도면이다.
도 10은 본 발명의 제1 실시예에 따른 부호화 방법을 도시한 플로우차트이다.
도 11은 본 발명의 제1 실시예에 따른 복호화 방법을 도시한 플로우차트이다.
도 12는 본 발명의 제2 실시예에 따른 부호화 방법을 도시한 플로우차트이다.
도 13은 본 발명의 제2 실시예에 따른 복호화 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 부호화 방법은 동기화 시스템의 부호화 장치에 의해 수행될 수 있다. 또한, 본 발명의 일실시예에 따른 복호화 방법은 동기화 시스템의 복호화 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 동기화 시스템을 나타내는 도면이다.
오디오 신호와 비디오 신호를 실시간 전송하는 서비스에서 수신한 비디오 신호와 오디오 신호를 동기화하기 위한 동기화 시스템은 도 1에 도시된 바와 같이 부호화 장치(110) 및 복호화 장치(120)를 포함할 수 있다.
부호화 장치(110)는 카메라(111)로부터 수신한 비디오 신호와 마이크(112)로부터 수신한 오디오 신호를 부호화하여 복호화 장치(120)로 전송할 수 있다.
이때, 부호화 장치(110)는 비디오 신호, 또는 오디오 신호를 이용하여 비디오 신호, 또는 오디오 신호의 제1 고유 정보를 생성할 수 있다. 예를 들어, 제1 고유 정보는 사람의 지문과 같이 오디오 신호, 또는 비디오 신호의 고유한 특징을 나타내는 핑거 프린트(Fingerprint)일 수 있다.
그리고, 부호화 장치(110)는 비디오 신호의 제1 고유 정보를 오디오 신호에 삽입하거나, 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입할 수 있다.
마지막으로, 부호화 장치(110)는 제1 고유 정보가 삽입된 비디오 신호, 또는 오디오 신호와, 제1 고유 정보를 대응하는 오디오 신호, 또는 비디오 신호를 부호화하여 복호화 장치(120)로 전송할 수 있다. 이때, 부호화 장치(110)는 비디오 신호의 제1 고유 정보가 삽입된 오디오 신호와 오디오 신호의 제1 고유 정보가 삽입된 비디오 신호를 부호화할 수도 있다.
부호화 장치(110)의 구체적인 구성 및 동작은 이하 도 2 내지 도 4, 도 8을 참조로 상세히 설명한다.
복호화 장치(120)는 부호화 장치(110)로부터 수신한 신호에서 비디오 신호와 오디오 신호를 복호화할 수 있다.
이때, 복호화 장치(120)는 오디오 신호, 또는 비디오 신호에서 비디오 신호의 제1 고유 정보, 또는 오디오 신호의 제1 고유 정보를 추출할 수 있다. 이때, 복호화 장치(120)는 비디오 신호, 또는 오디오 신호를 이용하여 비디오 신호, 또는 오디오 신호의 제2 고유 정보를 생성할 수 있다.
그리고, 복호화 장치(120)는 추출한 제1 고유 정보와 생성한 제2 고유 정보를 비교하고, 비교 결과에 따라 비디오 신호와 오디오 신호 간의 지연을 검출할 수 있다. 마지막으로 복호화 장치(120)는 검출한 지연에 따라 비디오 신호와 오디오 신호를 동기화하여 디스플레이(121) 및 스피커(122)로 출력할 수 있다.
이때, 제1 고유 정보와 제2 고유 정보는 동일한 비디오 신호, 또는 오디오 신호를 이용하여 생성되므로, 원칙적으로는 동일한 정보일 수 있다. 그러나, 부호화, 복호화 및 전송 과정에 따라 비디오 신호, 및 오디오 신호에 변화가 발생할 수 있다. 따라서, 부호화 전의 비디오 신호, 또는 오디오 신호를 이용하여 생성한 제1 고유 정보와 복호화한 비디오 신호, 또는 오디오 신호를 이용하여 생성한 제2 고유 정보 간에 차이가 발생할 수 있다.
다만, 부호화와 복호화가 정상적으로 수행되는 경우, 제1 고유 정보와 제2 고유 정보 간의 차이는 오차 범위 이하일 수 있다. 따라서, 복호화 장치(120)는 제2 고유 정보 중에서 제1 고유 정보와 유사도가 가장 높은 제2 고유 정보를 제1 고유 정보와 동일한 비디오 신호, 또는 오디오 신호의 프레임에서 생성한 고유 정보로 판단하고, 제1 고유 정보와 매칭시켜 비교할 수 있다.
복호화 장치(120)의 구체적인 구성 및 동작은 이하 도 5 내지 도 7, 도 9를 참조로 상세히 설명한다.
본 발명의 일실시예에 따른 동기화 시스템은 부호화 장치(110)가 오디오 신호에서 생성한 제1 고유 정보를 비디오 신호에 삽입하여 전송하고, 복호화 장치(110)가 비디오 신호에서 추출한 제1 고유 정보와 복호화한 오디오 신호에서 생성한 제2 고유 정보를 비교하여 비디오 신호와 오디오 신호 간의 지연을 검출하며, 지연에 따라 비디오 신호와 오디오 신호를 동기화함으로써, 비디오 신호, 또는 오디오 신호의 지연에 따른 문제 발생을 방지할 수 있다.
도 2는 본 발명의 일실시예에 따른 동기화 시스템의 부호화 장치를 나타내는 도면이다.
부호화 장치(110)는 도 2에 도시된 바와 같이 고유 정보 생성부(210), 제어부(220), 고유 정보 삽입부(230), 비디오 부호화부(240), 오디오 부호화부(250), 및 전송부(260)를 포함할 수 있다.
고유 정보 생성부(210)는 마이크(112)로부터 입력된 오디오 신호를 이용하여 오디오 신호의 제1 고유 정보를 생성할 수 있다. 또한, 고유 정보 생성부(210)는 카메라(111)로부터 입력된 비디오 신호를 이용하여 비디오 신호의 제1 고유 정보를 생성할 수도 있다.
제어부(220)는 오디오 신호, 및 비디오 신호의 특징에 따라 프레임들 간의 간격, 고유 정보의 크기 중 적어도 하나를 제어할 수 있다. 예를 들어, 제어부(220)는 고유 정보 생성부(210), 및 고유 정보 삽입부(230)를 제어하는 Fingerprint Control 모듈일 수 있다.
이때, 프레임들 간의 간격은 오디오 신호, 또는 비디오 신호에서 고유 정보를 생성할 프레임들 간의 간격일 수 있다. 그리고, 제어부(220)는 프레임들 간의 간격에 따라 고유 정보 생성부(210)가 오디오 신호, 또는 비디오 신호의 프레임에 대응하는 고유 정보를 생성할지 여부를 결정할 수 있다.
또한, 고유 정보의 크기는 고유 정보 생성부(210)가 오디오 신호, 또는 비디오 신호의 프레임을 이용하여 생성하는 고유 정보의 크기일 수 있다.
오디오 신호와 비디오 신호가 포함된 컨텐츠의 타입에 따라 요구되는 동기화의 정밀도가 다를 수 있다.
예를 들어, 비디오 신호가 자연 다큐멘터리 비디오이고, 오디오 신호가 음악이나 나래이션인 경우, 비디오 신호와 오디오 신호가 동기화되지 않아도 사용자가 인식하지 못할 수 있다. 따라서, 동기화 시스템에 요구되는 동기화의 정밀도는 낮을 수 있다.
반면, 비디오 신호가 드라마의 화면, 또는 영상 회의의 화면이고, 오디오 신호가 드라마의 대사, 또는 영상 회의의 상대방 대사인 경우, 사용자는 화면에 표시되는 사람의 입 모양과 오디오 신호에 포함된 대사가 일치하지 않는지 여부를 용이하게 인식할 수 있다. 따라서, 동기화 시스템에 요구되는 동기화의 정밀도가 높을 수 있다.
제어부(220)는 동기화 시스템에 요구되는 동기화의 정밀도가 높을수록 고유 정보 생성부(210)가 오디오 신호, 또는 비디오 신호에서 고유 정보를 생성할 프레임들 간의 간격을 좁힐 수 있다. 그리고, 오디오 신호, 또는 비디오 신호에서 고유 정보를 생성할 프레임들 간의 간격이 좁아짐에 따라 제어부(220)가 고유 정보를 생성하도록 결정하는 프레임의 비율, 또는 개수가 증가할 수 있다.
또한, 제어부(220)는 복호화 장치(120)에서 현재 프레임과 유사한 다른 프레임의 제2 고유 정보가 현재 프레임의 제1 고유 정보와 매칭되는 것을 방지하기 위하여 오디오 신호, 또는 비디오 신호의 프레임에서 생성하는 고유 정보의 크기를 증가시킬 수 있다. 예를 들어, 고유 정보의 크기가 4비트인 경우, 고유 정보의 타입이 16개로 한정되므로, 현재 프레임의 고유 정보와 인접한 다른 프레임의 고유 정보가 동일, 또는 유사할 수 있다. 그러나, 고유 정보의 크기를 8비트로 증가시키는 경우, 고유 정보의 타입이 256개까지 증가하므로, 현재 프레임의 고유 정보와 인접한 다른 프레임의 고유 정보가 동일, 또는 유사할 가능성이 낮아진다.
즉, 제어부(220)는 동기화 시스템에 요구되는 동기화의 정밀도가 높을수록 고유 정보 생성부(210)가 오디오 신호, 또는 비디오 신호의 프레임에서 생성하는 고유 정보의 크기를 증가시킴으로써, 현재 프레임과 유사한 다른 프레임의 제2 고유 정보가 현재 프레임의 제1 고유 정보와 매칭되는 것을 방지할 수 있다.
또한, 제어부(220)는 동기화 시스템에 요구되는 동기화의 정밀도가 높을수록 고유 정보 생성부(210)가 오디오 신호, 또는 비디오 신호에서 고유 정보를 생성할 프레임들 간의 간격을 증가시키거나, 생성하는 고유 정보의 크기를 감소시킴으로써, 고유 정보의 생성 및 삽입에 필요한 자원 소모를 절감할 수 있다.
그리고, 제어부(220)는 비디오 신호의 부호화 특징에 따라 고유 정보 삽입부(230)가 오디오 신호의 제1 고유 정보를 비디오 신호의 I (Intra) 프레임에 삽입하도록 제어할 수 있다. 또한, 제어부(220)는 비디오 신호의 부호화 특징에 따라 고유 정보 삽입부(230)가 오디오 신호의 제1 고유 정보를 비디오 신호의 프레임 간 순방향 예측 부호화 영상인 P (Unidirectionally Predicted) 프레임, 또는 쌍방향 예측 부호화 영상인 B(Bidirectionally Predictive) 프레임에 삽입하도록 제어할 수도 있다.
고유 정보 삽입부(230)는 제어부(220)의 제어에 따라 고유 정보 생성부(210)가 생성한 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입할 수 있다. 예를 들어, 고유 정보 삽입부(230)는 워터마킹(Watermarking)을 이용하여 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입할 수 있다. 이때, 고유 정보 삽입부(230)는 비디오 신호에 워터마크로 삽입된 오디오 신호의 제1 고유 정보가 사용자에게 표시되지 않도록 설정된 워터마킹을 이용할 수 있다.
또한, 고유 정보 생성부(210)가 비디오 신호의 제1 고유 정보를 생성한 경우, 고유 정보 삽입부(230)는 비디오 신호의 제1 고유 정보를 오디오 신호에 삽입할 수 있다. 이때, 고유 정보 삽입부(230)는 오디오 신호에 워터마크로 삽입된 비디오 신호의 제1 고유 정보가 사용자에게 들리지 않도록 설정된 워터마킹을 이용할할 수 있다.
비디오 부호화부(240)는 고유 정보 생성부(210)가 오디오 신호의 제1 고유 정보를 삽입한 비디오 신호를 부호화할 수 있다.
오디오 부호화부(250)는 제1 고유 정보에 대응하는 오디오 신호를 부호화할 수 있다. 또한, 고유 정보 생성부(210)가 비디오 신호의 제1 고유 정보를 생성한 경우, 오디오 부호화부(250)는 비디오 신호의 제1 고유 정보가 삽입된 오디오 신호를 부호화할 수 있다.
전송부(260)는 비디오 부호화부(240)에서 부호화한 비디오 신호와 오디오 부호화부(250)에서 부호화한 오디오 신호를 패킹(Packing)하여 복호화 장치(120)로 전송(Transmit)할 수 있다.
도 3은 본 발명의 일실시예에 따른 동기화 시스템의 부호화 장치의 동작 일례이다.
오디오 신호(x(n))(310)와 비디오 신호(v(n))(330)은 동기를 맞추어 마이크(112)와 카메라(111)에서 각각 획득한 신호들일 수 있다.
이때, 부호화 장치(110)는 오디오 신호(x(n))(310)의 프레임 별로 고유 정보(FA)(320)를 생성할 수 있다. 그리고, 부호화 장치(110)는 워터마킹 기술을 이용하여 비디오 신호(v(n))(330)의 프레임 각각에 고유 정보(FA)(320)를 삽입할 수 있다.
마지막으로 부호화 장치(110)는 고유 정보(FA)(320)가 삽입된 비디오 신호(v'(n))(330)를 부호화하여 복호화 장치(120)로 전송할 수 있다.
도 4는 본 발명의 제1 일실시예에 따른 동기화 시스템의 부호화 장치의 구성들 간의 동작을 나타내는 도면이다.
본 발명의 제1 실시예는 비디오 신호에 오디오 신호의 제1 고유 정보를 삽입하는 실시예이다.
제어부(220)는 카메라(111)로부터 수신한 비디오 신호 및 마이크(112)로부터 수신한 오디오 신호의 특성에 따라 프레임들 간의 간격, 및 고유 정보의 크기를 결정할 수 있다. 그리고, 제어부(220)는 프레임들 간의 간격에 따라 고유 정보 생성부(210)가 수신한 오디오 신호의 프레임들 중에서 고유 정보를 생성할 프레임을 결정할 수 있다.
이때, 고유 정보 생성부(210)는 제어부(220)의 제어에 따라 마이크(112)로부터 수신한 오디오 신호의 프레임들 중에서 적어도 하나의 프레임을 이용하여 오디오 신호의 제1 고유 정보를 생성할 수 있다. 그리고, 고유 정보 생성부(210)는 생성한 오디오 신호의 제1 고유 정보를 고유 정보 삽입부(230)로 전송할 수 있다. 또한, 고유 정보 생성부(210)는 고유 정보를 생성한 오디오 신호의 프레임, 및 고유 정보를 생성하지 않은 오디오 신호의 프레임을 오디오 부호화부(250)로 전송할 수 있다.
다음으로, 고유 정보 삽입부(230)는 카메라(111)로부터 수신한 비디오 신호에 고유 정보 생성부(210)로부터 수신한 오디오 신호의 제1 고유 정보를 삽입할 수 있다. 그리고, 고유 정보 삽입부(230)는 오디오 신호의 제1 고유 정보를 삽입한 오디오 신호를 비디오 부호화부(240)로 전송할 수 있다.
이때, 고유 정보 삽입부(230)는 워터마킹 기술을 이용하여 비디오 신호에 오디오 신호의 제1 고유 정보를 삽입할 수 있다. 또한, 고유 정보 삽입부(230)는 오디오 신호의 제1 고유 정보를 생성한 오디오 신호의 프레임을 식별하고, 식별한 프레임에 동기화된 비디오 신호의 프레임에 오디오 신호의 제1 고유 정보를 삽입할 수 있다. 예를 들어, 오디오 신호의 5번째 프레임을 이용하여 오디오 신호의 제1 고유 정보가 생성된 경우, 고유 정보 삽입부(230)는 비디오 신호의 5번째 프레임에 오디오 신호의 제1 고유 정보를 삽입할 수 있다.
그 다음으로, 오디오 부호화부(250)는 고유 정보 생성부(210)로부터 수신한 오디오 신호의 프레임들을 부호화하여 제2 전송부(420)로 전송할 수 있다.
이때, 비디오 부호화부(250)는 고유 정보 삽입부(230)로부터 수신한 비디오 신호를 부호화하여 제1 전송부(410)로 전송할 수 있다.
제1 전송부(410)및 제2 전송부(420)는 전송부(260)에 포함되며, 도 4에 도시된 바와 같이 비디오 신호와 오디오 신호 별로 분리될 수도 있고, 하나의 전송부(260) 안에 포함될 수도 있다.
제1 전송부(410)는 비디오 부호화부(240)에서 부호화한 비디오 신호를 패킹하여 복호화 장치(120)로 전송할 수 있다.
또한, 제2 전송부(420)는 오디오 부호화부(250)에서 부호화한 오디오 신호를 패킹하여 복호화 장치(120)로 전송할 수 있다.
도 5는 본 발명의 일실시예에 따른 동기화 시스템의 복호화 장치를 나타내는 도면이다.
복호화 장치(120)는 도 5에 도시된 바와 같이 수신부(510), 비디오 복호화부(520), 오디오 복호화부(530), 고유 정보 추출부(540), 고유 정보 생성부(550), 동기화부(560)를 포함할 수 있다.
수신부(510)는 부호화 장치(110)로부터 수신(Receive)한 정보를 언펙킹(Unpacking)하여 부호화된 오디오 신호 및 부호화된 비디오 신호를 추출할 수 있다. 그리고, 수신부(510)는 부호화된 오디오 신호를 오디오 복호화부(530)로 전송하고, 부호화된 비디오 신호를 비디오 복호화부(520)로 전송할 수 있다.
비디오 복호화부(520)는 수신부(510)로부터 수신한 부호화된 비디오 신호를 복호화할 수 있다.
오디오 복호화부(530)는 수신부(510)로부터 수신한 부호화된 오디오 신호를 복호화할 수 있다.
고유 정보 추출부(540)는 비디오 복호화부(520)가 복호화한 비디오 신호에서 오디오 신호의 제1 고유 정보를 추출할 수 있다. 또한, 부호화 장치(110)가 오디오 신호에 비디오 신호의 제1 고유 정보를 삽입한 경우, 고유 정보 추출부(540)는 오디오 복호화부(530)가 복호화한 오디오 신호에서 비디오 신호의 제1 고유 정보를 추출할 수도 있다.
고유 정보 생성부(550)는 오디오 복호화부(530)가 복호화한 오디오 신호를 이용하여 오디오 신호의 제2 고유 정보를 생성할 수 있다. 또한, 부호화 장치(110)가 오디오 신호에 비디오 신호의 제1 고유 정보를 삽입한 경우, 고유 정보 생성부(550)는 비디오 복호화부(520)가 복호화한 비디오 신호를 이용하여 비디오 신호의 제2 고유 정보를 생성할 수도 있다.
동기화부(560)는 오디오 신호의 제1 고유 정보와 오디오 신호의 제2 고유 정보를 비교하여 오디오 신호와 비디오 신호 간의 지연을 결정할 수 있다. 그리고, 동기화부(560)는 결정한 지연에 따라 오디오 신호와 비디오 신호를 동기화할 수 있다.
구체적으로, 동기화부(560)는 오디오 신호의 제1 고유 정보와 매칭되는 오디오 신호의 제2 고유 정보를 검색할 수 있다. 그리고, 검색된 제2 고유 정보를 생성하기 위하여 고유 정보 생성부(550)가 사용한 오디오 신호의 프레임과 고유 정보 추출부(540)가 제1 고유 정보를 추출한 오디오 신호의 프레임 간의 차이를 지연으로 결정할 수 있다.
또한, 부호화 장치(110)가 오디오 신호에 비디오 신호의 제1 고유 정보를 삽입한 경우, 동기화부(560)는 오디오 신호의 제1 고유 정보, 오디오 신호의 제2 고유 정보, 비디오 신호의 제1 고유 정보, 및 비디오 신호의 제2 고유 정보를 비교하여 오디오 신호와 상기 비디오 신호 간의 지연을 결정할 수 있다.
도 6은 본 발명의 일실시예에 따른 동기화 시스템의 복호화 장치의 동작 일례이다.
오디오 신호(610)가 도 6에 도시된 바와 같이 비디오 신호(620)보다 한 프레임 먼저 수신될 수 있다.
이때, 복호화 장치(120)는 오디오 신호(610)의 첫 번째 프레임을 이용하여 제2 고유 정보(611)를 생성하고, 오디오 신호(610)의 두 번째 프레임을 이용하여 제2 고유 정보(612)를 생성할 수 있다.
또한, 복호화 장치(120)는 비디오 신호(620)의 첫 번째 프레임에서 오디오 신호의 제1 고유 정보(621)을 추출할 수 있다.
이때, 제1 고유 정보(621)는 부호화 전의 오디오 신호의 첫 번째 프레임에서 생성된 고유 정보이므로, 제1 고유 정보(621)를 추출하는 시점에서 생성된 제2 고유 정보(612)와는 상이할 수 있다.
따라서, 복호화 장치(120)는 오디오 신호(610)의 프레임들을 이용하여 생성한 제2 고유 정보들 중에서 제1 고유 정보(621)과 동일한 고유 정보인 제2 고유 정보(611)을 검색할 수 있다.
이때, 제2 고유 정보(611)과 제1 고유 정보(621) 간의 지연은 한 프레임이므로, 복호화 장치(120)는 오디오 신호(610)의 출력을 한 프레임 지연시킴으로써, 비디오 신호(620)와 동기화할 수 있다.
도 7은 본 발명의 제1 일실시예에 따른 동기화 시스템의 복호화 장치의 구성들 간의 동작을 나타내는 도면이다.
수신부(510)는 도 7에 도시된 바와 같이 제1 수신부(710)와 제2 수신부(720)를 포함할 수 있다.
제1 수신부(710)는 제1 전송부(410)로부터 수신한 정보를 언펙킹(Unpacking)하여 부호화된 비디오 신호를 추출할 수 있다. 그리고, 제1 수신부(710)는 부호화된 비디오 신호를 비디오 복호화부(520)로 전송할 수 있다.
제2 수신부(720)는 제2 전송부(420)로부터 수신한 정보를 언펙킹하여 부호화된 오디오 신호를 추출할 수 있다. 그리고, 제2 수신부(720)는 부호화된 오디오 신호를 오디오 복호화부(530)로 전송할 수 있다.
비디오 복호화부(520)는 제1 수신부(710)로부터 수신한 부호화된 비디오 신호를 복호화할 수 있다. 그리고, 비디오 복호화부(520)는 복호화한 비디오 신호를 고유 정보 추출부(540) 및 동기화부(560)로 전송할 수 있다.
오디오 복호화부(530)는 제2 수신부(720)로부터 수신한 부호화된 오디오 신호를 복호화할 수 있다. 그리고, 오디오 복호화부(530)는 복호화한 오디오 신호를 고유 정보 생성부(550) 및 동기화부(560)로 전송할 수 있다.
고유 정보 추출부(540)는 비디오 복호화부(520)가 복호화한 비디오 신호에서 오디오 신호의 제1 고유 정보를 추출할 수 있다. 그리고, 고유 정보 추출부(540)는 추출한 오디오 신호의 제1 고유 정보를 동기화부(560)로 전송할 수 있다.
고유 정보 생성부(550)는 오디오 복호화부(530)가 복호화한 오디오 신호를 이용하여 오디오 신호의 제2 고유 정보를 생성할 수 있다. 그리고, 고유 정보 생성부(550)는 생성한 오디오 신호의 제2 고유 정보를 동기화부(560)로 전송할 수 있다.
동기화부(560)는 고유 정보 추출부(540)로부터 수신한 오디오 신호의 제1 고유 정보와 고유 정보 생성부(550)로부터 수신한 오디오 신호의 제2 고유 정보를 비교하여 오디오 신호와 비디오 신호 간의 지연을 결정할 수 있다. 그리고, 동기화부(560)는 결정한 지연에 따라 오디오 복호화부(530)로부터 수신한 오디오 신호와 비디오 복호화부(520)로부터 수신한 비디오 신호를 동기화하여 디스플레이(121) 및 스피커(122)로 출력할 수 있다.
도 8은 본 발명의 제2 일실시예에 따른 동기화 시스템의 부호화 장치의 구성들 간의 동작을 나타내는 도면이다.
본 발명의 제2 실시예는 오디오 신호의 고유 정보 및 비디오 신호의 고유 정보를 생성하여 부호화하고, 복호화하여 동기화할 수 있다.
이때, 제1 고유 정보 삽입부(830), 및 제2 고유 정보 삽입부(840)는 고유 정보 삽입부(230)에 포함될 수 있다. 또한, 고유 정보 생성부(810)는 고유 정보 생성부(210)와 동일한 구성이고, 제어부(820)는 제어부(220)와 동일한 구성일 수 있다.
제어부(820)는 카메라(111)로부터 수신한 비디오 신호 및 마이크(112)로부터 수신한 오디오 신호의 특성에 따라 프레임들 간의 간격, 및 고유 정보의 크기를 결정할 수 있다. 그리고, 제어부(820)는 프레임들 간의 간격에 따라 제고유 정보 생성부(810)가 수신한 오디오 신호의 프레임들 및 비디오 신호의 프레임들 중에서 고유 정보를 생성할 프레임을 결정할 수 있다.
이때, 고유 정보 생성부(810)는 제어부(820)의 제어에 따라 마이크(112)로부터 수신한 오디오 신호의 프레임들 중에서 적어도 하나의 프레임을 이용하여 오디오 신호의 제1 고유 정보를 생성할 수 있다. 그리고, 고유 정보 생성부(810)는 생성한 오디오 신호의 제1 고유 정보를 제1 고유 정보 삽입부(830)로 전송할 수 있다.
또한, 고유 정보 생성부(810)는 제어부(820)의 제어에 따라 마이크(112)로부터 수신한 비디오 신호의 프레임들 중에서 적어도 하나의 프레임을 이용하여 비디오 신호의 제1 고유 정보를 생성할 수 있다. 그리고, 고유 정보 생성부(810)는 생성한 비디오 신호의 제1 고유 정보를 제2 고유 정보 삽입부(840)로 전송할 수 있다.
다음으로, 제1 고유 정보 삽입부(830)는 카메라(111)로부터 수신한 비디오 신호에 고유 정보 생성부(810)로부터 수신한 오디오 신호의 제1 고유 정보를 삽입할 수 있다. 그리고, 제1 고유 정보 삽입부(830)는 오디오 신호의 제1 고유 정보를 삽입한 오디오 신호를 비디오 부호화부(240)로 전송할 수 있다. 이때, 제1 고유 정보 삽입부(830)는 워터마킹 기술을 이용하여 비디오 신호에 오디오 신호의 제1 고유 정보를 삽입할 수 있다.
또한, 제2 고유 정보 삽입부(840)는 마이크(112)로부터 수신한 오디오 신호에 고유 정보 생성부(810)로부터 수신한 비디오 신호의 제1 고유 정보를 삽입할 수 있다. 그리고, 제2 고유 정보 삽입부(840)는 비디오 신호의 제1 고유 정보를 삽입한 오디오 신호를 오디오 부호화부(240)로 전송할 수 있다. 이때, 제2 고유 정보 삽입부(840)는 워터마킹 기술을 이용하여 오디오 신호에 비디오 신호의 제1 고유 정보를 삽입할 수 있다.
그 다음으로, 비디오 부호화부(250)는 제1 고유 정보 삽입부(830)로부터 수신한 비디오 신호를 부호화하여 제1 전송부(850)로 전송할 수 있다.
또한, 오디오 부호화부(250)는 제2 고유 정보 삽입부(840)로부터 수신한 오디오 신호의 프레임들을 부호화하여 제2 전송부(860)로 전송할 수 있다.
제1 전송부(850)및 제2 전송부(860)는 전송부(260)에 포함되며, 도 8에 도시된 바와 같이 비디오 신호와 오디오 신호 별로 분리될 수도 있고, 하나의 전송부(260) 안에 포함될 수도 있다.
제1 전송부(850)는 비디오 부호화부(240)에서 부호화한 비디오 신호를 패킹하여 복호화 장치(120)로 전송할 수 있다.
또한, 제2 전송부(860)는 오디오 부호화부(250)에서 부호화한 오디오 신호를 패킹하여 복호화 장치(120)로 전송할 수 있다.
도 9는 본 발명의 제2 일실시예에 따른 동기화 시스템의 복호화 장치의 구성들 간의 동작을 나타내는 도면이다.
이때, 제1 고유 정보 추출부(930)와 제2 고유 정보 추출부(940)는 고유 정보 추출부(540)에 포함될 수 있다. 또한, 고유 정보 생성부(950)는 고유 정보 생성부(550)와 동일한 구성일 수 있다.
수신부(510)는 도 9에 도시된 바와 같이 제1 수신부(910)와 제2 수신부(920)를 포함할 수 있다.
제1 수신부(910)는 제1 전송부(850)로부터 수신한 정보를 언펙킹하여 부호화된 비디오 신호를 추출할 수 있다. 그리고, 제1 수신부(910)는 부호화된 비디오 신호를 비디오 복호화부(520)로 전송할 수 있다.
제2 수신부(920)는 제2 전송부(860)로부터 수신한 정보를 언펙킹하여 부호화된 오디오 신호를 추출할 수 있다. 그리고, 제2 수신부(920)는 부호화된 오디오 신호를 오디오 복호화부(530)로 전송할 수 있다.
비디오 복호화부(520)는 제1 수신부(910)로부터 수신한 부호화된 비디오 신호를 복호화할 수 있다. 그리고, 비디오 복호화부(520)는 복호화한 비디오 신호를 제1 고유 정보 생성부(930), 고유 정보 추출부(950) 및 동기화부(960)로 전송할 수 있다. 이때, 제1 고유 정보 추출부(950)는 비디오 복호화부(520)가 복호화한 비디오 신호에서 오디오 신호의 제1 고유 정보를 추출할 수 있다. 그리고, 제1 고유 정보 추출부(930)는 추출한 오디오 신호의 제1 고유 정보를 동기화부(960)로 전송할 수 있다.
오디오 복호화부(530)는 제2 수신부(920)로부터 수신한 부호화된 오디오 신호를 복호화할 수 있다. 그리고, 오디오 복호화부(530)는 복호화한 오디오 신호를 제2 고유 정보 생성부(940), 고유 정보 추출부(950) 및 동기화부(960)로 전송할 수 있다. 이때, 제2 고유 정보 추출부(940)는 오디오 복호화부(530)가 복호화한 오디오 신호에서 비디오 신호의 제1 고유 정보를 추출할 수 있다. 그리고, 제2 고유 정보 추출부(940)는 추출한 비디오 신호의 제1 고유 정보를 동기화부(960)로 전송할 수 있다.
고유 정보 생성부(950)는 비디오 복호화부(520)가 복호화한 비디오 신호를 이용하여 비디오 신호의 제2 고유 정보를 생성할 수 있다. 그리고, 고유 정보 생성부(950)는 생성한 비디오 신호의 제2 고유 정보를 동기화부(960)로 전송할 수 있다. 또한, 고유 정보 생성부(950)는 오디오 복호화부(530)가 복호화한 오디오 신호를 이용하여 오디오 신호의 제2 고유 정보를 생성할 수 있다. 그리고, 고유 정보 생성부(950)는 생성한 오디오 신호의 제2 고유 정보를 동기화부(960)로 전송할 수 있다.
동기화부(960)는 제1 고유 정보 추출부(930)로부터 수신한 오디오 신호의 제1 고유 정보와 고유 정보 생성부(950)로부터 수신한 오디오 신호의 제2 고유 정보를 비교하고, 제2 고유 정보 추출부(940)로부터 수신한 비디오 신호의 제1 고유 정보와 고유 정보 생성부(950)로부터 수신한 비디오 신호의 제2 고유 정보를 비교하여 오디오 신호와 비디오 신호 간의 지연을 결정할 수 있다. 그리고, 동기화부(960)는 결정한 지연에 따라 오디오 복호화부(530)로부터 수신한 오디오 신호와 비디오 복호화부(520)로부터 수신한 비디오 신호를 동기화하여 디스플레이(121) 및 스피커(122)로 출력할 수 있다.
도 10은 본 발명의 제1 실시예에 따른 부호화 방법을 도시한 플로우차트이다.
단계(1010)에서 고유 정보 생성부(210)는 마이크(112)로부터 입력된 오디오 신호를 이용하여 오디오 신호의 제1 고유 정보를 생성할 수 있다. 이때, 고유 정보 생성부(210)는 제어부(220)가 결정한 프레임들 간의 간격에 따라 오디오 신호의 프레임에 대응하는 고유 정보를 생성할지 여부를 결정할 수 있다.
단계(1020)에서 고유 정보 삽입부(230)는 제어부(220)의 제어에 따라 단계(1010)에서 생성한 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입할 수 있다. 예를 들어, 고유 정보 삽입부(230)는 워터마킹(Watermarking)을 이용하여 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입할 수 있다.
단계(1030)에서 비디오 부호화부(240)는 고유 정보 생성부(210)가 오디오 신호의 제1 고유 정보를 삽입한 비디오 신호를 부호화할 수 있다. 또한, 오디오 부호화부(250)는 제1 고유 정보에 대응하는 오디오 신호를 부호화할 수 있다. 그리고, 전송부(260)는 비디오 부호화부(240)에서 부호화한 비디오 신호와 오디오 부호화부(250)에서 부호화한 오디오 신호를 패킹하여 복호화 장치(120)로 전송할 수 있다.
도 11은 본 발명의 제1 실시예에 따른 복호화 방법을 도시한 플로우차트이다.
단계(1110)에서 수신부(510)는 부호화 장치(110)로부터 수신한 정보를 언펙킹하여 부호화된 오디오 신호 및 부호화된 비디오 신호를 추출할 수 있다.
단계(1120)에서 비디오 복호화부(520)는 부호화된 비디오 신호를 복호화할 수 있다. 또한, 오디오 복호화부(530)는 부호화된 오디오 신호를 복호화할 수 있다.
단계(1130)에서 고유 정보 생성부(550)는 단계(1120)에서 복호화한 오디오 신호를 이용하여 오디오 신호의 제2 고유 정보를 생성할 수 있다.
단계(1140)에서 고유 정보 추출부(540)는 단계(1120)에서 복호화한 비디오 신호에서 오디오 신호의 제1 고유 정보를 추출할 수 있다.
단계(1150)에서 동기화부(560)는 오디오 신호의 제1 고유 정보와 오디오 신호의 제2 고유 정보를 비교하여 오디오 신호와 비디오 신호 간의 지연을 결정할 수 있다.
단계(1160)에서 동기화부(560)는 단계(1150)에서 결정한 지연에 따라 오디오 신호와 비디오 신호를 동기화할 수 있다.
도 12는 본 발명의 제2 실시예에 따른 부호화 방법을 도시한 플로우차트이다.
단계(1210)에서 고유 정보 생성부(210)는 마이크(112)로부터 입력된 오디오 신호를 이용하여 오디오 신호의 제1 고유 정보를 생성할 수 있다.
단계(1220)에서 고유 정보 생성부(210)는 카메라(111)로부터 입력된 비디오 신호를 이용하여 비디오 신호의 제1 고유 정보를 생성할 수도 있다.
단계(1230)에서 고유 정보 삽입부(230)는 단계(1210)에서 생성한 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입할 수 있다. 예를 들어, 고유 정보 삽입부(230)는 워터마킹을 이용하여 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입할 수 있다.
단계(1240)에서 고유 정보 삽입부(230)는 단계(1220)에서 생성한 비디오 신호의 제1 고유 정보를 오디오 신호에 삽입할 수 있다. 이때, 고유 정보 삽입부(230)는 오디오 신호에 워터마크로 삽입된 비디오 신호의 제1 고유 정보가 사용자에게 들리지 않도록 설정된 워터마킹을 이용할할 수 있다.
단계(1250)에서 비디오 부호화부(240)는 단계(1230)에서 오디오 신호의 제1 고유 정보가 삽입된 비디오 신호를 부호화할 수 있다. 또한, 오디오 부호화부(250)는 단계(1240)에서 비디오 신호의 제1 고유 정보가 삽입된 오디오 신호를 부호화할 수 있다.
그리고, 전송부(260)는 비디오 부호화부(240)에서 부호화한 비디오 신호와 오디오 부호화부(250)에서 부호화한 오디오 신호를 패킹하여 복호화 장치(120)로 전송할 수 있다.
도 13은 본 발명의 제2 실시예에 따른 복호화 방법을 도시한 플로우차트이다.
단계(1310)에서 수신부(510)는 부호화 장치(110)로부터 수신한 정보를 언펙킹하여 부호화된 오디오 신호 및 부호화된 비디오 신호를 추출할 수 있다.
단계(1320)에서 비디오 복호화부(520)는 부호화된 비디오 신호를 복호화할 수 있다. 또한, 오디오 복호화부(530)는 부호화된 오디오 신호를 복호화할 수 있다.
단계(1330)에서 고유 정보 생성부(550)는 단계(1320)에서 복호화한 오디오 신호를 이용하여 오디오 신호의 제2 고유 정보를 생성할 수 있다.
단계(1340)에서 고유 정보 생성부(550)는 단계(1320)에서 복호화한 비디오 신호를 이용하여 비디오 신호의 제2 고유 정보를 생성할 수도 있다.
단계(1350)에서 고유 정보 추출부(540)는 단계(1320)에서 복호화한 비디오 신호에서 오디오 신호의 제1 고유 정보를 추출할 수 있다.
단계(1360)에서 고유 정보 추출부(540)는 단계(1320)에서 복호화한 오디오 신호에서 비디오 신호의 제1 고유 정보를 추출할 수도 있다.
단계(1370)에서 동기화부(560)는 오디오 신호의 제1 고유 정보, 오디오 신호의 제2 고유 정보, 비디오 신호의 제1 고유 정보, 및 비디오 신호의 제2 고유 정보를 비교하여 오디오 신호와 상기 비디오 신호 간의 지연을 결정할 수 있다.
단계(1380)에서 동기화부(560)는 단계(1370)에서 결정한 지연에 따라 오디오 신호와 비디오 신호를 동기화할 수 있다.
본 발명은 부호화 장치에서 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입하여 전송하고, 복호화 장치가 복호화한 비디오 신호에서 추출한 제1 고유 정보와 복호화한 오디오 신호에서 생성한 제2 고유 정보를 비교한 결과에 따라 비디오 신호와 오디오 신호를 동기화함으로써, 비디오 신호, 또는 오디오 신호의 지연에 따른 문제 발생을 방지할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 부호화 장치
120: 복호화 장치

Claims (16)

  1. 부호화 장치로부터 수신한 오디오 신호 및 비디오 신호를 복호화하는 단계;
    복호화한 비디오 신호에서 상기 오디오 신호의 제1 고유 정보를 추출하는 단계;
    복호화한 오디오 신호를 이용하여 상기 오디오 신호의 제2 고유 정보를 생성하는 단계;
    상기 제1 고유 정보와 상기 제2 고유 정보를 비교하여 상기 오디오 신호와 상기 비디오 신호 간의 지연을 결정하는 단계; 및
    상기 지연에 따라 상기 오디오 신호와 상기 비디오 신호를 동기화하는 단계
    를 포함하고,
    상기 제1 고유 정보는,
    상기 부호화 장치에서 부호화하기 전의 오디오 신호를 이용하여 생성되고, 상기 비디오 정보에 삽입되는 복호화 방법.
  2. 제1항에 있어서,
    상기 지연을 결정하는 단계는,
    상기 제1 고유 정보와 매칭되는 상기 제2 고유 정보를 검색하고, 검색된 제2 고유 정보를 생성하기 위하여 사용한 상기 오디오 신호의 프레임과 상기 제1 고유 정보를 추출한 상기 오디오 신호의 프레임 간의 차이를 상기 지연으로 결정하는 복호화 방법.
  3. 제1항에 있어서,
    상기 비디오 신호는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 기초한 프레임들 간의 간격에 따라 상기 제1 고유 신호가 삽입되는 프레임이 결정되는 복호화 방법.
  4. 제1항에 있어서,
    상기 비디오 신호는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 삽입되는 제1 고유 신호의 크기가 결정되는 복호화 방법.
  5. 제1항에 있어서,
    상기 제1 고유 신호는,
    상기 비디오 신호의 부호화 특징에 따라 상기 오디오 신호의 고유 정보를 프레임 간 순방향 예측 부호화 영상인 P (Unidirectionally Predicted) 프레임, 또는 쌍방향 예측 부호화 영상인 B(Bidirectionally Predictive) 프레임에 삽입되는 복호화 방법.
  6. 부호화 장치로부터 수신한 오디오 신호 및 비디오 신호를 복호화하는 단계;
    복호화한 비디오 신호에서 상기 오디오 신호의 제1 고유 정보를 추출하는 단계;
    복호화한 오디오 신호에서 상기 비디오 신호의 제1 고유 정보를 추출하는 단계;
    복호화한 오디오 신호를 이용하여 상기 오디오 신호의 제2 고유 정보를 생성하는 단계;
    복호화한 비디오 신호를 이용하여 상기 비디오 신호의 제2 고유 정보를 생성하는 단계;
    상기 오디오 신호의 제1 고유 정보, 상기 오디오 신호의 제2 고유 정보, 상기 비디오 신호의 제1 고유 정보, 및 상기 비디오 신호의 제2 고유 정보를 비교하여 상기 오디오 신호와 상기 비디오 신호 간의 지연을 결정하는 단계; 및
    상기 지연에 따라 상기 오디오 신호와 상기 비디오 신호를 동기화하는 단계
    를 포함하는 복호화 방법.
  7. 제6항에 있어서,
    상기 오디오 신호는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 기초한 프레임들 간의 간격에 따라 상기 비디오 신호의 제1 고유 신호가 삽입되는 프레임이 결정되는 복호화 방법.
  8. 제6항에 있어서,
    상기 오디오 신호는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 삽입되는 제1 비디오 신호의 제1 고유 신호의 크기가 결정되는 복호화 방법.
  9. 오디오 신호를 이용하여 상기 오디오 신호의 제1 고유 정보를 생성하는 단계;
    상기 제1 고유 정보를 비디오 신호에 삽입하는 단계; 및
    상기 제1 고유 정보에 대응하는 상기 오디오 신호 및 상기 오디오 신호의 제1 고유 정보가 삽입된 비디오 신호를 부호화하는 단계
    를 포함하는 부호화 방법.
  10. 제9항에 있어서,
    상기 생성하는 단계는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 오디오 신호의 제1 고유 정보를 생성할 프레임들 간의 간격을 결정하는 부호화 방법.
  11. 제9항에 있어서,
    상기 생성하는 단계는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 제1 오디오 신호의 고유 정보의 크기를 결정하는 부호화 방법.
  12. 제9항에 있어서,
    상기 삽입하는 단계는,
    상기 비디오 신호의 부호화 특징에 따라 상기 오디오 신호의 제1 고유 정보를 프레임 간 순방향 예측 부호화 영상인 P 프레임, 또는 쌍방향 예측 부호화 영상인 B 프레임에 삽입하는 부호화 방법.
  13. 오디오 신호를 이용하여 상기 오디오 신호의 제1 고유 정보를 생성하는 단계;
    비디오 신호를 이용하여 상기 비디오 신호의 제1 고유 정보를 생성하는 단계;
    상기 오디오 신호의 제1 고유 정보를 비디오 신호에 삽입하는 단계;
    상기 비디오 신호의 제1 고유 정보를 비디오 신호에 삽입하는 단계; 및
    상기 비디오 신호의 제1 고유 정보가 삽입된 오디오 신호 및 상기 오디오 신호의 제1 고유 정보가 삽입된 비디오 신호를 부호화하는 단계
    를 포함하는 부호화 방법.
  14. 제13항에 있어서,
    상기 생성하는 단계는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 오디오 신호의 제1 고유 정보를 생성할 프레임들 간의 간격, 또는 상기 비디오 신호의 제1 고유 정보를 생성할 프레임들 간의 간격을 결정하는 부호화 방법.
  15. 제13항에 있어서,
    상기 생성하는 단계는,
    상기 오디오 신호, 및 상기 비디오 신호의 특징에 따라 상기 제1 오디오 신호의 고유 정보의 크기 및 상기 비디오 신호의 제1 고유 정보의 크기를 결정하는 부호화 방법.
  16. 제13항에 있어서,
    상기 삽입하는 단계는,
    상기 비디오 신호의 부호화 특징에 따라 상기 오디오 신호의 제1 고유 정보를 프레임 간 순방향 예측 부호화 영상인 P 프레임, 또는 쌍방향 예측 부호화 영상인 B 프레임에 삽입하는 부호화 방법.
KR1020150174324A 2015-12-08 2015-12-08 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법 KR20170067546A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150174324A KR20170067546A (ko) 2015-12-08 2015-12-08 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법
US15/228,333 US20170163978A1 (en) 2015-12-08 2016-08-04 System and method for synchronizing audio signal and video signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150174324A KR20170067546A (ko) 2015-12-08 2015-12-08 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20170067546A true KR20170067546A (ko) 2017-06-16

Family

ID=58799290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174324A KR20170067546A (ko) 2015-12-08 2015-12-08 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US20170163978A1 (ko)
KR (1) KR20170067546A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110896503A (zh) * 2018-09-13 2020-03-20 浙江广播电视集团 视音频同步的监测方法及系统，以及视音频播出系统
CN110691204B (zh) * 2019-09-09 2021-04-02 苏州臻迪智能科技有限公司 一种音视频处理方法、装置、电子设备及存储介质
KR20200117541A (ko) 2019-04-04 2020-10-14 한국전자통신연구원 동기 추정 장치 및 방법
CN111277823A (zh) * 2020-03-05 2020-06-12 公安部第三研究所 一种音视频同步测试的系统及方法
CN114501128B (zh) * 2020-11-12 2023-11-03 中国移动通信集团浙江有限公司 混合多媒体信息流的安全防护方法、篡改检测方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
AU2003241108A1 (en) * 2002-06-24 2004-01-06 Koninklijke Philips Electronics N.V. Robust signature for signal authentication
US7359006B1 (en) * 2003-05-20 2008-04-15 Micronas Usa, Inc. Audio module supporting audio signature
KR20060037403A (ko) * 2003-07-25 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 및 비디오를 동기화시키기 위하여 핑거프린트들을생성하여 검출하는 방법 및 장치
US8683601B2 (en) * 2006-04-14 2014-03-25 Google Inc. Audio/video identification watermarking
EP2041715A1 (en) * 2006-07-18 2009-04-01 Thomson Licensing Method and system for temporal synchronization
US8077745B2 (en) * 2007-03-23 2011-12-13 Qualcomm Incorporated Techniques for unidirectional disabling of audio-video synchronization
US20080290987A1 (en) * 2007-04-22 2008-11-27 Lehmann Li Methods and apparatus related to content sharing between devices
US8531603B2 (en) * 2010-06-02 2013-09-10 Disney Enterprises, Inc. System and method for in-band A/V timing measurement of serial digital video signals
KR101211098B1 (ko) * 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
US8717499B2 (en) * 2011-09-02 2014-05-06 Dialogic Corporation Audio video offset detector
US9521439B1 (en) * 2011-10-04 2016-12-13 Cisco Technology, Inc. Systems and methods for correlating multiple TCP sessions for a video transfer
KR20150107464A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 컨텐츠 처리 장치 및 그 이벤트 제공 방법

Also Published As

Publication number Publication date
US20170163978A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
KR20170067546A (ko) 오디오 신호 및 비디오 신호의 동기화 시스템 및 그 방법
WO2015058610A1 (zh) 音视频同步方法、装置与系统
US20090216543A1 (en) Method and apparatus for encoding and decoding an audio signal
US20130141643A1 (en) Audio-Video Frame Synchronization in a Multimedia Stream
KR100619007B1 (ko) 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
RU2011147112A (ru) Верификация и синхронизация файлов, полученных отдельно от видеоконтента
CN103718563A (zh) 接收装置及其接收方法
US11102444B2 (en) Reception apparatus, transmission apparatus, and data processing method
CN112954434A (zh) 字幕处理方法、系统、电子设备和存储介质
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
CN106470291A (zh) 从音频/视频解码器中的时间同步中的中断中恢复
JP6240899B2 (ja) 映像受信装置、映像認識方法および付加情報表示システム
JP2008252262A (ja) 符号化装置及び動画像の変化点検出方法
KR100619041B1 (ko) 비디오 동기화 장치 및 비디오 동기화 방법
KR101672123B1 (ko) 편집본 동영상에 대한 자막파일을 생성하는 장치 및 방법
US20140047309A1 (en) Apparatus and method for synchronizing content with data
KR100864009B1 (ko) 오디오／비디오 동기화 방법
KR20100030574A (ko) 영상 기록 재생 장치
JP2005217486A (ja) ストリーム復号装置
KR101954880B1 (ko) 스미스-워터만 알고리즘을 이용한 자동 자막 싱크 조절 장치 및 방법
KR101961704B1 (ko) 서비스수신장치 및 그 동작 방법
US9514768B2 (en) Audio reproducing method, audio reproducing apparatus therefor, and information storage medium
US8145031B2 (en) Recording apparatus
JP2016096411A (ja) 特徴量生成装置、特徴量生成方法、特徴量生成プログラム及び改竄検出システム
US11659217B1 (en) Event based audio-video sync detection