KR20210115993A - Av 신호에 대한 립싱크 제어 방법 및 장치 - Google Patents
Av 신호에 대한 립싱크 제어 방법 및 장치 Download PDFInfo
- Publication number
- KR20210115993A KR20210115993A KR1020200032559A KR20200032559A KR20210115993A KR 20210115993 A KR20210115993 A KR 20210115993A KR 1020200032559 A KR1020200032559 A KR 1020200032559A KR 20200032559 A KR20200032559 A KR 20200032559A KR 20210115993 A KR20210115993 A KR 20210115993A
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- output
- samples
- video signal
- decompressed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 title description 2
- 230000005236 sound signal Effects 0.000 claims abstract description 191
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003111 delayed effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001934 delay Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
립싱크 제어 방법이 제공된다. 본 방법은, 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 제공하는 단계, 상기 압축 해제된 비디오 신호가 압축된 오디오 신호와 함께 TV 세트로 출력되도록 하는 단계, 상기 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 제공하는 단계, 상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하는 단계, 상기 TV 세트로부터 출력되는 사운드 출력을 통해서 루프백 오디오 신호 샘플들을 제공하는 단계, 및 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들을 비교하는 것에 기초하여 상기 압축된 비디오 신호가 디코딩되는 타이밍 또는 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 타이밍을 제어하는 단계를 포함할 수 있다.
Description
본 발명은 AV(Audio/Visual) 신호 처리 기술에 관한 것이다.
최근 멀티미디어 기술의 발달에 발맞추어 현실감 있는 오디오를 재생하기 위한 실감 오디오 기술 개발에 대한 요구가 급증하고 있다. 이러한 요구에 부응하여 실감나는 오디오 효과를 제공해 줄 수 있는 3차원 음향 시스템에 대한 연구가 활발히 진행되고 있다. 이러한 연구의 결과로 탄생한 3차원 음향 시스템들 중의 하나가 돌비 애트모스(Dolby Atmos)이다. 돌비 애트모스는 공간감을 주는 실감나는 서라운드 사운드로 영화의 장면들을 들을 수 있게 해주어 영화 장면의 사실감과 효과를 극대화함으로써 청중을 몰입시키는 3차원 음향 시스템이다. 돌비 애트모스는 오디오 개체 개념을 기반으로 한, 3차원 공간에 독립적으로 위치 가능하게 매스터링된 360°입체 음향 시스템이라 할 수 있다. 세계적으로 돌비 애트모스로 매스터링된 컨텐츠는 현재 기준으로 1,300여 개로 상당한 수에 달하고 있고, 넷플릭스의 경우 신규 제작 컨텐츠의 3/4 정도가 애트모스로 매스터링되고 있을 정도이다.
본 발명의 과제는 컨텐츠의 재생 시 오디오와 비디오 간의 시차를 보정하여 이들을 동기화할 수 있도록 하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
일 측면에서, 립싱크 제어 방법이 제공된다. 본 방법은, 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 제공하는 단계, 상기 압축 해제된 비디오 신호가 압축된 오디오 신호와 함께 TV 세트로 출력되도록 하는 단계, 상기 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 제공하는 단계, 상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하는 단계, 상기 TV 세트로부터 출력되는 사운드 출력을 통해서 루프백 오디오 신호 샘플들을 제공하는 단계, 및 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들을 비교하는 것에 기초하여 상기 압축된 비디오 신호가 디코딩되는 타이밍 또는 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 타이밍을 제어하는 단계를 포함할 수 있다.
일 실시예에서, 상기 TV 세트로부터 출력되는 사운드 출력을 전기 신호로 변환하여 루프백 오디오 신호 샘플들을 제공하는 단계는, 상기 TV 세트로부터 출력되는 사운드 출력을 전기 신호로 변환하고, 상기 전기 신호를 A/D 변환하여 상기 루프백 오디오 신호 샘플들을 제공하는 단계를 포함한다.
일 실시예에서, 상기 전기 신호를 A/D 변환하여 상기 루프백 오디오 신호 샘플들을 제공하는 단계는, 상기 전기 신호를 A/D 변환하여 디지틀 샘플들을 제공하고 상기 제공된 디지틀 샘플들에 대해 노이즈 필터링을 수행하여 상기 루프백 오디오 샘플들을 제공하는 단계를 포함한다.
일 실시예에서, 상기 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하는 단계와 상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하는 단계는 서로 동기를 맞추어 수행된다.
일 실시예에서, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들은 동일한 시간 윈도우(time window) 내의 샘플들이다.
일 실시예에서, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들을 비교하는 것에 기초하여 상기 압축된 비디오 신호가 디코딩되는 타이밍 또는 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 타이밍을 제어하는 단계는, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여, 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 것 또는 상기 압축된 비디오 신호가 디코딩되어 압축 해제된 비디오 신호로 제공되는 것이 지연되도록 하는 단계를 포함한다.
일 실시예에서, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여, 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 것 또는 상기 압축된 비디오 신호가 디코딩되어 압축 해제된 비디오 신호로 제공되는 것이 지연되도록 하는 단계는, 상기 시차 값에 기초하여 지연 값을 결정하는 단계, 및 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 것 또는 상기 압축된 비디오 신호가 디코딩되어 압축 해제된 비디오 신호로 제공되는 것이 상기 지연 값만큼 지연되도록 하는 단계를 포함한다.
일 실시예에서, 상기 지연 값은 상기 시차 값과 동일하다.
일 실시예에서, 상기 지연 값은 상기 시차 값에서 처리 지연 값을 뺀 값이다.
일 실시예에서, 상기 방법은, 상기 압축된 비디오 신호와 상기 압축된 오디오 신호를 포함하는 돌비 애트모스 신호를 수신하는 단계, 및 상기 돌비 애트모스 신호를 상기 압축된 비디오 신호와 상기 압축된 오디오 신호로 분리하는 단계를 더 포함한다.
일 실시예에서, 상기 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 제공하는 단계는, 상기 압축된 오디오 신호의 헤더에 포함된 시간 정보를 참조하여 상기 제공되는 압축 해제된 오디오 신호와 동기를 맞추어 상기 압축 해제된 비디오 신호를 제공하는 단계를 포함한다.
일 실시예에서, 상기 TV 세트는 TV를 포함한다.
일 실시예에서, 상기 TV 세트는 TV 및 상기 TV에 접속된 라우드 스피커를 포함한다.
다른 측면에서, 셋탑박스가 제공된다. 본 셋탑박스는, 압축된 비디오 신호와 압축된 오디오 신호를 포함하는 신호를 디멀티플렉싱하여 제1 단자로 압축된 비디오 신호를 출력하고 제2 단자로 압축된 오디오 신호를 출력하도록 구성된 디멀티플렉서 - 상기 제2 단자는 TV와의 접속을 위한 출력 단자와 접속됨 -, 상기 제2 단자로 출력되는 상기 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 출력하도록 구성된 오디오 디코더, 상기 제1 단자로 출력되는 상기 압축된 비디오 신호를 입력받아 그대로 또는 지연시켜 출력하도록 구성된 지연 발생부, 상기 지연 발생부로부터 출력되는 상기 압축된 비디오 신호를 디코딩하여 상기 출력 단자로 압축 해제된 비디오 신호를 출력하도록 구성된 비디오 디코더, 상기 TV로부터 출력되는 음파를 수신하여 루프백 오디오 신호 샘플들을 제공하도록 구성된 음파 변환부, 및 상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하고, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들에 기초하여 지연 값을 결정하여 출력하도록 구성된 지연값 결정부를 포함할 수 있다. 상기 지연 발생부는 상기 압축된 비디오 신호를 입력받아 그대로 출력하다가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 상기 압축된 비디오 신호를 입력받아 상기 지연 값만큼 지연시켜 출력하도록 더 구성될 수 있다.
일 실시예에서, 상기 오디오 디코더는 소프트웨어 기반의 애트모스 오디오 디코더이다.
일 실시예에서, 상기 음파 변환부는 상기 TV로부터 출력되는 음파를 전기 신호로 변환하도록 구성된 마이크를 포함하고, 상기 음파 변환부는 상기 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하도록 더 구성된다.
일 실시예에서, 상기 셋탑박스는, 상기 루프백 오디오 신호 샘플들을 노이즈 제거 필터링하도록 구성된 노이즈 제거 필터부를 더 포함한다.
일 실시예에서, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들은 동일한 시간 윈도우 내의 샘플들이다.
일 실시예에서, 상기 지연값 결정부는, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여 상기 지연 값을 결정하도록 더 구성된다.
일 실시예에서, 상기 오디오 디코더, 상기 음파 변환부 및 상기 지연값 결정부는 상기 지연 발생부가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 비활성화되도록 작동된다.
또 다른 측면에서, 셋탑박스가 제공된다. 본 셋탑박스는, 압축된 비디오 신호와 압축된 오디오 신호를 포함하는 신호를 디멀티플렉싱하여 제1 단자로 압축된 비디오 신호를 출력하고 제2 단자로 압축된 오디오 신호를 출력하도록 구성된 디멀티플렉서 - 상기 제2 단자는 TV와의 접속을 위한 출력 단자와 접속됨 -, 상기 제2 단자로 출력되는 상기 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 출력하도록 구성된 오디오 디코더, 상기 제1 단자로 출력되는 상기 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 출력하도록 구성된 비디오 디코더, 상기 압축 해제된 비디오 신호를 입력받아 상기 출력 단자로 그대로 또는 지연시켜 출력하도록 구성된 지연 발생부, 상기 TV로부터 출력되는 음파를 수신하여 루프백 오디오 신호 샘플들을 제공하도록 구성된 음파 변환부, 및 상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하고, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들에 기초하여 지연 값을 결정하여 출력하도록 구성된 지연값 결정부를 포함할 수 있다. 상기 지연 발생부는 상기 압축 해제된 비디오 신호를 입력받아 그대로 출력하다가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 상기 압축 해제된 비디오 신호를 입력받아 상기 지연 값만큼 지연시켜 출력하도록 더 구성될 수 있다.
일 실시예에서, 상기 오디오 디코더는 소프트웨어 기반의 애트모스 오디오 디코더이다.
일 실시예에서, 상기 음파 변환부는 상기 TV로부터 출력되는 음파를 전기 신호로 변환하도록 구성된 마이크를 포함하고, 상기 음파 변환부는 상기 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하도록 더 구성된다.
일 실시예에서, 상기 셋탑박스는, 상기 루프백 오디오 신호 샘플들을 노이즈 제거 필터링하도록 구성된 노이즈 제거 필터부를 더 포함한다.
일 실시예에서, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들은 동일한 시간 윈도우 내의 샘플들이다.
일 실시예에서, 상기 지연값 결정부는, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여 상기 지연 값을 결정하도록 더 구성된다.
일 실시예에서, 상기 오디오 디코더, 상기 음파 변환부 및 상기 지연값 결정부는 상기 지연 발생부가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 비활성화되도록 작동된다.
본 발명의 실시예들에 따르면, 돌비 애트모스 컨텐츠의 재생 시 오디오와 비디오 간의 시차를 보정하여 이들을 동기화함으로써 시청자에게 더욱 실감나는 오디오 효과를 제공해 줄 수 있는 기술적 효과가 있다.
도 1은 립싱크 제어 기능을 구비한 셋탑박스의 블록도의 제1 실시예를 도시한 도면이다.
도 2는 도 1의 셋탑박스와 접속될 수 있는 TV 세트의 블록도의 일 실시예를 도시한 도면이다.
도 3은 립싱크 제어 기능을 구비한 셋탑박스의 블록도의 제2 실시예를 도시한 도면이다.
도 4는 도 1의 지연값 결정부에서 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들 간의 시차 값을 산출하는 과정을 개념적으로 설명하기 위한 도면이다.
도 5는 셋탑박스에서 수행되는 립싱크 제어 방법을 설명하기 위한 흐름도의 제1 실시예를 도시한 도면이다.
도 6은 셋탑박스에서 수행되는 립싱크 제어 방법을 설명하기 위한 흐름도의 제2 실시예를 도시한 도면이다.
도 2는 도 1의 셋탑박스와 접속될 수 있는 TV 세트의 블록도의 일 실시예를 도시한 도면이다.
도 3은 립싱크 제어 기능을 구비한 셋탑박스의 블록도의 제2 실시예를 도시한 도면이다.
도 4는 도 1의 지연값 결정부에서 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들 간의 시차 값을 산출하는 과정을 개념적으로 설명하기 위한 도면이다.
도 5는 셋탑박스에서 수행되는 립싱크 제어 방법을 설명하기 위한 흐름도의 제1 실시예를 도시한 도면이다.
도 6은 셋탑박스에서 수행되는 립싱크 제어 방법을 설명하기 위한 흐름도의 제2 실시예를 도시한 도면이다.
본 발명의 이점들과 특징들 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 실시예들은 단지 본 발명의 개시가 완전하도록 하며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 발명을 한정하려는 의도에서 사용된 것이 아니다. 예를 들어, 단수로 표현된 구성 요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성 요소를 포함하는 개념으로 이해되어야 한다. 또한, 본 발명의 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성이 배제되는 것은 아니다. 또한, 본 명세서에 기재된 실시예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미할 수 있다.
덧붙여, 다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 발명의 명세서에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세히 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
도 1은 립싱크 제어 기능을 구비한 셋탑박스의 블록도의 제1 실시예를 도시한 도면이다. 도 1에 도시된 구성부들은 셋탑박스의 모든 기능을 반영한 것이 아니고 필수적인 것도 아니어서, 셋탑박스는 도시된 구성부들 보다 많은 구성부들을 포함하거나 그 보다 적은 구성부들을 포함할 수 있음을 인식하여야 한다.
도 1에 도시된 바와 같이, 셋탑박스(100)는 압축된 비디오 신호(compressed video signals)와 압축된 오디오 신호(compressed audio signals)가 멀티플렉싱되어 실려있는 AV 신호, 예를 들면 돌비 애트모스 컨텐츠를 디멀티플렉싱함으로써 압축된 비디오 신호와 압축된 오디오 신호를 서로 분리하도록 구성된 디멀티플렉서(110)를 포함할 수 있다. 디멀티플렉서(110)는 제1 단자(112)로 압축된 비디오 신호를 출력하고 제2 단자(113)로 압축된 오디오 신호를 출력할 수 있다. 제2 단자(113)는 TV 세트와의 접속을 위한 셋탑박스(100)의 출력 단자(123)와 접속될 수 있다. 이에 따라 압축된 오디오 신호는 TV 세트로 입력될 수 있도록 셋탑박스(100)의 출력 단자(123)를 통해 출력된다. 일 실시예에서, 출력 단자(123)는 HDMI(High Definition Multimedia Interface) 단자이다. 셋탑박스(100)는 제2 단자(113)로 출력되는 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호(decoded audio signals)를 출력하도록 구성된 오디오 디코더(audio decoder, 115)를 더 포함할 수 있다. 일 실시예에서, 오디오 디코더(115)는 소프트웨어 기반의 애트모스 오디오 디코더이다. 셋탑박스(100)는 제1 단자(112)로 출력되는 압축된 비디오 신호를 입력받아 그대로 또는 지연시켜 출력하도록 구성된 지연 발생부(117)를 더 포함할 수 있다. 셋탑박스(100)는 지연 발생부(117)로부터 출력되는 압축된 비디오 신호를 디코딩하여 출력 단자(123)로 압축 해제된 비디오 신호(decoded video signals)를 출력하도록 구성된 비디오 디코더(video decoder, 120)를 더 포함할 수 있다. 일 실시예에서, 비디오 디코더(120)는 H.264, H.265 또는 HEVC(High Efficiency Video Coding) 표준에 부합하는 비디오 디코더이다. 압축 해제된 비디오 신호는 출력 단자(123)를 통해 출력되어 TV 세트로 입력될 수 있다. 비디오 디코더(120)는 오디오 디코더(115)로 입력되는 압축된 오디오 신호의 헤더(header)에 포함된 시간 정보를 참조하여 오디오 디코더(115)에서 출력되는 압축 해제된 오디오 신호와 동기를 맞추어 압축 해제된 비디오 신호가 출력되도록 작동될 수 있다. 비록 셋탑박스(100)에서 출력되는 신호는 서로 동기가 맞지 않은 압축 해제된 비디오 신호와 압축된 오디오 신호이지만, 비디오 디코더(120)에 의한 전술한 동기 제어 동작에 의해 셋탑박스(100) 내부에서 오디오 디코더(115)가 압축 해제된 비디오 신호와 동기가 맞는 압축 해제된 오디오 신호를 출력하게 되는 결과가 된다.
셋탑박스(100)는 셋탑박스(100)에서 출력되는 압축 해제된 비디오 신호와 압축된 오디오 신호를 수신하는 TV 세트로부터 출력되는 사운드 출력, 즉 음파를 전기 신호로 변환하도록 구성된 마이크(130)를 더 포함할 수 있다. 일 실시예에서, 마이크(130)는 음성 인식 마이크(voice recognition microphone)이다. 셋탑박스(100)는 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들(loopback audio signal samples)을 제공하도록 구성된 A/D 변환기(135)를 더 포함할 수 있다. 마이크(130) 및 A/D 변환기(135)는 총체적으로 음파 변환부를 구성할 수 있다. 루프백 오디오 신호 샘플들은 TV 세트가 셋탑박스(100)로부터 수신한 압축된 오디오 신호를 이용하여 라우드 스피커(loud speaker)를 통해 방사한 오디오 출력을 셋탑박스(100)에서 다시 취음하여 수집한 신호 샘플들로서 파악될 수 있다. 일 실시예에서, A/D 변환기(135)는 입력되는 전기 신호를 선정된 시간 구간 동안 디지틀 샘플링하도록 작동될 수 있다. 셋탑박스(100)는 A/D 변환기(135)에 접속되어 루프백 오디오 신호 샘플들을 노이즈 제거 필터링하도록 구성된 노이즈 제거 필터부(140)를 더 포함할 수 있다. 일 실시예에서, 노이즈 제거 필터부(140)는 가청 주파수 대역을 통과시키는 디지틀 대역통과 필터(digital bandpass filter)이다.
셋탑박스(100)는 오디오 디코더(115)로부터 출력되는 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하도록 구성된 지연값 결정부(145)를 더 포함할 수 있다. 일 실시예에서, 지연값 결정부(145)는 압축 해제된 오디오 신호를 선정된 시간 구간 동안 디지틀 샘플링하도록 작동될 수 있다. 일 실시예에서, 지연값 결정부(145)는 A/D 변환기(135)에 의한 샘플링과 동기되어 압축 해제된 오디오 신호를 샘플링한다. 이러한 실시예의 경우 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들은 동일한 시간 윈도우(time window) 내의 샘플들이 된다. 지연값 결정부(145)는 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들에 기초하여 지연 값을 결정하여 출력하도록 더 구성될 수 있다. 일 실시예에서, 지연값 결정부(145)는 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 시차 값에 기초하여 지연 값을 결정하도록 더 구성될 수 있다.
지연값 결정부(145)에서 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들 간의 시차 값을 산출하는 과정을 개념적으로 설명하기 위한 도면인 도 4를 참조하면, 지연값 결정부(145)는 도시된 바와 같이 루프백 오디오 신호 샘플들 중의 임의의 샘플의 샘플 시간(T')과 이에 해당하는 기준 오디오 신호 샘플의 샘플 시간(T) 간의 차이(T' - T)를 시차 값으로서 산출할 수 있다. 일 실시예에서, 지연값 결정부(145)는 기준 오디오 신호 샘플들과 루프백 오디오 신호 샘플들 간에 상호 상관(cross-correlation)을 취해봄으로써 시차 값을 결정하도록 구성된다. 기준 오디오 신호 샘플들은 셋탑박스(100)에서 출력하는 압축 해제된 비디오 신호와 동기가 맞는 압축 해제된 오디오 신호를 샘플링한 신호 샘플들이므로, TV 세트가 라우드 스피커를 통해 방사한 오디오 출력을 셋탑박스(100)에서 다시 취음하여 수집한 신호 샘플들인 루프백 오디오 신호 샘플들과 기준 오디오 신호 샘플들 간에 산출된 시차는 TV 세트에서 실제로 재생되는 비디오 출력과 오디오 출력 간의 시차를 반영하는 것으로 볼 수 있다. 일 실시예에서, 지연값 결정부(145)는 시차 값을 지연 값으로서 결정하도록 구성된다. 일 실시예에서, 지연값 결정부(145)는 시차 값에서 처리 지연 값을 뺀 값을 지연 값으로서 결정하도록 구성된다. 일 실시예에서, 처리 지연 값은 마이크(130), A/D 변환기(135) 및 노이즈 제거 필터부(140)를 거치는 동안 발생될 수 있는 지연과 지연값 결정부(145)에서 발생될 수 있는 지연을 고려하여 선험적으로 결정될 수 있다.
지연 발생부(117)는 디멀티플렉서(110)으로부터 출력되는 압축된 비디오 신호를 입력받아 그대로 출력하다가 지연값 결정부(145)로부터 지연 값을 입력받는 것에 응답하여 압축된 비디오 신호를 입력받아 지연 값만큼 지연시켜 출력하도록 더 구성될 수 있다. 일 실시예에서, 오디오 디코더(115)는 지연 발생부(117)가 지연값 결정부(145)로부터 지연 값을 입력받는 것에 응답하여 비활성화되도록 작동될 수 있다. 이러한 실시예의 경우, 비디오 디코더(120)는 오디오 디코더(115)와의 동기 제어 동작을 멈추고 지연 발생부(117)로부터 지연 값만큼 지연되어 입력되는 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 출력함으로써 압축 해제된 비디오 신호를 그 만큼 지연시켜 출력하게 되는 셈이고, 그 결과 TV 세트에서 출력되는 비디오 출력과 오디오 출력 간의 시차가 보상될 수 있게 된다. 일 실시예에서, A/D 변환기(135), 노이즈 제거 필터부(140) 및 지연값 결정부(145) 또한 지연 발생부(117)가 지연값 결정부(145)로부터 지연 값을 입력받는 것에 응답하여 비활성화되도록 작동될 수 있다.
도 2는 도 1의 셋탑박스와 접속될 수 있는 TV 세트의 블록도의 일 실시예를 도시한 도면이다. 도 2에 도시된 구성부들 또한 TV 세트의 모든 기능을 반영한 것이 아니고 필수적인 것도 아니어서, TV 세트는 도시된 구성부들 보다 많은 구성부들을 포함하거나 그 보다 적은 구성부들을 포함할 수 있음을 인식하여야 한다.
도 2에 도시된 바와 같이, TV 세트(200)는 셋탑박스(100)와의 접속을 위한 입력 단자(210)를 포함한다. 일 실시예에서, 입력 단자(210)는 HDMI 단자이다. TV 세트(200)는 입력 단자(210)에 접속된 TV 패널(220)을 더 포함할 수 있다. 일 실시예에서, TV 패널(220)은 TN(Twisted Nematic) 패널, IPS(In-plane Switching) 패널 및 VA(Vertical Alignment) 패널과 같은 LCD(Liquid Crystal Display) 패널, OLED(Organic Light Emitting Diode) 패널 또는 AMOLED(Active Matrix Organic Light Emitting Diode) 패널일 수 있으나, TV 패널(220)의 종류가 이에 제한되는 것이 아님을 인식하여야 한다. TV 세트(200)는 입력 단자(210)에 접속된 오디오 디코더(230)를 더 포함할 수 있다. 오디오 디코더(230)는 입력 단자(210)로부터 입력되는 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 출력하도록 구성될 수 있다. TV 세트(200)는 오디오 디코더(230)에 접속된 D/A 변환기(240)를 더 포함할 수 있다. D/A 변환기(240)는 디지틀 신호인 압축 해제된 오디오 신호를 애널로그 신호로 변환하도록 구성될 수 있다. TV 세트(200)는 D/A 변환기(240)에 접속된 라우드 스피커(250)를 더 포함할 수 있다. 라우드 스피커(250)는 TV 패널(220)에 디스플레이되는 비디오에 믹싱된 오디오를 음파로 출력하기 위해 사용될 수 있다. 도시되지는 않았지만 일 실시예에서 TV 세트(200)는 외장 라우드 스피커를 포함할 수 있다.
도 3은 립싱크 제어 기능을 구비한 셋탑박스의 블록도의 제2 실시예를 도시한 도면이다. 도 3에 도시된 구성부들은 셋탑박스의 모든 기능을 반영한 것이 아니고 필수적인 것도 아니어서, 셋탑박스는 도시된 구성부들 보다 많은 구성부들을 포함하거나 그 보다 적은 구성부들을 포함할 수 있음을 인식하여야 한다.
도 3에 도시된 셋탑박스(300)의 구성부들인 디멀티플렉서(310), 오디오 디코더(315), 출력 단자(323), 마이크(330), A/D 변환기(335), 노이즈 제거 필터부(340) 및 지연값 결정부(345)는 도 1에 도시된 셋탑박스(100)에서 대응하는 구성부들과 대체로 동일한 기능을 하며 동일한 방식으로 구성될 수 있으므로 이들에 대한 설명은 생략하기로 한다. 도 3에 도시된 셋탑박스(300)는 지연 발생부(317) 및 비디오 디코더(320)의 접속 방식에 있어 도 1에 도시된 셋탑박스(100)와 차이가 있다. 비디오 디코더(320)는 디멀티플렉서(310)로부터 제1 단자(312)를 통해 압축된 비디오 신호를 입력받고 이를 디코딩하여 압축 해제된 비디오 신호를 출력하도록 구성되고, 지연 발생부(317)는 비디오 디코더(320)로부터 압축 해제된 비디오 신호를 입력받아 출력 단자(323)로 그대로 출력하다가 지연값 결정부(345)로부터 지연 값을 입력받는 것에 응답하여 압축 해제된 비디오 신호를 입력받아 지연 값만큼 지연시켜 출력 단자(323)로 출력하도록 구성될 수 있다. 도 1에 도시된 셋탑박스(100)에서의 비디오 신호 처리는 선 지연, 후 디코딩의 방식으로 이루어지는 반면, 도 3에 도시된 셋탑박스(300)에서의 비디오 신호 처리는 선 디코딩, 후 지연의 방식으로 이루어 진다고 할 수 있다.
이상의 설명에서는 셋탑박스(100, 300)의 구성부들/회로들의 각각을 분리된 별도의 구성 요소로서 설명하였으나, 셋탑박스(100, 300)의 모든 구성부들/회로들 또는 일부 구성부들/회로들을 ASIC(Application Specific Integrated Circuit), PLD(Programmable Logic Device) 또는 FPGA(Field-Programmable Gate Array) 설계 방식에 기반하여 단일의 IC 칩으로 구현할 수 있다.
도 5는 셋탑박스에서 수행되는 립싱크 제어 방법을 설명하기 위한 흐름도의 제1 실시예를 도시한 도면이다.
본 립싱크 제어 방법은 압축된 비디오 신호와 압축된 오디오 신호를 포함하는 신호, 예를 들면 돌비 애트모스 신호를 수신하는 단계(S505)로부터 시작된다. 단계(S510)에서는 디멀티플렉서(110)에 의해 돌비 애트모스 신호를 압축된 비디오 신호와 압축된 오디오 신호로 분리하여 제1 단자(112) 및 제2 단자(113)로 각각 출력한다. 단계(S515)에서는 압축된 오디오 신호가 오디오 디코더(115)로 입력되게 하여 오디오 디코더(115)로부터 압축 해제된 오디오 신호가 출력되도록 하고, 압축된 비디오 신호가 비디오 디코더(120)로 입력되게 하여 비디오 디코더(120)로부터 압축 해제된 비디오 신호가 출력되도록 한다. 본 단계에서 비디오 디코더(120)는 오디오 디코더(115)로 입력되는 압축된 오디오 신호의 헤더(header)에 포함된 시간 정보를 참조하여 출력되는 압축 해제된 오디오 신호와 동기를 맞추어 압축 해제된 비디오 신호가 출력되도록 동기 제어 동작을 수행할 수 있다. 단계(S520)에서는 압축된 오디오 신호 및 압축 해제된 비디오 신호가 TV 세트(200)로 공급되도록 한다. 본 단계는 실질적인 동작을 요하는 것이 아니라 비디오 디코더(120)의 출력을 출력 단자(123)에 접속하고 디멀티플렉서(110)의 제2 단자(113)를 출력 단자(123)에 접속함으로써 내재적으로 실행될 수 있음에 유의하여야 한다. 단계(S525)에서는 TV 세트(200)로부터 출력되는 사운드 출력을 마이크(130)를 이용하여 전기 신호로 변환한다. 단계(S530)에서는 A/D 변환기(135)를 이용하여 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공한다. 본 단계에서는 A/D 변환기(135)를 이용하여 전기 신호를 A/D 변환하여 디지틀 샘플들을 제공하고 노이즈 제거 필터부(140)에 의해 제공된 디지틀 샘플들에 대해 노이즈 필터링을 수행하여 루프백 오디오 샘플들을 제공할 수 있다. 단계(S535)에서는 지연값 결정부(145)에 의해 오디오 디코더(115)로부터 출력되는 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공한다. 일 실시예에서 본 단계는 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하는 전술한 단계(S530)와 서로 동기를 맞추어 실행될 수 있다. 이러한 실시예에 따르면 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들은 동일한 시간 윈도우 내의 샘플들일 수 있다. 단계(S540)에서는 지연값 결정부(145)에 의해 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 산출된 시차 값에 근거하여 지연 값을 결정하고, 지연 발생부(117)로 하여금 압축된 비디오 신호가 비디오 디코더(120)로 입력되는 것이 지연 값만큼 지연되게 하도록 한다. 일 실시예에서, 지연값 결정부(145)는 지연 값을 시차 값과 동일한 값으로 결정한다. 일 실시예에서, 지연값 결정부(145)는 시차 값에서 처리 지연 값을 뺀 값을 지연 값으로서 결정한다.
도 6은 셋탑박스에서 수행되는 립싱크 제어 방법을 설명하기 위한 흐름도의 제2 실시예를 도시한 도면이다.
본 립싱크 제어 방법은 압축된 비디오 신호와 압축된 오디오 신호를 포함하는 신호, 예를 들면 돌비 애트모스 신호를 수신하는 단계(S605)로부터 시작된다. 단계(S610)에서는 디멀티플렉서(310)에 의해 돌비 애트모스 신호를 압축된 비디오 신호와 압축된 오디오 신호로 분리하여 제1 단자(312) 및 제2 단자(313)로 각각 출력한다. 단계(S615)에서는 오디오 디코더(315)에 의해 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 출력한다. 단계(S620)에서는 비디오 디코더(320)에 의해 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 출력한다. 본 단계에서 비디오 디코더(320)는 압축된 오디오 신호의 헤더에 포함된 시간 정보를 참조하여 출력되는 압축 해제된 오디오 신호와 동기를 맞추어 압축 해제된 비디오 신호가 출력되도록 동기 제어 동작을 수행할 수 있다. 단계(S625)에서는 압축된 오디오 신호 및 압축 해제된 비디오 신호가 TV 세트(200)로 공급되도록 한다. 본 단계는 실질적인 동작을 요하는 것이 아니라 비디오 디코더(320)의 출력이 지연 발생부(317)를 통해 지연 없이 그대로 출력 단자(323)로 전달되고 디멀티플렉서(310)의 제2 단자(313)를 출력 단자(323)에 접속함으로써 내재적으로 실행될 수 있음에 유의하여야 한다. 단계(S630)에서는 TV 세트(200)로부터 출력되는 사운드 출력을 마이크(330)를 이용하여 전기 신호로 변환한다. 단계(S635)에서는 A/D 변환기(335)를 이용하여 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공한다. 본 단계에서는 A/D 변환기(335)를 이용하여 전기 신호를 A/D 변환하여 디지틀 샘플들을 제공하고 노이즈 제거 필터부(340)에 의해 제공된 디지틀 샘플들에 대해 노이즈 필터링을 수행하여 루프백 오디오 샘플들을 제공할 수 있다. 단계(S640)에서는 지연값 결정부(345)에 의해 오디오 디코더(315)로부터 출력되는 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공한다. 일 실시예에서 본 단계는 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하는 전술한 단계(S635)와 서로 동기를 맞추어 실행될 수 있다. 이러한 실시예에 따르면 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들은 동일한 시간 윈도우 내의 샘플들일 수 있다. 단계(S645)에서는 지연값 결정부(345)에 의해 기준 오디오 신호 샘플들 및 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 산출된 시차 값에 근거하여 지연 값을 결정하고, 지연 발생부(317)로 하여금 압축 해제된 비디오 신호가 TV 세트(200)로 공급되는 것이 지연 값만큼 지연되게 하도록 한다. 일 실시예에서, 지연값 결정부(345)는 지연 값을 시차 값과 동일한 값으로 결정한다. 일 실시예에서, 지연값 결정부(345)는 시차 값에서 처리 지연 값을 뺀 값을 지연 값으로서 결정한다.
이상의 설명에 있어서 어떤 구성 요소가 다른 구성 요소에 접속되거나 결합된다는 기재의 의미는 당해 구성 요소가 그 다른 구성 요소에 직접적으로 접속되거나 결합된다는 의미뿐만 아니라 이들이 그 사이에 개재된 하나 또는 그 이상의 타 구성 요소를 통해 접속되거나 결합될 수 있다는 의미를 포함하는 것으로 이해되어야 한다. 이외에도 구성 요소들 간의 관계를 기술하기 위한 용어들(예컨대, '간에', '사이에' 등)도 유사한 의미로 해석되어야 한다.
본원에 개시된 실시예들에 있어서, 도시된 구성 요소들의 배치는 발명이 구현되는 환경 또는 요구 사항에 따라 달라질 수 있다. 예컨대, 일부 구성 요소가 생략되거나 몇몇 구성 요소들이 통합되어 하나로 실시될 수 있다. 또한 일부 구성 요소들의 배치 순서 및 연결이 변경될 수 있다.
이상에서는 본 발명의 다양한 실시예들에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예들에 한정되지 아니하며, 상술한 실시예들은 첨부하는 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양하게 변형 실시될 수 있음은 물론이고, 이러한 변형 실시예들이 본 발명의 기술적 사상이나 범위와 별개로 이해되어져서는 아니 될 것이다. 따라서, 본 발명의 기술적 범위는 오직 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.
100, 300: 셋탑박스
110, 310: 디멀티플렉서
112, 312: 제1 단자
113, 313: 제2 단자
115, 315: 오디오 디코더
117, 317: 지연 발생부
120, 320: 비디오 디코더
123, 323: 출력 단자
130, 330: 마이크
135, 335: A/D 변환기
140, 340: 노이즈 제거 필터부
145, 345: 지연값 결정부
200: TV 세트
210: 입력 단자
220: TV 패널
230: 오디오 디코더
240: D/A 변환기
250: 라우드 스피커
110, 310: 디멀티플렉서
112, 312: 제1 단자
113, 313: 제2 단자
115, 315: 오디오 디코더
117, 317: 지연 발생부
120, 320: 비디오 디코더
123, 323: 출력 단자
130, 330: 마이크
135, 335: A/D 변환기
140, 340: 노이즈 제거 필터부
145, 345: 지연값 결정부
200: TV 세트
210: 입력 단자
220: TV 패널
230: 오디오 디코더
240: D/A 변환기
250: 라우드 스피커
Claims (27)
- 립싱크 제어 방법으로서,
압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 제공하는 단계,
상기 압축 해제된 비디오 신호가 압축된 오디오 신호와 함께 TV 세트로 출력되도록 하는 단계,
상기 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 제공하는 단계,
상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하는 단계,
상기 TV 세트로부터 출력되는 사운드 출력을 통해서 루프백 오디오 신호 샘플들을 제공하는 단계, 및
상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들을 비교하는 것에 기초하여 상기 압축된 비디오 신호가 디코딩되는 타이밍 또는 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 타이밍을 제어하는 단계를 포함하는 립싱크 제어 방법.
- 제1항에 있어서,
상기 TV 세트로부터 출력되는 사운드 출력을 전기 신호로 변환하여 루프백 오디오 신호 샘플들을 제공하는 단계는, 상기 TV 세트로부터 출력되는 사운드 출력을 전기 신호로 변환하고, 상기 전기 신호를 A/D 변환하여 상기 루프백 오디오 신호 샘플들을 제공하는 단계를 포함하는, 립싱크 제어 방법.
- 제2항에 있어서,
상기 전기 신호를 A/D 변환하여 상기 루프백 오디오 신호 샘플들을 제공하는 단계는, 상기 전기 신호를 A/D 변환하여 디지틀 샘플들을 제공하고 상기 제공된 디지틀 샘플들에 대해 노이즈 필터링을 수행하여 상기 루프백 오디오 샘플들을 제공하는 단계를 포함하는, 립싱크 제어 방법.
- 제2항에 있어서,
상기 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하는 단계와 상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하는 단계는 서로 동기를 맞추어 수행되는, 립싱크 제어 방법.
- 제4항에 있어서,
상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들은 동일한 시간 윈도우(time window) 내의 샘플들인, 립싱크 제어 방법.
- 제1항에 있어서,
상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들을 비교하는 것에 기초하여 상기 압축된 비디오 신호가 디코딩되는 타이밍 또는 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 타이밍을 제어하는 단계는, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여, 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 것 또는 상기 압축된 비디오 신호가 디코딩되어 압축 해제된 비디오 신호로 제공되는 것이 지연되도록 하는 단계를 포함하는, 립싱크 제어 방법.
- 제6항에 있어서,
상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여, 상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 것 또는 상기 압축된 비디오 신호가 디코딩되어 압축 해제된 비디오 신호로 제공되는 것이 지연되도록 하는 단계는,
상기 시차 값에 기초하여 지연 값을 결정하는 단계, 및
상기 압축 해제된 비디오 신호가 상기 TV 세트로 출력되는 것 또는 상기 압축된 비디오 신호가 디코딩되어 압축 해제된 비디오 신호로 제공되는 것이 상기 지연 값만큼 지연되도록 하는 단계를 포함하는, 립싱크 제어 방법.
- 제7항에 있어서,
상기 지연 값은 상기 시차 값과 동일한, 립싱크 제어 방법.
- 제8항에 있어서,
상기 지연 값은 상기 시차 값에서 처리 지연 값을 뺀 값인, 립싱크 제어 방법.
- 제1항에 있어서,
상기 압축된 비디오 신호와 상기 압축된 오디오 신호를 포함하는 돌비 애트모스 신호를 수신하는 단계, 및
상기 돌비 애트모스 신호를 상기 압축된 비디오 신호와 상기 압축된 오디오 신호로 분리하는 단계를 더 포함하는 립싱크 제어 방법.
- 제1항에 있어서,
상기 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 제공하는 단계는, 상기 압축된 오디오 신호의 헤더에 포함된 시간 정보를 참조하여 상기 제공되는 압축 해제된 오디오 신호와 동기를 맞추어 상기 압축 해제된 비디오 신호를 제공하는 단계를 포함하는, 립싱크 제어 방법.
- 제1항에 있어서,
상기 TV 세트는 TV를 포함하는, 립싱크 제어 방법.
- 제1항에 있어서,
상기 TV 세트는 TV 및 상기 TV에 접속된 라우드 스피커를 포함하는, 립싱크 제어 방법.
- 셋탑박스로서,
압축된 비디오 신호와 압축된 오디오 신호를 포함하는 신호를 디멀티플렉싱하여 제1 단자로 압축된 비디오 신호를 출력하고 제2 단자로 압축된 오디오 신호를 출력하도록 구성된 디멀티플렉서 - 상기 제2 단자는 TV와의 접속을 위한 출력 단자와 접속됨 -,
상기 제2 단자로 출력되는 상기 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 출력하도록 구성된 오디오 디코더,
상기 제1 단자로 출력되는 상기 압축된 비디오 신호를 입력받아 그대로 또는 지연시켜 출력하도록 구성된 지연 발생부,
상기 지연 발생부로부터 출력되는 상기 압축된 비디오 신호를 디코딩하여 상기 출력 단자로 압축 해제된 비디오 신호를 출력하도록 구성된 비디오 디코더,
상기 TV로부터 출력되는 음파를 수신하여 루프백 오디오 신호 샘플들을 제공하도록 구성된 음파 변환부, 및
상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하고, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들에 기초하여 지연 값을 결정하여 출력하도록 구성된 지연값 결정부를 포함하고,
상기 지연 발생부는 상기 압축된 비디오 신호를 입력받아 그대로 출력하다가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 상기 압축된 비디오 신호를 입력받아 상기 지연 값만큼 지연시켜 출력하도록 더 구성되는, 셋탑박스.
- 제14항에 있어서,
상기 오디오 디코더는 소프트웨어 기반의 애트모스 오디오 디코더인, 셋탑박스.
- 제14항에 있어서,
상기 음파 변환부는 상기 TV로부터 출력되는 음파를 전기 신호로 변환하도록 구성된 마이크를 포함하고,
상기 음파 변환부는 상기 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하도록 더 구성되는, 셋탑박스.
- 제14항에 있어서,
상기 루프백 오디오 신호 샘플들을 노이즈 제거 필터링하도록 구성된 노이즈 제거 필터부를 더 포함하는, 셋탑박스.
- 제14항에 있어서,
상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들은 동일한 시간 윈도우 내의 샘플들인, 셋탑박스.
- 제14항에 있어서,
상기 지연값 결정부는, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여 상기 지연 값을 결정하도록 더 구성되는, 셋탑박스.
- 제14항에 있어서,
상기 오디오 디코더, 상기 음파 변환부 및 상기 지연값 결정부는 상기 지연 발생부가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 비활성화되도록 작동되는, 셋탑박스.
- 셋탑박스로서,
압축된 비디오 신호와 압축된 오디오 신호를 포함하는 신호를 디멀티플렉싱하여 제1 단자로 압축된 비디오 신호를 출력하고 제2 단자로 압축된 오디오 신호를 출력하도록 구성된 디멀티플렉서 - 상기 제2 단자는 TV와의 접속을 위한 출력 단자와 접속됨 -,
상기 제2 단자로 출력되는 상기 압축된 오디오 신호를 디코딩하여 압축 해제된 오디오 신호를 출력하도록 구성된 오디오 디코더,
상기 제1 단자로 출력되는 상기 압축된 비디오 신호를 디코딩하여 압축 해제된 비디오 신호를 출력하도록 구성된 비디오 디코더,
상기 압축 해제된 비디오 신호를 입력받아 상기 출력 단자로 그대로 또는 지연시켜 출력하도록 구성된 지연 발생부,
상기 TV로부터 출력되는 음파를 수신하여 루프백 오디오 신호 샘플들을 제공하도록 구성된 음파 변환부, 및
상기 압축 해제된 오디오 신호를 샘플링하여 기준 오디오 신호 샘플들을 제공하고, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들에 기초하여 지연 값을 결정하여 출력하도록 구성된 지연값 결정부를 포함하고,
상기 지연 발생부는 상기 압축 해제된 비디오 신호를 입력받아 그대로 출력하다가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 상기 압축 해제된 비디오 신호를 입력받아 상기 지연 값만큼 지연시켜 출력하도록 더 구성되는, 셋탑박스.
- 제21항에 있어서,
상기 오디오 디코더는 소프트웨어 기반의 애트모스 오디오 디코더인, 셋탑박스.
- 제21항에 있어서,
상기 음파 변환부는 상기 TV로부터 출력되는 음파를 전기 신호로 변환하도록 구성된 마이크를 포함하고,
상기 음파 변환부는 상기 전기 신호를 A/D 변환하여 루프백 오디오 신호 샘플들을 제공하도록 더 구성되는, 셋탑박스.
- 제21항에 있어서,
상기 루프백 오디오 신호 샘플들을 노이즈 제거 필터링하도록 구성된 노이즈 제거 필터부를 더 포함하는, 셋탑박스.
- 제21항에 있어서,
상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들은 동일한 시간 윈도우 내의 샘플들인, 셋탑박스.
- 제21항에 있어서,
상기 지연값 결정부는, 상기 기준 오디오 신호 샘플들 및 상기 루프백 오디오 신호 샘플들 간의 시차 값을 산출하고 상기 시차 값에 기초하여 상기 지연 값을 결정하도록 더 구성되는, 셋탑박스.
- 제21항에 있어서,
상기 오디오 디코더, 상기 음파 변환부 및 상기 지연값 결정부는 상기 지연 발생부가 상기 지연값 결정부로부터 상기 지연 값을 입력받는 것에 응답하여 비활성화되도록 작동되는, 셋탑박스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200032559A KR102311386B1 (ko) | 2020-03-17 | 2020-03-17 | Av 신호에 대한 립싱크 제어 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200032559A KR102311386B1 (ko) | 2020-03-17 | 2020-03-17 | Av 신호에 대한 립싱크 제어 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210115993A true KR20210115993A (ko) | 2021-09-27 |
| KR102311386B1 KR102311386B1 (ko) | 2021-10-08 |
Family
ID=77925760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200032559A KR102311386B1 (ko) | 2020-03-17 | 2020-03-17 | Av 신호에 대한 립싱크 제어 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102311386B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030082117A (ko) * | 2002-04-16 | 2003-10-22 | 엘지전자 주식회사 | 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법 |
| KR20070112520A (ko) * | 2006-05-22 | 2007-11-27 | (주)케이티에프테크놀로지스 | 이동통신 단말기의 오디오 루프백을 이용한 음질 테스트방법 및 장치 |
-
2020
- 2020-03-17 KR KR1020200032559A patent/KR102311386B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030082117A (ko) * | 2002-04-16 | 2003-10-22 | 엘지전자 주식회사 | 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법 |
| KR20070112520A (ko) * | 2006-05-22 | 2007-11-27 | (주)케이티에프테크놀로지스 | 이동통신 단말기의 오디오 루프백을 이용한 음질 테스트방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102311386B1 (ko) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5174527B2 (ja) | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 | |
| RU2013158084A (ru) | Способы и системы синхронизации и переключения для системы адаптивного звука | |
| CN105245976B (zh) | 音频和视频同步播放的方法及系统 | |
| EP1616272A1 (en) | System and method for performing automatic dubbing on an audio-visual stream | |
| JP2007013994A (ja) | ローカル３次元ビデオを具現するためのエンコーディング／デコーディング方法及び装置 | |
| CN105376628A (zh) | 音视频信号同步方法和装置 | |
| US20120105719A1 (en) | Speech substitution of a real-time multimedia presentation | |
| KR20150021258A (ko) | 디스플레이장치 및 그 제어방법 | |
| US20130163952A1 (en) | Video presentation apparatus, video presentation method, video presentation program, and storage medium | |
| US20140310010A1 (en) | Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same | |
| CN101282438A (zh) | 画音同步方法和应用该方法的视频设备 | |
| JP2009239671A (ja) | デジタル放送受信装置、及びデジタル放送受信方法 | |
| KR102311386B1 (ko) | Av 신호에 대한 립싱크 제어 방법 및 장치 | |
| US7600240B2 (en) | Data processing apparatus and method | |
| KR20150019931A (ko) | 디스플레이장치 및 그 제어방법 | |
| JP2011155640A (ja) | 立体映像再生装置 | |
| US10109285B2 (en) | Coding device and method, decoding device and method, and program | |
| CN115643424A (zh) | 直播数据处理方法及系统 | |
| WO2021004047A1 (zh) | 显示装置、音频播放方法 | |
| WO2017148178A1 (zh) | 一种音视频处理方法以及相关设备 | |
| US20200154197A1 (en) | Acoustic processor and acoustic output device | |
| CN104796578A (zh) | 一种基于节目声音特征的多屏同步方法 | |
| CN203747934U (zh) | 一种音视频同步装置 | |
| JP6343171B2 (ja) | 受信装置 | |
| JP2007110310A (ja) | 映像表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |