KR20240013502A

KR20240013502A - 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스 및 그 제어 방법

Info

Publication number: KR20240013502A
Application number: KR1020220091110A
Authority: KR
Inventors: 유용수
Original assignee: 엘지전자 주식회사
Priority date: 2022-07-22
Filing date: 2022-07-22
Publication date: 2024-01-30

Abstract

본 발명의 일실시예에 따른 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법은, 상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 단계와, 상기 비디오 데이터가 처리되는 프로세서에 대응하는 제1 프로세서로 상기 제1 싱크 신호를 전달하는 단계와, 상기 오디오 데이터가 처리되는 프로세서에 대응하는 제2 프로세서로 상기 제2 싱크 신호를 전달하는 단계와, 상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하는 단계와, 그리고 상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 단계를 포함한다.

Description

비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스 및 그 제어 방법 {MULTIMEDIA DEVICE FOR PROCESSING AUDIO/VIDEO DATA AND METHOD THEREOF}

본 발명의 기술 분야는 비디오 데이터 및 오디오 데이터를 처리하는 다양한 멀티미디어 디바이스(예를 들어, 텔레비전(television), STB(Set Top Box), 휴대폰, 태블릿(tablet) PC(personal computer), 랩탑(laptop) 또는 웨어러블 디바이스(wearable device) 등등)에 대한 것이다.

멀티미디어 디바이스는, 비디오 데이터(ex: 영상)와 오디오 데이터(ex: 음성)를 출력하는 다양한 타입의 디바이스를 의미한다. 나아가, 멀티미디어 디바이스는, 비디오 데이터 및 오디오 데이터의 품질을 높이고, 특정 사용 시나리오에 적합한 포맷의 음성과 영상을 생성하기 위해, 멀티미디어 디바이스 내부에서 영상 신호 처리 및 음성 신호 처리를 각각 수행하도록 설계된다.

도 1은 종래 기술에 따른 멀티미디어 디바이스(100)에서 비디오 데이터 및 오디오 데이터를 함께 처리하는 프로세스를 도시하고 있다.

도 1에 도시된 비디오 프로세서(110)는, 예를 들어, 비디오 디코더(Video Decoder), 디인터레이서(Deinterlacer), 입력 스케일러(Input Scaler), 출력 스케일러(Output Scaler), PQ(Picture Quality) 엔진, MEMC (Motion Estimation Motion Compensation), 디스플레이 패널(Display Panel) 등으로 구성되며, 영상 신호는 비디오 프로세서(110)를 통과할 때, 상당한 시간을 소비하게 된다. 이 때, 소비되는 시간은, 다양한 인자들(HW/SW 구조, 영상의 해상도, 주사율, 스캔 타입, 화질 모드, MEMC 상태, 디스플레이 패널의 타입(종류), 시스템의 상황 등)의 영향을 받는다.

한편, 오디오 프로세서(120)는, 예를 들어, 오디오 디코더(Audio Decoder), 믹서(Mixer), 사운드 출력(Sound Output), 사운드 엔진(Sound Engine), AMP(Amplifier), 외부 사운드 바(Sound Bar) 등으로 구성되며, 음성 신호는 오디오 프로세서(120)를 통과할 때, 또한 상당한 시간을 소비하게 된다. 이 때, 소비되는 시간 역시, 다양한 인자들(HW/SW 구조, 음성 코덱, 음성 모드, 사운드 엔진 설정, 시스템의 상황 등)의 영향을 받는다.

영상 처리 지연 시간과 음성 처리 지연 시간은, 전술한 바와 같이, 다양한 원인으로 발생하고, 이들의 최종 결과는, 도 1에 도시된 바와 같이, 딜레이 갭(130)의 형태로 발현되게 된다. 따라서, 비디오 데이터 및 오디오 데이터의 싱크(동기)를 맞추는 작업이 필요하다.

특히, 최근에는 TV의 멀티미디어 기능이 강화되어, 다양한 입력(HDMI, 게임용 기기)으로부터 수신되는 AV 데이터의 싱크를 실시간으로 변경하면서 맞추어야 할 필요가 있다. 나아가, 멀티미디어 디바이스의 일예인 TV가 외부기기와 BT 연결된 상태에서, 외부기기로부터 AV 데이터를 수신할 때는 오디오 데이터의 딜레이(Delay)가 심각해 지는 문제가 있다.

영상과 음성 처리 지연 시간을 맞추는 가장 대표 적인 방식은 영상 처리 지연 시간과 음성 처리 지연 시간의 차이를 정확히 알아내고 처리 시간이 짧은 쪽에 그 차이 시간 만큼의 지연 시간을 의도적으로 추가하는 것이다(대부분의 경우 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경향이 있음).

이 과정 중 영상 처리 지연시간과 음성 처리 지연 시간의 차이를 알아내는 것이 어려워 이 시간 차이를 구하는 방식에 관한 여러 발명들이 시도 되었다. 가장 대표적인 방법은 사용자 시나리오에 따른 고정된 영상 처리 지연 시간 표와 음성 처리 지연 시간 표를 미리 준비해 놓고 현재 선택된 사용 시나리오에 맞는 영상 처리 지연 시간과 음성 처리 지연 시간을 이 표들로부터 얻어오는 방식이다.

그러나, 이와 같은 종래 기술에 의하면, 음성/영상 처리 지연 시간에 영향을 주는 인자들을 정의하고 이들의 가능한 모든 조합에 따른 음성/영상 처리 지연 시간 표를 만들어야 했다. 그러나 인자들의 수가 많아 인자들의 가능한 조합을 나타내는 표의 크기는 컸고 SW 변경 시 처리 지연 시간 역시 바뀌어 이 표는 수정되어야 했고 관리 및 검증이 힘들었다.

또한 이 방식은 신호 상태, 네트웍 상태, Adaptive Streaming등의 시스템 외부나 시스템 부하 조건, MEMC 동작 상태 변경 등에 따른 시스템 내의 사전에 예측할 수 없는 상황에서의 영상 / 음성 처리 지연시간의 변화를 반영하는데 한계가 있다는 문제점이 있었다.

본 발명의 일실시예는, 비디오 데이터 및 오디오 데이터의 싱크(동기)를 맞추는 새로운 방법을 제시한다.

본 발명의 다른 일실시예는, AV 데이터의 싱크를 맞추는 과정에서 워터마크(watermark, WM)를 사용하는 방식과, WM를 사용하지 않는 방식을 구별하여 제안하고자 한다.

본 발명의 또 다른 일실시예는, 워터마크(watermark, WM)를 사용하는 방식과, WM를 사용하지 않는 방식에서 모두 사용되는 싱크 신호의 주기(T) 등을 구체적으로 정의하고자 한다.

본 발명의 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법은, 상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 단계와, 상기 비디오 데이터가 처리되는 프로세서에 대응하는 제1 프로세서로 상기 제1 싱크 신호를 전달하는 단계와, 상기 오디오 데이터가 처리되는 프로세서에 대응하는 제2 프로세서로 상기 제2 싱크 신호를 전달하는 단계와, 상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하는 단계와, 그리고 상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 단계를 포함한다.

본 발명의 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법은, 상기 제1 싱크 신호 및 상기 제2 싱크 신호를 생성하기 이전에, 리셋 신호를 생성하는 단계와, 그리고 상기 생성된 리셋 신호를 상기 제1 프로세서 및 상기 제2 프로세서로 전달하는 단계를 더 포함할 수도 있다.

상기 제1 프로세서는, 예를 들어, 상기 비디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가진다.

나아가, 상기 제2 프로세서는, 예를 들어, 상기 오디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가진다.

상기 제1 싱크 신호 및 상기 제2 싱크 신호의 파형은, 예를 들어, 50%의 하이(high) 구간과 50%의 로우(low) 구간으로 이루어진 것을 특징으로 한다.

상기 제1 싱크 신호 및 상기 제2 싱크 신호의 주기(T)는, 예를 들어, 상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값의 최대치의 2배로 설정되어 있는 것을 특징으로 한다.

본 발명의 다른 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법은, 상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 단계와, 상기 제1 싱크 신호를 상기 비디오 데이터에 삽입하는 단계와, 상기 제2 싱크 신호를 상기 오디오 데이터에 삽입하는 단계와, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 상기 제1 싱크 신호와, 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하는 단계와, 그리고 상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 단계를 포함한다.

본 발명의 다른 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법은, 상기 제1 싱크 신호를 상기 비디오 데이터에 삽입하기 이전에, 상기 제1 싱크 신호를 인코딩 하는 단계와, 그리고 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 상기 제1 싱크 신호를 추출하는 단계를 더 포함한다.

본 발명의 다른 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법은, 상기 제2 싱크 신호를 상기 오디오 데이터에 삽입하기 이전에, 상기 제2 싱크 신호를 인코딩 하는 단계와, 그리고 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 상기 제2 싱크 신호를 추출하는 단계를 더 포함한다.

본 발명의 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스는, 상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 제너레이터(generator)와, 상기 제1 싱크 신호를 처리하는 제1 프로세서(상기 제1 프로세서는 상기 비디오 데이터가 처리되는 프로세서에 대응)와, 상기 제2 싱크 신호를 처리하는 제2 프로세서(상기 제2 프로세서는 상기 오디오 데이터가 처리되는 프로세서에 대응)와, 그리고 상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하고, 상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 컨트롤러를 포함한다.

본 발명의 다른 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스는, 상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 제너레이터(generator)와, 상기 제1 싱크 신호를 상기 비디오 데이터에 삽입하는 제1 인코더와, 상기 제2 싱크 신호를 상기 오디오 데이터에 삽입하는 제2 인코더와, 그리고 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 상기 제1 싱크 신호와, 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 제2 싱크 신호의 딜레이 차이값을 계산하고, 상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 컨트롤러를 포함한다.

본 발명의 일실시예는, TV 등 멀티미디어 디바이스에서, 비디오 데이터 및 오디오 데이터의 싱크(동기)를 정확히 맞출 수 있는 기술적 효과가 있다. 나아가, 하나의 파일에 대하여 최초 싱크를 맞춘 이후, 변경된 경우에도 실시간으로 싱크를 재조정할 수 있는 장점이 있다. 특히, 최근에는 통신 환경이나 시스템 환경의 변화 등에 따라, 하나의 컨텐츠를 전송하는 과정에서 비디오 데이터의 화질이 자동으로 변경되는 경우가 있는데, 이 때 AV 데이터에 대한 싱크도 실시간으로 변경할 니즈가 있는데, 본 발명은 이와 같은 문제점을 해결할 수가 있다.

본 발명의 다른 일실시예는, AV 데이터의 싱크를 맞추는 과정에서 워터마크(WM)를 사용하는 방식과 WM를 사용하지 않는 2가지 방식을 구별하여 제시하는 기술적 효과가 있다. 따라서, 당업자는 시스템의 HW/SW 성능 등을 고려하여 적절한 방식을 선택할 수 있는 장점이 있다.

본 발명의 또 다른 일실시예는, 싱크 신호의 주기(T)를 구체적으로 정의함으로써, AV 데이터의 동기화가 실현될 수 있도록 한다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래 기술에 따른 멀티미디어 디바이스(100)에서 비디오 데이터 및 오디오 데이터를 함께 처리하는 프로세스를 도시하고 있다.
도 2는 본 발명의 일실시예에 의한 TV 내부의 구성요소들을 도시하고 있다.
도 3은 본 발명의 다른 일실시예에 의한 TV 내부의 구성요소들과 외부 장치를 함께 도시하고 있다.
도 4는 본 발명의 일실시예에 따른 멀티미디어 디바이스가 워터마크를 사용하지 않고 AV 데이터의 싱크를 맞추기 위한 구성요소들을 도시하고 있다.
도 5는 도 4에서 설명한 싱크 신호의 일예를 도시하고 있다.
도 6은 본 발명의 일실시예에 따른 멀티미디어 디바이스가 워터마크를 이용하여 AV 데이터의 싱크를 맞추기 위한 구성요소들을 도시하고 있다.
도 7은 도 4에 도시된 일부 구성(407)을 보다 상세히 설명하기 위한 도면이다.
도 8은 도 7에 도시된 비디오 신호의 딜레이와 오디오 신호의 딜레이간 다양한 차이값들을 도시하고 있다.
도 9는 도 4에 도시된 일부 구성(406)을 보다 상세히 설명하기 위한 도면이다.
도 10은 도 9에 도시된 오디오 신호의 딜레이와 비디오 신호의 딜레이간 다양한 차이값들을 도시하고 있다.
도 11은 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경우, 영상과 음성이 출력되지 않고 있다가 영상과 음성이 출력되는 최초 순간의 파형을 도시하고 있다.
도 12는 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경우, 오디오 프로세서에 지연 시간을 추가하는 회로를 도시하고 있다.
도 13은 본 발명의 일실시예에 따른 멀티미디어 디바이스가 워터마크를 사용하지 않고 AV 데이터의 싱크를 맞추는 프로세스를 도시한 플로우 차트이다.
그리고, 도 14는 본 발명의 일실시예에 따른 멀티미디어 디바이스가 워터마크를 이용하여 AV 데이터의 싱크를 맞추는 프로세스를 도시한 플로우 차트이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

도 2는 본 발명의 일실시예에 의한 TV 내부의 구성요소들을 도시하고 있다.

본 발명은 다양한 TV 제품들에 적용 가능하며, 예를 들어 유럽 표준인 DVB (Digital Video Broadcasting) 표준 또는 북미/한국 표준인 ATSC (Advanced Television Systems Committee) 3.0 표준 등에도 적용 가능하다.

다만, 도 2에서는 ATSC 3.0 표준에 따라, TV(100)가 최초 서비스 스캔 동작을 수행하는 과정을 예시적으로 설명하겠으나, 본 발명의 권리범위는 특허청구범위에 기재된 사항에 따라 결정되어야 한다.

튜너(110)는 기정의된 주파수 리스트를 이용하여 신호가 존재하는 지 여부를 판단한다. 주어진 주파수에서 신호가 디텍트 되면, 베이스밴드 프로세서(Baseband processor)(120)는 프리엠블의 L1 시그널링을 추출한다.

나아가, 상기 베이스밴드 프로세서(120)는 링크 레이어 시그널링 및 LLS (Low Level Signaling)를 포함하는 PLP (Physical Layer Pipe) 데이터를 미들웨어(130)에 전송하고, 상기 미들웨어(130)는 상기 PLP 데이터로부터 상기 링크 레이어 시그널링 및 LLS 를 추출할 수 있다.

한편, 상기 미들웨어(130)는, 시그널링 매니저(140) 및 채널 매니저(150) 등을 포함하고 있다.

상기 미들웨어(130)는, 링크 레이어 시그널링 및 LLS 를 포함하는 PLP 데이터를 상기 베이스밴드 프로세서(120)로부터 수신한 후, 적절한 파서로 데이터를 패스한다.

예를 들어, 상기 미들웨어(130)는, 상기 링크 레이어 시그널링으로부터 LMT (Link Mapping Table) 를 추출하고, 상기 LMT 를 LMT 파서(141)로 패스한다. 나아가, 상기 미들웨어(130)는, 상기 LLS 로부터 SLT (Service List Table)를 추출하고, 상기 SLT 를 SLT 파서(142)로 패스한다.

상기 LMT 파서(141)는 상기 LMT를 파스(parse)하고, 채널 맵을 생성하기 위해 필요한 제1정보(예를 들어, PLPID, 세션 정보(IP 어드레스 및 포트 넘버) 등등)를 추출한다.

상기 SLT 파서(142)는 상기 SLT 를 파스(parse)하고, 채널 맵을 생성하기 위해 필요한 제2정보(예를 들어, 서비스 id, 서비스 네임 등등)를 추출한다.

상기 추출된 제1정보 및 제2정보는, 채널맵(151)에 저장된다.

도 3은 본 발명의 다른 일실시예에 의한 TV 내부의 구성요소들과 외부 장치를 함께 도시하고 있다. 당업자는 도 2 및 도 3을 참조하여, 일부 구성요소들을 결합하여 본 발명을 구현하는 것도 가능하다. 예를 들어, 도 2에 도시된 베이스밴드 프로세서(120) 및 미들웨어(130)는 도 3에 도시된 컨트롤러(209)에 포함될 수 있다.

한편, 도 3에 도시된 TV(200)는 다양한 구성요소들을 포함하고 있으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며, 특허청구범위에 기재된 사항에 따라 권리범위가 확정되어야 한다.

나아가, 도 3에 도시된 TV(200) 내부의 구성요소들은 컨트롤러(209)를 통해 제어될 수 있고, 각 구성요소들은 직접 또는 간접적으로 연결될 수도 있다. 즉, 도 3에 도시하지는 않았으나, 도 3의 TV(200) 내부의 모든 구성요소들은 컨트롤 신호 및/또는 데이터를 직접 또는 간접적으로 송수신 할 수 있도록 설계된다.

우선, 튜너(201)는 안테나 등을 통해 방송 신호를 수신하고, 디먹서(Demux 또는 Demultiplexer)(202)는 상기 방송 신호에 포함된 오디오 데이터 및 비디오 데이터를 역다중화 한다.

오디오 디코더(203)는, 방송 신호에 포함된 오디오 데이터(인코딩된 상태)를 디코딩 하고, 비디오 디코더(204)는, 방송 신호에 포함된 비디오 데이터(인코딩된 상태)를 디코딩 한다.

디코딩된 오디오 데이터는 오디오 출력부(207)를 통해 출력된다. 상기 오디오 출력부(207)는 예를 들어, TV(200)에 부착된 스피커 또는 이격한 스피커가 될 수 있다.

한편, 디코딩된 비디오 데이터는 비디오 출력부(208)를 통해 바로 출력된다. 또는, 믹서(205)가 OSD 생성부(206)에 의해 생성된 메뉴 데이터 및 비디오 데이터를 믹싱한 후 비디오 출력부(208)로 전달한다.

메모리(215)는 TV(200)를 제어하기 위한 다양한 컨트롤 데이터 및 커맨드 등을 저장하고 있으며, 컨트롤러(209)는 메모리(215)를 참조하여, TV내 모든 구성요소들을 제어하는 것이 가능하다.

나아가, TV(200)는 주변의 다양한 외부 디바이스들과 통신을 통해 데이터를 송수신 한다. 예를 들어, 유선 인터페이스(212)를 경유하여, STB(220)로부터 비디오/오디오 데이터를 수신하고, 이들은 오디오 디코더(203) 및 비디오 디코더(204)에서 각각 처리된다. 또는, 수신된 비디오/오디오 데이터가 디코더들(203, 204)를 경유하지 않고, 오디오 출력부(207) 및 비디오 출력부(208)를 통해 바로 출력되는 것도 가능하다.

무선 통신 모듈(213)을 경유하여, 모바일 디바이스(230)(예를 들어, 휴대폰/웨어러블 디바이스 등)와 다양한 데이터를 송수신하고, 리모컨(240)의 IR 적외선 신호는 적외선 센서(214)를 통해 수신한다. 또는, BT 등 블루투스 통신이 가능한 리모컨(240)은, 상기 무선 통신 모듈(213)을 경유하여, TV와 다양한 데이터를 송수신한다.

한편, 이전 도 2 및 도 3에서 본 발명이 적용될 수 있는 디바이스로서 TV를 예로 들어 설명하였으나, 본 발명은 TV 뿐만 아니라, 비디오 데이터 및 오디오 데이터를 함께 처리하는 어떤 타입의 멀티미디어 디바이스에도 적용 가능하다.

도 4는 본 발명의 일실시예에 따른 멀티미디어 디바이스가 워터마크를 사용하지 않고 AV 데이터의 싱크를 맞추기 위한 구성요소들을 도시하고 있다.

전술한 바와 같이, 본 발명은 영상과 음성의 동기(싱크)를 맞추기 위한 새로운 방법을 제시한다. 보다 구체적으로는, 워터 마크(water mark) 기술을 사용하는 방식과 WM 기술을 사용하지 않는 방식이 있다.

우선, 워터 마크 기술을 사용하지 않는 방식에 대하여, 이하 도 4를 참조하여 설명하도록 하겠다.

도 4에 도시된 바와 같이, 종래 기술과 달리, 1 비트 동기 신호 제너레이터(generator)(401)가 추가되었다.

그리고, 비디오 데이터를 처리하는 프로세서(408) 이외에, 비디오 데이터를 위한 제1 싱크 신호(ex: 1 비트 크기)를 처리하는 제1 프로세서(404)가 또한 추가되었다.

한편, 오디오 데이터를 처리하는 프로세서(409) 이외에, 오디오 데이터를 위한 제2 싱크 신호(ex: 1 비트 크기)를 처리하는 제2 프로세서(405)가 또한 추가되었다.

비디오 데이터(영상) 처리 지연 시간이 오디오 데이터(음성) 처리 지연 시간 보다 긴 경우, 그 시간 차이를 계산하는 회로부(407)와, 그 반대의 경우 그 시간 차이를 계산하는 회로부(406)가 추가 되었다. 다만, 전술한 회로부들(406, 407)의 기능을 간단히 컨트롤러에서 구현하는 것도 본 발명의 권리범위에 속한다.

1 비트 동기 신호 제너레이터(401)는, 비디오 데이터를 처리하는 프로세서(408)와 오디오 데이터를 처리하는 프로세서(409)를 검사해서, 모두 신호를 흘리고 있는 상황이라 판단한 경우, 1 비트 동기 신호를 생성하기 시작한다.

생성된 동기 신호는 제1 프로세서(404)에 인가되는데, 제1 프로세서(404)는 입력 1 비트 신호에 대해, 비디오 데이터를 처리하는 프로세서(408)와 동일한 지연 시간을 적용하는 동작 특성을 갖는다. 이와 같이 설계할 경우, 제1 프로세서(404)가 출력하는 1 비트 동기 신호는 비디오 데이터와 동일한 처리 지연 시간을 가지게 된다.

1 비트 동기 신호는 제2 프로세서(405)에도 인가되며, 제2 프로세서(405) 역시 입력 1 비트 신호에 대해, 오디오 데이터를 처리하는 프로세서(409)와 동일한 지연 시간을 적용하는 동작 특성을 갖는다. 이와 같이 설계할 경우, 제2 프로세서(405)가 출력하는 1 비트 동기 신호는 오디오 데이터와 동일한 처리 지연 시간을 가지게 된다.

물론, 도 4에 도시된 바와 같이, 1 비트 영상 동기 신호 처리를 위한 제1 프로세서(404) 및 1 비트 음성 동기 신호 처리를 위한 제2 프로세서(405)를 추가하지 않고, 1 비트 영상 / 음성 동기 신호를 기존의 영상 프레임 싱크 신호와 음성 프레임 싱크 신호의 리저브 비트(reserve bit)에 추가하거나, 또는 영상 프레임 싱크 신호와 음성 프레임 싱크 신호를 변형하여 추가하고, 비디오 데이터를 처리하는 프로세서(408)와 오디오 데이터를 처리하는 프로세서(409) 각각은, 입력 영상 프레임 싱크 신호와 음성 프레임 싱크 신호를 입력받은 형태를 그대로 유지한 상태로 처리 지연 시간만 부여하여 출력하는 동작 특성을 갖도록 설계하는 것도 본 발명의 권리범위에 속한다.

전술한 회로부들(406, 407)은, 영상 처리 지연 시간이 적용된 1 비트 영상 동기 신호와 음성 처리 지연 시간이 적용된 1 비트 음성 동기 신호에 특정 디지털 연산을 수행하여 영상 처리 지연 시간과 음성 처리 지연 시간 중 어느 것이 얼마큼 더 긴지 판단한다. 이와 관련해서는, 이하 도 7 내지 도 10에서 보다 상세히 후술하도록 하겠다.

회로부(407)에서 구해진 영상 처리 지연 시간과 음성 처리 지연 시간의 차이 시간은, 오디오 데이터를 처리하는 프로세서(409)에 추가적으로 더해질 지연 시간 값으로 사용된다. 따라서, 오디오 데이터를 처리하는 프로세서(409)에 추가적으로 더해진 지연 시간으로 인해 음성 처리 지연시간은 영상 처리 지연 시간과 일치하게 된다.

회로부(406)에서 구해진 음성 처리 지연 시간과 영상 처리 지연 시간의 차이는, 비디오 데이터를 처리하는 프로세서(408)에 추가적으로 더해질 지연 시간 값으로 사용된다. 따라서, 비디오 데이터를 처리하는 프로세서(408)에 추가적으로 더해진 지연 시간으로 인해 영상 처리 지연 시간은 음성 처리 지연 시간과 일치하게 된다.

전술한 동작들을 수행하기에 앞서, 1 비트 동기 신호 제너레이터(401)는 동기 신호를 최초로 생성하는 순간, 리셋(Reset) 신호를 1회 발생시켜, 1 비트 영상 처리를 위한 제1 프로세서(404), 1 비트 음성 처리를 위한 제2 프로세서(405), 영상 지연 시간 추가 부, 음성 지연 시간 추가 부 등을 초기화 시킨다.

본 발명의 일실시예에 따라, 이와 같이 설계하는 이유는, 이전 동작에 의해 각 시스템에 쌓여 있을 가능성이 있는 이상 데이터들로 인하여, 현재의 영상 처리 지연 시간과 음성 처리 지연 시간의 차이 시간을 산출하는 동작에 오동작을 일으키는 상황을 방지하기 위함이다.

한편, 도 4에 도시된 1 비트 동기 신호들(402, 403)의 파형은, 도 5에 도시된 바와 같이, 50%의 하이(high) 구간 이후 50%의 로우(low) 구간을 가지는 형태이며, 이 파형이 주기(T)적으로 반복된다.

본 발명의 다른 일실시예로서, 워터 마크(Water mark) 기술을 사용하는 경우의 시스템 구조는 도 6에 도시된 바와 같다. 도 6에 도시된 실시예는, 도 4에 도시된 실시예와 달리, 1 비트 영상 동기 신호 처리를 위한 제1 프로세서(404) 및 1 비트 음성 동기 신호 처리를 위한 제2 프로세서(405)를 추가할 필요가 없다.

다만, 1 비트 동기 신호 제너레이터(generator) 출력단에 1 비트 영상 워터마크(water mark) 인코더(601)와 1 비트 음성 워터마크(water mark) 인코더(602)가 추가되었으며, 나아가, 영상 프로세서(607)의 출력단에 1 비트 영상 워터마크(water mark) 디코더(603)와 음성 프로세서(608)의 출력단에 1 비트 음성 워터마크(water mark) 디코더(604)가 추가되었다.

1 비트 영상 워터마크(water mark) 인코더(601)는, 매 1 영상 프레임 마다 1 비트 영상 동기 신호를 water mark 방법으로 영상 프레임에 추가하고 1 비트 음성 워터마크(water mark) 인코더(602)는, 매 1 음성 프레임마다 1 비트의 음성 동기 신호를 water mark 방법으로 음성 프레임에 추가한다.

1 비트 영상 워터마크(water mark) 디코더(603)는 영상 프로세서(607)의 출력 단의 영상 처리 완료된 영상 신호에 water mark 방법으로 삽입된 1 비트 영상 동기 신호를 추출하여 영상 데이터와 동일 처리 지연 시간이 적용된 영상 동기 신호를 추출해 내도록 설계된다.

한편, 1 비트 음성 워터마크(water mark) 디코더(604)는 음성 프로세서(608)의 출력 단의 음성 처리 완료된 음성 신호에 water mark 방법으로 삽입된 1 비트 음성 동기 신호를 추출하여 음성 데이터와 동일 처리 지연 시간이 적용된 음성 동기 신호를 추출해 내도록 설계된다. 이후의 회로부들(609, 610)의 동작은, 이전 도 4의 회로부들(406, 407)의 동작과 동일하다.

정리하면, 본 발명의 일실시예들에 따라, 워터마크(WM)를 사용하지 않는 방식(도 4)과 WM를 사용하는 방식(도 6)의 차이는, 영상 처리 지연 시간이 적용된 1 비트 영상 동기 신호와 음성 처리 지연 시간이 적용된 1 비트 음성 동기 신호를 얻는 방식이 다르다는 것이다.

워터마크를 사용하지 않는 방식은, 영상 프로세서(도 4에 도시된 408번)를 모델링한 1 비트 영상 동기 프로세서(도 4에 도시된 제1 프로세서(404)) 및 음성 프로세서(도 4에 도시된 409번)를 모델링한 1 비트 음성 동기 프로세서(도 4에 도시된 제2 프로세서(405))에, 1 비트 동기 신호를 인가시켜 오디오/비디오 데이터의 지연값을 얻는다. 또는, 영상 프레임 싱크 신호와 음성 프레임 싱크 신호에 1 비트 동기 신호를 삽입하고, 이들을 영상 프로세서 및 음성 프로세서에 흐르게 한 다음, 영상 프로세서 및 음성 프로세서의 출력단에서 흘러 나오는 영상 프레임 싱크 신호와 음성 프레임 싱크 신호로부터 오디오/비디오 데이터의 지연값을 획득한다.

반면, 워터마크를 사용하는 방식은, 1 비트 동기 신호를 water mark 방식으로 실제 영상 데이터와 실제 음성 데이터에 삽입하고, 1 비트 동기 신호를 실제 영상 프로세서와 음성 프로세서에 흐르게 한 후, 영상 처리 및 음성 처리가 완료되었을 때 영상 및 음성에 삽입된 워터마크 신호들로부터, 1 비트 영상 동기 신호와 1 비트 음성 동기 신호를 추출하여 얻는 방식인 것이다.

도 7은 도 4에 도시된 일부 구성(407)을 보다 상세히 설명하기 위한 도면이다. 도 8은 도 7에 도시된 비디오 신호의 딜레이와 오디오 신호의 딜레이간 다양한 차이값들을 도시하고 있다. 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경우, 그 시간 차이를 계산하는 방법에 대하여, 도 7 및 도 8을 참조하여 설명하도록 하겠다.

도 7은 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경우, 사용되는 디지털 연산 로직의 회로를 예시적으로 보여 준다. 한편, 도 8은, 1 비트 영상 동기 신호 프로세서의 출력단에서 추출된 영상 동기 신호의 낫(Not) 연산부(701)를 통과한 파형, 1 비트 음성 동기 신호 프로세서의 출력단에서 추출된 음성 동기 신호의 파형, 그리고 전술한 2개의 파형을 AND 연산부(702)로 통과시킨 결과의 파형을 보여준다. 이는 도 4에 도시된 407번 회로도에 대한 설명에 해당한다.

음성 동기 신호가 로우(low)에서 하이(high)로 먼저 변경된 후, 영상 동기 신호에 대한 Not 연산 수행을 하면, 신호가 하이(high)에서 로우(low)로 변경 된다. 이 때, 도 7에 도시된 AND 연산부(702)의 파형은 신호가 하이(high) 상태로 출력되는 특성을 가진다.

도 8에 도시된 바와 같이, (a), (b), (c), (d), (e) 순서로 갈수록 영상 처리 지연 시간이 음성 처리 지연 시간 보다 점점 더 긴 경우(T1 < T2 < T3 < T4)를 보여 주는데, 이에 따라 AND 연산부의 결과 신호의 하이(high) 구간의 길이가 점점 길어진다.

이 특성을 이용해서, 도 7에 도시된 AND 연산부(702)의 결과값이 하이(high) 구간인 동안만 카운터(703)를 동작 시키면, 영상 처리 지연 시간과 음성 처리 지연 시간의 차이값(시간)을 구할 수 있게 된다.

도 9는 도 4에 도시된 일부 구성(406)을 보다 상세히 설명하기 위한 도면이다. 도 10은 도 9에 도시된 오디오 신호의 딜레이와 비디오 신호의 딜레이간 다양한 차이값들을 도시하고 있다. 음성 처리 지연 시간이 영상 처리 지연 시간 보다 긴 경우, 그 시간 차이를 구하는 방법에 대하여, 도 9 및 도 10을 참조하여 설명하도록 하겠다.

도 9는 음성 처리 지연 시간이 영상 처리 지연 시간 보다 긴 경우, 사용되는 디지털 연산 로직의 회로를 예시적으로 보여 준다. 한편, 도 10은, 1 비트 영상 동기 신호 프로세서의 출력단에서 추출된 영상 동기 신호 파형, 1 비트 음성 동기 신호 프로세서의 출력단에서 추출 된 음성 동기 신호의 낫(Not) 연산부(901)를 통과한 파형, 그리고 전술한 2개의 파형을 AND 연산부(902)로 통과시킨 결과의 파형을 보여준다. 이는 도 4에 도시된 406번 회로도에 대한 설명에 해당한다.

영상 동기 신호가 로우(low)에서 하이(high)로 먼저 변경된 후, 음성 동기 신호에 대한 Not 연산 수행을 하면, 신호가 하이(high)에서 로우(low)로 변경 된다. 이 때, 도 9에 도시된 AND 연산부(902)의 파형은 신호가 하이(high) 상태로 출력되는 특성을 가진다.

도 10에 도시된 바와 같이, (a), (b), (c), (d), (e) 순서로 갈 수록 음성 처리 지연 시간이 영상 처리 지연 시간 보다 점점 더 긴 경우(T1 < T2 < T3 < T4)를 보여 주는데, 이에 따라 AND 연산부의 결과 신호의 하이(high) 구간의 길이가 점점 길어진다.

이 특성을 이용해서, 도 9에 도시된 AND 연산부(902)의 결과값이 하이(high) 구간인 동안만 카운터(903)를 동작 시키면, 영상 처리 지연 시간과 음성 처리 지연 시간의 차이 시간을 구할 수 있다.

전술한 실시예는 현재 영상 처리 지연 시간과 음성 처리 지연 시간의 차이 시간을 계산하기 위해, 싱크(동기) 신호의 주기인 이전 T 시간의 사전 동작이 필요하다. 따라서, 이전 T 시간의 동작이 보장되는 AV 데이터의 재생 중간에는 문제가 없지만, 이전 T 시간의 동작이 존재하지 않는 AV 데이터의 재생 초반에는 전술한 실시예를 적용하기 어려운 한계가 있다.

임의의 어플리케이션(application)에서 영상과 음성의 동기 보정 동작은, AV 데이터가 최초로 출력되는 시점 직전 때 최소 1회 수행한다. 이와 같은 환경에서 적용될 수 있는 본 발명의 실시예를 이하 도 11 및 도 12를 참조하여 설명하도록 하겠다.

도 11은 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경우, 영상과 음성이 출력되지 않고 있다가 영상과 음성이 출력되는 최초 순간의 파형을 도시하고 있다.

최초 순간이므로, 도 11에 도시된 바와 같이, 리셋(Reset) 신호가 1회 인가되도록 설계한다. 도 11에 도시된 제1 시점(1110)은, 음성 프로세서를 통해 최초로 음성 데이터가 출력되는 시점을 의미한다.

도 11에 도시된 제2 시점(1120)은, 영상 프로세서를 통해 최초로 영상 데이터가 출력되는 시점을 의미한다. 그리고, 영상과 음성의 동기를 맞추기 위해서, 제1 시점(1110)에 출력된 음성 신호를 특정 딜레이 시간차(1130) 만큼 지연시켜서, 제2 시점(1120)에 출력되도록 설계한다.

도 12는 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경우, 오디오 프로세서에 지연 시간을 추가하는 회로를 도시하고 있다.

종래 기술에 의하면, 오디오 디코더(1210)에서 디코딩된 오디오 데이터가, 오디오 프로세서(1220)를 거친 후 바로 스피커(1240)를 통해 출력되었다.

반면, 종래 기술과 달리, 본 발명의 일실시예에 의하면, 낫(Not) 로직(1250), AND 로직(1260), 그리고 음성 지연 시간 추가부(1230)가 추가되었다.

도 12에 도시된 AND 로직(1260)은, 도 11에 도시된 원리에 의해, 1 비트 영상 음성 동기 신호의 주기 T 마다 특정 딜레이 시간차(1130) 만큼 하이(high) 신호를 가지는 파형을 출력한다. 음성 지연 시간 추가부(1230)는, 매 T 시간 마다 인가 받는 하이(high) 신호들 중, 리셋(reset) 신호를 인가 받은 직후, 최초 하이(high) 신호에 대해서만 그 하이(high) 신호를 인가 받는 시간 동안 입력된 오디오 신호를 지연시키고, 그 이후에는 별도의 제어가 없는 한, 그 지연 시간이 유지되도록 설계한다.

이와 같이 설계할 경우, 동기 신호의 이전 T 시간의 동작이 존재하지 않는 AV 데이터의 재생 초반에도, 영상과 음성에 대한 동기 동작이 가능하도록 하였다. 도 11 및 도 12에서는, 영상 처리 지연 시간이 음성 처리 지연 시간 보다 긴 경우를 예로 들었지만, 음성 처리 지연 시간이 영상 처리 지연 시간 보다 긴 경우에 대해서도 본 방식은 확대 적용 될 수 있다.

한편, AV데이터(영상/음성)의 재생 최초 시점이 아닌, AV 데이터 재생 중, 영상 처리 지연 시간 또는 음성 처리 지연 시간이 변경되는 경우의 해결 방안에 대해서도 이하에서 설명하도록 하겠다. 아래 2가지 방법 중 어느 하나를 채택함으로써, 해결 가능하다.

첫째, 영상 또는 음성 처리 지연 시간이 변경될 경우, 전술한 카운터(counter)가 매 T 시간 마다 출력하는 값이 바뀌게 된다. 따라서, 영상/음성 지연 시간 추가부는 이전 T 시간의 카운터(counter) 값과 현재 T 시간의 카운터(counter) 값의 차이를 모니터링 하도록 설계하고, 차이가 발생한 경우, 영상/음성 지연 시간 추가부의 지연 시간을 늘리거나 줄여 영상과 음성을 다시 동기 시킬 수가 있다.

둘째, 영상 또는 음성 처리 지연 시간이 변경될 경우, 전술한 디지털 로직 AND가 매 T 시간 마다 출력하는 신호의 하이(high) 구간의 길이가 바뀌게 된다. 따라서, 영상/음성 지연 시간 추가부는 이전 T 시간의 하이(high) 구간의 길이와 현재 T 시간의 하이(high) 구간의 길이 차이를 모니터링 하도록 설계하고, 차이가 발생한 경우, 영상/음성 지연 시간 추가부의 지연 시간을 늘리거나 줄여 영상과 음성을 다시 동기 시킬 수가 있다.

그리고, 이전 도 5에서 싱크(동기) 신호의 파형을 도시한 바 있는데, 최적의 주기(T)를 설정하는 방안에 대해서, 추가적으로 설명하도록 하겠다.

동기 신호의 주기를 T라고 가정 하면, 도 8에 도시된 (e)는, ”영상 처리 지연 시간 ? 음성 처리 지연시간”이 T/2인 경우라고 할 수 있다. 그리고, 도 10에 도시된 (e)는 “음성 처리 지연 시간 ? 영상 처리 지연시간”이 T/2인 경우라고 할 수 있다.

따라서, 본 발명의 일실시예에 의한 멀티미디어 디바이스가 보정하고자 하는 ”영상 처리 지연 시간 ? 음성 처리 지연시간 (영상 처리 지연시간이 음성 처리 지연시간 보다 긴 경우)”의 최대 값과 “음성 처리 지연 시간 ? 영상 처리 지연시간(음성 지연 처리 지연시간이 영상 처리 지연 시간 보다 긴 경우)”의 최대 값들 중 큰 값을 동기 신호의 반 주기로 선정하면 된다.

대부분의 경우 영상 처리 지연 시간이 음성 처리 지연 시간 보다 길고 음성 처리 지연 시간이 영상 처리 지연 시간 보다 긴 경우는 영상을 늦추는데 메모리가 많이 들어 영상을 늦출 수 있는 최대 시간을 짧게 제약하거나 영상 음성 동기 동작을 포기하는 경우가 많다.

이 점을 고려하면 영상 음성 동기 신호 파형의 주기(T)는, “영상 처리 지연 시간 ? 음성 처리 지연 시간의 최대 값”의 2배로 설정하는 것이 바람직하다.

도 13은 본 발명의 일실시예에 따른 멀티미디어 디바이스가 워터마크를 사용하지 않고 AV 데이터의 싱크를 맞추는 프로세스를 도시한 플로우 차트이다. 당업자는 이전 도 4 등을 참조하여, 도 13을 보충 해석 가능하다.

도 13에 도시된 실시예는, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스에 적용 가능하다.

본 발명의 일실시예에 의한 멀티미디어 디바이스는, 비디오 데이터를 위한 제1 싱크 신호 및 오디오 데이터를 위한 제2 싱크 신호를 생성한다(S1301).

나아가, 멀티미디어 디바이스는, 비디오 데이터가 처리되는 프로세서에 대응하는 제1 프로세서로 제1 싱크 신호를 전달하고(S1302), 오디오 데이터가 처리되는 프로세서에 대응하는 제2 프로세서로 제2 싱크 신호를 전달한다(S1303).

멀티미디어 디바이스는, 제1 프로세서에서 출력되는 제1 싱크 신호와 제2 프로세서에서 출력되는 제2 싱크 신호의 딜레이 차이값을 계산한다(S1304).

그리고, 멀티미디어 디바이스는, S1304 단계에서 계산된 딜레이 차이값에 따라, 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하도록 설계된다(S1305).

도 13에 도시하지는 않았지만, 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 제1 싱크 신호 및 제2 싱크 신호를 생성하기 이전에, 리셋 신호를 생성하고, 상기 생성된 리셋 신호를 제1 프로세서 및 제2 프로세서 등에 전달한다.

전술한 제1 프로세서는, 비디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가지도록 설계하고, 제2 프로세서는, 오디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가지도록 설계한다.

나아가, 싱크(동기) 신호들의 파형은, 도 5에 도시된 바와 같이, 50%의 하이(high) 구간과 50%의 로우(low) 구간으로 이루어 지도록 설계한다.

그리고, 싱크 신호들의 주기(T)는, 제1 프로세서에서 출력되는 제1 싱크 신호와 제2 프로세서에서 출력되는 제2 싱크 신호의 딜레이 차이값의 최대치의 2배로 설정되도록 설계한다.

한편, 도 13 및 도 4를 참조하여, 본 발명의 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스를 설명하도록 하겠다.

멀티미디어 디바이스는, 제너레이터, 제1 프로세서, 제2 프로세서 및 컨트롤러 등을 포함한다. 각각의 구성요소들에 대하여 보다 상세히 설명하면 다음과 같다.

우선, 제너레이터(generator)는, 비디오 데이터를 위한 제1 싱크 신호 및 오디오 데이터를 위한 제2 싱크 신호를 생성한다. 여기서, 제너레이터는 예를 들어, 도 4에 도시된 401번에 대응하고, 제1 싱크 신호는 예를 들어, 도 4에 도시된 402번에 대응하고, 그리고 제2 싱크 신호는 예를 들어, 도 4에 도시된 403번에 대응한다.

제1 프로세서는, 전술한 제1 싱크 신호를 처리하며, 예를 들어 도 4에 도시된 404번에 대응한다.

제2 프로세서는, 전술한 제2 싱크 신호를 처리하며, 예를 들어 도 4에 도시된 405번에 대응한다.

컨트롤러는, 제1 프로세서에서 출력되는 제1 싱크 신호와 제2 프로세서에서 출력되는 제2 싱크 신호의 딜레이 차이값을 계산한다. 그리고, 컨트롤러는, 딜레이 차이값에 따라, 비디오 데이터가 처리되는 프로세서(예를 들어, 도 4에 도시된 408번에 대응)에서 출력되는 비디오 데이터 또는 오디오 데이터가 처리되는 프로세서(예를 들어, 도 4에 도시된 409번에 대응)에서 출력되는 오디오 데이터의 딜레이 시간을 조정하도록 설계된다.

여기서, 컨트롤러는, 예를 들어 도 4에 도시된 회로부들(406, 407) 및 영상 지연 시간 추가부 또는 음성 지연 시간 추가부 중 적어도 하나 이상을 포함한다. 그리고, 컨트롤러를 소프트웨어 또는 하드웨어로 구현하는 것 모두 본 발명의 권리범위에 속한다.

그리고, 도 14는 본 발명의 일실시예에 따른 멀티미디어 디바이스가 워터마크를 이용하여 AV 데이터의 싱크를 맞추는 프로세스를 도시한 플로우 차트이다. 당업자는 이전 도 6 등을 참조하여, 도 14를 보충 해석 가능하다.

도 14에 도시된 실시예는, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스에 적용 가능하다.

본 발명의 일실시예에 의한 멀티미디어 디바이스는, 비디오 데이터를 위한 제1 싱크 신호 및 오디오 데이터를 위한 제2 싱크 신호를 생성한다(S1401).

나아가, 멀티미디어 디바이스는, 제1 싱크 신호를 비디오 데이터에 삽입하고(S1402), 제2 싱크 신호를 오디오 데이터에 삽입한다(S1403).

또한, 멀티미디어 디바이스는, 비디오 데이터가 처리되는 프로세서에서 출력되는 제1 싱크 신호와, 오디오 데이터가 처리되는 프로세서에서 출력되는 제2 싱크 신호의 딜레이 차이값을 계산한다(S1404).

그리고, 멀티미디어 디바이스는, 전술한 S1404 단계에서 구해진 딜레이 차이값에 따라, 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하도록 설계된다(S1405).

한편, 도 14에 도시하지는 않았지만, 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 제1 싱크 신호를 비디오 데이터에 삽입하기 이전에(S1402), 제1 싱크 신호를 인코딩 한다. 또한, 도 14에 도시하지는 않았지만, 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 비디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 제1 싱크 신호를 추출한다.

그리고, 도 14에 도시하지는 않았지만, 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 제2 싱크 신호를 오디오 데이터에 삽입하기 이전에(S1403), 제2 싱크 신호를 인코딩 한다. 또한, 도 14에 도시하지는 않았지만, 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 오디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 제2 싱크 신호를 추출한다.

한편, 도 14 및 도 6을 참조하여, 본 발명의 일실시예에 따라, 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스를 설명하도록 하겠다.

멀티미디어 디바이스는, 제너레이터, 인코더 및 컨트롤러 등을 포함한다. 각각의 구성요도들에 대하여 보다 상세히 설명하면 다음과 같다.

우선, 제너레이터(generator)는, 비디오 데이터를 위한 제1 싱크 신호 및 오디오 데이터를 위한 제2 싱크 신호를 생성한다. 여기서, 제너레이터는 예를 들어, 도 6에 도시된 싱크 제너레이터(sync generator)에 대응하고, 제1 싱크 신호는 예를 들어, 도 6에 도시된 605번에 대응하고, 제2 싱크 신호는 예를 들어, 도 6에 도시된 606번에 대응한다.

제1 인코더는 제1 싱크 신호를 비디오 데이터에 삽입하고, 예를 들어 도 6에 도시된 601번에 대응한다.

제2 인코더는 제2 싱크 신호를 오디오 데이터에 삽입하고, 예를 들어 도 6에 도시된 602번에 대응한다.

컨트롤러는, 비디오 데이터가 처리되는 프로세서(예를 들어, 도 6에 도시된 607번에 대응)에서 출력되는 제1 싱크 신호와, 오디오 데이터가 처리되는 프로세서(예를 들어, 도 6에 도시된 608번에 대응)에서 출력되는 제2 싱크 신호의 딜레이 차이값을 계산한다.

그리고, 컨트롤러는, 딜레이 차이값에 따라, 비디오 데이터가 처리되는 프로세서(예를 들어, 도 6에 도시된 607번에 대응)에서 출력되는 비디오 데이터 또는 오디오 데이터가 처리되는 프로세서(예를 들어, 도 6에 도시된 608번에 대응)에서 출력되는 오디오 데이터의 딜레이 시간을 조정한다.

여기서, 컨트롤러는, 예를 들어 도 6에 도시된 회로부들(609, 610) 및 영상 지연 시간 추가부 또는 음성 지연 시간 추가부 중 적어도 하나 이상을 포함한다. 그리고, 컨트롤러를 소프트웨어 또는 하드웨어로 구현하는 것 모두 본 발명의 권리범위에 속한다.

나아가, 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 비디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 제1 싱크 신호를 추출하는 제1 디코더(도 6에 도시된 603번에 대응)를 더 포함한다.

그리고, 본 발명의 일실시예에 의한 멀티미디어 디바이스는, 오디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 제2 싱크 신호를 추출하는 제2 디코더(도 6에 도시된 604번에 대응)를 더 포함한다.

전술한 본 발명의 일실시예들에 따르면, 영상 처리 지연시간과 음성 처리 지연 시간을 획득하기 위하여, 종래 관리 및 검증이 힘든 영상/음성 처리 지연 시간 표(메모리에 기저장되어 있어야 함)를 사용할 필요가 없는 장점이 있다.

나아가, 동기 신호의 주기(T) 마다 신호 상태, 네트워크 상태, 어댑티브 스트리밍(Adaptive Streaming) 등의 시스템 외부 상황이나 시스템 부하 조건, MEMC 동작 상태 변경 등에 따른 시스템 내부 상황의 사전에 예측할 수 없는 상황에 따라 변경된 실제 영상/음성 처리 지연시간의 차이 값을 획득할 수 있는 장점이 있다.

1 비트 영상 동기 신호는, 1 영상 프레임 데이터 양에 비해 지극히 적은 양이며 1 비트 음성 동기 신호도 1 음성 프레임 데이터 양에 비해 지극히 적은 양이라는 점을 고려하면, 추가되어야 할 1 비트 영상 프로세서와 1 비트 음성 프로세서도 기존의 하드웨어/소프트웨어 비해 지극히 작은 양에 불과하다.

나아가, 기존 영상/음성 데이터 프로세서와 동일 지연 시간을 갖는 동작 특성만 가지도록 1 비트 영상 프로세서 및 1 비트 음성 프로세서를 설계하면 되므로, 설계의 부담이 크지 않다는 장점도 있다.

또한 1 비트 영상/음성 동기(싱크) 신호를 기존의 영상 프레임 싱크 신호와 음성 프레임 싱크 신호의 리저브 비트(reserve bit)에 추하거나 영상 프레임 싱크 신호와 음성 프레임 싱크 신호를 변형하여 추가하고 영상/음성 처리부는 입력 영상 프레임 싱크 신호와 음성 프레임 싱크 신호를 입력받은 형태 그대로 유지한 상태로 처리 지연 시간만 부여하여 출력하는 동작 특성을 갖도록 한다면, 1 비트 영상 프로세서와 1 비트 음성 프로세서를 추가하지 않아도 되는 장점이 있다.

그리고, 워터마크(water mark) 기술을 이용하면 1 비트 영상 동기 신호 프로세서와 음성 동기 신호 프로세서를 사용하지 않아도 되며, 단 1 비트의 데이터만 사용하면 된다는 점에서, 워터마크(water mark) 기술의 적용 난이도를 낮출 수 있는 장점이 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100: TV
110: 튜너
120: 베이스밴드 프로세서
130: 미들웨어
140: 시그널링 매니저
150: 채널 매니저

Claims

비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법에 있어서,
상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 단계;
상기 비디오 데이터가 처리되는 프로세서에 대응하는 제1 프로세서로 상기 제1 싱크 신호를 전달하는 단계;
상기 오디오 데이터가 처리되는 프로세서에 대응하는 제2 프로세서로 상기 제2 싱크 신호를 전달하는 단계;
상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하는 단계; 그리고
상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 단계
를 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제1항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호를 생성하기 이전에,
리셋 신호를 생성하는 단계; 그리고
상기 생성된 리셋 신호를 상기 제1 프로세서 및 상기 제2 프로세서로 전달하는 단계
를 더 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제1항에 있어서,
상기 제1 프로세서는,
상기 비디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가지고,
상기 제2 프로세서는,
상기 오디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가지는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제1항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 파형은 50%의 하이(high) 구간과 50%의 로우(low) 구간으로 이루어진 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제4항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 주기(T)는,
상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값의 최대치의 2배로 설정되어 있는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법에 있어서,
상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 단계;
상기 제1 싱크 신호를 상기 비디오 데이터에 삽입하는 단계;
상기 제2 싱크 신호를 상기 오디오 데이터에 삽입하는 단계;
상기 비디오 데이터가 처리되는 프로세서에서 출력되는 상기 제1 싱크 신호와, 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하는 단계; 그리고
상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 단계
를 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제6항에 있어서,
상기 제1 싱크 신호를 상기 비디오 데이터에 삽입하기 이전에, 상기 제1 싱크 신호를 인코딩 하는 단계; 그리고
상기 비디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 상기 제1 싱크 신호를 추출하는 단계
를 더 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제7항에 있어서,
상기 제2 싱크 신호를 상기 오디오 데이터에 삽입하기 이전에, 상기 제2 싱크 신호를 인코딩 하는 단계; 그리고
상기 오디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 상기 제2 싱크 신호를 추출하는 단계
를 더 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제6항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 파형은 50%의 하이(high) 구간과 50%의 로우(low) 구간으로 이루어진 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
제9항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 주기(T)는,
상기 비디오 데이터가 처리되는 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값의 최대치의 2배로 설정되어 있는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스의 제어 방법.
비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스에 있어서,
상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 제너레이터(generator);
상기 제1 싱크 신호를 처리하는 제1 프로세서-상기 제1 프로세서는 상기 비디오 데이터가 처리되는 프로세서에 대응-;
상기 제2 싱크 신호를 처리하는 제2 프로세서-상기 제2 프로세서는 상기 오디오 데이터가 처리되는 프로세서에 대응-; 그리고
상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하고,
상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 컨트롤러
를 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제11항에 있어서,
상기 컨트롤러는,
상기 제1 싱크 신호 및 상기 제2 싱크 신호를 생성하기 이전에,
리셋 신호를 생성하고, 상기 생성된 리셋 신호를 상기 제1 프로세서 및 상기 제2 프로세서로 전달하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제11항에 있어서,
상기 제1 프로세서는,
상기 비디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가지고,
상기 제2 프로세서는,
상기 오디오 데이터가 처리되는 프로세서와 동일한 딜레이 시간이 발생하는 동작 특성을 가지는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제11항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 파형은 50%의 하이(high) 구간과 50%의 로우(low) 구간으로 이루어진 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제14항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 주기(T)는,
상기 제1 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 제2 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값의 최대치의 2배로 설정되어 있는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스에 있어서,
상기 비디오 데이터를 위한 제1 싱크 신호 및 상기 오디오 데이터를 위한 제2 싱크 신호를 생성하는 제너레이터(generator);
상기 제1 싱크 신호를 상기 비디오 데이터에 삽입하는 제1 인코더;
상기 제2 싱크 신호를 상기 오디오 데이터에 삽입하는 제2 인코더; 그리고
상기 비디오 데이터가 처리되는 프로세서에서 출력되는 상기 제1 싱크 신호와, 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값을 계산하고,
상기 딜레이 차이값에 따라, 상기 비디오 데이터가 처리되는 프로세서에서 출력되는 비디오 데이터 또는 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 오디오 데이터의 딜레이 시간을 조정하는 컨트롤러
를 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제16항에 있어서,
상기 비디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 상기 제1 싱크 신호를 추출하는 제1 디코더
를 더 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제17항에 있어서,
상기 오디오 데이터가 처리되는 프로세서에서 출력되는 신호를 디코딩 함으로써, 상기 제2 싱크 신호를 추출하는 제2 디코더
를 더 포함하는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제16항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 파형은 50%의 하이(high) 구간과 50%의 로우(low) 구간으로 이루어진 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.
제19항에 있어서,
상기 제1 싱크 신호 및 상기 제2 싱크 신호의 주기(T)는,
상기 비디오 데이터가 처리되는 프로세서에서 출력되는 상기 제1 싱크 신호와 상기 오디오 데이터가 처리되는 프로세서에서 출력되는 상기 제2 싱크 신호의 딜레이 차이값의 최대치의 2배로 설정되어 있는 것을 특징으로 하는 비디오 데이터 및 오디오 데이터를 처리하는 멀티미디어 디바이스.