KR20210103114A

KR20210103114A - 오디오 장치 및 그 제어방법

Info

Publication number: KR20210103114A
Application number: KR1020200017446A
Authority: KR
Inventors: 장인환; 장두희
Original assignee: 삼성전자주식회사
Priority date: 2020-02-13
Filing date: 2020-02-13
Publication date: 2021-08-23
Also published as: KR102660576B1; WO2021162254A1

Abstract

오디오 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 멀티뷰 화면에서 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하는 기술에 관한 것이다. 일 실시예에 따른 오디오 장치는, 제1오디오 스트림 신호를 입력 받는 제1입력부, 제2오디오 스트림 신호를 입력 받는 제2입력부, 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하는 디코딩부, 디코딩된제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼, 디코딩괸제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼, 제1버퍼에 저장된 제1오디오 스트림 데이터 및 제2버퍼에 저장된 제2오디오 스트림 데이터를 믹싱하는 믹싱부, 및 제1버퍼의 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 제2버퍼의 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 제2오디오 스트림 데이터량 대비 제2버퍼의 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 제2오디오 스트림 데이터량에 따라 제2버퍼에 남은 제2오디오 스트림 데이터량을 결정하고, 제2버퍼에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 제2버퍼에서 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하는 제어부를 포함한다.

Description

오디오 장치 및 그 제어방법{AUDIO APPARATUS AND METHOD OF CONTROLLING THE SAME}

오디오 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 멀티뷰 화면에서 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하는 기술에 관한 것이다.

현대 사회에 들어서면서, 디스플레이 성능 향상을 위한 다양한 기술 및 디스플레이와 호환되는 오디오 시스템의 성능 향상을 위한 다양한 기술이 개발되고 있다.

종래 텔레비전 방송이 개시되고 나서 다양한 형태의 디스플레이 장치의 기술이 개발, 상용화됨에 따라, 실시간으로 수신되는 방송 이외에 Contents on Demand, 영화와 같은 다양한 종류의 컨텐츠를 피씨(PC)나 외부 서버 또는 게임 콘솔 같은 외부 장치를 통하여 제공받을 수 있게 되었으며, 넓고 커다란 극장을 안방으로 그대로 옮긴, 가정에서 즐길 수 있는 홈 씨어터 시스템 또한 많이 실용화가 되고 있다.

일반적으로 외부에서 입력되는 오디오를 재생하기 위해서는 오디오 신호 입력 속도에 맞춰 오디오 신호 출력 속도를 동기화 해주어야 하며, 동기화가 안되는 경우 사운드 끊김 현상이 발생한다. 오디오 신호를 동기화 하는 방법은 입력 오디오의 클럭을 그대로 사용하는 방법 또는 출력 오디오 클럭을 조절하는 방법이 있다. 이 때, 다른 외부 오디오 신호도 추가적으로 수신하여 기존의 오디오 신호와 믹싱하여 출력하는 경우에는 수신된 추가 오디오 신호도 기존 오디오 신호와 동기화 해주어야 한다.

이 경우에는 두 번째 입력 오디오 신호의 클럭을 그대로 사용할 수 없고, 기존 오디오 신호의 출력을 조절할 수도 없으므로 데이터를 가공하여(SRC : Sampling Rate Convert) 첫 번째 오디오 신호와 속도를 맞춘 후 신호를 믹싱한다. 오디오 신호를 믹싱할 때 논리적으로는 같은 SF(Sampling Frequency)의 데이터를 믹싱하지만 오디오 소스가 다른 경우 논리적으로는 같은 SF이어도 실제로는 미세한 오차가 발생할 수 있다.

종래에는 이종 오디오 소스 신호를 믹싱할 때 물리적인 회로 장치를 사용하여 SRC를 수행하며, 이러한 장치를 사용하지 않는 경우에는 장시간 오디오 재생시 사운드 끊김 현상이 발생하는 문제점이 있었다. 또한, 이미 출시된 제품에는 SRC를 위한 물리적인 회로 장치를 적용하기 힘든 문제점이 있었다.

멀티뷰 화면에서 이종 오디오 소스의 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하는 것을 목적으로 한다.

상술한 목적을 달성하기 위한 일 실시예에 따른 오디오 장치는,

제1오디오 스트림 신호를 입력 받는 제1입력부; 제2오디오 스트림 신호를 입력 받는 제2입력부; 상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하는 디코딩부; 상기 디코딩된제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼; 상기 디코딩괸제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼; 상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 제2오디오 스트림 데이터를 믹싱하는 믹싱부; 및 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 제2버퍼에서 상기 믹싱부로 전달되는 상기 제2오디오 스트림 데이터량을 조절하는 제어부;를 포함한다.

또한, 상기 제어부는, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정할 수 있다.

또한, 상기 제어부는, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다.

또한, 상기 제어부는, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정할 수 있다.

또한, 상기 제어부는, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다.

또한, 상기 제2버퍼는, 복수 개를 포함하고, 상기 제어부는, 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절할 수 있다.

또한, 상기 제어부는, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하여, 상기 제2버퍼의 상기 데이터 출력 속도 대비 상기 데이터 입력속도에 기초한 샘플링 레이트(sampling rate)를 변환할 수 있다.

또한, 상기 입력 받은 제1오디오 스트림 신호 및 제2오디오 스트림 신호를 디코딩하는 디코딩부;를 더 포함하고, 상기 제1버퍼는, 상기 제1오디오 스트림 신호가 디코딩된 상기 제1오디오 스트림 데이터를 저장하고, 상기 제2버퍼는, 상기 제2오디오 스트림 신호가 디코딩된 상기 제2오디오 스트림 데이터를 저장할 수 있다.

또한, 상기 믹싱부는, 상기 제1오디오 스트림 데이터 및 상기 샘플링 레이트 변환에 기초한 상기 제2오디오 스트림 데이터를 믹싱하할 수 있다.

또한, 상술한 목적을 달성하기 위한 일 실시예에 따른 오디오 장치 제어방법은,

제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼, 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼 및 상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 상기 제2오디오 스트림 데이터를 믹싱하는 믹싱부를 포함하는 오디오 장치 제어방법에 있어서, 제1오디오 스트림 신호를 입력 받고; 제2오디오 스트림 신호를 입력 받고; 상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하고; 상기 디코딩된 제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하고; 상기 디코딩된 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하고; 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 및 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 결정하고; 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절한다.

또한, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하는 것;을 더 포함할 수 있다.

또한, 상기 제2오디오 스트림 데이터 입력량을 조절하는 것은, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시키는 것;을 포함할 수 있다.

또한, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하는 것;을 더 포함할 수 있다.

또한, 상기 제2오디오 스트림 데이터 입력량을 조절하는 것은, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시키는 것;을 포함할 수 있다.

또한, 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 결정하고; 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절하는 것;을 더 포함할 수 있다.

또한, 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하여, 상기 제2버퍼의 상기 데이터 출력 속도 대비 상기 데이터 입력속도에 기초한 샘플링 레이트를 변환하는 것;을 더 포함할 수 있다.

또한, 상기 입력 받은 제1오디오 스트림 신호 및 제2오디오 스트림 신호를 디코딩하는 것;을 더 포함하고, 상기 제1오디오 스트림 데이터를 저장하는 것은, 상기 제1오디오 스트림 신호가 디코딩된 상기 제1오디오 스트림 데이터를 저장하는 것;을 포함하고, 상기 제2오디오 스트림 데이터를 저장하는 것은, 상기 제2오디오 스트림 신호가 디코딩된 상기 제2오디오 스트림 데이터를 저장하는 것;을 포함할 수 있다.

또한, 상기 제1오디오 스트림 데이터 및 상기 샘플링 레이트 변환에 기초한 상기 제2오디오 스트림 데이터를 믹싱하여 출력하는 것;을 더 포함할 수 있다.

멀티뷰 화면에서 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하여 물리적인 회로 장치 없이 이종 클럭 오디오 신호의 소리를 끊김 없이 믹싱할 수 있는 효과가 있다. 또한, 오디오 장치에 있어서 SRC를 위한 물리적인 회로 장치를 적용하지 않음으로써 비용을 절감할 수 있고, 오디오 신호 믹싱의 확장성이 증대되는 효과가 있다.

도 1은 일 실시예에 따른 오디오 장치가 디스플레이 장치로 구현된 것을 도시한 것이다.
도 2는 일 실시예에 따른 오디오 장치의 제어 블록도이다.
도 3은 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 큰 경우를 도시한 것이다.
도 4는 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 작은 경우를 도시한 것이다.
도 5는 일 실시예에 따라 서브 오디오 신호가 복수 개인 경우 각 서브 오디오 스트림 데이터의 출력 속도 및 입력 속도의 차이에 기초한 데이터량을 도시한 것이다.
도 6a 및 도 6b는 일 실시예에 따른 오디오 장치의 제어방법을 도시한 순서도이다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.

도 1은 일 실시예에 따른 오디오 장치가 디스플레이 장치로 구현된 것을 도시한 것이다.

개시된 발명의 일 실시예에 따른 오디오 장치 및 그 제어방법은, 외부로부터 오디오 신호를 입력 받아 오디오를 재생할 수 있는 장치라면 모두 적용될 수 있다. 즉, 오디오 장치(100)는 일반 오디오 장치 및 오디오 시스템은 물론 TV, DTV, PC, 스마트폰, 태블릿, DVD 플레이어, 블루레이 플레이어 등 멀티미디어 데이터를 재생할 수 있는 장치일 수 있다. 또한, 오디오 장치(100)는 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.

이하에서는 오디오 장치(100)가 TV 또는 PC 등 디스플레이장치로 구현된 경우를 예로 들어 설명한다.

도 1을 참조하면, 오디오 장치(100)가 디스플레이 장치로 구현된 경우, 디스플레이 장치는 영상을 표시하는 디스플레이 패널(110)과 디스플레이 패널(110)의 후방에 배치되어 디스플레이 패널(110)을 지지하는 프레임(10)을 포함할 수 있다.

일 실시예에 따른 디스플레이 장치는 디스플레이 장치에 미리 저장되어 있거나 외부로부터 수신되는 영상 신호 및 오디오 신호를 처리하여 영상 및 오디오 사운드를 출력할 수 있는 장치이다.

예를 들어, 디스플레이 장치가 TV인 경우에는 방송국으로부터 송출되는 방송 신호를 수신하고 이를 처리하여 방송 신호에 포함된 영상과 음향을 출력할 수 있다. 또는, 셋탑 박스로부터 영상 신호와 음향 신호를 전달받는 것도 가능하다. 또한, 디스플레이 장치는 모니터(Monitor), 휴대용 멀티미디어 장치, 휴대용 통신장치, 휴대용 연산장치 등 다양한 형태로 구현할 수 있으며, 디스플레이 장치는 영상 및 음향을 시각적 및 청각적으로 출력하는 장치라면 그 형태가 한정되지는 않는다

이하 설명의 편의를 위해 디스플레이 장치가 다양한 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신하는 예와 관련하여, 디스플레이 장치가 다양한 종류의 오디오 신호를 수신하는 예를 중심으로 설명하도록 한다.

도 1에 도시된 바와 같이, 오늘날 대부분의 TV나 AV 장치등의 전자장치는 두 개 이상의 오디오 또는 비디오가 포함된 이종 소스 신호를 입력 받을 수 있다. 또한, 신호처리 기술의 발달에 따라 한 화면에 두 개 이상의 영상이 출력되도록 하고 동시에 두 종류 이상의 소리를 청취하고자 하는 사용자가 증가하고 있다.

예를 들어, 스포츠 채널에 대한 방송 신호를 수신하여 TV로 스포츠 영상(111)을 시청하면서 화면의 모서리 부분에는 유명 유투버의 스포츠 중계 영상(112)을 틀어놓고 스포츠 경기를 시청중인 경우, 사용자는 스포츠 영상(111)의 소리와 스포츠 중계 영상(112)의 소리가 동일한 오디오 장치(100)를 통해 끊김 없이 출력되는 것을 원한다.

TV에서 스포츠 영상(111)과 스포츠 중계 영상(112)이 동시에 출력되는 경우, 메인 오디오 신호에 해당하는 스포츠 영상(111)의 오디오 신호 입력 속도에 맞춰 오디오 신호 출력 속도를 동기화 해주어야 한다.

또한, TV가 메인 오디오 신호 이외에 서브 오디오 신호에 해당하는 스포츠 중계 영상(112)의 오디오 신호를 추가적으로 수신하는 경우, 서브 오디오 신호와 메인 오디오 신호를 믹싱하여 출력하기 위해 서브 오디오 신호를 메인 오디오 신호와 동기화 해주어야 한다.

즉, 이 경우 서브 오디오 신호의 클럭을 그대로 사용할 수 없고, 메인 오디오 신호의 출력을 조절할 수는 없으므로 서브 오디오 신호의 데이터를 가공하여 메인 오디오 신호와 속도를 맞춘 후 신호를 믹싱하여 출력해야 한다.

이하 도 2 내지 도 6b를 참조하여 개시된 발명의 일 실시예에 따른 오디오 장치 및 그 제어방법을 설명한다.

도 2는 일 실시예에 따른 오디오 장치의 제어 블록도이다. 도 3은 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 큰 경우를 도시한 것이다. 도 4는 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 작은 경우를 도시한 것이다. 도 5는 일 실시예에 따라 서브 오디오 신호가 복수 개인 경우 각 서브 오디오 스트림 데이터의 출력 속도 및 입력 속도의 차이에 기초한 데이터량을 도시한 것이다. 도 6a 및 도 6b는 일 실시예에 따른 오디오 장치의 제어방법을 도시한 순서도이다.

도 2를 참고하면, 일 실시예에 따른 오디오 장치(100)는 신호 처리부(120), 제어부(130), 출력부(140), 저장부(150) 및 사용자 인터페이스부(160)를 포함할 수 있다. 신호 처리부(120)는 메인 신호 입력부(121a), 서브 신호 입력부(121b), 제1오디오 입력버퍼(122a), 제2오디오 입력버퍼(122b), 디코딩부(123), 제1오디오 중간버퍼(124a), 제2오디오 중간버퍼(124b) 및 믹싱부(125)를 포함할 수 있다.

이하, 메인 신호 입력부는 '제1입력부(121a)'로, 서브 신호 입력부는 '제2입력부(121b)'로 설명한다.

제1입력부(121a)는 제1오디오 스트림 신호를 입력 받을 수 있고, 제2입력부(121b)는 제2오디오 스트림 신호를 입력 받을 수 있다.

즉, 도 1에서 전술한 바와 같이 오디오 장치(100)에서 스포츠 영상(111)과 스포츠 중계 영상(112)의 오디오를 동시에 출력하고자 하는 경우, 메인 오디오 신호에 해당하는 스포츠 영상(111)의 신호가 제1오디오 스트림 신호고 서브 오디오 신호에 해당하는 스포츠 중계 영상(112)의 신호가 제2오디오 스트림 신호다.

제1입력부(121a)와 제2입력부(121b)는 다양한 오디오 소스로부터 오디오 컨텐츠를 수신하는 튜너로 구현될 수 있고, 오디오 장치(100)에 내장된 저장 매체 또는 오디오 장치(100)에 연결된 외부 저장 매체로부터 독출된 오디오 컨텐츠 데이터를 입력 받는 인터페이스로 구현될 수도 있다. 예를 들어, USB, HDMI 등의 인터페이스로 구현될 수 있다. 그 밖에도 제1입력부(121a)와 제2입력부(121b)는 IP 통신망을 통해 서버 장치로부터 오디오 컨텐츠 데이터를 스트리밍 또는 다운로드 받는 네트워크 인터페이스 카드를 포함할 수도 있다.

일 실시예에 따르면, 제1입력부(121a)와 제2입력부(121b)를 통해 수신되는 오디오 컨텐츠 데이터는, 하드디스크, CD, DVD(Digital Video Disc), HD DVD, BD(Blu-ray Disc), OTT, 서버 등과 같은 저장매체에 저장된 오디오 컨텐츠에 대응될 수 있다.

이러한 오디오 컨텐츠 데이터는 복수의 기초 스트림(elementary stream; ES)이 하나의 단일 스트림으로 묶여 다중화된 전송 스트림(Transport stream; TS)일 수 있다.

제2입력부(121b)는 복수 개로 구현될 수 있으며, 도 2에 도시된 바와 같이 제2입력부1(121b-1), 제2입력부2(121b-2), …, 제2입력부n(121b-n)으로 구현되어 복수 개의 서브 오디오 신호를 입력 받을 수 있다.

제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)는 제1입력부(121a) 및 제2입력부(121b)가 입력 받은 제1오디오 스트림 신호에 기초한 스트림 데이터 및 제2오디오 스트림 신호에 기초한 스트림 데이터를 디코딩부(123)에서 처리할 수 있는 데이터량만큼 저장하는 기능을 수행할 수 있다.

제어부(130)는 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 저장된 오디오 스트림 데이터에 대응하는 재생 시간을 산출하고, 산출된 재생 시간과 미리 설정된 재생 시간을 비교하여 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 미리 설정된 재생 시간에 대응하는 오디오 데이터량이 유지되도록 오디오 데이터 저장량을 제어할 수 있다.

제2오디오 입력버퍼(122b)는 복수 개로 구현될 수 있으며, 도 2에 도시된 바와 같이 제2오디오 입력버퍼1(122b-1), 제2오디오 입력버퍼2(122b-2), …, 제2오디오 입력버퍼n(122b-n)로 구현되어 복수 개의 제2오디오 스트림 신호에 기초한 스트림 데이터를 저장할 수 있다.

디코딩부(123)는 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 저장된 오디오 데이터를 디코딩 할 수 있다. 즉, 디코딩부(123)는 제1오디오 스트림 신호에 기초한 스트림 데이터 및 제2오디오 스트림 신호에 기초한 스트림 데이터를 디코딩 할 수 있다.

디코딩부(123)에서 디코딩된 오디오 데이터는 제1오디오 중간버퍼(124a) 및 제2오디오 중간버퍼(124b)에 저장될 수 있다. 즉, 제1오디오 중간버퍼(124a)는 제1오디오 스트림 신호가 디코딩된 제1오디오 스트림 데이터를 저장하고, 제2오디오 중간버퍼(124b)는 제2오디오 스트림 신호가 디코딩된 제2오디오 스트림 데이터를 저장할 수 있다.

제1오디오 중간버퍼(124a)에 저장된 디코딩된 제1오디오 스트림 데이터와 제2오디오 중간버퍼(124b)에 저장된 디코딩된 제2오디오 스트림 데이터는 서로 동기화되어 출력부(140)를 통해 출력될 수 있다.

믹싱부(125)는 제1오디오 스트림 데이터 및 제2오디오 스트림 데이터를 믹싱하여 출력부(140)로 전달할 수 있다. 구체적으로 믹싱부(125)는 오디오 장치(100)가 출력하기 위한 메인 오디오 신호의 스트림 데이터 및 서브 오디오 신호의 스트림 데이터를 믹싱할 수 있다.

출력부(140)는 오디오를 출력하는 스피커를 포함할 수 있다. 또는, 출력부(140)는 오디오가 외부 장치에서 출력되게끔 디코딩된 오디오 데이터를 외부 장치로 전송하는 구성으로 구현될 수 있다. 이 경우, 출력부(140)는 외부 장치와 통신하기 위한 각종 통신 인터페이스를 포함할 수 있고, 예컨대, 와이파이, 블루투스, NFC 등 다양한 무선 통신을 위한 인터페이스 또는 유선 인터페이스를 포함할 수 있다. 출력부(140)는 출력버퍼를 포함할 수 있다. 즉, 도면에는 도시되지 않았지만 출력부(140)는 제1오디오 출력버퍼 및 제2오디오 출력버퍼를 포함할 수 있다.

제어부(130)는 오디오 장치(100)를 구성하는 구성들을 전반적으로 제어하기 위한 구성이다. 제어부(130)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 제어부(130)는 예컨대 MICOM(MICRO COMPUTER), ASIC(application specific integrated circuit) 등으로 구현될 수 있다.

저장부(150)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 저장부(150)는 제어부(130)에 의해 액세스 되며, 제어부(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 한편, 저장부(150)는 오디오 장치(100) 내의 저장 매체뿐만 아니라, 외부 저장 매체, 예를 들어, USB 또는 네트워크를 통한 웹 서버(Web server) 등으로 구현될 수 있다. 저장부에는 O/S나 각종 애플리케이션과 같은 프로그램과, 사용자 설정 데이터, 애플리케이션 수행 과정에서 생성된 데이터, 멀티미디어 컨텐츠 데이터 등과 같은 다양한 데이터가 저장될 수 있다. 특히, 저장부(150)에는 오디오 소스별 스팩 정보가 저장될 수 있다.

사용자 인터페이스부(160)는 사용자 명령을 수신하기 위한 구성으로서, 사용자 인터페이스부(160)는 오디오 장치(100)의 구현 예에 따라 다양한 형태로 구현될 수 있다. 오디오 장치(100)가 TV로 구현되는 경우 리모컨 수신부로 구현될 수 있으나, 오디오 장치(100)가 스마트폰, 태블릿 등과 같은 터치 기반의 단말로 구현되는 경우 터치 스크린으로 구현될 수 있다. 한편, 경우에 따라서는 사용자 명령을 오디오 장치(100)가 직접 입력받지 않고, 오디오 장치(100)와 연결된 외부 장치를 통해 사용자 명령이 입력되어 오디오 장치(100)로 전달되는 형태도 가능하다. 이 경우엔 사용자 인터페이스부(160)가 오디오 장치(100)에 구비되어 있지 않을 수 있다.

도 2 내지 도 6b를 참조하면, 제1입력부(121a)는 제1오디오 스트림 신호를 입력 받을 수 있고, 제2입력부(121b)는 제2오디오 스트림 신호를 입력 받을 수 있다(1000). 즉, 제1입력부(121a)는 스포츠 영상(111)과 같은 메인 영상 신호의 오디오 신호를 입력 받을 수 있고, 제2입력부(121b)는 스포츠 영상(111)과 같이 출력되는 스포츠 중계 영상(112)과 같은 서브 영상 신호의 오디오 신호를 입력 받을 수 있다.

제1입력부(121a)를 통해 입력된 제1오디오 스트림 신호의 스트림 데이터 및 제2입력부(121b)를 통해 입력된 제2오디오 스트림 신호의 스트림 데이터는 디코딩부(123)에서 처리할 수 있는 데이터량만큼 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 저장될 수 있다.

디코딩부(123)는 제1오디오 입력버퍼(122a)에 저장된 제1오디오 스트림 신호의 스트림 데이터 및 제2오디오 입력버퍼(122b)에 저장된 제2오디오 스트림 신호의 스트림 데이터를 디코딩 할 수 있다(1010).

제1오디오 중간버퍼(124a)는 제1오디오 스트림 신호가 디코딩된 제1오디오 스트림 데이터를 저장하고, 제2오디오 중간버퍼(124b)는 제2오디오 스트림 신호가 디코딩된 제2오디오 스트림 데이터를 저장할 수 있다(1020).

이하에서는, 설명의 편의를 위해 제1오디오 중간버퍼(124a)를 '제1버퍼(124a)'로 칭하고 제2오디오 중간버퍼(124b)를 '제2버퍼(124b)'로 칭하여 설명한다.

제어부(130)는 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도 및 제2버퍼(124b)의 제2오디오 스트림 데이터 입력 속도를 결정할 수 있다(1030)..

제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된다. 즉, 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 맞추어 결정될 수 있는바, 제1오디오 스트림 데이터 출력 속도가 빠르면 제2오디오 스트림 데이터 출력 속도도 빠르게 결정될 수 있고, 제1오디오 스트림 데이터 출력 속도가 느리면 제2오디오 스트림 데이터 출력 속도도 느리게 결정될 수 있다. 한편, 제2오디오 스트림 데이터 출력 속도는 제1오디오 스트림 데이터 출력 속도와 동일한 속도로 결정될 수 있고, 제1오디오 스트림 데이터 출력 속도와 동일하지는 않지만 제1오디오 스트림 데이터 출력 속도에 비례하여 제2오디오 스트림 데이터 출력 속도가 결정될 수 있다. 즉, 오디오 장치(100)가 수신하는 서브 오디오 신호의 데이터 출력량은 메인 오디오 신호의 데이터 출력량에 따라 결정된다.

제어부(130)는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 제2오디오 스트림 데이터량 대비 제2버퍼(124b)의 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 제2오디오 스트림 데이터량에 따라 제2버퍼(124b)에 남은 상기 제2오디오 스트림 데이터량을 결정할 수 있다.

제어부(130)는 제2버퍼(124b)의 데이터 출력 속도 대비 데이터 입력 속도에 기초할 때 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량을 결정할 수 있고(1040), 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교할 수 있다.

즉, 제어부(130)는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량이 미리 정해진 기준 데이터량 미만이면(1050), 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정할 수 있다(1060).

도 3을 참조하면, 제1버퍼(124a)에 저장된 제1오디오 스트림 데이터량(200) 및 제2버퍼(124b)에 저장된 제2오디오 스트림 데이터량(201)이 도시되어 있다.

도 3의 경우에는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량 미만에 해당하며, 이는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 크기 때문에, 제2버퍼(124b)에 저장된 제2오디오 스트림 데이터량(201)이 점차 감소한다.

예를 들어, 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2오디오 스트림 데이터 출력량이 한 주기에 256 샘플(sample)씩 데이터를 출력하는 경우, 제2오디오 스트림 데이터 입력량은 255 샘플이면 제2버퍼(124b)에 저장되는 제2오디오 스트림 데이터량(201)이 점차 감소하여 최저 기준 데이터량(Low Level Threshold)에 근접하게 된다.

따라서, 제어부(130)는 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다(1070).

즉, 제어부(130)는 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 256 샘플에서 255 샘플 또는 그 이하의 값으로 다운 샘플링(down sampling)함으로써 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다.

한편, 제어부(130)는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여, 제2오디오 스트림 데이터량이 미리 정해진 기준 데이터량을 초과하면(1080), 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정할 수 있다(1090).

도 4를 참조하면, 제1버퍼(124a)에 저장된 제1오디오 스트림 데이터량(200) 및 제2버퍼(124b)에 저장된 제2오디오 스트림 데이터량(202)이 도시되어 있다.

도 4의 경우에는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량을 초과하며, 이는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작기 때문에, 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량(201)이 점차 증가한다.

예를 들어, 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2오디오 스트림 데이터 출력량이 한 주기에 256 샘플(sample)씩 데이터를 출력하는 경우, 제2오디오 스트림 데이터 입력량은 257 샘플이면 제2버퍼(124b)에 저장되는 제2오디오 스트림 데이터량(201)이 점차 증가하여 최고 기준 데이터량(High Level Threshold)에 근접하게 된다.

따라서, 제어부(130)는 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하면, 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다(1100).

즉, 제어부(130)는 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 256 샘플에서 257 샘플 또는 그 이상의 값으로 업 샘플링(up sampling)함으로써 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다.

도 5를 참조하면, 제2입력부(121b)가 복수 개이고 제2입력부(121b-1, 121b-2, …, 121b-n) 각각이 복수의 제2오디오 스트림 신호를 입력 받는 경우, 제2입력부(121b) 각각이 수신한 제2오디오 스트림 신호 각각은 디코딩 후 복수 개의 제2버퍼(124b)에 저장될 수 있다.

제어부(130)는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 출력 속도 및 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 입력 속도를 결정할 수 있다.

제어부(130)는 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 제2오디오 스트림 데이터량 대비 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 제2오디오 스트림 데이터량에 따라 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 결정하고, 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 복수 개의 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 각각 조절할 수 있다.

도 5를 참조하면, 제1버퍼(124a)에 저장된 제1오디오 스트림 데이터량(200) 및 제2버퍼 1(124b-1) 내지 제2버퍼 n(124b-n)에 각각 남은 제2오디오 스트림 데이터량(201 내지 200n) 이 도시되어 있다.

제2버퍼1(124b-1)의 경우에는, 제2버퍼1(124b-1) 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량 미만이며 이는 도 3에서 전술한 바와 같이 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼1(124b-1)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 크기 때문에, 제2버퍼1(124b-1)에 남은 제2오디오 스트림 데이터량(201)이 점차 감소한다.

따라서, 제어부(130)는 제2버퍼1(124b-1)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 제2버퍼1(124b-1)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다.

제2버퍼 2(124b-2) 및 제2버퍼n(124b-n)의 경우에는, 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량을 초과하며, 이는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작기 때문에, 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)에 남은 제2오디오 스트림 데이터량(201)이 점차 증가한다.

따라서, 제어부(130)는 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하면, 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다.

이와 같이, 오디오 장치(100)가 복수 개의 제2입력부(121b)를 통해 복수의 제2오디오 스트림 신호를 입력 받는 경우, 제어부(130)는 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 결정하고, 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 각각 조절함으로써, 다양한 이종 소스의 오디오 신호가 끊김 없이 동기화되도록 버퍼 내의 데이터량을 조절할 수 있다.

제어부(130)는 전술한 바와 같이, 제2버퍼(124b)에 저장되는 제2오디오 스트림 데이터량을 조절하여 결과적으로 제2버퍼(124b)의 데이터 출력 속도 대비 데이터 입력 속도에 기초한 샘플링 레이트(sampling rate)를 변환할 수 있다(1110).

제어부(130)는 믹싱부(125)를 제어하여 제1오디오 스트림 데이터 및 샘플링 레이트 변환된 제2오디오 스트림 데이터를 믹싱하여 출력부(140)를 통해 출력할 수 있다(1120).

전술한 일 실시예에 따른 오디오 장치 및 그 제어방법에 의하면, 오디오 장치에서 수신되는 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하여 물리적인 회로 장치 없이 이종 클럭 오디오 신호의 소리를 끊김 없이 믹싱할 수 있는 효과가 있다. 또한, 오디오 장치에 있어서 SRC를 위한 물리적인 회로 장치를 적용하지 않음으로써 비용을 절감할 수 있고, 오디오 신호 믹싱의 확장성이 증대되는 효과가 있다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

100 : 오디오 장치
120 : 신호 처리부
121a : 제1입력부
121b : 제2입력부
122a : 제1오디오 입력버퍼
122b : 제2오디오 입력버퍼
123 : 디코딩부
124a : 제1오디오 중간버퍼
124b : 제2오디오 중간버퍼
125 : 믹싱부
130 : 제어부
140 : 출력부
150 : 저장부
160 : 사용자 인터페이스부

Claims

제1오디오 스트림 신호를 입력 받는 제1입력부;
제2오디오 스트림 신호를 입력 받는 제2입력부;
상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하는 디코딩부;
상기 디코딩된 제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼;
상기 디코딩된 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼;
상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 상기 제2오디오 스트림 데이터를 믹싱하는 믹싱부; 및
상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하는 제어부;를 포함하는 오디오 장치.
제1항에 있어서,
상기 제어부는,
상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하는 오디오 장치.
제2항에 있어서,
상기 제어부는,
상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시키는 오디오 장치.
제1항에 있어서,
상기 제어부는,
상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하는 오디오 장치.
제4항에 있어서,
상기 제어부는,
상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시키는 오디오 장치.
제1항에 있어서,
상기 제2버퍼는, 복수 개를 포함하고,
상기 제어부는,
상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절하는 오디오 장치.
제1항에 있어서,
상기 제어부는,
상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하여, 상기 제2버퍼의 상기 데이터 출력 속도 대비 상기 데이터 입력속도에 기초한 샘플링 레이트(sampling rate)를 변환하는 오디오 장치.
제1항에 있어서,
상기 입력 받은 제1오디오 스트림 신호 및 제2오디오 스트림 신호를 디코딩하는 디코딩부;를 더 포함하고,
상기 제1버퍼는, 상기 제1오디오 스트림 신호가 디코딩된 상기 제1오디오 스트림 데이터를 저장하고,
상기 제2버퍼는, 상기 제2오디오 스트림 신호가 디코딩된 상기 제2오디오 스트림 데이터를 저장하는 오디오 장치.
제7항에 있어서,
상기 믹싱부는,
상기 제1오디오 스트림 데이터 및 상기 샘플링 레이트 변환에 기초한 상기 제2오디오 스트림 데이터를 믹싱하는 오디오 장치.
제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼, 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼 및 상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 상기 제2오디오 스트림 데이터를 믹싱하는 믹싱부를 포함하는 오디오 장치 제어방법에 있어서,
제1오디오 스트림 신호를 입력 받고;
제2오디오 스트림 신호를 입력 받고;
상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하고;
상기 디코딩된 제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하고;
상기 디코딩된 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하고;
상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량
을 결정하고;
상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하는 오디오 장치 제어방법.
제10항에 있어서,
상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하는 것;을 더 포함하는 오디오 장치 제어방법.
제11항에 있어서,
상기 제2오디오 스트림 데이터 입력량을 조절하는 것은,
상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시키는 것;을 포함하는 오디오 장치 제어방법.
제10항에 있어서,
상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하는 것;을 더 포함하는 오디오 장치 제어방법.
제13항에 있어서,
상기 제2오디오 스트림 데이터 입력량을 조절하는 것은,
상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시키는 것;을 포함하는 오디오 장치 제어방법.
제10항에 있어서,
상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량
을 결정하고;
상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절하는 것;을 더 포함하는 오디오 장치 제어방법.
제10항에 있어서,
상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하여, 상기 제2버퍼의 상기 데이터 출력 속도 대비 상기 데이터 입력속도에 기초한 샘플링 레이트를 변환하는 것;을 더 포함하는 오디오 장치 제어방법.
제10항에 있어서,
상기 입력 받은 제1오디오 스트림 신호 및 제2오디오 스트림 신호를 디코딩하는 것;을 더 포함하고,
상기 제1오디오 스트림 데이터를 저장하는 것은, 상기 제1오디오 스트림 신호가 디코딩된 상기 제1오디오 스트림 데이터를 저장하는 것;을 포함하고,
상기 제2오디오 스트림 데이터를 저장하는 것은, 상기 제2오디오 스트림 신호가 디코딩된 상기 제2오디오 스트림 데이터를 저장하는 것;을 포함하는 오디오 장치 제어방법.
제16항에 있어서,
상기 제1오디오 스트림 데이터 및 상기 샘플링 레이트 변환에 기초한 상기 제2오디오 스트림 데이터를 믹싱하여 출력하는 것;을 더 포함하는 오디오 장치 제어방법.