KR20220146165A - 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법 - Google Patents

Abstract

오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하는 단계, 파라미터를 기반으로 렌더링 정보를 획득하는 단계, 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링하는 단계를 포함하고, 파라미터는 오디오 오브젝트, 및 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법이 개시된다.

Description

오디오 신호 처리를 위한 전자 장치 및 그 동작 방법{An electronic apparatus and a method for processing audio signal}

개시된 다양한 실시 예들은 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법에 관한 것으로, 보다 상세하게는 비디오 신호와 함께 출력되는 오디오 신호를 렌더링하는 전자 장치 및 그 동작 방법에 관한 것이다.

오디오 신호를 입체감 있게 재생하기 위한 기술이 개발되고 있다. 이를 위해, 인코더 측에서는 오디오 신호를 3차원으로 재생하기 위한 파라미터를 생성하고, 이를 오디오 신호와 함께 디코더 측에 전송할 수 있다. 디코더 측은 인코더 측으로부터 수신한 파라미터를 이용하여 오디오 신호를 처리함으로써 오디오 신호를 입체감 있게 출력할 수 있다.

그러나, 방송 신호나 실시간으로 스트리밍 되는 오디오 신호에 대해서는 인코더 측이 이러한 사전 작업을 미리 수행하지 못한다는 문제가 있다. 따라서, 인코더로부터 별도로 파라미터를 수신하지 않고도, 비디오 신호와 함께 출력되는 오디오 신호를 현장감 있게 출력하는 기술 개발이 요구된다.

다양한 실시 예들은 오디오 오브젝트 공간화에 관련된 파라미터들을 획득하고 이를 이용하여 렌더링 정보를 획득하는, 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법을 제공하기 위한 것이다.

다양한 실시 예들은 렌더링 정보를 기반으로 오디오 오브젝트를 3차원 음향으로 렌더링하는, 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법을 제공하기 위한 것이다.

실시 예에 따른 오디오 신호 처리를 위한 전자 장치의 동작 방법은 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하는 단계, 상기 파라미터를 기반으로 렌더링 정보를 획득하는 단계 및 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 단계를 포함하고, 상기 파라미터는 상기 오디오 오브젝트, 및 상기 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 상기 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함할 수 있다.

실시 예에서, 상기 파라미터는 우선 순위를 갖고, 상기 렌더링 정보를 획득하는 단계는 상기 우선 순위가 높은 파라미터 순서대로 상기 파라미터에 대응하는 렌더링 정보를 획득하는 단계를 포함할 수 있다.

실시 예에서, 상기 렌더링 정보를 획득하는 단계는 룩업 테이블을 획득하는 단계, 및 상기 획득된 룩업 테이블에서, 상기 파라미터에 대응하는 렌더링 정보를 검색하는 단계를 포함하고, 상기 파라미터에 대응하는 렌더링 정보가 상기 룩업 테이블에 포함되어 있지 않은 경우, 통계 모델, 머신 러닝(Machine Learning) 모델 및 리그레션(regression) 모델 중 적어도 하나를 이용하여, 상기 룩업 테이블을 기반으로 상기 파라미터에 대응하는 렌더링 정보를 추정하여 획득하는 단계를 포함할 수 있다.

실시 예에서, 상기 파라미터는 우선 순위를 갖고, 상기 렌더링 정보를 획득하는 단계는 제N(N은 자연수)번째 우선 순위를 갖는 파라미터의 값이 기준 값 이상인 경우에, 다음 우선 순위인 제N+1 번째 우선 순위를 갖는 파라미터 값을 순서대로 고려하고, 상기 기준 값 이상인 파라미터들의 조합을 기반으로, 상기 룩업 테이블에서 상기 렌더링 정보를 획득하는 단계를 포함할 수 있다.

실시 예에서, 상기 제N 번째 우선 순위를 갖는 파라미터의 값이 상기 기준 값 이상이 아닌 경우, 이전 우선 순위인 제N-1 번째 우선 순위를 갖는 파라미터까지의 조합을 기반으로, 상기 룩업 테이블에서 상기 렌더링 정보를 획득하는 단계를 포함하고, 상기 방법은 상기 N이 1인 경우, 상기 방법은 상기 렌더링 정보를 획득하는 단계 및 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 단계를 비활성화하는 단계를 더 포함할 수 있다.

실시 예에서, 상기 룩업 테이블을 획득하는 단계는, 상기 전자 장치에서 비디오 신호 및 오디오 신호의 출력에 대응하여 오디오 오브젝트 공간화에 관련된 적어도 하나의 파라미터 값 및 오디오 렌더링 정보를 변경하고, 복수의 평가자로부터 평가 점수를 획득하는 단계, 상기 복수 평가자로부터 복수의 파라미터들의 조합에 대해 평가 점수 획득 과정을 반복하여 가장 높은 평균 평가자 점수를 받을 때의 파라미터 값 및 대응하는 렌더링 정보를 획득하는 단계 및 상기 파라미터 값 및 상기 대응하는 렌더링 정보를 포함하는 상기 룩업 테이블을 생성하고 저장하는 단계를 포함할 수 있다.

실시 예에서, 상기 오브젝트 파라미터는 오디오 오브젝트 유형을 포함하고, 상기 오디오 오브젝트 유형은 상기 오디오 오브젝트가 음성인지 여부, 및 배경음인지 여부에 대한 정보 중 적어도 하나를 포함할 수 있다.

실시 예에서, 상기 오브젝트 파라미터는 비디오 오브젝트 유형, 및 스크린 상에서의 상기 비디오 오브젝트의 위치에 대한 정보 중 적어도 하나를 포함하고, 상기 비디오 오브젝트 유형은 상기 비디오 오브젝트가 사람 얼굴인지 여부, 및 전경인지 배경인지에 대한 정보 중 적어도 하나를 포함할 수 있다.

실시 예에서, 상기 전자 장치 파라미터는 상기 전자 장치의 고유 정보 및 설정 정보 중 적어도 하나를 포함하고, 상기 고유 정보는 상기 전자 장치의 모델에 따른, 사운드 특성, 스크린 사이즈, 및 스피커 레이아웃 정보 중 적어도 하나를 포함하고, 상기 설정 정보는, 상기 전자 장치의 오디오 볼륨, 상기 스크린의 방향, 상기 전자 장치의 동작 모드 중 적어도 하나를 포함할 수 있다.

실시 예에서, 상기 사용자 파라미터는 상기 사용자의 수 및 상기 사용자의 위치 중 적어도 하나에 대한 정보를 포함할 수 있다.

실시 예에 따른 오디오 신호 처리를 위한 전자 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하고, 상기 파라미터를 기반으로 렌더링 정보를 획득하고, 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하고, 상기 파라미터는 상기 오디오 오브젝트, 및 상기 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 상기 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함할 수 있다.

실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하는 단계, 상기 파라미터를 기반으로 렌더링 정보를 획득하는 단계 및 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 단계를 포함하고, 상기 파라미터는 상기 오디오 오브젝트, 및 상기 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 상기 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.

일 실시 예에 따른 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법은 오디오 오브젝트 공간화에 관련된 파라미터들을 획득하고, 이를 이용하여 렌더링 정보를 획득할 수 있다.

일 실시 예에 따른 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법은 렌더링 정보를 기반으로 오디오 오브젝트를 3차원 음향으로 렌더링할 수 있다.

도 1은 실시 예에 따라, 전자 장치가 오디오 신호를 입체감 있게 재생하는 것을 설명하기 위한 도면이다.
도 2는 실시 예에 따른 전자 장치의 내부 블록도이다.
도 3은 도 2의 프로세서의 내부 블록도이다.
도 4는 도 3의 파라미터 획득부의 내부 블록도이다.
도 5는 실시 예에 따라, 오브젝트 파라미터를 획득하는 것을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 전자 장치 파라미터를 설명하기 위한 도면이다.
도 7은 다른 실시 예에 따른 전자 장치 파라미터를 설명하기 위한 도면이다.
도 8은 실시 예에 따른 사용자 파라미터를 설명하기 위한 도면이다.
도 9는 실시 예에 따른 전자 장치의 내부 블록도이다.
도 10은 실시 예에 따른 전자 장치의 동작 방법을 도시한 순서도이다.
도 11은 실시 예에 따라 렌더링 정보를 획득하는 과정을 도시한 순서도이다.
도 12는 실시 예에 따라 우선 순위가 높은 파라미터부터 순차적으로 고려하는 과정을 도시한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.

또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.

본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.

본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.

또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

또한, 명세서에서 “사용자”라는 용어는 전자 장치를 이용하여 전자 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 평가자, 시청자, 소비자, 관리자 또는 설치 기사를 포함할 수 있다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 실시 예에 따라, 전자 장치가 오디오 신호를 입체감 있게 재생하는 것을 설명하기 위한 도면이다.

도 1을 참조하면, 전자 장치(100)는 비디오 신호(103) 및 오디오 신호(101)를 처리하여 출력할 수 있는 전자 기기일 수 있다. 전자 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 TV일 수 있으나, 이에 한정되지 않는다.

전자 장치(100)는 디스플레이 및 스피커를 포함하는 다양한 형태의 전자 장치로 구현될 수 있다. 전자 장치(100)는 데스크톱, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 전자 북 리더기(e-book reader), 랩톱 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 홈 네트워크 시스템, 보안 시스템, 의료 장치 중 적어도 하나를 포함할 수 있다.

전자 장치(100)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 전자 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.

전자 장치(100)는 콘텐츠를 입력 받고 이를 처리하여 출력할 수 있다. 콘텐츠는 비디오 신호(103) 및 오디오 신호(101)를 포함할 수 있다. 콘텐츠는 콘텐츠 프로바이더들(contents providers)이 제공하는 텔레비전 프로그램이나 VOD 서비스를 통한 각종 영화나 드라마 등의 아이템을 포함할 수 있다. 콘텐츠 프로바이더는 소비자에게 각종 콘텐츠를 제공하는 지상파 방송국이나 케이블 방송국, 또는 OTT 서비스 제공자, IPTV 서비스 제공자를 의미할 수 있다.

실시 예에서, 전자 장치(100)는 오디오 신호 렌더링 장치를 포함할 수 있다. 오디오 신호 렌더링 장치는 입력된 오디오 신호를 처리하여 오디오 신호가 입체적으로 출력되도록 할 수 있다. 오디오 신호 렌더링 장치는 적어도 하나의 하드웨어 칩 형태나 전자 장치 형태로 제작되어 전자 장치(100)에 포함될 수 있다. 또는 오디오 신호 렌더링 장치는 전자 장치(100)에서 소프트웨어 모듈로 구현될 수도 있다.

실시 예에서, 전자 장치(100)는 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하고, 파라미터를 기반으로 렌더링 정보를 획득하고, 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링할 수 있다.

실시 예에서, 전자 장치(100)는 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득할 수 있다.

오디오 오브젝트 공간화는 오디오 오브젝트가 3차원 입체 사운드로 출력되어, 소리가 임장감 있게 들리도록 하는 것을 의미할 수 있다. 오디오 오브젝트 공간화는 음의 고저, 음색, 방향이나 거리감까지 고려하여, 음원이 발생한 공간에 위치하지 않은 청취자가 방향감, 거리감, 공간감을 지각할 수 있도록 하기 위해 공간 정보를 음향에 부가하는 것을 의미할 수 있다.

오디오 오브젝트 공간화에 관련된 파라미터는 오브젝트를 공간화하는 데 영향을 줄 수 있는 파라미터들을 의미할 수 있다. 실시 예에서, 오디오 오브젝트 공간화에 관련된 파라미터는 오브젝트 파라미터, 전자 장치 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함할 수 있다.

오브젝트 파라미터는 오디오 오브젝트, 및 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 파라미터를 의미할 수 있다.

전자 장치 파라미터는, 오디오 오브젝트 공간화에 영향을 주는 전자 장치 특성을 나타내는 파라미터로, 전자 장치의 고유 정보 및 설정 정보 중 적어도 하나를 포함할 수 있다. 전자 장치의 고유 정보는 전자 장치의 모델에 따른 사운드 특성, 스크린 사이즈, 및 스피커 레이아웃 정보 중 적어도 하나를 포함할 수 있다. 전자 장치의 설정 정보는, 전자 장치의 오디오 볼륨, 스크린의 방향, 전자 장치의 동작 모드 중 적어도 하나를 포함할 수 있다.

사용자 파라미터는, 오디오 오브젝트 공간화에 영향을 주는 사용자 특성을 나타내는 파라미터로, 전자 장치를 청취하는 사용자의 수 및 사용자의 위치 중 적어도 하나에 대한 정보를 포함할 수 있다.

실시 예에서, 전자 장치(100)는 오디오 오브젝트 공간화에 관련된 파라미터를 기반으로 렌더링 정보를 획득할 수 있다.

실시 예에서, 전자 장치(100)는 오디오 오브젝트를 공간화하는데 영향을 줄 수 있는 다양한 파라미터를 획득하고, 다양한 파라미터들의 조합을 이용하여, 파라미터에 대응하는 렌더링 정보를 획득할 수 있다.

렌더링 정보는, 사용자가 화면에 표시된 비디오 오브젝트에 대해 인식하는 방향 및 위치에서 비디오 오브젝트에 대응하는 오디오 오브젝트가 출력되는 것과 같은 입체감을 주기 위한 정보일 수 있다. 렌더링 정보는 HRTF(Head-Related Transfer Function) 필터 계수 및 패닝 계수 중 적어도 하나를 포함할 수 있다. HRTF 필터는 가상의 음상 정위를 위한 필터를 의미할 수 있다. HRTF 필터 계수는 위 아래 방향으로 고도감 있는 신호 생성을 위한 고도 필터 계수, 수평면 상에서 신호의 공간화를 위한 수평 필터 계수 중 적어도 하나를 포함할 수 있다. 패닝 계수는 신호의 패닝 정도를 조절하기 위한 것으로, 패닝 게인 및 패닝 각도 중 적어도 하나를 포함할 수 있다.

실시 예에서, 전자 장치(100)는 획득된 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링할 수 있다. 이와 같이 전자 장치(100)는 획득한 렌더링 정보를 이용하여 입력된 오디오 신호(101)를 렌더링함으로써, 오디오 신호(101)를 공간화할 수 있다.

실시 예에서, 전자 장치(100)는 전자 장치(100)에 포함되거나 또는 전자 장치(100) 외부에 연결된 스피커를 이용하여 렌더링된 오디오 오브젝트(115)를 출력할 수 있다. 전자 장치(100)는 다양한 형태의 스피커를 이용하여 렌더링된 오디오 오브젝트를 출력할 수 있다. 예컨대, 전자 장치(100)는 2채널 출력을 가지는 스테레오 스피커나, 5.1 채널 시스템, 7.1 채널 시스템, Auro 3D 시스템, Holman 10.2 채널 시스템, ETRI/Samsung 10.2 채널 시스템, NHK 22.2 채널 시스템 등 다양한 멀티 채널 시스템 등을 이용하여 오디오를 출력할 수 있다.

도 1을 참조하여, 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 기반으로 획득된 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링하는 예를 설명한다.

도 1에서, 전자 장치(100)는 비디오 신호로부터 비디오 오브젝트(101, 105)를 획득할 수 있다. 전자 장치(100)는 오디오 신호(101)로부터 오디오 오브젝트(115)를 획득할 수 있다. 전자 장치(100)는 오디오 오브젝트(115)와 연관된 비디오 오브젝트(105)가 화면의 우측에 위치하고 있고, 그 비디오 오브젝트(105)가 사람 얼굴이고, 비디오 오브젝트(105)에서 출력되는 오디오 오브젝트가 사람의 음성이라는 것 등을 식별할 수 있다.

또한, 전자 장치(100)는 사용자 파라미터를 획득하기 위한 센서(110)를 더 포함할 수 있다. 전자 장치(100)는 센서를 이용하여 사용자(120)가 화면의 좌측에 위치하고 있음을 식별하고 이를 사용자 파라미터로 획득할 수 있다. 전자 장치(100)는 또 다른 사용자(130)를 식별할 수 있으나, 다른 사용자(130)는 전자 장치(100)를 응시하고 있지 않다는 점에서 다른 사용자(130)에 대해서는 따로 사용자 파라미터를 고려하지 않을 수 있다.

실시 예에서, 전자 장치(100)는 획득한 파라미터를 기반으로 렌더링 정보를 획득할 수 있다. 전자 장치(100)는 획득한 렌더링 정보를 이용하여, 오디오 오브젝트(105)를 렌더링함으로써, 화면의 좌측에 위치하는 사용자(120)가 오디오 오브젝트(105), 즉, 사람의 음성을 보다 명확히 청취하도록 할 수 있다.

보다 구체적으로, 전자 장치(100)는 렌더링 정보를 이용하여, 사용자(120)와 스피커의 위치를 고려하여, 사용자(120)와 가까이 위치한 스피커에서 출력되는 신호와 사용자(120)로부터 멀리 위치한 스피커에서 출력되는 신호의 진폭을 조절할 수 있다. 또한, 전자 장치(100)는 오디오 오브젝트의 패닝 각도를 현재 사용자(120)의 위치에 맞게 조절함으로써 사용자(120)가 보다 명료하게 렌더링된 오디오 오브젝트(115)를 청취할 수 있도록 할 수 있다. 또한, 전자 장치(100)는 HRTF 필터 계수를 조절하여, 렌더링된 오디오 오브젝트(115)가 출력되는 위치를 가상의 위치로 정위시킴으로써, 렌더링된 오디오 오브젝트(115)가 가상의 위치, 예컨대, 현재 화면 상의 비디오 오브젝트(105)의 위치에서 음성이 들리는 것과 같은 효과를 갖도록 할 수 있다.

이와 같이, 실시 예에 의하면, 전자 장치(100)는 오디오 공간화에 영향을 주는 다양한 파라미터들을 이용하여 오디오 오브젝트를 렌더링함으로써, 사용자에게 보다 정확하고 명료한, 입체감 있는 오디오 신호를 제공할 수 있다.

도 2는 실시 예에 따른 전자 장치의 내부 블록도이다.

도 2를 참조하면, 전자 장치(200)는 메모리(220) 및 프로세서(210)를 포함할 수 있다.

도 2의 전자 장치(200)는 도 1에 도시된 전자 장치(100)의 일 예일 수 있다.

실시 예에 따른 메모리(220)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(220)는 프로세서(210)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다.

실시 예에서, 메모리(220)에는 전자 장치(200)로 입력되거나 전자 장치(200)로부터 출력되는 데이터를 저장할 수 있다.

메모리(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

실시 예에서, 메모리(220)에는 오디오 오브젝트에 적용할 렌더링 정보가 미리 저장되어 있을 수 있다. 렌더링 정보는 예컨대, 룩업 테이블 형태로 저장될 수 있으나, 이에 한정되는 것은 아니다. 룩업 테이블은 오디오 오브젝트의 공간화에 관련된 파라미터 값에 매핑되는 렌더링 정보를 포함할 수 있다. 룩업 테이블은 파라미터 별로 각 파라미터의 값에 대응하는 렌더링 정보를 포함할 수 있다. 또는 룩업 테이블은 복수개의 파라미터들의 조합에 대응하는 렌더링 정보를 포함할 수도 있다. 렌더링 정보는 HRTF 필터 계수 및 패닝 계수 중 적어도 하나를 포함하고, 패닝 계수는 패닝 게인 및 패닝 각도 중 적어도 하나를 포함할 수 있다.

제조사는 파라미터 값이 소정 값을 가질 때 오디오 오브젝트의 공간화에 가장 적합한 렌더링 값을 실험을 통해 획득하고, 파라미터 값에 대응하는 최적의 렌더링 정보를 룩업 테이블로 생성하여 이를 메모리(220)에 저장시킬 수 있다. 또는 제조사는 룩업 테이블을 생성하고 이를 제조사가 운영하는 서버 등에 저장할 수 있다. 전자 장치(200)는 제조사가 운영하는 서버 등으로부터 전자 장치(200)에 맞는 룩업 테이블을 다운로드하여 획득할 수도 있다.

또한, 실시 예에서, 메모리(220)에는 전자 장치 파라미터가 저장될 수 있다. 전자 장치 파라미터는, 오디오 오브젝트 공간화에 관련된 전자 장치(200) 자체의 특성을 나타내는 파라미터일 수 있다.

제조사는 전자 장치(200)에 대한 전자 장치 파라미터를 미리 획득하고 이를 전자 장치(200)의 메모리(220)에 미리 저장시킬 수 있다.

전자 장치 파라미터는 전자 장치 고유 정보 및 전자 장치 설정 정보를 포함할 수 있다.

실시 예에서, 프로세서(210)는 전자 장치(200)의 전반적인 동작을 제어한다. 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 전자 장치(200)가 기능하도록 제어할 수 있다.

실시 예에서, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 오디오 오브젝트 공간화에 관련된 파라미터를 획득할 수 있다. 실시 예에서, 프로세서(210)는 오디오 오브젝트 공간화에 관련된 파라미터로, 오브젝트 파라미터, 전자 장치 파라미터, 사용자 파라미터 중 적어도 하나를 획득할 수 있다.

실시 예에서, 프로세서(210)는 입력된 비디오 신호 및 오디오 신호로부터 오브젝트 파라미터를 획득할 수 있다. 오브젝트 파라미터는 오디오 오브젝트 유형을 포함하고, 오디오 오브젝트 유형은 오디오 오브젝트가 음성인지 여부, 및 배경음인지 여부에 대한 정보 중 적어도 하나를 포함할 수 있다. 실시 예에서, 오브젝트 파라미터는 비디오 오브젝트 유형, 및 스크린 상에서의 상기 비디오 오브젝트의 위치에 대한 정보 중 적어도 하나를 포함하고, 비디오 오브젝트 유형은 비디오 오브젝트가 사람 얼굴인지 여부, 및 전경인지 배경인지에 대한 정보 중 적어도 하나를 포함할 수 있다.

실시 예에서, 프로세서(210)는 메모리(220)로부터 전자 장치 파라미터를 획득할 수 있다. 프로세서(210)는 전자 장치의 고유 정보 및 설정 정보 중 적어도 하나를 획득할 수 있다. 실시 예에서, 고유 정보는 전자 장치(200)의 고유 모델에 따른 사운드 특성, 스크린 사이즈, 스피커 레이아웃 정보 중 적어도 하나를 포함하고, 설정 정보는, 전자 장치(200)의 오디오 볼륨, 스크린의 방향, 전자 장치(200)의 동작 모드 중 적어도 하나를 포함할 수 있다.

실시 예에서, 프로세서(210)는 사용자 파라미터를 획득할 수 있다. 사용자 파라미터는 전자 장치(200) 주변의 사용자의 수 및 사용자의 위치 중 적어도 하나에 대한 정보를 포함할 수 있다. 프로세서(210)는 카메라 등의 센서를 이용하여 사용자가 전자 장치(200)를 기준으로 어느 위치에 있는지를 식별할 수 있다. 프로세서(210)는 사용자의 수, 사용자의 위치, 스윗 스팟(sweet spot)의 범위 및 현재 사용자가 스윗 스팟에 위치하는지 여부 등을 사용자 파라미터로 획득할 수 있다.

실시 예에서, 프로세서(210)는 룩업 테이블을 획득할 수 있다. 프로세서(210)는 전자 장치(200)의 메모리(220)에 기 저장되어 있는 룩업 테이블을 획득하거나, 또는 외부 서버로부터 룩업 테이블을 다운로드하여 획득할 수 있다.

실시 예에서, 프로세서(210)는 획득한 룩업 테이블 및 획득한 파라미터를 기반으로, 룩업 테이블에서 대응하는 파라미터에 대응하는 렌더링 정보를 획득할 수 있다. 실시 예에서, 프로세서(210)는 획득한 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링하여 오디오 오브젝트를 공간화할 수 있다.

실시 예에서, 메모리(220)에 저장되어 있는 룩업 테이블은 파라미터에 대응하는 렌더링 정보를 모두 포함하고 있지 않을 수 있다. 이는 제조사가 룩업 테이블을 생성할 때, 파라미터의 값 전부에 대해 일일이 실험을 수행하거나, 복수개의 파라미터들의 조합 모두를 다 고려하여 실험하는 것이 어렵기 때문이다. 또한, 모든 파라미터 값들에 대응하는 렌더링 정보를 메모리(220)에 저장하는 것은 메모리(220)의 용량 측면에서도 비효율적일 수 있다. 따라서, 제조사는 파라미터 값 전부에 대해서가 아닌, 랜덤한 파라미터 값, 또는 자주 사용되는 파라미터 값 등에 대해서만 실험을 통해 파라미터 값에 대응하는 렌더링 정보를 획득하고, 이를 룩업 테이블로 생성할 수 있다. 예컨대, 제조사는 전자 장치 파라미터 중 전자 장치의 오디오 볼륨에 대해 렌더링 정보를 획득할 때, 오디오 볼륨이 5, 10, 15일 때 그에 대응하는 렌더링 정보만을 획득하여 룩업 테이블을 생성할 수 있다.

실시 예에서, 프로세서(210)는 소정 파라미터 값에 대응하는 렌더링 정보가 룩업 테이블에 포함되어 있지 않은 경우, 룩업 테이블에 포함되어 있는 다른 파라미터 값에 대응하는 렌더링 정보를 기반으로 소정 파라미터 값에 대응하는 렌더링 정보를 추정하여 획득할 수 있다. 예컨대, 프로세서(210)는 현재 사용자가 설정한 오디오 볼륨이 7인 경우, 룩업 테이블에서 오디오 볼륨이 5일 때와 10일 때의 렌더링 정보를 획득하고, 이를 기반으로, 오디오 볼륨이 7인 경우의 렌더링 정보를 예측할 수 있다.

실시 예에서, 프로세서(210)는 통계 모델(Statistical Model)을 이용하여, 파라미터 값에 대응하는 렌더링 정보의 분포를 분석하고, 이로부터 룩업 테이블에 저장되어 있지 않은 파라미터 값에 대응하는 렌더링 정보를 획득할 수 있다.

또는, 프로세서(210)는 머신 러닝(Machine Learning) 모델을 이용하여, 룩업 테이블에 저장되어 있지 않은 파라미터 값에 대응하는 렌더링 정보를 예측할 수 있다. 프로세서(210)는 머신 러닝 모델을 이용하여 룩업 테이블에 저장된 데이터를 분석하고 학습하여, 룩업 테이블에 포함된 파라미터 값과 렌더링 값 간의 가중치를 고려하고 이를 기반으로 새로운 파라미터 값에 대응하는 렌더링 정보를 예측할 수 있다.

또는, 프로세서(210)는 리그레션(regression) 모델을 이용할 수 있다. 프로세서(210)는 리그레션 모델을 이용하여, 렌더링 정보에 영향을 주는 조건이 되는 파라미터 값들을 고려하여 평균을 구하고, 이를 기반으로 새로운 파라미터 값에 대응하는 렌더링 정보를 계산할 수 있다.

이와 같이, 프로세서(210)는 통계 모델, 머신 러닝 모델 및 리그레션 모델 중 적어도 하나를 이용하여, 룩업 테이블에 저장되어 있지 않은 파라미터 값에 대응하는 렌더링 정보를 추정할 수 있다.

프로세서(210)는 기준 값 이상인 파라미터들의 조합을 기반으로, 룩업 테이블에서 렌더링 정보를 획득할 수 있다. 기준 값은, 파라미터의 값이 일정한 조건을 만족하는 값인지를 나타내기 위한 임계 값으로, 각 파라미터 별로 사용자에 의해 설정되거나, 또는 전자 장치(200)에 의해 자동으로 설정된 값일 수 있다. 또는 기준 값은, 룩업 테이블에 각 파라미터 별로 미리 저장되어 있을 수도 있다.

실시 예에서, 복수개의 파라미터들 간에는 우선 순위가 설정될 수 있다.

예컨대, 복수의 파라미터들은 스크린 사이즈, 오디오 볼륨, 비디오 오브젝트 유형, 비디오 오브젝트 위치, 사용자 위치 등의 순서로 우선 순위가 할당될 수 있다.

실시 예에서, 프로세서(210)는 우선 순위가 높은 파라미터 순서대로 파라미터에 대응하는 렌더링 정보를 획득할 수 있다.

실시 예에서, 프로세서(210)는 우선 순위가 높은 파라미터들의 조합을 기반으로, 조합된 파라미터들에 대응하는 렌더링 정보를 획득할 수 있다.

실시 예에서, 프로세서(210)는 제N(N은 자연수)번째 우선 순위를 갖는 파라미터의 값이 기준 값 이상인 경우에, 다음 우선 순위인 제N+1 번째 우선 순위를 갖는 파라미터 값을 순서대로 고려하고, 기준 값 이상인 파라미터들의 조합을 기반으로, 룩업 테이블에서 렌더링 정보를 획득할 수 있다.

실시 예에서, 프로세서(210)는 우선 순위가 높은 파라미터의 값이 기준 값 이상인지 여부를 판단할 수 있다. 위 예에서, 프로세서(210)는 스크린 사이즈가 소정 크기, 예컨대 40인치 이상인지 여부를 먼저 판단하고, 스크린 사이즈가 소정 크기 이상인 경우에 그 다음 우선 순위를 갖는 파라미터인 오디오 볼륨을 고려할 수 있다. 프로세서(210)는 오디오 볼륨이 기준 값, 예컨대, 3 이상으로 설정되어 있는 경우, 다음 우선 순위를 갖는 비디오 오브젝트의 유형을 고려할 수 있다. 유사하게, 프로세서(210)는 비디오 오브젝트의 유형이 사람 얼굴이거나, 전경의 오브젝트인 경우, 그 다음의 우선 순위를 갖는 비디오 오브젝트의 위치를 고려할 수 있다. 프로세서(210)는 우선 순위가 높은 파라미터부터 순차적으로 기준 값을 만족하는 복수의 파라미터들을 고려하여, 렌더링 정보를 획득할 수 있다.

실시 예에서, 프로세서(210)는 제N 번째 우선 순위를 갖는 파라미터의 값이 기준 값 이상이 아닌 경우, 이전 우선 순위인 제N-1 번째 우선 순위를 갖는 파라미터까지의 조합을 기반으로, 룩업 테이블에서 렌더링 정보를 획득할 수 있다. 즉, 실시 예에서, 프로세서(210)는 우선 순위가 높은 파라미터의 값이 기준 값 이상이 아닌 경우, 다음 우선 순위의 파라미터 값을 더 이상 고려하지 않을 수 있다. 예컨대, 위 예에서, 프로세서(210)는 오디오 볼륨이 기준 값보다 작은 값, 예컨대 1로 설정되어 있는 경우, 다음 우선 순위인, 비디오 오브젝트의 유형을 고려하지 않을 수 있다. 이 경우, 프로세서(210)는 우선 순위가 높은 스피커 사이즈 및 오디오 볼륨만을 고려하여, 스피커 사이즈 및 오디오 볼륨의 파라미터 값에 대응하는 렌더링 정보를 룩업 테이블에서 검색할 수 있다.

실시 예에서, 프로세서(210)는 가장 우선 순위가 높은 파라미터의 값이 기준 값을 만족하지 못하는 경우, 렌더링 정보를 획득하는 기능 및 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링하는 기능을 비활성화할 수 있다.

실시 예에서, 파라미터들 간의 우선 순위는 제조사에 의해 설정되거나, 또는 전자 장치(200) 사용자에 의해 설정되거나 변경될 수 있다. 사용자는 개인의 취향 등에 따라 파라미터들 간의 우선 순위를 조절할 수 있다. 또한, 사용자는 복수의 파라미터들 중, 특정한 파라미터들 만이 렌더링 정보 획득에 이용되도록 선택할 수도 있다.

도 3은 도 2의 프로세서(200)의 내부 블록도이다.

도 3을 참조하면, 프로세서(200)는 파라미터 획득부(211), 렌더링 정보 획득부(213), 및 오디오 오브젝트 렌더링부(215)를 포함할 수 있다. 파라미터 획득부(211), 렌더링 정보 획득부(213), 및 오디오 오브젝트 렌더링부(215)는 메모리 (220)에 저장되는 프로그램으로 구현할 수 있다.

실시 예에서, 파라미터 획득부(211)는 오디오 오브젝트 공간화에 관련된 복수개의 파라미터를 획득할 수 있다. 파라미터 획득부(211)는 입력된 비디오 신호, 오디오 신호로부터 오브젝트 콘텐츠를 획득할 수 있다. 파라미터 획득부(211)는 전자 장치(200) 고유의 특성 정보를 전자 장치 파라미터로 획득할 수 있다. 파라미터 획득부(211)는 사용자의 환경과 관련한 특성 정보를 사용자 파라미터로 획득할 수 있다.

실시 예에서, 렌더링 정보 획득부(213)는 파라미터 획득부(211)가 획득한 복수개의 파라미터를 이용하여 렌더링 정보를 획득할 수 있다. 전술한 바와 같이, 전자 장치(200)의 메모리(220)에는 렌더링 정보 검색을 위한 룩업 테이블(225)이 미리 저장되어 있을 수 있다.

실시 예에서, 메모리(220)에 기 저장되어 있는 룩업 테이블(225)에는 제조사가 훈련이나 실험을 통해 획득한 렌더링 정보가 포함되어 있다. 제조사는 렌더링 정보를 획득하기 위해, 다양한 파라미터 별로 실험을 수행할 수 있다. 제조사는 파라미터들을 바꿔가면서, 비디오 오브젝트 및 오디오 오브젝트를 실험용 전자 장치를 통해 출력하고, 평가자들이 가장 적합하게 생각하는 렌더링 정보가 무엇인지를 획득할 수 있다. 제조사는 실험을 통해 다양한 파라미터들 각각 또는 적어도 두 개의 파라미터들을 조합하고, 파라미터 값을 조정했을 때 평가자들이 가장 평가 점수를 높게 부여한 렌더링 정보를, 파라미터 값에 대응하는 렌더링 값으로 저장할 수 있다.

예컨대, 제조사는 복수의 파라미터 중, 비디오 오브젝트의 위치나 이동에 따른 렌더링 정보를 획득하기 위해, 비디오 오브젝트가 스크린 상의 제1 서브 영역 위치에서 제2 서브 영역 위치로 이동하는 화면을 실험용 전자 장치를 통해 출력할 수 있다. 동시에, 제조사는 비디오 오브젝트와 연관된 오디오 오브젝트를 공간화하기 위해, 다양한 렌더링 정보로 오디오 오브젝트를 렌더링하여 출력할 수 있다. 제조사는 패닝 게인이나 패닝 각도, 필터 계수 값 등을 조정하고, 조정된 렌더링 정보에 따라 처리된 오디오 오브젝트를 비디오 오브젝트와 함께 출력할 수 있다. 복수의 평가자들은 화면에 출력된 비디오 오브젝트를 보면서 동시에 렌더링된 오디오 오브젝트를 청취하고, 그 때의 오디오 오브젝트의 공간화 정도를 평가할 수 있다. 예컨대, 복수의 평가자들은 스크린 상에서 인식된 비디오 오브젝트의 위치에서 오디오 오브젝트가 출력되는 것처럼 보이는지를 고려하여, 오디오 공간화 효과의 정확성, 사운드 및 전반적인 경험의 명확성, 명료성 등을 평가할 수 있다. 제조사는 동일한 환경에서 렌더링 정보만을 조정하면서 동일한 실험을 반복하여, 소정 파라미터가 소정 값을 가질 때, 평가자들이 가장 적합하게 생각하는 렌더링 정보가 무엇인지를 획득할 수 있다.

또한, 제조사는 동일한 파라미터에 대해서, 파라미터 값을 바꿔 가면서 실험을 할 수 있다. 위 예에서, 제조사는 파라미터 값, 즉, 비디오 오브젝트의 위치나 이동의 정도를 조절하여 이를 화면으로 출력할 수 있다. 동시에 제조사는 다양한 렌더링 정보로 오디오 오브젝트를 렌더링하여 출력할 수 있다. 복수의 평가자들은 바뀐 파라미터 값에 따라 출력되는 비디오 오브젝트를 보면서 동시에 렌더링된 오디오 오브젝트를 청취하고, 오디오 오브젝트의 공간화 정도를 평가할 수 있다.

유사하게, 제조사는 복수의 파라미터들 각각에 대해서 동일한 실험을 수행할 수 있다. 예컨대, 제조사는 비디오 오브젝트가 사람의 얼굴인 경우와 그렇지 않은 경우, 또는 비디오 오브젝트가 전경(foreground)에 위치하는 경우와 배경(background)에 위치하는 경우 등에 있어서, 평가자들이 가장 높은 평가 점수를 부여하는 렌더링 정보가 얼마인지를 각각 획득할 수 있다. 일반적으로 화면을 시청하는 사용자는 사람의 얼굴이 화면에 나오면 더 집중하여 화면을 시청하는 경향이 있다. 또한, 사용자는 배경에 위치한 비디오 오브젝트보다 전경에 위치한 비디오 오브젝트에 더 관심을 갖는 경향이 있다.

유사하게, 제조사는 오디오 오브젝트가 음성인 경우와 그렇지 않은 경우, 평가자들이 평가 점수를 가장 높게 부여하는 렌더링 정보가 얼마인지를 실험을 통해 획득할 수 있다. 일반적으로 화면을 시청하는 사용자는 사람의 음성이 출력되면, 음악이나 악기 소리 등의 다른 소리보다 사람의 음성을 더 집중하여 청취하려는 경향이 있다.

이러한 시청자의 경향은 렌더링 정보에 영향을 줄 수 있다. 예컨대, 비디오 오브젝트가 사람의 얼굴이고 비디오 오브젝트에 대응하는 오디오 오브젝트가 사람의 음성인 경우, 제조사가 사람의 음성에 대해 패닝 각도를 소정 크기 이상으로 크게 하거나, 패닝 게인을 소정 크기 이하로 작게 하여 오디오 오브젝트를 렌더링하는 경우, 평가자들은 음성이 넓게 분포되어 또렷하게 들리지 않는다고 느낄 수 있다. 즉, 평가자들은 비디오 오브젝트가 사람의 얼굴이고, 오디오 오브젝트가 사람의 음성인 경우, 패닝 각도가 소정 범위 이하이고, 패닝 게인이 소정 크기 이상일 때 사람의 음성이 가장 잘 인식된다고 평가할 수 있다. 제조사는 실험을 통해 평가 점수가 가장 높은 렌더링 정보를 획득하고 이를 파라미터 값에 대응하여 저장할 수 있다.

이 외에도 제조사는 다양한 파라미터를 고려하여 렌더링 정보를 획득할 수 있다. 제조사는 전자 장치(200)의 모델, 전자 장치(200)의 스크린의 사이즈, 전자 장치(200)의 사운드 특성이나 스피커 레이아웃, 전자 장치를 시청하는 사용자의 위치, 사용자의 수 등의 파라미터를 고려하여 각각의 경우에, 또는 두 개 이상의 파라미터들이 조합된 경우에 가장 렌더링 효과가 좋은 렌더링 정보가 무엇인지를 획득할 수 있다. 예컨대, 제조사는 복수의 평가자들이 각각 실험용 전자 장치의 우측, 좌측, 중앙에서 동일한 콘텐츠를 시청하면서 가장 높게 평가 점수를 부여한 렌더링 정보를, 사용자의 위치에 대응하는 렌더링 값으로 저장할 수 있다. 예컨대, 제조사는 스피커의 레이아웃이 5.1 채널인 경우, 평가자의 위치 외에도 스피커의 위치를 고려하여, 평가자와 스피커 간의 거리나 각도에 따라, 평가 점수가 가장 높을 때의 렌더링 정보의 값이 얼마인지를 획득할 수 있다.

제조사는 다양한 파라미터들 각각, 또는 복수개의 파라미터들을 조합했을 때, 파라미터 값에 대응하는 최적의 렌더링 점수를 획득하고, 이를 룩업 테이블(225)로 생성하여 전자 장치(200)의 메모리(220) 등에 저장 시킬 수 있다.

실시 예에서, 렌더링 정보 획득부(213)는 파라미터 획득부(211)를 통해 획득한 파라미터를 이용하여, 룩업 테이블(225)에서, 획득한 파라미터에 대응하는 렌더링 정보를 검색할 수 있다. 예컨대, 파라미터 획득부(211)가 획득한 파라미터가 사용자 파라미터이고, 사용자 파라미터가, 사용자의 수가 세 명이고, 사용자가 각각 화면의 우측, 중앙, 좌측에 위치한다는 것을 가리키는 경우, 렌더링 정보 획득부(213)는 사용자의 수 및 그들의 위치에 대응하는 렌더링 정보를 룩업 테이블(225)에서 검색할 수 있다.

렌더링 정보는 HRTF 필터 계수 및 패닝 계수 중 적어도 하나를 포함할 수 있다.

HRTF 필터는 가상의 음상 정위를 위한 필터를 의미할 수 있다. HRTF 필터는 디코딩된 음향 신호의 위치 및 음색 등을 보정하는 필터일 수 있다. HRTF 필터는 두 귀간의 레벨 차이(ILD, Interaural Level Differences) 및 두 귀 간에서 음향 시간이 도달하는 시간 차이(ITD, Interaural Time Differences) 등의 단순한 경로 차이뿐만 아니라, 머리 표면에서의 회절, 귓바퀴에 의한 반사 등 복잡한 경로상의 특성이 음의 도래 방향에 따라 변화하는 현상에 의하여 입체 음향을 인식할 수 있도록 할 수 있다. HRTF 필터는 음향 신호의 음질을 변화시킴으로써 입체 음향이 인식될 수 있도록 음향 신호들을 처리할 수 있다.

패닝 계수는 신호의 패닝 정도를 조절하기 위한 것으로, 패닝 게인 및 패닝 각도 중 적어도 하나를 포함할 수 있다. 패닝 계수는 입력 음향 신호를 각 출력 채널로 패닝시키기 위해 각 주파수 대역별, 각 채널별로 적용될 수 있다. 패닝 각도는 신호가 패닝되는 정도, 즉, 퍼지는 정도를 조절하기 위한 것일 수 있다. 패닝 게인은 두 출력 채널 사이의 특정 위치에 음원을 렌더링하기 위해 각 출력 채널에 인가하는 신호의 크기를 제어하는 것을 의미할 수 있다.

실시 예에서, 렌더링 정보 획득부(213)는 파라미터에 대응하는 렌더링 정보, 즉, HRTF 필터 계수 및 패닝 계수 중 적어도 하나를 획득하고, 획득한 렌더링 정보를 오디오 오브젝트 렌더링부(215)로 전송할 수 있다.

실시 예에서, 오디오 오브젝트 렌더링부(215)는 렌더링 정보 획득부(213)가 획득한 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링할 수 있다. 즉, 오디오 오브젝트 렌더링부(215)는 오디오 오브젝트에 HRTF 필터 계수 및 패닝 계수 중 적어도 하나를 적용하여, 오디오 오브젝트를 처리함으로써 오디오 오브젝트가 공간화되도록 할 수 있다.

오디오 오브젝트 렌더링부(215)에 의해 렌더링된 오디오 오브젝트는 멀티채널 입력 음향 신호와 믹싱되어 출력 채널로 출력될 수 있다. 예를 들면, 멀티채널 입력 음향 신호는 7.1 채널 신호이고, 재생될 출력 채널은 5.1 채널인 경우, 오디오 오브젝트 렌더링부(215)는 멀티채널 입력 음향 신호의 각 채널들을 대응시킬 출력 채널을 정함으로써 렌더링을 수행할 수 있다. 렌더링된 오디오 신호들은 다른 채널들의 신호와 믹싱되어 최종 신호로 출력될 수 있다.

도 4는 도 3의 파라미터 획득부의 내부 블록도이다.

도 4를 참조하면, 파라미터 획득부(211)는 오브젝트 파라미터 획득부(211-1), 전자 장치 파라미터 획득부(211-2) 및 사용자 파라미터 획득부(211-3)를 포함할 수 있다.

오브젝트 파라미터 획득부(211-1)는 입력된 콘텐츠로부터 오브젝트 파라미터를 획득할 수 있다. 오브젝트 파라미터는, 오디오 공간화에 관련된 오디오 오브젝트의 특성, 및/또는 오디오 오브젝트와 연관된 비디오 오브젝트의 특성을 나타내는 파라미터를 의미할 수 있다.

오브젝트 파라미터는 오디오 오브젝트 유형을 포함할 수 있다. 오브젝트 파라미터 획득부(211-1)는 콘텐츠에 포함된 오디오 신호로부터 오디오 오브젝트를 검출하고, 오디오 오브젝트가 사람의 음성인지 여부, 또는 오디오 오브젝트가 배경음인지 여부 등을 식별할 수 있다.

오브젝트 파라미터는 오디오 오브젝트와 연관된 비디오 오브젝트 유형, 및 스크린 상에서의 비디오 오브젝트의 위치에 대한 정보 중 적어도 하나를 포함할 수 있다. 오브젝트 파라미터 획득부(211-1)는 콘텐츠에 포함된 비디오 신호로부터 비디오 오브젝트를 검출할 수 있다. 오브젝트 파라미터 획득부(211-1)는 비디오 오브젝트 중 오디오 오브젝트와 연관된 비디오 오브젝트만을 식별할 수 있다. 이는, 오디오 오브젝트와 연관이 없는 비디오 오브젝트는, 예컨대, 배경을 이루는 나무나 산과 같은 오브젝트의 경우, 오디오 신호의 공간화에 영향을 주지 않기 때문이다.

오브젝트 파라미터 획득부(211-1)는 오디오 오브젝트와 연관된 비디오 오브젝트만을 식별하고, 식별된 비디오 오브젝트가 사람 얼굴인지 여부, 또는 전경인지, 배경인지 여부 등을 식별할 수 있다. 또한, 오브젝트 파라미터 획득부(211-1)는 화면 상에서의 비디오 오브젝트의 위치를 식별할 수 있다.

실시 예에서, 전자 장치 파라미터 획득부(211-2)는 전자 장치 파라미터를 획득할 수 있다. 전자 장치 파라미터는 전자 장치(200)의 고유 정보 및 설정 정보 중 적어도 하나를 포함할 수 있다. 전자 장치 파라미터는 메모리(220)에 저장되어 있을 수 있다.

전자 장치 고유 정보는 전자 장치(200)의 모델에 따른 고유한 특성 정보를 포함할 수 있다. 예컨대, 전자 장치(200)의 모델에 따른 고유 정보는 해당 전자 장치(200)의 사운드 특성에 대한 정보를 포함할 수 있다. 사운드 특성에 대한 정보는, OTS(Object Tracking Sound) 기능을 지원하는지 여부, 사운드 출력의 파워가 얼마인지, 사운드 보정 기술이 있는지 여부, 돌비 애트모스(Dolby Atmos) 지원 기능이 있는지 여부, 홈시어터 출력 지원 기능이 있는지 여부 등을 포함할 수 있다.

또한, 전자 장치(200)의 모델에 따른 고유 정보는 해당 전자 장치(200)의 스크린 사이즈에 대한 정보를 포함할 수도 있다.

또한, 전자 장치(200)의 모델에 따른 고유 정보는 스피커 시스템이 2 채널 스피커인지, 또는 5.1 채널 스피커인지 등과 같은 스피커 레이아웃에 대한 정보를 포함할 수 있다.

전자 장치 설정 정보는 전자 장치(200)의 사운드에 대한 디폴트 설정 값과 사용자로부터 선택된 설정 값의 차이에 따른 점수 관계를 포함할 수 있다. 예컨대, 전자 장치 설정 정보는 사운드의 볼륨이나, 스크린 방향, 전자 장치(200)의 동작 모드에 대한 디폴트 설정 값과 사용자로부터 선택된 설정 값의 차이에 따른 점수 관계를 포함할 수 있다. 스크린 방향은 스크린의 방향이 가로 모드인지, 세로 모드인지 여부를 나타낼 수 있다.

전자 장치(200)의 동작 모드는 현재 콘텐츠를 어떤 출력 모드로 재생하고 있는지를 나타내는 정보일 수 있다. 예컨대, 전자 장치(200)는 콘텐츠의 장르가 일반 콘텐츠인지, 또는 게임인지 여부에 따르게 다른 모드로 콘텐츠를 출력할 수 있다. 전자 장치(200)는 사용자 설정에 따라, 또는 자동으로 콘텐츠의 장르를 식별하고, 식별된 장르에 맞는 모드로 콘텐츠를 출력할 수도 있다. 예컨대, 전자 장치(200)는 영화 출력 모드나 게임 출력 모드, 스포츠 경기 출력 모드 등과 같이 콘텐츠의 장르에 따라 특화된 모드로 콘텐츠를 출력할 수 있다.

이 외에도, 전자 장치 설정 정보는 사운드 보정 기술 적용 여부, 사운드를 입체 음향으로 출력할지 여부 등에 대한 정보 등을 더 포함할 수도 있다.

실시 예에서, 사용자 파라미터 획득부(211-3)은 사용자 특성에 대한 사용자 파라미터를 획득할 수 있다. 사용자 파라미터 획득부(211-3)은 전자 장치(200)에 구비되거나 또는 연결된 센서 등을 이용하여 사용자 파라미터를 획득할 수 있다.

예컨대, 전자 장치(200)는 사용자의 위치 등을 센싱하는 센서를 더 포함할 수 있다. 센서는 카메라 등의 이미지 센서나 UWB 센서, 적외선 센서, 근접 센서 등을 포함할 수 있다. 전자 장치(200)는 센서를 이용하여 전자 장치(200)를 시청하는 사용자가 몇명인지, 또한, 전자 장치(200)를 기준으로 한 사용자의 현재 위치가 어디인지, 또한, 스피커와 사용자의 위치 간의 관계 등을 파악할 수 있다.

도 5는 실시 예에 따라, 오브젝트 파라미터를 획득하는 것을 설명하기 위한 도면이다.

전자 장치(200)는 인공지능 기술(Artificial Intelligence, AI)을 이용하여 입력된 콘텐츠로부터 오브젝트 파라미터를 획득할 수 있다. 도 5를 참조하면, 전자 장치(200)는 오브젝트 파라미터를 획득하기 위해 뉴럴 네트워크(510)를 이용할 수 있다. 실시 예에서, 전자 장치(200)는 입력된 콘텐츠에 포함된 비디오 신호 및 오디오 신호로부터 적어도 하나의 뉴럴 네트워크를 이용하여 모델 기반으로 오브젝트 파라미터를 획득할 수 있다.

AI 기술은 기계학습(딥 러닝) 및 기계 학습을 활용한 요소 기술들로 구성될 수 있다. AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network, 뉴럴 네트워크)이라 한다. 신경망은 입력 데이터를 입력 받고, 분석 및 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다.

뉴럴 네트워크는 연산을 수행하는 내부의 계층이 복수 개일 수 있다. 뉴럴 네트워크는 각 계층들로부터 서로 다른 특징 맵(feature map)을 획득할 수 있다.

실시 예에서, 전자 장치(200)는 오브젝트 파라미터를 획득하기 위해 적어도 하나의 뉴럴 네트워크(510)를 이용할 수 있다. 실시 예에서, 전자 장치(200)가 이용하는 뉴럴 네트워크(510)는 입력되는 비디오 신호 및 오디오 신호로부터 오브젝트 파라미터 및 소스 오디오 신호를 획득하기 위해 사전 훈련 된 모델일 수 있다. 뉴럴 네트워크(510) 입력된 비디오 신호 및 오디오 신호에서 특징을 추출하는 알고리즘, 또는 알고리즘의 집합, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어일 수 있다.

실시 예에서, 뉴럴 네트워크(510)는 입력된 비디오 신호로부터 획득한 특징들을 기반으로, 비디오 오브젝트를 검출할 수 있다. 또한, 실시 예에서, 뉴럴 네트워크(510)는 입력된 오디오 신호로부터 획득한 특징들을 기반으로, 오디오 오브젝트를 검출할 수 있다.

실시 예에서, 뉴럴 네트워크(510)는 입력된 비디오 신호 및 오디오 신호 간의 관련성에 대한 특징 벡터를 획득할 수 있다. 뉴럴 네트워크(510)는 비디오 신호 및 오디오 신호 간의 관련성에 대한 특징 벡터를 이용하여 오디오 오브젝트와 관련된 비디오 오브젝트만을 검출하고, 검출된 비디오 오브젝트에 대한 특성 정보를 획득할 수 있다.

실시 예에서, 뉴럴 네트워크(510)는 검출된 비디오 오브젝트를 종류 별로 분류할 수 있다. 예컨대, 뉴럴 네트워크(510)는 비디오 오브젝트가 사람 얼굴인지 여부, 또는 전경인지, 배경인지 여부 등을 식별할 수 있다. 또한, 뉴럴 네트워크(510)는 검출된 비디오 오브젝트의 위치를 식별할 수 있다. 뉴럴 네트워크(510)는 비디오 오브젝트의 유형 및 비디오 오브젝트의 위치를 오브젝트 파라미터로 출력할 수 있다.

실시 예에서, 뉴럴 네트워크(510)는 전자 장치(200)로 입력되는 음향이 모노 채널이거나 또는 2 채널인 경우, 오디오 신호에 대해 소스 분리를 수행할 수 있다. 예컨대, 입력되는 음향이 2 채널인 경우, 2 채널 음향 신호는 복수의 소스들의 신호가 믹싱되어 있는 상태일 수 있다. 실시 예에서, 뉴럴 네트워크(510)는 입력된 오디오 신호가 모노 또는 2 채널 음향 신호인 경우, 오디오 신호를 소스 별로 분리할 수 있다.

실시 예에서, 뉴럴 네트워크(510)는 분리된 각 소스 별 오디오 신호 중 렌더링을 수행할 소스 오디오 신호를 오디오 오브젝트로 식별하고 이를 출력할 수 있다. 실시 예에 따라 렌더링을 수행할 소스 오디오 신호는 복수개일 수 있다.

뉴럴 네트워크(510)로부터 출력된 소스 오디오 신호는 오디오 오브젝트 렌더링부(215)에 의해 렌더링될 수 있다.

뉴럴 네트워크(510)는 분리된 소스 별 오디오 신호로부터 오디오 특성에 대한 오브젝트 파라미터를 획득할 수 있다. 예컨대, 뉴럴 네트워크(510)는 소스 오디오 신호로부터 오디오 오브젝트가 음성인지, 여부, 배경음인지 여부에 대한 정보 중 적어도 하나를 획득할 수 있다. 뉴럴 네트워크(510)는 오디오 오브젝트의 유형을 오브젝트 파라미터로 출력할 수 있다.

도 6은 일 실시 예에 따른 전자 장치 파라미터를 설명하기 위한 도면이다.

실시 예에서, 제조사는 전자 장치(200)에 전자 장치 파라미터를 저장시킬 수 있다. 전자 장치 파라미터는 오디오 오브젝트 공간화에 관련된, 전자 장치(200)의 특성에 대한 정보를 의미할 수 있다. 전자 장치 파라미터는 전자 장치(200)의 고유 정보를 포함할 수 있다. 전자 장치(200)의 고유 정보는 전자 장치(200)의 스크린 사이즈에 대한 정보를 포함할 수 있다.

도 6을 참조하면, 전자 장치(200)는 다양한 스크린 사이즈를 가질 수 있다.

도 6에는 세 개의 스크린이 도시되어 있으며 제1 스크린(610)부터 제2 스크린(620) 및 제3 스크린(630) 순서대로 사이즈가 작아진다.

일반적으로, 스크린 사이즈가 큰 경우, 사용자는 스크린으로부터 더 먼 위치에서 스크린을 시청하게 된다. 전자 장치(200)가 큰 사이즈의 스크린을 통해 비디오 오브젝트를 출력하면서, 스크린 사이즈가 작은 경우와 동일한 패닝 게인을 이용하여 오디오 오브젝트를 렌더링할 경우, 비디오 오브젝트에 대응하여 출력되는 오디오 오브젝트의 입체감 및 몰입감이 더 떨어지게 된다. 따라서, 실시 예에 따라, 전자 장치(200)는 동일한 비디오 신호 및 오디오 신호를 출력하는 경우라도, 스크린 사이즈에 따라 렌더링 정보를 다르게 설정하여 오디오 오브젝트를 출력하게 된다.

일반적으로, 사람은 보통 화면의 중앙 부분을 가장자리 부분보다 더 많이 보는 경향이 있다. 따라서, 동일한 비디오 오브젝트가 출력되더라도 비디오 오브젝트가 스크린의 중앙에 위치하는 경우와 스크린의 가장자리 부분에 위치하는 경우, 사람의 관심을 끄는 정도는 달라질 수 있다.

또한, 사람은 화면의 사이즈가 소정 크기 이상으로 큰 경우에는 중앙 부분을 위주로 보나, 화면의 사이즈가 크지 않은 경우에는 전체 영역을 한꺼번에 보는 경향이 있다. 즉, 사람이 비디오를 볼 때 집중해서 보는 위치는 화면의 사이즈에 따라 달라질 수 있다. 이는 스크린 사이즈가 큰 경우에는 비디오 오브젝트의 위치에 따라 오디오 오브젝트 공간화 정도 또한 다르게 설정해야 하는 것을 의미할 수 있다. 반대로, 스크린 사이즈가 작은 경우에는 오디오 오브젝트를 렌더링하는 데 있어 비디오 오브젝트의 위치를 크게 고려할 필요가 없음을 의미할 수 있다.

실시 예에서, 전자 장치(200)는 스크린의 사이즈에 대한 정보를 전자 장치 파라미터로 획득하고, 스크린 사이즈에 맞는 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링할 수 있다.

도 7은 다른 실시 예에 따른 전자 장치 파라미터를 설명하기 위한 도면이다.

전자 장치 파라미터는 전자 장치 설정 정보를 포함할 수 있다. 전자 장치 설정 정보는 현재 전자 장치(200)가 어떻게 동작하도록 설정되어 있는지에 대한 정보를 포함할 수 있다. 전자 장치 설정 정보는 전자 장치(200)의 스크린 방향에 대한 정보를 포함할 수 있다.

도 7을 참조하면, 전자 장치(200)는 스크린의 방향에 따라 가로 모드 또는 세로 모드로 동작할 수 있다. 실시 예에서, 가로 모드는 스크린의 가로 축 길이가 세로 축 길이보다 더 긴 형태인 경우를 의미할 수 있다. 실시 예에서, 세로 모드는 스크린의 세로 축 길이가 가로 축 길이보다 더 긴 형태인 경우를 의미할 수 있다. 전자 장치(200)는 세로 모드로, 또는 그 반대로 피봇(pivot)될 수 있다. 전자 장치(200)는 가로 모드에서 세로 모드로, 또는 그 반대로 피봇되기 위한 수단을 이용하여 피봇될 수 있다. 예컨대, 전자 장치(200)는 전자 장치(200)를 지지하는 스탠드형, 벽걸이형 등의 지지 부재에 포함된 힌지를 이용하여 피봇될 수 있다. 또는 전자 장치(200)는 회전을 위한 모터 등을 더 포함하고, 모터에 기반하여 피봇될 수 있다.

전자 장치(200)가 가로 모드로 동작할 때와 세로 모드로 동작할 때, 동일한 오디오 오브젝트가 출력되는 경우에도 사용자가 느끼는 오디오 오브젝트의 공간감은 달라질 수 있다. 이는, 전자 장치(200)가 가로 모드로 동작하는 경우에는 가로 방향의 폭이 크기 때문에, 가로 방향으로 패닝 각도가 커지게 되는 반면, 전자 장치(200)가 세로 모드로 동작하는 경우에는 가로 방향의 폭이 좁아지고, 세로 방향으로 패닝 각도가 커지게 되므로, 고도감 있게 음향을 출력하는 것이 중요하게 고려되게 되기 때문이다.

전자 장치(200)는 스크린의 방향이 가로 모드인 경우와 세로 모드인 경우, 서로 다른 HRTF 필터 계수, 패닝 게인, 패닝 각도 등을 이용하여 오디오 오브젝트를 렌더링할 수 있다. 예컨대, 전자 장치(200)는 세로 모드로 동작할 때, 상하 방향으로의 고도감보다는 수평 방향으로의 음상 정위가 더 중요하게 고려되도록 하기 위해 HRTF 고도 필터 계수를 이용하여 오디오 오브젝트를 렌더링할 수 있다.

전자 장치(200)는 스크린 방향을 고려하여 오디오 오브젝트를 렌더링함으로써, 사용자가 오디오 오브젝트를 보다 입체적이고 자연스럽게 경험하도록 할 수 있다.

도 8은 실시 예에 따른 사용자 파라미터를 설명하기 위한 도면이다. 사용자 파라미터는 전자 장치(200) 주변의 사용자의 수 및 사용자의 위치 중 적어도 하나에 대한 정보를 포함할 수 있다.

실시 예에서, 전자 장치(200)는 사용자의 위치에 대한 정보를 획득할 수 있다. 전자 장치(200)는 사용자의 위치를 센싱하는 센서(810)를 포함할 수 있다.

센서(810)는 카메라를 포함할 수 있다. 센서(810)는 카메라로 사용자의 이미지를 실시간으로 획득하여 사용자의 위치를 파악할 수 있다. 또는 센서(810)는 UWB(Ultra-wideband) 모듈 등을 이용하여 복수의 안테나로 사용자의 생체 신호를 획득하고 이로부터 사용자의 위치를 파악할 수 있다. 또는, 센서(810)는 다양한 방법으로 사용자의 홍채 움직임 등을 파악하고, 이를 통해 사용자의 시청 각도 등을 감지할 수도 있다.

실시 예에서, 사용자 파라미터는 사용자의 수 및 사용자의 시청 위치 정보를 포함할 수 있다.

사용자의 시청 위치가 다른 경우, 사용자의 시청 앵글 및/또는 사용자와 전자 장치(200) 간의 거리 등이 달라지게 된다. 이 경우, 사용자가 화면에서 중요하게 보는 영역이 서로 달라지게 되고, 그에 따라 비디오 오브젝트에 대응하는 오디오 오브젝트의 공간화 또한 달라지게 된다. 시청 앵글은, 예컨대, 사용자와 전자 장치(200)의 중심을 잇는 가상의 선을 기준으로, 사용자와 전자 장치(200)가 이루는 방위각(azimuth)이나 고도각(elevation angle) 중 적어도 하나를 포함할 수 있다.

또한, 사용자의 시청 위치에 따라서, 스피커와 사용자 간의 거리나 각도가 달라지게 된다. 예컨대, 전자 장치(200)에 내장된 스피커가 전자 장치(200)의 좌측 및 우측에 배치된 경우, 사용자의 위치에 따라 사용자와 스피커 간의 거리가 달라지게 되어 스피커로부터 출력되는 오디오 신호를 인식하는 정도 또한 달라지게 된다.

또한, 사용자의 수가 많은 경우, 전자 장치(200)는 한 명의 사용자가 아닌, 사용자 전체가 모두 오디오 신호를 입체감 있게 인식할 수 있도록 하는 것이 요구된다.

이러한 경우를 대비해, 미리 제조사는 복수의 평가자들이 다양한 위치에서 동시에 동일한 콘텐츠를 시청할 때 복수의 평가자들의 평균 점수가 가장 높을 때의 렌더링 정보를, 사용자의 수 또는 위치에 대응하는 렌더링 값으로 저장할 수 있다.

예컨대, 제조사는 평가자가 화면의 좌측에 위치할 때와, 또는 화면의 우측에 위치할 때, 또는 화면의 좌측부터 우측까지 골고루 위치할 때 각각의 경우에 대해 렌더링 정보를 조절하여 평가 점수를 획득하고, 이를 기반으로, 평가 점수가 높을 때의 렌더링 정보를, 사용자의 수 및 사용자의 위치에 따른 렌더링 값으로 저장할 수 있다.

제조사는 사용자의 위치, 수 등에 대응하는 렌더링 정보를 룩업 테이블 형태로 생성하고, 이를 전자 장치(200)의 메모리(220)에 저장시킬 수 있다.

도 9는 실시 예에 따른 전자 장치(900)의 내부 블록도이다.

도 9의 전자 장치(900)는 도 2의 전자 장치(200)의 구성 요소를 포함할 수 있다.

도 9를 참조하면, 전자 장치(900)는 프로세서(210) 및 메모리(220) 외에, 튜너부(910), 통신부(920), 감지부(930), 입/출력부(940), 비디오 처리부(950), 디스플레이(955), 오디오 처리부(960), 오디오 출력부(970), 및 사용자 인터페이스(980)를 포함할 수 있다.

튜너부(910)는 유선 또는 무선으로 수신되는 방송 콘텐츠 등을 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(900)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 튜너부(910)를 통해 수신된 콘텐츠는 디코딩되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(210)의 제어에 의해 메모리(220)에 저장될 수 있다.

통신부(920)는 프로세서(210)의 제어에 의해 전자 장치(900)를 외부 장치나 서버와 연결할 수 있다. 전자 장치(900)는 통신부(920)를 통해 외부 장치나 서버 등으로부터 전자 장치(900)가 필요로 하는 프로그램이나 어플리케이션(application)을 다운로드하거나 또는 웹 브라우징을 할 수 있다. 또한, 통신부(920)는 외부 장치로부터 콘텐츠를 수신할 수 있다.

통신부(920)는 전자 장치(900)의 성능 및 구조에 대응하여 무선 랜(921), 블루투스(922), 및 유선 이더넷(Ethernet)(923) 중 적어도 하나를 포함할 수 있다. 통신부(920)는 프로세서(210)의 제어에 의해 리모컨 등과 같은 제어 장치(미도시)를 통한 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다. 통신부(920)는 블루투스(922) 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 미도시), BLE(bluetooth low energy, 미도시))를 더 포함할 수 있다. 실시 예에 따라, 통신부(920)는 블루투스(922)나 BLE와 같은 근거리 통신을 통하여 외부 장치 등과 연결 신호를 송수신할 수도 있다.

실시 예에서, 통신부(920)는 다양한 통신 모듈을 이용하여 사용자의 위치 등을 파악할 수 있다. 또한, 도 9에는 도시하지 않았으나, 통신부(920)는 UWB 모듈을 포함할 수도 있다. UWB 모듈은 복수개의 안테나를 이용하여, 사용자의 생체 신호를 획득하고, 이를 통해 사용자의 위치 등을 파악할 수 있다.

감지부(930)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크(931), 카메라부(932), 및 광 수신부(933)를 포함할 수 있다. 마이크(931)는 사용자의 발화(utterance)된 음성을 수신할 수 있고 수신된 음성을 전기 신호로 변환하여 프로세서(210)로 출력할 수 있다.

카메라부(932)는 센서(미도시) 및 렌즈(미도시)를 포함하고, 화면에 맺힌 이미지를 촬영할 수 있다. 실시 예에서, 카메라부(932)는 사용자 이미지로부터 사용자의 위치나, 사용자의 시청 각도 등에 대한 정보를 획득할 수 있다.

광 수신부(933)는, 광 신호(제어 신호를 포함)를 수신할 수 있다. 광 수신부(933)는 리모컨이나 핸드폰 등과 같은 제어 장치(미도시)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(210)의 제어에 의해 제어 신호가 추출될 수 있다.

입/출력부(940)는 프로세서(210)의 제어에 의해 전자 장치(900) 외부의 기기 등으로부터 비디오(예를 들어, 동영상 신호나 정지 영상 신호 등), 오디오(예를 들어, 음성 신호나, 음악 신호 등) 및 메타데이터 등의 부가 정보를 수신할 수 있다. 입/출력부(940)는 HDMI 포트(High-Definition Multimedia Interface port, 741), 컴포넌트 잭(component jack, 942), PC 포트(PC port, 943), 및 USB 포트(USB port, 944) 중 하나를 포함할 수 있다. 입/출력부(940)는 HDMI 포트(941), 컴포넌트 잭(942), PC 포트(943), 및 USB 포트(944)의 조합을 포함할 수 있다.

비디오 처리부(950)는, 디스플레이(955)에 의해 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다.

디스플레이(955)는 방송국으로부터 수신하거나 외부 서버, 또는 외부 저장 매체 등으로부터 수신한 콘텐츠를 화면에 출력할 수 있다. 콘텐츠는 미디어 신호로, 비디오 신호, 이미지, 텍스트 신호 등을 포함할 수 있다. 또한 디스플레이(955)는 HDMI 포트(941)를 통해 수신한 비디오 신호나 이미지를 화면에 표시할 수 있다.

디스플레이(955)가 터치 스크린으로 구현되는 경우, 디스플레이(955)는 출력 장치 이외에 입력 장치로 사용될 수 있다. 그리고, 전자 장치(900)의 구현 형태에 따라, 전자 장치(900)는 디스플레이(955)를 2개 이상 포함할 수 있다.

오디오 처리부(960)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(960)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 실시 예에서, 오디오 처리부(960)는 공간화를 수행하기 위한 오디오 오브젝트, 즉, 소스 오디오 신호를 획득하고, 다양한 파라미터들을 고려하여 획득한 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링할 수 있다.

오디오 출력부(970)는 오디오 처리부(960)에 의해 처리된 오디오 신호를 출력할 수 있다. 오디오 출력부(970)는 프로세서(210)의 제어에 의해 튜너부(910)를 통해 수신된 콘텐츠에 포함된 오디오, 통신부(920) 또는 입/출력부(940)를 통해 입력되는 오디오, 메모리(220)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(970)는 스피커(971), 헤드폰 출력 단자(972) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(973) 중 적어도 하나를 포함할 수 있다.

사용자 인터페이스(980)는 전자 장치(900)를 제어하기 위한 사용자 입력을 수신할 수 있다.

실시 예에서, 사용자는 사용자 인터페이스(980)를 통하여, 파라미터 간의 우선 순위를 선택하거나, 파라미터 간의 우선 순위를 변경할 수 있다. 또한, 사용자는 사용자 인터페이스(980)를 통하여, 볼륨을 조절하거나, 스크린 방향을 조절하거나, 전자 장치 동작 모드가 변경되도록 할 수 있다.

사용자 인터페이스(980)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch), 음성 인식을 위한 마이크, 모션을 센싱하는 모션 감지 센서 등을 포함하는 다양한 형태의 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 전자 장치(900)가 원격 제어 장치(remote controller)(미도시)에 의해서 조작되는 경우, 사용자 인터페이스(980)는 원격 제어 장치로부터 수신되는 제어 신호를 수신할 수도 있을 것이다.

도 10은 실시 예에 따른 전자 장치의 동작 방법을 도시한 순서도이다.

도 10을 참조하면, 전자 장치는 파라미터를 획득할 수 있다(단계 1010). 전자 장치는 오디오 오브젝트 공간화에 관련된 파라미터를 획득할 수 있다. 전자 장치는 오브젝트 파라미터, 전자 장치 파라미터, 사용자 파라미터 중 적어도 하나를 획득할 수 있다.

전자 장치는 파라미터를 기반으로, 렌더링 정보를 획득할 수 있다(단계 1020). 전자 장치는 기 저장된 룩업 테이블에서, 획득한 파라미터에 대응하는 렌더링 정보를 획득할 수 있다. 렌더링 정보는 HRTF 계수 및 패닝 계수 중 적어도 하나를 포함할 수 있다. 또한, 패닝 계수는 패닝 게인 및 패닝 각도 중 적어도 하나를 포함할 수 있다.

전자 장치는 렌더링 정보를 이용하여 오디오 오브젝트를 렌더링할 수 있다(단계1030). 전자 장치는 오디오 오브젝트를 렌더링하여 오디오 오브젝트의 위치, 크기, 범위 등을 조절함으로써 오디오 오브젝트가 소정 위치에서 입체감 있게 들리도록 할 수 있다.

도 11은 실시 예에 따라 렌더링 정보를 획득하는 과정을 도시한 순서도이다.

도 11을 참조하면, 전자 장치는 파라미터에 대응하는 렌더링 정보를 룩업 테이블에서 검색할 수 있는지 여부를 판단할 수 있다(단계 1110).

전자 장치는 파라미터에 대응하는 기 저장되어 있는 룩업 테이블에서 원하는 파라미터 값에 대응하는 렌더링 정보를 획득할 수 없는 경우, 룩업 테이블을 기반으로, 파라미터에 대응하는 렌더링 정보를 추정하여 획득할 수 있다(단계 1120).

전자 장치는 파라미터에 대응하는 렌더링 정보가 룩업 테이블에 포함되어 있지 않은 경우, 통계 모델, 머신 러닝(Machine Learning) 모델 및 리그레션(regression) 모델 중 적어도 하나를 이용하여, 룩업 테이블의 데이터를 기반으로 원하는 파라미터에 대응하는 렌더링 정보를 추정하여 획득할 수 있다.

도 12는 실시 예에 따라 우선 순위가 높은 파라미터부터 순차적으로 고려하는 과정을 도시한 순서도이다.

도 12를 참조하면, 전자 장치는 우선 순위가 가장 높은 순서대로, 파라미터를 고려할 수 있다.

전자 장치는 1번째 우선 순위의 파라미터 값이 기준 값 이상인지 여부를 판단할 수 있다(단계 1210). 각각의 파라미터는 그에 맞는 기준 값이 설정되어 있을 수 있다. 파라미터에 맞는 기준 값은 디폴트로 설정되어 있거나, 또는 사용자에 의해 설정되거나, 또는 사용자에 의해 수정될 수도 있다.

전자 장치는 1번째 우선 순위의 파라미터 값이 기준 값 이상인 경우, 2번째 우선 순위의 파라미터 값이 기준 값 이상인지 여부를 판단할 수 있다(단계 1220).

전자 장치는 1번째 우선 순위의 파라미터 값이 기준 값 이상이 아닌 경우, 렌더링 정보를 획득하는 동작 및 렌더링 정보를 기반으로 오디오 오브젝트를 렌더링하는 동작을 비활성화할 수 있다(단계 1250).

전자 장치는 2번째 이후의 우선 순위의 파라미터 값이 기준 값 이상이 아닌 경우, 기준 값 이상의 파라미터들의 조합을 기반으로 룩업 테이블에서 렌더링 정보를 획득할 수 있다(단계 1240).

전자 장치는 2번째 우선 순위의 파라미터 값이 기준 값 이상인 경우, 3번째 우선 순위의 파라미터 값이 기준 값 이상인지 여부를 판단할 수 있다(단계 1230).

전자 장치는 기준 값 이상의 파라미터들의 조합을 기반으로, 룩업 테이블에서 렌더링 정보를 획득할 수 있다(단계 1240).

일부 실시 예에 따른 전자 장치의 동작 방법 및 장치는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

실시 예에서 사용되는 기술의 일부는, Screen-Content-User Tracking Sound (SCoUTS), Screen Adaptive Audio Rendering (SAAR), Video Adaptive Audio Rendering (VAAR), Content Adaptive Audio Rendering (CAAR), User Adaptive Audio Rendering (UAAR), Object Tracking Sound Pro++ (OTS Pro++), OTS Pro+, OTS+, OTS 등의 이름으로 알려질 수 있다.

또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

또한, 전술한 본 개시의 실시 예에 따른 전자 장치 및 그 동작 방법은 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하는 단계, 상기 파라미터를 기반으로 렌더링 정보를 획득하는 단계 및 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 단계를 포함하고, 상기 파라미터는 상기 오디오 오브젝트, 및 상기 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 상기 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함하는, 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.

전술한 설명은 예시를 위한 것이며, 발명이 속하는 기술분야의 통상의 지식을 가진 자는 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

Claims (20)

1. 오디오 신호 처리를 위한 전자 장치의 동작 방법에 있어서,
   오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하는 단계;
   상기 파라미터를 기반으로 렌더링 정보를 획득하는 단계; 및
   상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 단계를 포함하고,
   상기 파라미터는 상기 오디오 오브젝트, 및 상기 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 상기 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
2. 제1 항에 있어서, 상기 파라미터는 우선 순위를 갖고,
   상기 렌더링 정보를 획득하는 단계는 상기 우선 순위가 높은 파라미터 순서대로 상기 파라미터에 대응하는 렌더링 정보를 획득하는 단계를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
3. 제1 항에 있어서, 상기 렌더링 정보를 획득하는 단계는
   룩업 테이블을 획득하는 단계, 및
   상기 획득된 룩업 테이블에서, 상기 파라미터에 대응하는 렌더링 정보를 검색하는 단계를 포함하고,
   상기 파라미터에 대응하는 렌더링 정보가 상기 룩업 테이블에 포함되어 있지 않은 경우, 통계 모델, 머신 러닝(Machine Learning) 모델 및 리그레션(regression) 모델 중 적어도 하나를 이용하여, 상기 룩업 테이블을 기반으로 상기 파라미터에 대응하는 렌더링 정보를 추정하여 획득하는 단계를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
4. 제3 항에 있어서, 상기 파라미터는 우선 순위를 갖고,
   상기 렌더링 정보를 획득하는 단계는
   제N(N은 자연수)번째 우선 순위를 갖는 파라미터의 값이 기준 값 이상인 경우에, 다음 우선 순위인 제N+1 번째 우선 순위를 갖는 파라미터 값을 순서대로 고려하고, 상기 기준 값 이상인 파라미터들의 조합을 기반으로, 상기 룩업 테이블에서 상기 렌더링 정보를 획득하는 단계를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
5. 제4 항에 있어서, 상기 제N 번째 우선 순위를 갖는 파라미터의 값이 상기 기준 값 이상이 아닌 경우, 이전 우선 순위인 제N-1 번째 우선 순위를 갖는 파라미터까지의 조합을 기반으로, 상기 룩업 테이블에서 상기 렌더링 정보를 획득하는 단계를 포함하고,
   상기 N이 1인 경우, 상기 방법은 상기 렌더링 정보를 획득하는 단계 및 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 단계를 비활성화하는 단계를 더 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
6. 제3 항에 있어서,
   상기 룩업 테이블을 획득하는 단계는,
   상기 전자 장치에서 비디오 신호 및 오디오 신호의 출력에 대응하여 오디오 오브젝트 공간화에 관련된 적어도 하나의 파라미터 값 및 오디오 렌더링 정보를 변경하고, 복수의 평가자로부터 평가 점수를 획득하는 단계;
   상기 복수 평가자로부터 복수의 파라미터들의 조합에 대해 평가 점수 획득 과정을 반복하여 가장 높은 평균 평가자 점수를 받을 때의 파라미터 값 및 대응하는 렌더링 정보를 획득하는 단계; 및
   상기 파라미터 값 및 상기 대응하는 렌더링 정보를 포함하는 상기 룩업 테이블을 생성하고 저장하는 단계를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
7. 제1 항에 있어서, 상기 오브젝트 파라미터는 오디오 오브젝트 유형을 포함하고, 상기 오디오 오브젝트 유형은 상기 오디오 오브젝트가 음성인지 여부, 및 배경음인지 여부에 대한 정보 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
8. 제7 항에 있어서, 상기 오브젝트 파라미터는 비디오 오브젝트 유형, 및 스크린 상에서의 상기 비디오 오브젝트의 위치에 대한 정보 중 적어도 하나를 포함하고,
   상기 비디오 오브젝트 유형은 상기 비디오 오브젝트가 사람 얼굴인지 여부, 및 전경인지 배경인지에 대한 정보 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
9. 제1 항에 있어서, 상기 전자 장치 파라미터는 상기 전자 장치의 고유 정보 및 설정 정보 중 적어도 하나를 포함하고,
   상기 고유 정보는 상기 전자 장치의 모델에 따른, 사운드 특성, 스크린 사이즈, 및 스피커 레이아웃 정보 중 적어도 하나를 포함하고,
   상기 설정 정보는, 상기 전자 장치의 오디오 볼륨, 상기 스크린의 방향, 상기 전자 장치의 동작 모드 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
10. 제1 항에 있어서, 상기 사용자 파라미터는 상기 사용자의 수 및 상기 사용자의 위치 중 적어도 하나에 대한 정보를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법.
11. 오디오 신호 처리를 위한 전자 장치에 있어서,
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하고, 상기 파라미터를 기반으로 렌더링 정보를 획득하고, 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하고,
    상기 파라미터는 상기 오디오 오브젝트, 및 상기 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 상기 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치.
12. 제11 항에 있어서, 상기 파라미터는 우선 순위를 갖고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 우선 순위가 높은 파라미터 순서대로 상기 파라미터에 대응하는 렌더링 정보를 획득하는, 오디오 신호 처리를 위한 전자 장치.
13. 제11 항에 있어서, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 룩업 테이블을 획득하고, 상기 룩업 테이블에서 상기 파라미터에 대응하는 렌더링 정보를 검색하고,
    상기 파라미터에 대응하는 렌더링 정보가 상기 룩업 테이블에 포함되어 있지 않은 경우, 통계 모델, 머신 러닝(Machine Learning) 모델 및 리그레션(regression) 모델 중 적어도 하나를 이용하여, 상기 룩업 테이블을 기반으로 상기 파라미터에 대응하는 렌더링 정보를 추정하여 획득하는, 오디오 신호 처리를 위한 전자 장치.
14. 제13 항에 있어서, 상기 파라미터는 우선 순위를 갖고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제N(N은 자연수)번째 우선 순위를 갖는 파라미터의 값이 기준 값 이상인 경우에, 다음 우선 순위인 제N+1 번째 우선 순위를 갖는 파라미터 값을 순서대로 고려하고, 상기 기준 값 이상인 파라미터들의 조합을 기반으로, 상기 룩업 테이블에서 상기 렌더링 정보를 획득하는, 오디오 신호 처리를 위한 전자 장치.
15. 제14 항에 있어서, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 제N 번째 우선 순위를 갖는 파라미터의 값이 상기 기준 값 이상이 아닌 경우, 이전 우선 순위인 제N-1 번째 우선 순위를 갖는 파라미터까지의 조합을 기반으로, 상기 룩업 테이블에서 상기 렌더링 정보를 획득하고,
    상기 N이 1인 경우, 상기 렌더링 정보를 획득하는 것 및 상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 것을 비활성화하는, 오디오 신호 처리를 위한 전자 장치.
16. 제13 항에 있어서, 상기 룩업 테이블은 파라미터들의 종류 별 값 및 상기 종류 별 값에 대응하는 렌더링 정보를 포함하고, 상기 전자 장치가 상기 룩업 테이블을 획득하는 것은, 상기 전자 장치에서 출력되는 비디오 신호 및 오디오 신호에 대응하여 오디오 오브젝트 공간화에 관련된 적어도 하나의 파라미터 값 및 오디오 렌더링 정보를 변경하고, 복수의 평가자로부터 평가 점수를 획득하고, 상기 복수의 평가자로부터 복수의 파라미터들의 조합에 대해 평가 점수 획득 과정을 반복하여 가장 높은 평균 평가자 점수를 받을 때의 파라미터 값 및 대응하는 렌더링 정보를 획득하고, 상기 파라미터 값 및 상기 대응하는 렌더링 정보를 포함하는 상기 룩업 테이블을 생성하고 저장하는 것을 포함하는, 오디오 신호 처리를 위한 전자 장치.
17. 제11 항에 있어서, 상기 오브젝트 파라미터는 오디오 오브젝트 유형을 포함하고, 상기 오디오 오브젝트 유형은 상기 오디오 오브젝트가 음성인지 여부, 및 배경음인지 여부에 대한 정보 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치.
18. 제17 항에 있어서, 상기 오브젝트 파라미터는 비디오 오브젝트 유형, 및 스크린 상에서의 상기 비디오 오브젝트의 위치에 대한 정보 중 적어도 하나를 포함하고,
    상기 비디오 오브젝트 유형은 상기 비디오 오브젝트가 사람 얼굴인지 여부, 및 전경인지 배경인지에 대한 정보 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치.
19. 제11 항에 있어서, 상기 전자 장치 파라미터는 상기 전자 장치의 고유 정보 및 설정 정보 중 적어도 하나를 포함하고,
    상기 고유 정보는 상기 전자 장치의 모델에 따른, 사운드 특성, 스크린 사이즈, 및 스피커 레이아웃 정보 중 적어도 하나를 포함하고,
    상기 설정 정보는, 상기 전자 장치의 오디오 볼륨, 상기 스크린의 방향, 상기 전자 장치의 동작 모드 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치.
20. 오디오 오브젝트 공간화(spatialization)에 관련된 파라미터를 획득하는 단계;
    상기 파라미터를 기반으로 렌더링 정보를 획득하는 단계; 및
    상기 렌더링 정보를 이용하여 상기 오디오 오브젝트를 렌더링하는 단계를 포함하고,
    상기 파라미터는 상기 오디오 오브젝트, 및 상기 오디오 오브젝트와 연관된 비디오 오브젝트 중 적어도 하나의 특성에 대한 오브젝트 파라미터, 상기 전자 장치의 특성에 대한 전자 장치 파라미터, 및 사용자의 특성에 대한 사용자 파라미터 중 적어도 하나를 포함하는, 오디오 신호 처리를 위한 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
    

Images