KR102508413B1

KR102508413B1 - 주파수 스펙트럼 보정을 위한 오디오 신호 처리 방법 및 장치

Info

Publication number: KR102508413B1
Application number: KR1020200143015A
Authority: KR
Inventors: 전상배; 서정훈; 이태규; 권영훈; 오현오
Original assignee: 가우디오랩 주식회사
Priority date: 2019-11-01
Filing date: 2020-10-30
Publication date: 2023-03-10
Also published as: KR20210053236A; US20210135644A1; US11539339B2

Abstract

오디오 신호 처리 장치가 개시된다. 오디오 신호 처리 장치는 입력 오디오 신호를 수신하는 입력단; 상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득하고, 상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이 및 복수의 주파수 대역별 라우드니스와 음압 사이의 관계를 기초로 상기 복수의 주파수 대역 별로 출력 오디오 신호의 주파수 대역 스펙트럼을 보정하는 프로세서; 및 상기 출력 오디오 신호를 출력하는 출력단을 포함한다. 상기 재생 라우드니스는 상기 보정 없이 입력 오디오 신호가 출력되는 경우, 출력 오디오 신호의 라우드니스이다.

Description

주파수 스펙트럼 보정을 위한 오디오 신호 처리 방법 및 장치{AUDIO SIGNAL PROCESSING METHOD AND APPARATUS FOR FREQUENCY SPECTRUM CORRECTION}

본 발명은 오디오 신호 처리 방법 및 장치에 관한 것이다. 구체적으로 본 발명은 주파수 스펙트럼 보정을 위한 오디오 신호 처리 방법 및 장치에 관한 것이다.

주류를 이루는 오디오 기술이 아날로그에서 디지털로 변화하면서 좀 더 넓은 음량을 표현할 수 있게 되었고, 콘텐츠의 음량 또한 제각기 달라지는 추세가 되었다. ITU(International Telecommunication Union)와 EBU(European Broadcasting Union) 등의 국제 표준 단체에서 표준을 발표했지만 콘텐츠 제작 과정에서 목표 음량이 모두 다를 수 있기 때문에 잘 이행되고 있지 않은 것이 현실이다. 또한 각 국가별로 라우드니스를 측정하는 방법 및 기준이 상이할 수 있어서 해당 라우드니스 정보를 직접적으로 사용하기 어렵다는 문제점이 있다.

음량이 커지면 음질이 좋게 느껴지는 심리 음향 특성에 기대어 콘텐츠 제작자는 좀 더 큰 소리로 믹싱된 콘텐츠를 사용자에게 제공하고 음량전쟁(Loudness War)이라 일컫는 경쟁구도가 형성되고 있는 추세이다. 이로 인해 사용자는 콘텐츠와 콘텐츠 혹은 콘텐츠 내부에서도 서로 다른 음량으로 인해 수시로 볼륨을 조절해야 하는 번거로움이 존재한다. 볼륨과 청취자에게 인식되는 라우드니스가 일치하지 않는다. 따라서 볼륨 조정에 따라 일관된 음색을 제공하지 못하는 문제도 발생하고 있다. 특히, 개인화된 이퀄라이저 사용이 보편화되는 등, 음색에 대한 관심이 높아지는 경향에 따라 일관된 음색을 유지하기 위한 오디오 신호 처리 방법이 필요해지고 있다.

본 발명의 일 실시 예는 주파수 스펙트럼 보정을 위한 오디오 신호 처리 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 실시 예에 따라 오디오 신호 처리 장치는 입력 오디오 신호를 수신하는 입력단; 상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득하고, 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이 및 복수의 주파수 대역별 라우드니스와 음압 사이의 관계를 기초로 상기 복수의 주파수 대역 별로 출력 오디오 신호의 주파수 대역 스펙트럼을 보정하는 프로세서 및 상기 출력 오디오 신호를 출력하는 출력단을 포함한다. 상기 재생 라우드니스는 상기 주파수 대역 스펙트럼 보정이 적용되지 않고 상기 입력 오디오 신호가 상기 오디오 신호 처리 장치의 재생 파라미터에 따라 출력되는 경우, 출력 오디오 신호의 라우드니스일 수 있다.

상기 프로세서는 상기 출력 오디오 신호를 출력하는 출력 장치의 특성을 기초로 선호 라우드니스를 획득할 수 있다.

상기 출력 장치의 특성은 상기 출력 장치가 출력 가능한 최대 라우드니스 레벨을 포함할 수 있다.

상기 보정에 사용되는 상기 복수의 주파수 대역 별 스펙트럼 보정 게인은 모든 주파수 대역에서 0dB 이상일 수 있다.

상기 프로세서는 재생 볼륨을 기초로 재생 라우드니스를 획득할 수 있다.

상기 재생 볼륨은 상기 출력 장치와 독립적으로 적용되는 볼륨일 수 있다.

상기 재생 볼륨은 상기 출력 장치의 볼륨일 수 있다.

본 발명의 실시 예에 따른 오디오 신호 처리 장치의 동작 방법은 입력 오디오 신호를 수신하는 단계; 상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득하는 단계; 상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이 및 복수의 주파수 대역별 라우드니스와 음압 사이의 관계를 기초로 상기 복수의 주파수 대역 별로 출력 오디오 신호의 주파수 대역 스펙트럼을 보정하는 단계; 및 상기 출력 오디오 신호를 출력하는 단계를 포함한다. 상기 재생 라우드니스는 상기 주파수 대역 스펙트럼 보정이 적용되지 않고 상기 입력 오디오 신호가 상기 오디오 신호 처리 장치의 재생 파라미터에 따라 출력되는 경우, 출력 오디오 신호의 라우드니스일 수 있다.

상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득하는 단계는 상기 출력 오디오 신호를 출력하는 출력 장치의 특성을 기초로 선호 라우드니스를 획득하는 단계를 포함할 수 있다.

상기 보정에 사용되는 상기 복수의 주파수 대역 별 보정 스펙트럼 게인은 모든 주파수 대역에서 0dB 이상일 수 있다.

상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득하는 단계는 재생 볼륨을 기초로 재생 라우드니스를 획득하는 단계를 포함할 수 있다.

상기 재생 볼륨은 상기 출력 장치의 볼륨일 수 있다.

본 발명의 일 실시 예는 주파수 스펙트럼 보정을 위한 오디오 신호 처리 방법 및 장치를 제공한다.

도 1은 라우드니스 레벨 별 등-라우드니스 곡선(equal-loudness contours)을 보여준다.
도 2는 본 발명의 실시 예에 따른 오디오 신호의 주파수 스펙트럼 보정을 보여주는 블락도이다.
도 3은 재생 라우드니스 출력 장치의 최대 라우드니스에 따른 ELEQ의 주파수 응답의 예를 보여준다.
도 4는 재생 라우드니스 출력 장치의 최대 라우드니스에 따른 ELEQ의 주파수 응답의 또 다른 예를 보여준다.
도 5는 서버-클라이언트 시스템에서 주파수 스펙트럼 보정 후 적용되는 라우드니스 보정 과정을 보여준다.
도 6은 ITU-R BS.1770-4에서 정의하는 K-웨이팅 필터의 1차 프레-필터의 주파수 응답을 보여준다.
도 7은 BS.1770-4에서 정의하는 K-웨이팅 필터의 2차 프레-필터의 주파수 응답을 보여준다.
도 8은 복수의 주파수 대역 게인 곡선의 예를 보여준다.
도 9는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치의 구성을 나타내는 블록도를 보여준다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 라우드니스 레벨 별 등-라우드니스 곡선(equal-loudness contours)을 보여준다.

음압은 절대적인 소리의 세기를 나타낸다. 라우드니스는 청취자가 느끼는 주관적인 소리의 크기를 나타낸다. 따라서 음압의 크기가 커진만큼 라우드니스의 크기가 커지지 않을 수 있으며, 음압의 크기가 작아진만큼 라우드니스의 크기가 작아지지 않을 수 있다. 또한, 동일한 크기의 음압이 서로 다른 주파수의 신호에 적용될 때, 청취자가 느끼는 라우드니스의 크기가 달라진다. 따라서 청취자가 동일한 크기의 라우드니스로 인지하기 위해서는 주파수 별로 음압의 크기가 달라져야 한다. 이를 나타낸 것이 도 1의 등 라우드니스 곡선이다. 앞서 설명한 라우드니스와 음압 간의 관계에따라, 볼륨이 조정되기 전 음향의 음색과 볼륨이 조정된 후 음향이 인지되는 음색이 다를 수 있다. 따라서 출력 음향의 볼륨이 조정될 때 오디오 신호 처리 장치가 라우드니스를 고려하여 주파수 스펙트럼을 보정해 줄 필요가 있다. 구체적인 주파수 스펙트럼 보정 방법에 대해서는 도 2 내지 도 8을 통해 설명한다.

도 2는 본 발명의 실시 예에 따른 오디오 신호의 주파수 스펙트럼 조정을 보여주는 블락도이다.

오디오 신호 처리 장치는 입력 신호를 수신한다. 오디오 신호 처리 장치는 선호(desired) 라우드니스와 주파수 스펙트럼을 보정하지 않는 경우에 출력되는 출력 오디오 신호의 라우드니스인 재생 라우드니스 사이의 차를 기초로 주파수 스펙트럼을 보정할 수 있다. 오디오 신호 처리 장치는 출력 신호의 재생 라우드니스를 판단한다. 오디오 신호 처리 장치는 입력 신호의 라우드니스 및 재생 파라미터를 기초로 재생 라우드니스를 결정할 수 있다. 이를 위해 오디오 신호 처리 장치는 입력 신호의 라우드니스를 측정할 수 있다. 오디오 신호 처리 장치는 청각 척도에 기반한 라우드니스 필터를 사용하여 오디오 신호의 라우드니스 측정치를 획득할 수 있다. 구체적으로, 라우드니스 필터는 등-라우드니스 곡선(equal-loudness contours)의 역필터, 또는 이를 근사화시킨 K-웨이팅(K-weighting) 필터 중 적어도 하나일 수 있다. 예를 들어, 오디오 신호 처리 장치는 기 수신된 입력 신호의 적어도 일부 구간에 라우드니스 필터를 적용하여 라우드니스 측정치를 획득할 수 있다. 일부 구간은 하나의 라우드니스 측정치 획득에 사용되는 단위 시간일 수 있다. 일부 구간은 적어도 하나의 프레임을 포함할 수 있다. 하나의 라우드니스 측정치 획득에 사용되는 단위 시간은 측정 윈도우로 지칭될 수 있다. 또 다른 구체적인 실시 예에서 오디오 신호 처리 장치는 입력 신호의 라우드니스 레벨을 나타내는 정보를 수신할 수 있다. 재생 파라미터는 재생 볼륨, 오디오 신호를 처리할 때 적용되는 이퀄라이저 및 라우드니스 정규화 파라미터 중 적어도 어느 하나를 포함할 수 있다. 이때, 재생 볼륨은 오디오 신호를 출력하는 출력 장치와 독립적으로 적용되는 볼륨일 수 있다. 또한, 재생 볼륨은 오디오 신호를 출력하는 출력 장치의 볼륨일 수 있다. 또 다른 구체적인 실시 예에서 재생 볼륨은 오디오 신호를 출력하는 출력 장치와 독립적으로 적용되는 볼륨과 오디오 신호를 출력하는 출력 장치의 볼륨의 조합일 수 있다.

구체적으로 오디오 신호 처리 장치는 입력 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 기초로 복수의 주파수 대역 별로 출력 신호의 크기를 보정할 수 있다. 이때, 오디오 신호 처리 장치는 입력 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득할 수 있다. 오디오 신호 처리 장치는 획득한 입력 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 기초로 복수의 주파수 대역 별로 출력 신호의 크기를 보정할 수 있다. 이때, 오디오 신호 처리 장치는 주파수 대역별 라우드니스와 음압 사이의 관계를 이용할 수 있다. 구체적으로 오디오 신호 처리 장치는 미리 지정된 주파수 대역별 음압-라우드니스 매트릭스에서 각 주파수 대역에서 재생 라우드니스와 선호 라우드니스 사이의 차이에 해당하는 음압을 기초로 출력 신호의 크기를 보정할 수 있다. 구체적으로 오디오 신호 처리 장치는 획득한 입력 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 기초로 복수의 주파수 대역 별 음압을 결정하고, 출력 신호에 주파수 대역 별로 결정된 음압을 보상할 수 있다. 결정된 음압은 미리 지정된 주파수 대역별 음압-라우드니스 매트릭스에서 각 주파수 대역에서 재생 라우드니스와 선호 라우드니스 사이의 차이에 대응되는 음압일 수 있다. 미리 지정된 주파수 대역별 음압-라우드니스 매트릭스는 미리 지정된 등 청감 신호 곡선일 수 있다.

오디오 신호 처리 장치가 출력 신호의 주파수 스펙트럼을 보정하는 필터를 ELEQ(even loudness equalizer) 필터로 지칭할 수 있다. 오디오 신호 처리 장치는 입력 신호의 라우드니스와 재생 파라미터를 기초로 ELEQ 필터를 획득할 수 있다. 구체적으로 오디오 신호 처리 장치는 입력 신호의 라우드니스와 재생 파라미터를 기초로 ELEQ 필터의 계수를 결정할 수 있다. 오디오 신호 처리 장치는 ELEQ 필터를 사용하여 출력 신호의 주파수 스펙트럼을 보정할 수 있다.

오디오 신호 처리 장치가 재생 파라미터를 기초로 재생 라우드니스를 결정하는 것에 대해 도 2를 통해 설명한다.

오디오 신호 처리 장치는 ELEQ 필터의 계수를 획득하기 위해 재생 볼륨(L_V) 및 타겟 라우드니스(L_T)를 기초로 재생 라우드니스(L_User)를 결정할 수 있다. 구체적으로 오디오 신호 처리 장치는 수학식 1에 따라 재생 라우드니스(L_User)를 결정할 수 있다.

[수학식 1]

L_User = L_T + L_V

재생 볼륨은 출력 장치 별로 정의된 볼륨 인터페이스와 실제 볼륨의 관계에 따라 dB단위로 매핑될 수 있다. 즉, 전체 볼륨이 최대일 경우, 재생 볼륨은 0dB에 매핑될 수 있다. 1단계가 3dB 감쇄로 정의된 오디오 시스템에서, 재생 볼륨이 1단계인 경우 재생 볼륨은 -3dB로 매핑될 수 있다. 예를 들어, L_T=-20 LKFS(loudness K-weighted relative to full scale), L_V=-6 LKFS 인 경우, L_User=-26 LKFS로 정의될 수 있다.

오디오 신호 처리 장치는 재생 라우드니스뿐만 아니라 출력 장치의 특성을 기초로 출력 신호의 주파수 스펙트럼을 보정할 수 있다. 구체적으로 오디오 신호 처리 장치는 출력 장치의 특성을 기초로 선호 라우드니스를 획득할 수 있다. 출력 장치의 특성은 출력 장치가 출력 가능한 최대 라우드니스 레벨을 포함할 수 있다. 따라서 오디오 신호 처리 장치는 재생 라우드니스뿐만 아니라 출력 장치의 특성을 기초로 ELEQ 필터의 계수를 결정할 수 있다. 또한, ELEQ 필터의 주파수 응답의 크기는 모든 주파수 대역에서 0dB 이상일 수 있다. 즉, 복수의 주파수 대역 별로 적용되는 스펙트럼 보정 게인은 모든 주파수 대역에서 0dB 이상일 수 있다.

구체적인 실시예에서 오디오 신호 처리 장치는 출력 장치의 최대 라우드니스 레벨 값(maximu loudness level, LL_MAX)과 라우드니스 강도 조절 인자에 재생 라우드니스를 더하여 사용자 라우드니스를 획득할 수 있다. 이때, 출력 장치의 최대 라우드니스 레벨 값은 출력 장치의 최대 음압을 기초로 결정될 수 있다. 예컨대, 출력 장치의 최대 음압이 120dB인 경우, 출력 장치의 최대 라우드니스 레벨 값은 90 Phon으로 결정될 수 있다. 오디오 신호 처리 장치는 사용자 라우드니스를 수학식2에 따라 결정할 수 있다. 또한, 강도 조절 인자는 이어폰 등, 출력 장치의 소리의 크기가 다른 점, 사람마다 선호하는 소리의 강도(intensity)가 다르다는 점, 및 등 라우드니스 곡선 중 적어도 어느 하나를 기초로 설정될 수 있다.

[수학식 2]

LL_User = L_User + LL_MAX + L_Strength

L_Strength는 앞서 설명한 강도 조절 인자를 나타내고, LL_MAX는 출력 장치의 최대 라우드니스 레벨 값을 나타내고, L_User는 재생 라우드니스를 나타내고, LL_User는 사용자 라우드니스 레벨을 나타낸다.

오디오 신호 처리 장치는 복수의 주파수 대역별로 재생 라우드니스에 해당하는 음압인, 재생 음압을 획득할 수 있다. 또한, 오디오 신호 처리 장치는 복수의 주파수 대역 별로 출력 장치의 최대 라우드니스 레벨에 해당하는 음압인, 출력 장치의 최대 음압을 획득할 수 있다. 오디오 신호 처리 장치는 주파수 대역별 재생 음압과 출력 장치의 최대 음압 사이의 차를 기초로 ELEQ 필터에 해당하는 음압을 획득할 수 있다. 이때, 오디오 신호 처리 장치는 모든 주파수 대역에서 ELEQ 필터 형태로 정의된 주파수 대역별 음압을 더하여 출력 신호의 주파수 스펙트럼을 보정할 수 있다. 구체적으로 오디오 신호 처리 장치는 주파수 대역별 재생 음압과 출력 장치의 최대 음압 사이의 차 중 가장 큰 값을 이용하여 주파수 스펙트럼을 보정할 수 있다. 이를 통해 오디오 신호 처리 장치는 음압의 변화 대비 라우드니스 변화가 가장 둔감한 주파수 대역에서 음압 차이를 기초로 출력 신호의 주파수 스펙트럼을 보정할 수 있다. 오디오 신호 처리 장치는 수학식 3 내지 수학식 5를 사용하여 ELEQ 필터에 해당하는 음압을 획득할 수 있다.

[수학식 3]

SPL_User[k] = EqualLoudnessContour(LL_User)[k] for k = 0,1, … , N

[수학식 4]

SPL_MAX[k] = EqualLoudnessContour(LL_MAX)[k] for k = 0, 1, … , N

[수학식 5]

SPL_ELEQ[k] = SPL_User[k] - SPL_MAX[k] + max({SPL_MAX[0]-SPL_User[0], SPL_MAX[1]-SPL_User[1], … ,SPL_MAX[N]-SPL_User[N]}) for k = 0, 1, … , N

k는 주파수 빈의 인덱스(frequency bin index)를 나타내고, SPL_User[k]는 주파수 빈의 인덱스가 k인 주파수 대역에서 재생 음압을 나타내고, SPL_MAX[k]는 주파수 빈의 인덱스가 k인 주파수 대역에서 출력 장치의 최대 읍압을 나타낸다. EqualLoudnessCountour는 라우드니스와 음압 사이의 매트릭스를 나타낸다. 라우드니스와 음압 사이의 매트릭스는 등 라우드니스 곡선일 수 있다. max(x, y, z)는 x, y, z 중 최대 값을 나타낸다. 오디오 신호 처리 장치가 출력 장치의 최대 라우드니스를 기초로 출력 신호의 주파수 스펙트럼을 보정하는 경우, 오디오 신호 처리 장치는 출력 장치가 출력 신호를 최대 볼륨으로 출력할 때와 동일한 정도의 주파수별 인지 해상도를 제공할 수 있다. 따라서 오디오 신호 처리 장치가 출력 장치의 최대 라우드니스를 이용하여 사용자 라우드니스를 추정할 때, 오디오 신호 처리 장치가 볼륨 또는 종합(intergrated) 라우드니스만으로 사용자 라우드니스를 추정할 때보다 출력 신호의 해상도가 높게 유지될 수 있다.

도 3 내지 도 4는 재생 라우드니스 출력 장치의 최대 라우드니스에 따른 ELEQ의 주파수 응답의 예를 보여준다. 도 3은 사용자 라우드니스(LL_User)가 89 Phon, 출력 장치의 최대 라우드니스(LL_MAX)를 90 Phon일 때 61차 FIR(finite impulse response) 필터의 형태인 ELEQ 필터의 주파수 응답의 예이다. 도 4는 69 Phon, 출력 장치의 최대 라우드니스(LL_MAX)를 89 Phon일 때 61차 FIR(finite impulse response) 필터의 형태인 ELEQ 필터의 주파수 응답의 예이다.

출력 장치가 변경되지 않으면, 출력 장치의 최대 라우드니스는 변하지 않는다. 따라서 앞선 수학식 3에서 EqualLoudnessContour(LL_User)는 재생 라우드니스와 강도 조절 인자의 함수인, F(L_User+L_Strength)로 표현할 수 있다. 수학식 5의 주파수 대역별 ELEQ의 음압인 SPL_ELEQ[k]는 SPL_ELEQ[k]=F2(L_User_+L_Strength)로 표현될 수 있다. 결국, 주파수 대역별 ELEQ의 음압은 재생 라우드니스와 강도 조절 인자에 의해 결정될 수 있다. 이와 같이, 오디오 신호 처리 장치는 재생 라우드니스와 강도 조절 인자 차이를 기초로 출력 신호의 주파수 스펙트럼을 조정할 수 있다. 즉, ELEQ 필터는 재생 라우드니스를 통해 인지되는 주파수 스펙트럼을 강도 조절 인자에 의한 라우드니스를 감쇄하는 주파수 스펙트럼으로 보정해주는 것일 수 있다. 결국, 강도 조절 인자가 정해지면, ELEQ 필터는 재생 라우드니스와 관계 없이 출력 신호가 강도 조절 인자의 라우드니스로 재생될 경우의 음색을 유지하도록 한다.

재생 볼륨이 변경되는 경우, 재생 라우드니스 값이 변경되고 라우드니스에 매칭되는 음압의 값들도 함께 변경된다. 재생 볼륨이 변경에 따라 ELEQ 필터의 계수도 변경될 수 있고, 출력 신호의 불연속(discontinuity)이 발생될 수 있다. 오디오 신호 처리 장치는 볼륨이 변경되기 전에 적용되는 ELEQ 필터를 페이드 아웃하고, 볼륨이 변경된 후에 적용되는 ELEQ 필터를 페이드 인할 수 있다. 이를 통해 오디오 신호 처리 장치는 출력 신호의 불연속을 방지할 수 있다.

도 5는 서버-클라이언트 시스템에서 주파수 스펙트럼 보정 후 적용되는 라우드니스 보정 과정을 보여준다.

서버-클라이언트 시스템에서 라우드니스 보정이 적용되는 경우, 서버에서 콘텐츠의 종합 라우드니스(L_Int)가 측정되고, 클라이언트에서 타겟 라우드니스(L_T)에 맞추어 조정되는 것이 일반적이다. 이러한 시스템에서 출력 신호의 라우드니스는 콘텐츠와 관계없이 일정하게 유지될 수 있다. 도 3 내지 도 4를 통해 설명한 ELEQ 필터가 적용되는 경우, 입력 신호의 특성에 따라 라우드니스가 변경된다. 따라서 입력 신호와 관계 없이 출력 신호의 라우드니스를 일정하게 유지할 수 있는 방법이 필요할 수 있다.

도 5에서 실선으로 표시된 블록이 일반적인 라우드니스 조절 수행하고, 점선으로 표시된 블록이 앞서 설명한 ELEQ 관련 동작을 수행한다. 서버는 출력 신호의 라우드니스를 특정 참조 재생 라우드니스(L_Ref)에 대응되는 라우드니스 레벨(LL_Ref)로 유지하는 ELEQ 필터링을 수행한다. 서버는 출력 신호(Out_Ref)에 대한 종합 라우드니스를 라우드니스 측정 블록(Loudness Meter)을 통해 측정한다. 측정된 종합 라우드니스는 참조 EQ 적용 라우드니스(L_EQ_Ref)로 정의된다. 이때, 참조 EQ 적용 라우드니스는 재생 라우드니스로 설정될 수 있다. 또한, 참조 재생 라우드니스는 재생 가능한 최소의 라우드니스 값인, 타겟 라우드니스의 최솟값과 재생 볼륨의 음압의 최솟값의 합일 수 있다.

클라이언트에서 설정된 타겟 라우드니스(L_T0)와 사용자 볼륨(L_V0)에 기반하여 사용자 재생 라우드니스(L_User0)가 결정될 수 있다. 클라이언트는 재생 라우드니스를 활용하여 ELEQ 필터를 선택하고, 선택한 ELEQ 필터로 입력 신호를 필터링할 수 있다. 클라이언트는 필터링된 신호(Out_ELEQ)를 참조 라우드니스(L_EQ_Ref)를 사용하여 라우드니스 보정을 위한 게인(DL_Int_Predict)를 획득할 수 있다. 구체적으로 클라이언트는 라우드니스 보정을 위한 게인을 [수학식 6]에 따라 획득할 수 있다.

[수학식 6]

DL_Int_Predict = (L_EQ_Ref- L_Ref - G_A) / (L_Ref+G_B) * (L_User0+G_B)

수학식 6에서 L_User0은 재생 라우드니스를 나타내고, L_EQ_Ref는 서버에서 계산되어 전송받은 참조 EQ 적용 라우드니스를 나타낸다. 또한, L_Ref는 서버에서 설정된 참조 재생 라우드니스를 나타낸다. 또한, G_A와 G_B는 ELEQ 라우드니스의 보정 정도를 조절하는 인자를 나타낸다. 클라이언트는 최종 출력 신호를 수학식 7를 이용하여 획득할 수 있다.

[수학식 7]

Out_ELEQ_DL = Out_ELEQ * 10^(-DL_Int_Predict/20)

Out_ELEQ는 ELEQ 필터에 의해 필터링된 신호를 나타낸다. 또한, DL_Int_Predict는 앞서 설명한 라우드니스 보정을 위한 게인을 나타낸다. , G_A=0, G_B=0이고 L_User0와 L_Ref가 동일한 경우, DL_Int_Predict는 ELEQ 필터링 이후 종합 라우드니스가 증가된만큼 값을 갖게된다. 따라서 수학식 7이 적용되는 경우 종합 라우드니스가 증가된만큼 라우드니스가 보정된다. 구체적으로 ELEQ 필터링된 신호의 라우드니스인 L_EQ_Ref는 ELEQ 필터링되지 않은 신호의 라우드니스인 L_Ref보다 크고, L_Ref와 L_User0는 모두 0보다 작은 수이다. DL_Int_Predict는 최종 출력 신호의 라우드니스가 재생 라우드니스로부터 증가된 양을 나타낼 수 있다. 따라서 앞서 설명한 수학식 7을 통해 증가된 라우드니스의 양을 보정할 수 있다.

앞서 설명한 ELEQ 라우드니스의 보정 정도를 조절하는 인자인 G_A는 ELEQ 필터를 사용할때와 사용하지 않을 때의 라우드니스의 차이의 비율을 L_User0에 적용하여 정의한 것이다. ELEQ 필터에 의해 필터링된 신호의 최종 라우드니스는 타겟라우드니스와 G_A / (L_Ref+G_B) * (L_User0+G_B) 의 합이다. 이러한 실시 예를 통해 오디오 신호 처리 장치는 ELEQ 필터링 여부에 의한 Loudness 편차는 존재하지만, 동일 조건에서 ELEQ 필터를 적용한 신호들 사이의 라우드니스는 동일하게 유지할 수 있다.

앞서 설명한 수식에서 L_을 포함하는 변수는 파형 단계에서의 라우드니스를 나타내고, LUFS(loudness unit relative to full scale) 또는 LKFS 단위의 변수를 나타낼 수 있다. LL_을 포함하는 변수는 라우드니스 레벨로, Phon 단위의 변수를 나타낼 수 있다.

오디오 신호 처리 장치는 입력 신호에 라우드니스 계산에서 사용되는 K-Weighting 필터를 적용한 후, 필터링된 신호를 주파수 변환할 수 있다. 오디오 신호 처리 장치는 주파수 변환된 신호를 사용해 입력 신호 전체의 주파수 별 라우드니스 비율 (Multiband Weight in Loudness)인 WLoud_MB를 계산할 수 있다. 구체적으로 오디오 신호 처리 장치는 수학식 8을 사용해 WLoud_MB를 획득할 수 있다.

[수학식 8]

x_k = filter (h_kweight, x_in) 또는

x_k = filter (h_pre2_kweight, filter (h_pre1_kweight, x_in ))

filter(A,B)는 B 신호를 A 계수로 filtering하는 연산을 나타낸다. h_kweight은 K-웨이팅 필터를 단일 필터로 표현한 필터를 나타낸다. h_pre1_kweight 과 h_pre2_kweight는 ITU-R BS.1770-4에서 정의하는 K-Weighting Filter의 1차 프레-필터와 2차 프레-필터를 나타낸다. 도 6은 ITU-R BS.1770-4에서 정의하는 K-웨이팅 필터의 1차 프레-필터의 주파수 응답이고, 도 7은 BS.1770-4에서 정의하는 K-웨이팅 필터의 2차 프레-필터의 주파수 응답을 보여준다.

수학식 8을 통하여 얻어진 k-웨이팅된 신호 x_k는 수학식 9와 같이 프레임으로 구분될 수 있다. 프레임의 길이를 NF라 하고, 홉 크기(Hop Size)를 NH라 하면, l번째 프레임 신호 x_frame[l]은 수학식 9와 같이 표현될 수 있다.

[수학식 9]

x_frame[l] = x_k[ ((l-1)*NH+1) : ((l-1)*NH+NF) ]

프레임 신호 x_frame[l]은 주파수 분석에 필요한 윈도윙(windowing)을 거쳐 xw_frame[l]으로 변환될 수 있다. 이 경우, 윈도우 계수 wind로 모든 계수가 1인 정사각형 윈도우(rectangular window)가 사용될 수 있다. 또 다른 구체적인 실시 예들에서 윈도우 계수 wind로 해밍(hamming), 해닝(hanning) 등의 다양한 윈도우 형태가 사용될 수 있다.

[수학식 10]

xw_frame[l][n] = x_frame[l][n] * wind[n] for n=1, 2, …, NF

wind가 적용된 신호 xw_frame은 이산 퓨리에 변환(discrete fourier transform)을 통하여 수학식 10과 같이 주파수 영역으로 변환되어 주파수 신호 XW_frame[l]로 나타내질 수 있다. 수학식 11의 DFT{}는 이산 퓨리에 변환을 나타낸다.

[수학식 11]

XW_frame[l] = DFT{ xw_frame[l][1:NF] }

변환된 주파수 신호 XW_frame[l]의 빈(Bin)별 파워(power)를 수학식 12와 같이 획득될 수 있다. 수학식 12에서 P_frame_bin[l][k]는 l번째 frame의 k번째 빈(bin)에서의 파워를 나타낸다.

[수학식 12]

P_frame_bin[l][k] = XW_frame[l][k] * conj(XW_frame[l][k]) for k=1, 2, …, NF

빈(Bin) 별 파워인 P_frame_bin[l][k]는 원하는 주파수 밴드에 매핑되어 밴드별 파워인 P_frame_band[l][b]로 수학식 13을 통해 변환될 수 있다. 수학식 13에서 band[b]는 b밴드의 시작 빈의 인덱스를 나타내는 테이블로, band[b]부터 band[b+1]-1까지의 빈(bin)들의 파워의 합을 구하기 위하여 사용될 수 있다.

[수학식 13]

P_frame_band[l][b]

= sum_{k from band[b] to band[b+1]-1} (P_frame_bin[l][k])

입력 신호의 전체 구간에 대하여 P_frame_band[l][b]가 획득되고, 모든 프레임에서 P_frame_band[l][b]을 더하면 전구간의 주파수 밴드 별 파워가 획득된다. 수학식 14에서 P_band[b]는 전구간의 주파수 밴드 별 파워를 나타낸다. 이때, NumberOfFrames는 전체 프레임의 개수를 나타내고, 프레임 인덱스인 l은 1부터 NumberOfFrames까지의 자연수이다.

[수학식 14]

P_band[b] = sum_{l from 1 to NumberOfFrames} (P_frame_band[l][b])

밴드별 파워인 P_band[b]는 모든 프레임의 파워의 합으로, 수학식 15에서 WLoud_MB[b]는 P_band[b]가 정규화된 값이다. 수학식 15에서의 NumberOfBands는 전체 밴드의 개수를 나타내고, 밴드 인덱스인 b는 1부터 NumberOfBands까지의 자연수이다.

[수학식 15]

WLoud_MB[b] = P_band[b]

/ [ sum_{b from 1 to NumberOfBands} (P_band[b]) ]

앞서 설명한 L_EQ_Ref, L_Ref 는 수학식 8내지 수학식 15를 통하여 각각 계산될 수 있다. 이때, 각 밴드별 라우드니스인 P_band 역시 개별적으로 계산될 수 있다.

앞서 설명한 실시 예들에서, 등 라우드니스 곡선이 사용되었다. 등 라우드니스 곡선은 라우드니스와 음악의 관계를 주파수 별로 나타낸 곡선이다. 이때, 라우드니스는 주관적인 소리의 크기로 개인 별로 인지하는 라우드니스에는 차이가 있을 수 있다. 따라서 등 라우드니스 곡선을 최적화하는 방법에 따라 청취자들의 청취 경험을 향상 시킬 수 있다.

먼저, 개인화된 등 라우니스 곡선을 제공하는 방법에 대해 설명한다. 오디오 신호 처리 장치는 개인 별로 측정된 등 라우니스 곡선을 획득할 수 있다. 구체적으로 오디오 신호 처리 장치는 청취자로부터 복수의 미리 지정된 신호에 대해 동일한 라우드니스로 인식되는 신호의 게인을 회득할 수 있다. 이때, 미리 지정된 신호는 복수의 톤 신호 또는 협 밴드 노이즈(narrow band noise)일 수 있다.

또 구체적인 실시 예에서 오디오 신호 처리 장치는 미리 지정된 복수의 주파수 대역별 게인 곡선을 기초로 등 라우드니스 곡선을 생성할 수 있다. 주파수 대역별 게인 곡선은 어느 하나의 라우드니스를 획득하기 위해 적용되는 주파수 대역 별로 적용되는 게인을 나타낸 것이다. 오디오 신호 처리 장치는 복수의 주파수 대역 게인 곡선을 인터폴레이션(interpolation)하거나 익스트라폴레이션(extrapolation)해서 원하는 라우드니스에 해당하는 등 라우드니스 곡선을 획득할 수 있다. 이때, 복수의 주파수 대역 게인 곡선은 A-weighting, B-Weighting, C-Weigting 곡선일 수 있다. 또 다른 구체적인 실시 예에서 복수의 주파수 대역 게인 곡선은 청취자로부터 획득한 각 주파수 대역 별 게인 값일 수 있다. 복수의 주파수 대역 게인 곡선은 미리 설정된 주파수 대역 게인 곡선과 사용자로부터 회득한 주파수 대역 게인 곡선이 조합된 것일 수 있다.

도 8은 앞서 설명한 복수의 주파수 대역 게인 곡선의 예를 보여준다.

A-웨이팅(weighting) 커브는 1KHz 톤 신호를 40dB로 재생했을 때 라우드니스인 40phon을 기준으로 생성된 주파수 대역 게인 곡선이다. C-웨이팅 커브는 80phon을 기준으로 생성된 주파수 대역 게인 곡선으로, A-웨이팅 커브가 사용되는 경우보다 더 큰 음압 레벨을 갖는 신호의 라우드니스 측정을 위해 사용될 수 있다. K-웨이팅 커브는 60dB를 기준으로 생성된 주파수 대역 게인 곡선이다. K-웨이팅 커브는 ITU-R, EBU 등 여러 표준에서 라우드니스 측정을 위해 사용된다. 일반적인 음향 재생 레벨의 라우드니스 측정을 위해 사용된다. 음향의 재생 레벨을 조절하게 되면, 재생 레벨에 해당하는 주파수 대역 게인 곡선이 사용되는 것이 바람직할 수 있다. 예를 들어 도 8에서 A-웨이팅 커브는 100Hz에서 -20dB의 게인을 갖는다. C-웨이팅 커브는 100Hz에서 0dB의 게인을 갖는다. 이는 재생 레벨이 40dBA에서 80dBA로 증가되었을 때 또는 라우드니스가 40phon에서 80phon 으로 변화되었을 때, 100Hz 신호가 훨씬 잘들리고 100Hz 신호가 라우드니스에 보다 많은 영향을 끼치게됨을 의미한다. 따라서 재생 레벨의 변화에 따라 청취자가 인지하는 음향 신호의 음색도 변화되게 된다. 따라서 재새 레벨 변화에 따라 적용되는 주파수 대역 게인 곡선을 조정하는 방법에 대해 설명한다. 60dBA를 중간값(median point)으로, 40dBA를 최저값(lowest point), 80dBA를 최고값(highest point)으로 가정하여 설명한다.

어떤 신호의 k-웨이팅을 기초로 측정된 라우드니스를 X1 [LKFS], 현재 재생 레벨을 60dBA라고 가정한다. 이때, 인지되는 라우드니스는 X1 [LKFS]라 할 수 있다. 볼륨에 의하여 재생 레벨이 40 dBA로 조정될 경우 적용되는 주파수 게인 곡선을 조정하지 않으면, 청취자가 인지하는 라우드니스는 X1-20 [LKFS]로 볼 수 있다. 재생 레벨이 40dBA이므로 k-웨이팅 커브가 아닌 A-웨이팅 커브를 적용하여 라우드니스를 측정하면, 라우드니스는 X1-20+alpha LKFS로 볼 수 있다. 이때, alpha는 신호 자체의 성분이다. 또한, alpha는 양의 값, 음의 값, 0, 모두를 가질 수 있다. 앞선 실시 예에서 ELEQ 필터의 계수는 alpha 값을 기초로 설정될 수 있다. 이러한 alpha는 재생 볼륨뿐만 아니라 볼륨 변화에 따라 변화되는 저주파와 고주파 소리에 대한 민감성이 변화되는 것을 보정하는 역할을 수행할 수 있다. 도 8을 예시로 들면, 비교적 저주파 대역인 1KHz 이하 대역에서는 부스팅 게인이 필요하고, 비교적 고주파 대역인 1KHz 이상 대역에서는 저주파 대역에 비해 상대적으로 작은 부스팅 게인 또는 감쇄(attenuation) 게인이 필요하다. 즉, 비교적 저주파 대역인 1KHz 이하 대역에서 alpha의 값은 양의 값이고, 비교적 고주파 대역인 1KHz 이상 대역에서는 alpha의 값은 저주파 대역보다 작은 양의 값이거나 음의 값이다. 실시 예의 설명을 위해 몇 가지 재생 레벨과 몇 가지 주파수 대역 게인 곡선을 예시로 설명하였으나, 본 실시 예는 이에 한정되지 않는다.

앞서 설명한 실시 예에서 오디오 신호 처리 장치는 ELEQ의 적용 정도를 조정할 수 있다. ELEQ로 인해 발생하는 음색 보정을 원치않는 청취자들도 있을 수 있기 때문이다.

오디오 신호 처리 장치는 기본 등 라우드니스 곡선과 0dB 플랫(flat) 응답을 기초로 ELEQ 적용 강도가 적용된 라우드니스 곡선을 설정할 수 있다. 이때, 기본 등 라우드니스 곡선은 크기 응답의 최솟값이 0보다 큰 등라우드니 곡선일 수 있다. 오디오 신호 장치는 설정된 등 라우드니스 곡선과 재생 라우드니스를 기초로 ELEQ 필터를 설정할 수 있다. 이때, 재생 라우드니스는 앞서 설명한 바와 같이 출력 장치의 볼륨, 입력 신호의 전체 또는 특정 구간의 종합(intergrated) 라우드니스 및 타겟 라우드니스 중 어느 하나를 기초로 설정될 수 있다. 이와 같이 생성된 ELEQ 필터는 출력 장치의 볼륨에 따른 의존성을 가질 수 있다. 오디오 신호 처리 장치는 출력 장치의 볼륨에 따라 설정된 ELEQ 필터 테이블을 인터폴레이션/엑스트라폴라이션하여 현재 출력 장치의 볼륨에 해당하는 ELEQ 필터의 계수를 획득할 수 있다. 이는 도 8을 통해 설명한 동작과 같을 수 있다. 또 다른 구체적인 실시 예로 오디오 신호 처리 장치는 출력 장치의 볼륨에 따라 설정된 ELEQ 필터 테이블을 ELEQ 필터의 효과가 최대로 적용된 ELEQ 필터로 설정하고, ELEQ 필터 강도 적용 강도에 따라 설정된 ELEQ 필터 테이블의 값을 조정할 수 있다.

도 9는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치(1000)의 구성을 나타내는 블록도이다.

일 실시예에 따라, 오디오 신호 처리 장치(1000)는 수신부(1100), 프로세서(1200), 출력부(1300) 및 저장부(1400)를 포함할 수 있다. 그러나 도 9에 도시된 구성 요소 모두가 오디오 신호 처리 장치의 필수 구성 요소인 것은 아니다. 오디오 신호 처리 장치(1000)는 도 9에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라 도 9에 도시된 오디오 신호 처리 장치(100)의 구성 요소 중 적어도 일부가 생략될 수도 있다. 예를 들어, 일 실시예에 따른 오디오 신호 처리 장치는 수신부(1100) 및 출력부(1300)를 포함하지 않을 수도 있다.

수신부(1100)는 오디오 신호 처리 장치(1000)로 입력되는 입력 컨텐츠를 수신할 수 있다. 수신부(1100)는 프로세서(1200)에 의한 출력 라우드니스 레벨이 조정되는 입력 신호를 수신할 수 있다. 일 실시예에 따라, 수신부(1100)는 유선으로 전송되는 입력 신호를 수신하는 입력 단자를 포함할 수 있다. 또한, 수신부(1100)는 무선으로 전송되는 입력 신호를 수신하는 무선 수신 모듈을 포함할 수 있다.

일 실시예에 따라, 오디오 신호 처리 장치(1000)는 별도의 디코더를 포함할 수 있다. 이 경우, 수신부(1100)는 입력 컨텐츠의 부호화된 비트스트림을 수신할 수도 있다. 또한, 부호화된 비트스트림은 디코더를 통해 입력 컨텐츠로 복호화될 수 있다. 추가적으로, 수신부(1100)는 입력 컨텐츠와 관련된 부가 정보를 수신할 수 있다.

일 실시예에 따라, 수신부(1100)는 네트워크를 통해 외부의 장치들과 데이터를 송수신하기 위한 송수신 수단을 구비할 수 있다. 이때, 데이터는 입력 컨텐츠의 비트스트림 또는 부가 정보 중 적어도 하나를 포함할 수 있다. 수신부(1100)는 유선으로 전송되는 데이터를 수신하기 위한 유선 송수신 단자를 포함할 있다. 또한, 수신부(1100)는 무선으로 전송되는 데이터를 수신하기 위한 무선 송수신 모듈을 포함할 수 있다. 이 경우, 수신부(1100)는 블루투스(bluetooth) 또는 와이파이(Wi-Fi) 통신 방법을 이용하여 무선으로 전송되는 데이터를 수신할 수 있다. 또한, 수신부(1100)는 LTE(long term evolution), LTE-advanced와 같은 이동 통신 규격에 따라 전송되는 데이터를 수신할 수 있으며, 본 개시가 이에 한정되는 것은 아니다. 수신부(1100)는 다양한 유무선 통신 규격에 따라 전송되는 다양한 형태의 데이터를 수신할 수 있다.

프로세서(1200)는 오디오 신호 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(1200)는 오디오 신호 처리 장치(100)의 각 구성 요소를 제어할 수 있다. 프로세서(1200)는 각종 데이터와 신호의 연산 및 처리를 수행할 수 있다. 프로세서(1200)는 반도체 칩 또는 전자 회로 형태의 하드웨어로 구현되거나 하드웨어를 제어하는 소프트웨어로 구현될 수 있다. 프로세서(1200)는 하드웨어와 상기 소프트웨어가 결합된 형태로 구현될 수도 있다. 예를 들어, 프로세서(1200)는 적어도 하나의 프로그램을 실행함으로써, 수신부(1100), 출력부(1300) 및 저장부(1400)의 동작을 제어할 수 있다. 또한, 프로세서(1200)는 적어도 하나의 프로그램을 실행하여 전술한 도 1 내지 도 8을 통해 설명된 동작을 수행할 수 있다.

출력부(1300)는 출력 신호를 출력할 수 있다. 출력부(1300)는 프로세서(1200)에 의해 입력 신호로부터 출력 라우드니스 레벨이 조정된 출력 신호를 출력할 수 있다. 출력부(1300)는 출력 신호를 출력하는 출력 장치에 연결되거나 출력 장치를 포함할 수 있다.

일 실시예에 따라, 출력부(1300)는 출력 신호를 출력하는 출력 수단을 구비할 수 있다. 예를 들어, 출력부(1300)는 출력 오디오 신호를 외부로 출력하는 출력 단자를 포함할 수 있다. 이때, 오디오 신호 처리 장치(100)는 출력 단자에 연결된 외부 장치로 출력 오디오 신호를 출력할 수 있다. 출력부(1300)는 출력 오디오 신호를 외부로 출력하는 무선 오디오 송신 모듈을 포함할 수 있다. 이 경우, 출력부(1300)는 블루투스 또는 와이파이와 같은 무선 통신 방법을 이용하여 외부 장치로 출력 오디오 신호를 출력할 수 있다.

또한, 출력부(1300)는 스피커를 포함할 수 있다. 이 경우, 오디오 신호 처리 장치(100)는 스피커를 통해 출력 오디오 신호를 출력할 수 있다. 또한, 출력부(1300)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환하는 컨버터(예를 들어, digital-to-analog converter, DAC)를 추가적으로 포함할 수 있다. 추가적으로, 출력부(1300)는 출력 컨텐츠가 포함하는 비디오 신호를 출력하는 디스플레이 수단을 구비할 수 있다.

저장부(1400)는 프로세서(1200)의 처리 및 제어를 위한 데이터 또는 프로그램 중 적어도 하나를 저장할 수 있다. 예를 들어, 저장부(1400)는 프로세서(1200)를 통해 획득된 라우드니스 측정치를 저장할 수 있다. 또한, 저장부(1400)는 오디오 신호 처리 장치(1000)로 입력되거나 오디오 신호 처리 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 저장부(1400)는 적어도 하나의 메모리를 구비할 수 있다. 이때, 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

이상에서는 본 발명을 구체적인 실시 예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 발명은 멀티 오디오 신호에 대한 프로세싱 실시 예에 대하여 설명하였지만, 본 발명은 오디오 신호뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 발명의 상세한 설명 및 실시 예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

Claims

오디오 신호 처리 장치에서,
입력 오디오 신호를 수신하는 입력단;
상기 입력 오디오 신호의 재생 라우드니스와 미리 지정된 선호 라우드니스 사이의 차이를 획득하고, 상기 입력 오디오 신호의 재생 라우드니스와 상기 선호 라우드니스 사이의 차이 및 복수의 주파수 대역 각각에서 오디오 신호의 라우드니스와 오디오 신호의 음압 사이의 관계를 나타내는 매트릭스를 기초로 상기 복수의 주파수 대역 별로 출력 오디오 신호의 주파수 대역 스펙트럼을 보정하고,
라우드니스 보정 게인을 상기 주파수 대역 스펙트럼이 보정된 출력 오디오 신호에 적용하는 프로세서; 및
상기 출력 오디오 신호를 출력하는 출력단을 포함하고,
상기 재생 라우드니스는 상기 주파수 대역 스펙트럼 보정이 적용되지 않고 상기 입력 오디오 신호가 상기 오디오 신호 처리 장치의 재생 파라미터에 따라 출력되는 경우, 출력 오디오 신호의 라우드니스이고,
상기 라우드니스 보정 게인은 아래의 수학식에 따라 획득되고,
DL_Int_Predict = (L_EQ_Ref- L_Ref - G_A) / (L_Ref+G_B) * (L_User0+G_B),
L_User0은 상기 재생 라우드니스를 나타내고,
L_EQ_Ref는 상기 주파수 대역 스펙트럼이 보정된 출력 오디오 신호의 라우드니스를 나타내고,
L_Ref는 상기 선호 라우드니스를 나타내고,
G_A와 G_B는 상기 주파수 대역 스펙트럼이 보정된 출력 오디오 신호의 보정 정도를 조절하는 인자를 나타내는
오디오 신호 처리 장치.
제1항에서,
상기 프로세서는
상기 출력단에 연결되어 상기 출력 오디오 신호를 출력하는 출력 장치의 특성을 기초로 선호 라우드니스를 획득하는
오디오 신호 처리 장치.
제2항에서,
상기 출력 장치의 특성은 상기 출력 장치가 출력 가능한 최대 라우드니스 레벨을 포함하는
오디오 신호 처리 장치.
제1항에서,
상기 보정에 사용되는 상기 복수의 주파수 대역 별 스펙트럼 보정 게인은 모든 주파수 대역에서 0dB 이상인
오디오 신호 처리 장치.
제1항에서,
상기 프로세서는
재생 볼륨을 기초로 재생 라우드니스를 획득하는
오디오 신호 처리 장치.
제5항에서,
상기 재생 볼륨은 상기 출력단에 연결되어 상기 출력 오디오 신호를 출력하는 출력 장치와 독립적으로 적용되는 볼륨인
오디오 신호 처리 장치.
제5항에서,
상기 재생 볼륨은 상기 출력단에 연결되어 상기 출력 오디오 신호를 출력하는 출력 장치의 볼륨인
오디오 신호 처리 장치.
오디오 신호 처리 장치의 동작 방법에서,
입력 오디오 신호를 수신하는 단계;
상기 입력 오디오 신호의 재생 라우드니스와 미리 지정된 선호 라우드니스 사이의 차이를 획득하는 단계;
상기 입력 오디오 신호의 재생 라우드니스와 상기 선호 라우드니스 사이의 차이 및 복수의 주파수 대역 각각에서 오디오 신호의 라우드니스와 오디오 신호의 음압 사이의 관계를 나타내는 매트릭스를 기초로 상기 복수의 주파수 대역 별로 출력 오디오 신호의 주파수 대역 스펙트럼을 보정하는 단계;
라우드니스 보정 게인을 상기 주파수 대역 스펙트럼이 보정된 출력 오디오 신호에 적용하는 단계; 및
상기 출력 오디오 신호를 출력하는 단계를 포함하고,
상기 재생 라우드니스는 상기 주파수 대역 스펙트럼 보정이 적용되지 않고 없이 상기 입력 오디오 신호가 상기 오디오 신호 처리 장치의 재생 파라미터에 따라 출력되는 경우, 출력 오디오 신호의 라우드니스이고,
상기 라우드니스 보정 게인은 아래의 수학식에 따라 획득되고,
DL_Int_Predict = (L_EQ_Ref- L_Ref - G_A) / (L_Ref+G_B) * (L_User0+G_B),
L_User0은 상기 재생 라우드니스를 나타내고,
L_EQ_Ref는 상기 주파수 대역 스펙트럼이 보정된 출력 오디오 신호의 라우드니스를 나타내고,
L_Ref는 상기 선호 라우드니스를 나타내고,
G_A와 G_B는 상기 주파수 대역 스펙트럼이 보정된 출력 오디오 신호의 보정 정도를 조절하는 인자를 나타내는
동작 방법.
제8항에서,
상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득하는 단계는
상기 오디오 신호 처리 장치의 출력단에 연결되어 상기 출력 오디오 신호를 출력하는 출력 장치의 특성을 기초로 선호 라우드니스를 획득하는 단계를 포함하는
동작 방법.
제9항에서,
상기 출력 장치의 특성은 상기 출력 장치가 출력 가능한 최대 라우드니스 레벨을 포함하는
동작 방법.
제8항에서,
상기 보정에 사용되는 상기 복수의 주파수 대역 별 스펙트럼 보정 게인은 모든 주파수 대역에서 0dB 이상인
동작 방법.
제8항에서,
상기 입력 오디오 신호의 재생 라우드니스와 선호 라우드니스 사이의 차이를 획득하는 단계는
재생 볼륨을 기초로 재생 라우드니스를 획득하는 단계를 포함하는
동작 방법.
제12항에서,
상기 재생 볼륨은 상기 오디오 신호 처리 장치의 출력단에 연결되어 상기 출력 오디오 신호를 출력하는 출력 장치와 독립적으로 적용되는 볼륨인
동작 방법.
제12항에서,
상기 재생 볼륨은 상기 오디오 신호 처리 장치의 출력단에 연결되어 상기 출력 오디오 신호를 출력하는 출력 장치의 볼륨인
동작 방법.