KR20070022116A - 오디오 신호의 크기를 자동적으로 조정하는 방법 및 시스템 - Google Patents

Abstract

본 발명은, 입력 오디오 신호(1)의 샘플을 위하여 크기 측정을 계산하는 단계, 상기 크기 측정 중 시간에 따라 다수의 별개 크기 라인(L₁,L₂,L₃,L₄)을 식별하는 단계 및 조정된 크기로 출력 오디오 신호(5)를 생성하기 위해 상기 식별된 크기 라인(L₁,L₂,L₃,L₄)에 따라 오디오 신호(1)의 샘플을 변경하는 단계를 포함하는 오디오 신호의 크기를 자동적으로 조정하는 방법을 개시한다.

오디오, 광고방송, 크기, 레벨, 샘플

Description

오디오 신호의 크기를 자동적으로 조정하는 방법 및 시스템{METHOD OF AND SYSTEM FOR AUTOMATICALLY ADJUSTING THE LOUDNESS OF AN AUDIO SIGNAL}

본 발명은 오디오 신호의 크기(loudness)를 자동적으로 조정하는 방법에 관한 것이다.

또한, 본 발명은 오디오 신호의 크기를 자동적으로 조정하는 시스템에 대한 것이다.

또한, 본 발명은 오디오 신호의 크기를 조정하는 자동적인 크기 제어 디바이스에 대한 것이다.

자동 레벨링(levelling) 또는 자동 평활화(equalisation)로 알려진 오디오 신호의 크기 레벨(loudness level)을 제어하기 위한 시도로 다수의 방법이 개발되었다. 자동-레벨링 작업을 수행할 것을 요구하는 기존 자동 레벨링 기능은 오디오 신호의 무음 부분(silent part) 크기를 증가시키고 신호의 귀에 거슬리는 부분(trident part)의 크기를 감소시키기 위해 압축/확장 알고리즘을 사용한다. 일반적으로, 이들 알고리즘은 음악의 오디오 파형의 순시 진폭을 관찰하여, 출력에 적절한 이득값을 적용함으로써 초과 또는 부족한 크기를 보상하기 위해 진폭을 변경한다. 예를 들면, 미국특허 제5892834호는 자동 환경에서 CD 플레이어의 출력 크기를 제한하는 방법을 제한하며, 이에 의하여 일정의 임계값을 초과하는 지를 확인하기 위해 오디오 신호의 순시 진폭이 검사된다. 만일 임계값이 초과된다면, 오디오 신호의 진폭은 변경된 출력 신호를 나타내도록 감쇄된다.

그러나, 이득 증가 또는 릴리즈 타임(release time)(목표 레벨까지 이득을 증가 또는 감소시키기 위해 걸리는 시간임)의 선택은 그 자체로 문제점을 가진다. 일반적으로 짧은 이득 증가 또는 릴리즈 타임의 사용은 결국 이득의 저레벨과 고레벨 사이의 급속한 전환의 결과로 발생하는 펌핑효과(pumping effect)를 초래하게 된다. 펌핑효과는 듣기에 거북한 신호가 발생하면서, 크기에서 현저한 감소 다음에 오는 과도 소리를 가지는 출력 신호가 초래된다. 더 긴 이득 증가 시간의 사용은 어느 정도까지 펌핑 효과를 감소시키지만, 이득 조정 기능의 성능은 결과적으로 감소하게 된다. 왜냐하면, 출력 신호의 볼륨이 효과적으로 증폭 또는 감쇄되기까지는 너무 오래 걸리기 때문이다. 어느 한쪽의 경우, 최종 출력 신호는 최종 왜곡으로 인해 듣기에 거북하다.

그러므로, 본 발명의 목적은 오디오 신호의 크기의 성질을 보존하면서, 특히 신호를 왜곡함이 없이, 오디오 신호의 크기 레벨을 자동적으로 등화하기 위해 사용될 수 있는 방법 및 시스템을 제공하는 것이다.

이를 위하여, 본 발명은 오디오 신호의 크기를 자동적으로 조정하는 방법을 제공하며, 이 방법은 입력 오디오 신호의 샘플을 위하여 크기 측정을 계산하는 단계, 상기 크기 측정 중 시간에 따라 다수의 별개 크기 라인을 식별하는 단계 및 조정된 크기로 출력 오디오 신호를 제공하기 위해 상기 식별된 크기 라인에 따라 오디오 신호의 샘플을 변경하는 단계를 포함한다.

이에 의하여, "크기 라인"은 오디오 신호의 크기에서, 지속기간, 변화율 등과 같은 크기 경향(loudness trend)의 특성을 설명하는 방식이 되고, 이 크기 라인은 일반적으로 시간에 따라 가변되고, 부분들에서 더 큰 소리가 되며, 다른 부분들에서는 더 조용한 소리가 되고, 또 다른 부분들에서 필수적으로 일정한 크기를 유지하게 된다. 더 커지거나 더 조용해지거나 또는 동일하게 유지하려는 이들 경향은 오디오 신호가 따르는 경향으로서 기술될 수 있다.

오디오 신호의 크기의 자동적인 조정을 위한 적합한 시스템은, 입력 오디오 신호의 샘플을 위한 크기 측정을 계산하는 계산 유닛, 상기 크기 측정 중에서 다수의 개별 크기 라인을 식별하는 식별 유닛 및 조정된 크기로 출력 오디오 신호를 제공하기 위해 상기 식별된 크기 라인에 따라 입력 오디오 신호의 샘플을 변경하는 변경 유닛을 포함한다.

따라서, 본 방법 및 시스템은 오디오 신호의 크기 레벨을 자동적으로 조정하고, 필수적으로 균일한 크기의 비왜곡된 오디오 신호를 청취자에게 제공하고, 청취자가 자동적으로 크기를 조정할 필요성을 제거하는 용이한 방식을 제공한다. 본 발명이 오디오 신호가 따르는 크기의 경향(trend)을 식별하고, 오디오 신호의 크기를 적절하게 조정하므로, 조정된 출력 신호는 기존 방법을 특징짓는 임의의 바람직스럽지 못한 펌핑 효과(pumping effect)가 없다. 예를 들면, 음악 감상 및 라디오 또는 TV 프로그램 청취의 경험은 본 발명에 의해 상당히 개선된다. 왜냐하면, 프로그램, 상업 방송 또는 여러 편의 음악 사이에서의 발음된 크기 변화의 자링 효과(jarring effect)가 감소되어, 크기의 총 레벨이 필수적으로 일정하게 유지되기 때문이다. 다른 응용에서, 예를 들면, 헤드셋 또는 인이어 모니터(in-ear monitor)에서, 자동적인 크기 조정은, 청취자가 초과 큰소리 신호의 결과로서 청각 손상을 겪지 않는 것을 보장하면서, 일정한 임계값을 초과하지 않도록, 신속하고 자동적으로 오디오 신호의 크기를 조정하기 위해 사용될 수 있다.

종속항 및 후속 설명은 본 발명의 특징 및 유리한 실시예를 특히 공개한다.

"오디오 신호"는 임의의 오디오 소스, 바람직하게는, 예를 들면 안테나, 또는 위성 수신기, 라디오, 텔레비전 또는 스피커와 같은 디바이스에 대한 오디오 입력, 음악 데이터 파일, MP3 음악파일 등과 같은 디지털로부터 기원하는 임의의 신호일 수 있다. 또한, 오디오 신호는 마이크와 같은 아날로그 소스로부터 기원할 수 있으며, 결과적으로 종래 방식에서의 샘플링에 의해 추가 처리과정을 위한 적합한 디지털 형태로 변환된다.

크기는 인간의 귀에 의해 인지되는 물리적 음압 레벨에 관한 주관적인 측정이 된다. 연구는 결국 크기의 인간 인식을 모델화하기 위해 여러 개의 복잡한 수학 방법을 초래하지만, 이들 방법은 실행하기에 상당한 시간 집중적이 된다. 따라서, 이들 방법은 실시간 상황에서의 응용을 위해서는 적합하지 못하다. 그러므로, 본 발명의 바람직한 실시예에서, 크기가 소리 에너지에 강력히 관계되는 사실을 이용하므로, 계산하기 비교적 간단한 오디오 신호 에너지의 측정이 더 복잡한 수학적 모델 대신에 사용된다. 특히 본 발명의 바람직한 실시예에서, 디지털 입력 신호의 샘플의 진폭을 사용하여 계산된 평균 제곱 제곱근(RMS:Root-Means-Square) 값은 크기 인식을 위한 대표적인 수학 모델로서 사용된다. 따라서, 다수의 연속적인 샘플에 대하여 계산된 RMS값은 이들 샘플을 위한 대표적인 크기 측정이다. 이러한 유형의 계산에서, 샘플 진폭의 절대값은 사용될 수 있다. RMS 계산에 추가하여 또는 그 대안으로서, 이 샘플의 절대값이 그 크기의 척도로서 직접 사용될 수 있다. 여기서, 바람직하게는, 로우 패스 필터는 입력 신호의 동적인 동작을 완만하게 하기 위해 절대값 계산 방식을 따른다.

시간이 진행함에 따라, 계산된 크기 측정의 개수가 증가하게 된다. 이들 크기 측정이 시간에 대하여 도식화되므로, 클러스터 또는 그룹을 형성하게 될 것이다. 하나의 그룹은 이웃하는 그룹으로 병합되어 나타날 수 있으며, 또는 이웃하는 그룹으로부터 분명하게 구별될 수 있을 것이다. 바람직하게는, 본 발명의 방법은 크기 측정의 그룹 각각에 대하여 개별 양식 도는 크기 라인을 식별한다. 크기 측정의 그룹은 크기를 기반으로 하여 서로 구별될 수 있는 오디오 신호의 섹션에 대응하게 된다. 예를 들면, 크기 측정의 그룹은 증가 또는 감소하는 크기의 양식을 따르드록 나타날 수 있으며, 시간에 따라 다소 일정한 채로 유지되도록 나타날 수 있으며, 또는 이웃하는 그룹보다 현저하게 높거나 또는 낮게 위치될 수도 있다. 바람직한 실시예에서, 또한 새로운 그룹은 사용자가 크기에 있어서 즉각적인 변경(예를 들면 텔레비전의 채널을 변경하거나, 리모트 컨트롤 상에 해당 버튼을 누르거나 놉(knob)을 돌려서 볼륨을 수동으로 변경함으로써, 또는 MP3 플레이어와 같은 오디오 감상 디바이스 상의 또 다른 트랙으로 바꿈으로써)에 늘 동반된 일정한 유형의 행동을 실행하는 즉시 개설된다.

본 발명의 방법은 오디오 신호의 크기를 조정하기 위해 크기 라인의 특성을 해석, 예를 들면 적절한 샘플의 이득을 조정함으로써, 획득된 정보를 적용한다. 필요한 이득 조정도를 결정하기 위해, 크기의 기준 레벨은 미리 결정되거나, 또는 사용자에 의해 지정될 수 있다. 예를 들면, 일부 청취자는 비교적 조용한 크기의 총 레벨을 가지기를 원할 수 있으며, 반면에 다른 청취자는 시간에 따라 더 큰 소리의 볼륨이 유지되길 선호할 수 있다. 최대 크기 레벨 및/또는 최소 크기 레벨이 한정될 수 있으며 또는 크기의 평균 전체 레벨을 한정하는 것으로 충분할 수 있다.

조정이 소정의 크기의 출력 오디오 신호를 생성하기 위해 입력 오디오 신호의 샘플에 이루어지도록 결정하기 위해, 본 발명은 기울기 및 상대적 위치와 같은 크기 라인의 특성을 결정한다. 예를 들면, 선행하는 크기 라인 보다 더 높게 위치하거나 또는 더 급격하게 상승하는 크기는 입력 신호의 크기에 대한 총 레벨이 증가됨을 가리킬 것이다. 이러한 그룹에 관계된 샘플의 크기는 출력 오디오 신호의 대응하는 부분의 크기가 감쇄되도록 조정된다. 유사하게, 만일 입력 오디오 신호의 일부를 위한 크기라인이 크기의 최소 소정 레벨 이하에 있는 것으로 식별된다면, 대응하는 샘플은 증폭되므로, 출력 오디오 신호의 크기는 그 일부에 대하여 증가된다.

오디오 샘플의 감쇄 또는 증폭은 크기 라인의 기울기를 보존할 수 있으며, 또한, 이를 보상할 수도 있다. 예를 들면, 만일 크기 라인이 대응하는 그룹이 감소하는 크기이면서 너무 큰소리임을 나타낸다면, 대응하는 샘플은 동일한 양에 의해 모두 감쇄될 수 있으므로, 따라서 감소하는 크기는 출력 오디오 신호에서 반영되거나, 또는 이득이 훨씬 더 작은 값에 의해 감소될 수 있으므로, 따라서 출력 오디오 신호는 대응하는 섹션에 대하여 크기의 비교적 일정한 레벨을 유지하게 된다.

본 발명의 바람직한 실시예에서, 만일 그 값이 그룹의 허용의 미리 설정된 한계 내에 놓이는 경우, 크기 측정은 그룹에 속하는 것으로 식별된다. 이 허용 한계는 일정한 값이 될 수 있거나 또는 사용자에 의해 구성될 수 있다. 허용의 더 낮은 한계는 결국 식별된 더 많은 수의 별개 크기를 초래할 수 있으며, 반면에 허용의 더 높은 한계는 식별된 크기 라인의 총 갯수를 감소시킬 수 있다. 그러므로, 허용 한계는 시스템의 성능 품질의 측정으로서 여겨질 수 있는데, 이는 더 낮은 한계는 결국, 출력 오디오 신호에 대한 대응하는 더 큰 수의 조정을 초래하기 때문이다.

다수의 알려진 방법은 크기 측정의 그룹을 위한 크기 라인을 계산하기 위해 적용될 수 있다. 크기 라인은 반드시 직선일 필요는 없지만, 동일하게 그룹의 양식에 더 적합한 2차 또는 더 높은 차수의 곡선이 될 수 있다. 그러나, 더 단순한 방법이 더 빠른 계산을 허용하므로, 본 발명의 바람직한 실시예는 연속적인 크기 측정의 그룹 내에서 개별 크기 라인을 식별하기 위해 그룹의 크기 측정상의 선형 보간 또는 평균 계산의 기술을 적용한다.

본 발명은 자동적으로 텔레비전 오디오 신호 또는 인-이어 모니터(in-ear monitor) 신호의 크기를 조정하는 것과 같은 실시간 상황에서 적용될 수 있다. 그러나, 또한 본 발명은 오디오 신호를 미리 스캔하도록 적용될 수 있으므로, 따라서 필요한 이득 조정값은 오디오 신호를 듣기에 앞서 계산될 수 있다.

미리-스캐닝 모드에서의 본 발명의 사용은, 결과가 즉시 사용가능할 필요가 없으므로, 더 높은 레벨의 계산적인 정확성을 허용한다. 이러한 응용의 한가지 예가 다수의 노래가 음악 모음으로 이루어지도록 미리 이득 조정을 계산하기 위해, 예들 들면 컴퓨터 또는 휴대용 오디오 디바이스 상, 휴대용 저장 디바이스 상에 저장될 수 있으므로, 총 크기 라인은 노래의 재생 동안 유지될 수 있다. 또 다른 예에서, 텔레비전 녹화시 오디오 콘텐츠에 대한 크기에 이루어진 이득 조정은 미리 계산될 수 있으므로, 따라서 청취자는 훗날 이 녹화를 시청하는 경우 미리 설정된 레벨의 총 크기를 향유할 수 있다.

이득 조정의 값은 이들 이득 조정값을 적용하기 위해 요구되는 모든 정보에 따라, 오디오 정보와 함께, 또는 별도의 데이터 파일에 저장될 수 있다. 예를 들면, 이득 조정값 및 임의의 관련 정보는 나중 응용을 위해 적합한 형태로 MP3 음악파일의 헤더 또는 MP3 스트림 그 자체에 저장될 수 있다. 대안적으로, 이득 조정 값 및 임의의 관련 정보는 이들이 적용되는 오디오 파일에 일부 방식으로 링크된 별도의 파일에 저장될 수 있다.

본 발명의 다른 실시예에서, 이득 조정값은 입력 오디오 신호 샘플에 직접 적용되어 변경된 오디오 파일에 저장될 수 있다. 만일 입력 오디오 신호가 오디오 파일로부터 기원한다면, 이 오디오 파일은 변경되지 않은 채 남아있거나, 또는 이 변경된 오디오 파일에 의해 대체될 수 있다.

자동적인 크기 조정을 위한 시스템은 임의의 오디오 처리 디바이스로 실현될 수 있으며, 이는 단지 크기 조정 목적을 위한 독립형 디바이스가 되어 위성 수신기(즉 셋톱박스)와 텔레비전 볼륨의 자동적인 조정을 위한 스피커 사이에 위치할 수 있다. 여기서, 오디오 처리 디바이스는 오디오 신호를 위한 라인 입력 및 오디오 신호에 관한 신호 처리 실행, 바람직하게는 디지털을 실행하는 수단을 구비하는 임의의 디바이스가 됨을 이해될 것이다. 동일하게, 자동적인 조정을 위한 시스템은 자동적으로 예를 들면 앞서 기술된 디바이스 중의 하나 또는 전화기, 워크맨, 인이어 모니터, 또는 스피커 또는 오디오 라인 출력을 구비하는 임의 종류의 디바이스에서, 사용자를 위한 균일한 크기 레벨을 보장하는 또 다른 디바이스의 일부로서 병합될 수 있다.

다른 실현예에서, 자동적인 크기 조정 시스템은 내부 또는 외부 메모리에 대한 크기 조정을 설명하는 정보 및/또는 크기가 조정된 신호를 저장하는 수단을 또한 특징으로 할 수 있다. 그러므로, "자동적인 크기 조정 시스템"은, 임의의 필요한 크기 조정을 계산하기 위해 오디오 입력 신호를 처리하여 원하는 출력 신호를 제공하기 위해 이들 조정을 적용하고/하거나, 메모리 저장 디바이스에 정보를 저장할 수 있는 시스템으로서 이해될 수 있다.

예를 들면, 바람직한 응용에서, 자동적인 크기 조정 시스템은 카 라디오로 병합될 수 있으며, 따라서 라디오국의 볼륨은, 자동적으로 다른 방송 지역에 대하여 국을 변경하는 경우조차라도, 비교적 일정한 레벨에서 유지된다. 또 다른 응용에서, 이러한 자동적인 크기 조정 시스템은 전화기로 병합될 수 있으므로, 스피커를 통한 출력의 크기는 소정의 임계값을 초과할 수 없게 되어, 전화기를 사용하는 개인이, 전화기를 계속 잡고 있는 경우, 다른 쪽에서 매우 큰소리의 스피커의 성가시고 종종 불편한 효과 또는 시끄러운 음악을 받지 않도록 보장한다. 다수의 사용자에 의해 이해되는 한가지 응용은, 텔레비전과 결합하여 이러한 자동적인 크기 조정 디바이스의 사용이며, 따라서 상업 방송의 크기는 더 이상 선행하고 후속적인 프로그램 콘텐츠의 크기를 초과할 수 없게 된다.

본 발명에 따른 자동적인 크기 조절을 위한 시스템 또는 이러한 시스템을 포함하는 오디오 처리 디바이스는, 소프트웨어 모듈 또는 컴퓨터 프로그램 제품을 구현함으로써 위에 기술된 처리 단계의 일부를 실행할 수 있다. 이러한 컴퓨터 프로그램 제품은 가정용 하이-파이 시스템, PC, 전화기, 워크맨 등에서 발견될 수 있는, 프로그램 가능한 오디오 처리 디바이스 의 메모리로 직접 로딩될 수 있다. 이에 의하여, 입력 오디오 신호를 버퍼링하고, RMS값을 계산하고, 그룹 평균을 계산하여 조정값을 필터링하기 위한 일부의 유닛이 컴퓨터 프로그램 모듈의 형태로 실현될 수 있다. 임의의 요구되는 소프트웨어 또는 알고리즘이 하드웨어 디바이스의 프로세서상에서 인코딩될 수 있으므로, 기존 오디오 처리 디바이스는 용이하게 본 발명의 특징으로부터 유리하게 적응될 수 있다. 대안적으로, 상술된 일부의 유닛은 적당한 하드웨어 모듈을 사용함으로써, 동일하게 실현될 수 있다.

오디오 신호 및 그것의 관련 크기 라인 및/또는 이득 조정값은 본 발명에 따른 메모리 디바이스상에서 저장될 수 있다. 이러한 메모리 디바이스는, 예를 들면 CD, 하드 디스크, DVD, 메모리 스틱 등이 될 수 있다. 크기 라인 및/또는 이득 조정 값은 오디오 신호를 가지는 데이터 파일로 병합될 수 있거나, 메모리의 별도 섹터 또는 블럭에 저장될 수 있다. 이러한 경우, 최종적으로 오디오 신호를 가청할 수 있는 사운드로 렌더링하기 위해 사용된 오디오 처리 디바이스는 크기 측정을 계산하기 위한 계산 유닛 및 크기 라인을 식별하기 위한 식별 유닛을 포함할 필요는 없다. 이러한 오디오 처리 디바이스는 메모리로부터 이전에 계산된 크기 라인 및/또는 오디오 신호와 관계된 이득값을 검색하고, 변경된 신호가 스피커로 전해지기 전에 이들을 오디오 신호에 적용할 수 있다.

본 발명의 다른 목적 및 특징은 첨부된 도면과 결합하여 후술되는 상세한 설명으로부터 명료해지게 될 것이다. 그러나, 도면은 오로지 예시를 위하여 설계된 것으로 본 발명의 범위를 한정하는 것으로 이해되서는 아니될 것이다.

도 1은 본 발명의 일실시예에 따른 자동적인 조정을 위한 시스템의 블럭도.

도 2는 시간에 대하여 도시화된 크기 측정의 그래프를 도시한 도면.

도 3은 진폭이 시간에 대하여 도시화된, 조정된 오디오 신호의 그래프를 도시한 도면.

도 4는 본 발명의 일실시예에 따른 자동적인 크기 조정을 위한 시스템을 사용하는 어플리케이션을 보여주는 블럭도.

도 5는 오디오 신호의 실시간 처리과정의 단계를 보여주는 흐름도.

도 6은 오디오 신호의 고차원 처리 방법에서의 단계를 보여주는 흐름도.

도 7은 오디오 신호의 고차원 처리 동안, 전이 시간을 결정하는 방법에서의 단계를 보여주는 흐름도.

다음 도면에서의 설명에서, 유사 번호는 유사 물체를 가리킨다.

도 1은 오디오 신호의 크기의 자동적인 조정을 위한 시스템(6)의 약식 블럭도를 도시하며, 조정된 크기로 오디오 출력 신호(5)를 제공하기 위해 오디오 신호(1)를 분석함에 관여되는 기본 단계를 예시한다. 입력 오디오 신호(1)는 수신기, 데이터 베이스 등과 같은 소스(9)로부터 기원할 수 있으며, 샘플링된 디지털 형태에 있게 된다. 출력 오디오 신호(5)는 스피커(10)를 향하여 전달되거나, 또는 시간상 나중 재생을 위하여 데이터베이스(11)에 저장될 수 있다.

제 1 처리 단계에서, 계산 유닛(2)은 입력 오디오 신호(1)의 샘플을 위한 크기 측정을 계산한다. 이 크기 측정은 필수적으로, 만일 시스템(6)이 실시간 상황에서 사용되고 있는 경우, 하나씩 계산되거나, 또는 시스템이 사전 스캐닝 시스템에서 사용되고 있는 경우, 병렬(즉,배치 모드(batch mode))로 계산될 수 있다.

이러한 실시예에서, RMS(Root Mean Square)는 다음 수학식에 따라, 입력 오디오 신호(1)의 샘플에 대하여 계산된다.

여기서, x_i는 i번째 샘플의 진폭이고, N은 RMS가 계산되는 샘플의 갯수이다. 모든 x_i의 평균인

는 다음식에 의해 주어진다.

N 값은 입력신호의 샘플을 버퍼링하기 위해 사용된 버퍼의 크기 및 오디오 신호의 샘플링 율에 의해 결정된다. 예를 들면, 0.1초의 버퍼 및 44100Hz의 샘플링율에 대하여, N은 4410이 될 것이다. N에 대한 일반적인 표현식은 다음식과 같다.

Fs는 헤르쯔(Hz)로 표현된 샘플링 율이고, BL은 초 단위의 버퍼 사이즈이다.

DC 바이어스가 없는, 보통 오디오 신호(음악과 같은)에 대하여, 수학식 2에서의 평균

는 0이 되며, 따라서 수학식은 이 RMS값으로 여겨지는 N개의 샘플에 대한 진폭 x_i의 모든 제곱값을 합산하도록 감소되어, 수학식 1에 의해 주어진 바와 같이, 이 합의 제곱근을 취하고 이를 샘플 N으로 나누게 된다.

예시 목적을 위하여, RMS값은 도 2의 시간에 대하여 도식화되어 도시된다. 그래프에서 각 포인트는 다수의 샘플의 진폭을 사용하여 계산된 하나의 RMS값을 나타낸다. 이들 포인터는 클러스터 또는 그룹(G₁,G₂,G₃,G₄)을 형성하는 것으로 명백히 도시될 수 있다. 그룹(G₁,G₂,G₃,G₄)은 그룹(G₁ 및 G₂)과 같이, 명백히 서로 분리될 수 있으며, 또는 하나의 그룹은 G₃ 및 G₄와 같은 또 다른 하나로 이끌리게 될 수 있다.

RMS값은 다음의 식별유닛(3)으로 향하여 전달되며, 이 유닛은 이전 RMS값에 대한 각 RMS값의 관계를 검사하므로, 현재 RMS값이 이전 RMS값에 충분히 근접한지를 결정할 수 있게 된다. 이를 위하여, 식별유닛(3)은 현재 RMS값과 이전에 계산된 평균값을 비교한다. 만일 C_m이 현재 그룹(G₁,G₂,G₃,G₄)의 현재 평균을 나타내고 C_r이 허용한계 또는 허가된 편차가 된다면, 다음 수학식을 체킹하기 위한 결정이 이루어지게 된다.

만일 현재 RMS값이 이러한 부등식과 같은 수학식을 만족한다면, 이 값은 그룹(G₁,G₂,G₃,G₄)에 포함되고, 그룹(G₁,G₂,G₃,G₄)의 평균(C_m)은 따라서 갱신된다.

대안적으로, C_m은 또한 그룹(G₁,G₂,G₃,G₄)의 기존 양식에 기반하여 다음 기대 RMS값을 표현할 수 있다.

선형 보간 또는 평균계산의 적절한 기술을 적용함으로써, 식별 유닛(3)은 현재 그룹(G₁,G₂,G₃,G₄)에 대하여 "크기 라인(L₁,L₂,L₃,L₄)"를 계산한다. 도 2의 그래프에서 점의 클러스터를 통하여 그려진 직선과 같이 도시된 그룹(G₁,G₂,G₃,G₄)에 대한 크기 라인(L₁,L₂,L₃,L₄)은 시간에 따라 오디오 신호(1)의 크기에 의해 취해진 양식의 선형 표시가 된다. 일 크기 라인의 기울기는 오디오 신호(1)가 더 조용하거나 또는 더 큰소리인지를 또는 오디오 신호(1)의 크기 레벨이 유지되는 지를 표시한다. 크기 라인(y)에 대한 공식은 다음식과 같이 표현될 수 있다.

여기서, b는 그룹의 시작시의 이득(dB)이고, a는 크기 라인의 기울기, 즉 시간당 이득에서의 변화(dB/s)이고, t는 시간 측정(s)가 된다.

일단 이러한 신호(1)에 대한 크기 라인(L₁,L₂,L₃,L₄)이 식별된다면, 변경 유닛(4)은 오디오 신호(1)의 샘플을 변경하기 위하여 이러한 정보를 적요할 수 있다. 만일 시스템이 실시간 응용으로 동작되고 있다면, 변경 유닛은 오디오 신호의 샘플에 대한 조정을 실행한다. 미리 스캐닝 모드에서, 변경 유닛(4)은 모든 크기 라인이 계산된 이후 임의의 조정을 먼저 실행할 수 있다. 변경 유닛(4)은 각 샘플에 적용될 이득값을 계산하므로, 전체 출력 오디오 신호(5)에 대하여 미리 한정된 크기 레벨을 유지할 수 있게 된다. 시간에 따라 적용될 이득은 다음식에 의해 계산된다.

여기서, g는 보간된 이득값(dB)이고, LT는 임계값(일반적으로 10dB)이다.

도 3의 (a)는 신호의 총 크기에서 시간에 대한 변동을 특징으로 하는 입력 오디오 신호(1)를 도시한다. 점선은 소정의 총 크기 레벨(L)을 표시한다. 오디오 신호의 부분들은 이러한 레벨(L)로부터 상당히 편차되어 있음은 명백하다.

오디오 신호(1)를 처리하고 시스템(6)에서 출력 오디오 신호(5)의 샘플에 대하여 이득을 조정한 후, 최종적인 오디오 신호(5)가 도 3의 (b)에 도시된 바와 같이 나타난다. 여기서, 적용된 이득 조정은 오디오 파형에 중첩된 서로 다른 기울기의 직선(A₁,A₂,A₃,A₄)으로 도시되고, 이 신호의 진폭에 대한 대응하는 조정이 도시될 수 있다. 조정된 오디오 출력 신호(5)는 자신의 특정 모양을 유지하지만, 이 신호(5)의 크기에서의 변동은 입력 오디오 신호(1)에서와 같이 선언되지 않는다.

실제 응용이 도 4의 블럭도에 도시되며, 여기서 자동적인 크기 조정을 위한 시스템(6)은 디바이스(7)로 병합된다. 텔레비전 신호(15)는 수신기(9)를 통하여 수신되고 분배기(14)로 향하여 전달되며, 여기서 오디오 신호(1)가 추출된다. 이 오디오 신호(1)는 자동적인 크기 조정 디바이스(7)로 전달되며, 이 디바이스는 시간에 따라 조정된 크기로 출력 오디오 신호(5)를 생성하기 위해 앞서 기술된 단계를 실행한다. 출력 오디오 신호의 원하는 크기 레벨은 도면에 도시되어 있지는 않으나, 예를 들면 원격 제어와 같은 일반적인 사용자 인터페이스를 사용하여 사용자에 의해 특정될 수 있다. 그러므로, 조정된 오디오 출력 신호(5)는 스피커(10) 상으로 사용자에게 재생되게 된다. 스피커(10)는 텔레비전 세트(8)로 병합될 수도 있거나, 또는 텔레비전(8)으로부터 분리될 수 있다. 분배기(14)에 의해 추출된 임의의 비디오 신호는, 지연된 비디오 신호(16)로서 텔레비전(8)으로 전달되기에 앞서, 자동적인 크기 조정 디바이스(7)에서 겪게 되는 임의의 지연을 보상하기 위해 지연 유닛 (17)에서 지연될 수 있다. 이러한 응용은 특히 프로그램 또는 상업 방송 사이에서 스위칭되는 경우, 일반적으로 상승하는 크기 레벨을 등화하기 위해 특히 유용할 수 있다. 또한, 등화된 크기 레벨은 그렇지 않으면 큰소리의 사운드 효과 및 음악 사운드트랙을 특징으로 하는 영화에서 비교적 더 작은 대화를 따라갈 수 없는 사용자에 의해 이해될 수 있을 것이다. 이러한 상황에서, 자동적인 크기 조정 디바이스(7)는, 원한다면 사운드 효과 또는 음악의 크기 레벨을 감소시키면서, 대화의 더 조용한 부분을 위한 크기를 자동적으로 증가시키게 된다. 사용자는 볼륨 그 자체를 항시적으로 조정할 필요없이 영화를 단순하게 즐길 수 있다.

자동적인 크기 조정에 관여된 처리과정 단계를 더 상세하게 예시하는 흐름도가 도 5 내지 도 7에 예시된다. 또한, 흐름도는 특정 치리 과정이 수행되는 유닛에서 명백해진다.

도 5는 입력 오디오 신호(1)의 실시간 처리과정에 관련된 단계를 도시한다. 입력 신호(1)는 입력 버퍼(20)(약 0.1s 크기 또는 더 작은)에서 먼저 버퍼링되며, 따라서 RMS값의 계산은 선택하는 샘플의 개수를 요구한다. 다음 계산 유닛(2)은 샘플에 대하여 RMS값을 계산하고, 이를 식별 유닛(3)에 위치하는 블럭(21)에서 실제 그룹 평균과 비교한다. 이 그룹 평균은 상수(예를 들면 상수 0.5)에 의해 초기화되지만, 임의의 실제 양의 값이 될 수 있다. 블럭(21)은 실제 그룹 평균과 새로운 RMS을 비교한다. 만일 이 새로운 RMS값이 그룹 평균에 근접하기에 부족하다면, 이는 새로운 그룹이 형성될 수 있으며, 즉 오디오 신호(1)의 크기가 현저하게 큰소리 또는 더 조용하게 된다는 것을 의미한다. 결정 블럭(22)은 이전 RMS값이 저장되었 는지 또는 아닌지를 알기 위해 체킹한다. 만일 아니라면, 새로운 RMS값이 저장되고, 그렇지 않으면 새로운 그룹이 한 그룹 평균을 계산하기 위해 RMS의 저장된 값과 새로운 값을 사용하여 생성될 것이며, 이는 순차로 블럭(28)에 저장된다. 이러한 그룹 평균은 이제 새로운 그룹의 평균이 된다. 다음 RMS값이 계산되고, 블럭(21)에서 이러한 그룹 평균과 비교된다. 만일 이 RMS값이 이 평균에 근접하고 이전 RMS값이 저장되어 있지 않다면, 그룹 평균은 블럭(27)에서 갱신된다. 블럭(26)에서 체킹된, 만일 RMS의 이전 값이 저장되었다면, 이는 단일 저장된 값이 그룹 평균으로부터 상당히 편차되어 있음을 의미하지만, 그럼에도 불구하고 새로운 그룹은 확립되지 않고 있게 된다. 이 저장된 값은 블럭(27)에서 그룹 평균을 계산하는 경우, 새로운 RMS와 함께 이제 다시 고려된다. 갱신된 그룹 평균은 블럭(28)에 저장된다.

연속적으로 갱신된 그룹 평균값은 각 그룹에 대하여 크기 라인(L₁,L₂,L₃,L₄)의 기울기를 제공한다. 변경 유닛(4)은 원하는 총 크기 레벨(L)로부터 크기에서의 임의의 편차를 보상하기 위해 요구되는 오디오 이득 조정을 블럭(29)에서 계산하기 위해 이러한 정보를 사용한다.

이득 조정은 예를 들면 0.1의 정규화된 차단(cut-off) 주파수로 1차 로우 패쓰 필터인 로우 패쓰 필터(12)로 완만해지게 된다. 일반적으로, 트레이드 오프가 개선된 청취품질을 생성하는 로우 차단 주파수와 요청된 지연(13)의 길이 사이에서 이루어지며, 필터(12)의 차단 주파수가 더 완만해질수록, 시간에 따라 이득 변화는 더 완만해지게 되지만, 더 긴 지연(13)이 결과적으로 요구된다. 실시간 응용에서, 지연이 가능한 한 작게 유지되어야 하는 경우, 로우 패쓰 필터(12)의 차단 주파수가 결과적으로 선택된다. 그러나, 시스템(6)이 필요한 필터링을 실행하기 시작하는 한 입력 신호(1)를 버퍼링할 수 있는 미리 스캐닝 응용에서, 차단 주파수의 만족값은 출력 오디오 신호에서의 원만한 이득 변화를 생성하도록 선택될 수 있으며, 이에 의해 최적의 청취 경험을 보장하게 된다.

오디오 이득 조정을 계산하는 단계가 약간의 시간을 요구하므로, 입력 오디오 신호는 블럭(13)에서 일련의 버퍼에 의해 그동안에 버퍼링된다. 변경 유닛이 그 오디오 이득 조정으로 준비되다면, 버퍼 블럭(13)의 출력은 조정된 크기 레벨로 오디오 출력 신호(5)를 제공하기 위해 곱셈 블럭(30)에서 완만화된 이득과 곱해지게 된다. 따라서, 이 출력 오디오 신호는 스피커(10)에 직접 향하게 될 수 있다.

도 6에 도시된 바와 같이, 미리 스캐닝 응용에서, 입력 오디오 신호(1)는 더 긴 시간 동안 버퍼링되므로, 오디오 지연은 더 이상 문제가 되지 않게 된다. 여기서, 버퍼(20)는 약 2초 또는 훨씬 더 긴 크기가 될 수 있다. RMS값은 계산 유닛(2)에서 계산되고 식별유닛(3)의 제 1 결정 블럭(21)으로 향하여 전달되면, 이러한 동작은 도 5에 기술되어 있다. 단지 블럭(25)이, 새로운 그룹이 식별되는 경우, 오래된 그룹과 새로운 그룹 사이에 전이 포인트를 위치하는 과정이 개시된다는 점에서 차이가 있다. 이러한 과정은 아래에서 더 상세히 별도로 기술된다.

이 흐름도에서 변경 유닛(4)은 이 유닛이 파일 또는 데이터베이스(11)에 오디오 이득 조정을 저장하기 전에 오디오 이득 조정을 단지 계산한다는 점에서 이전에 기술된 변경 유닛과 다르다. 완만해진 오디오 이득 조정(31)과 오디오 입력 파 일(1)의 샘플의 실제곱은 나중에 발생할 수 있다. 물론, 이 흐름도에 도시되어 있지 않은 시나리오에서, 적절하게 지연된 입력 오디오 신호(1)의 곱은 파일에 저장될 수 있는 전체 조정된 오디오 출력 신호를 제공하기 위해 오디오 이득 조정을 완만하게 한 후 발생할 수 있음은 실행가능하다.

더 많은 시간이 미리 스캐닝 모드에서 오디오 파일(1)을 처리하기 이용가능하므로, 이는 그룹쌍 사이의 전이를 더 정확하게 위치시킴으로써 시스템(6)의 성능을 개선하기 위해 이용될 수 있다. 이는, 오디오 신호의 크기가 큰소리와 조용한 소리 사이에 돌연히 변화되는 경우 특히 중요한데, 왜냐하면, 큰소리 부분의 끝 또는 시작을 차단하거나, 또는 불필요하게 조용한 부분의 시작 또는 끝을 증폭하는 것을 바람직스럽지 못하기 때문이다. 도 7의 흐름도는 이러한 개선의 프로세스를 도시한다. 시간(t₁)과 시간(t₂) 사이의 오디오 입력 신호(1)의 추출은 예를 들면 0.1초인 비교적 작은 버퍼를 사용하여 버퍼링된다. 결국 오래된 그룹의 마지막 RMS가 초래되는 버퍼의 시작시간은 t₁에 의해 주어지고, t₂는 결국, 새로운 그룹의 첫 번째 RMS가 초래되는 버퍼의 마지막 시간이 된다. 본 발명은 더 작은 버퍼(20)를 사용함으로써 한정되며, 따라서 더 많은 수의 샘플이 새로운 RMS값을 계산하기 위해 사용된다. 식별자 유닛은 블럭(25')을 제외하면, 이전에 기술된 동일한 방식으로 동작한다.

RMS값은 시간(t₁)에서 시작하여 이전 그룹의 그룹 평균을 따라 계속하여, 계속하여 블럭(21,24,26,27 및 28)을 사용하여 그룹 평균을 갱신하여 이전과 같이 계 산된다. 결과적으로, 이전 그룹의 그룹 평균으로부터 편차된 RMS값은 블럭(21)에 의해 식별되고 블럭(23)에서 저장될 것이다. 또한, 이전 그룹의 그룹 평균으로 편차된 RMS의 후속값이 블럭(21 및 22)에 의해 식별되는 경우, 블럭(25')은 전이 시간이 RMS의 이전 저장값을 계산하기 위해 사용된 샘플 블럭의 시작 시간에 의해 주어지는 것을 보고할 수 있게 된다. 그러므로, 정확히 위치를 나타내는 정보는 정확한 오디오 이득 조정을 제공하기 위하여 변경 유닛(4)에서 사용될 수 있다.

비록 본 발명이 여기서 바람직한 실시예 및 변형예의 형태로 공개되었을 지라도, 수많은 추가적인 변경 및 변형이 본 발명의 범위를 벗어나지 않으면서도 이로부터 만들어질 수 있음을 이해할 것이다. 예를 들면, 입력 오디오 신호의 샘플은 직렬로 처리될 수 있다. 즉, 크기의 측정은 실시간 상황에서 방법을 적용하는 경우에서와 같이, 연속적인 샘플에 대하여 계산된다.

이득 조정값은 함수가 크기 라인(L₁,L₂,L₃,L₄)을 분석함으로써 편차되는 이득 조정 함수를 사용함으로써 산출될 수 있음을 언급할 수 있다.

또한, 명료성을 위하여, 본 명세서 전체에 걸쳐, 단수 구성요소의 사용은 복수 구성요소를 배제하지 않으며, "포함하다는"라는 용어는 다른 단계 또는 구성요소를 배제하지 않음을 이해해야 할 것이다. "유닛"은 단일 개체로 명백하게 기술되지 않는 한, 다수의 블럭 또는 디바이스를 포함할 수 있다.

따라서, 본 발명은 오디오 신호의 크기(loudness)를 자동적으로 조정하는 방 법, 시스템 및 자동적인 크기 제어 디바이스에 이용가능하다.

Claims (15)

1. 오디오 신호의 크기를 자동적으로 조정하는 방법으로서,

   입력 오디오 신호(1)의 샘플에 대한 크기 측정값을 계산하는 단계,

   상기 크기 측정값 중 시간에 따라 다수의 별개 크기 라인(L₁,L₂,L₃,L₄)을 식별하는 단계 및

   조정된 크기로 출력 오디오 신호(5)를 제공하기 위해 상기 식별된 크기 라인(L₁,L₂,L₃,L₄)에 따라 오디오 신호(1)의 샘플을 변경하는 단계

   를 포함하는, 오디오 신호의 크기를 자동적으로 조정하는 방법.
2. 제 1 항에 있어서,

   개별 크기 라인(L₁,L₂,L₃,L₄)은 연속적인 크기 측량값의 그룹(G₁,G₂,G₃,G₄) 내에 식별되며, 각 값은 이 그룹을 위한 허용치의 미리 결정된 한계 내에 놓이는, 오디오 신호의 크기를 자동적으로 조정하는 방법.
3. 제 2 항에 있어서,

   상기 입력 오디오 신호(1)의 샘플은 크기의 미리 결정된 레벨로부터, 연속적인 크기 측정값의 그룹(G₁,G₂,G₃,G₄)의 상기 크기 라인(L₁,L₂,L₃,L₄)의 편차를 보상하기 위해 변경되는, 오디오 신호의 크기를 자동적으로 조정하는 방법.
4. 제 2 항 또는 제 3 항에 있어서,

   별개 크기 라인(L₁,L₂,L₃,L₄)은 그룹(G₁,G₂,G₃,G₄)의 크기 측정값 상의 선형 또는 고순차 보간 또는 평균 계산의 기술을 적용함으로써 연속적인 크기 측정의 그룹(G₁,G₂,G₃,G₄) 내에서 식별되는, 오디오 신호의 크기를 자동적으로 조정하는 방법.
5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,

   각 샘플에 대한 이득값은 크기 측정값의 대응하는 그룹(G₁,G₂,G₃,G₄)의 크기 라인(L₁,L₂,L₃,L₄)을 사용하여 계산되는, 오디오 신호의 크기를 자동적으로 조정하는 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

   입력 오디오 신호(1)의 샘플을 위한 크기 측정은 입력 샘플상의 평균 제곱근 계산을 실행함으로써 계산되는, 오디오 신호의 크기를 자동적으로 조정하는 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

   조정된 크기를 가지는 출력 오디오 신호(5)는 오디오 파일(10)에 저장되는, 오디오 신호의 크기를 자동적으로 조정하는 방법.
8. 추가 자동적인 크기 조정을 위한 오디오 신호(1)를 준비하는 방법으로서, 크기 라인(L₁,L₂,L₃,L₄) 및 선택적으로 이득 조정값은 제 1 항 내지 제 6 항 중 어느 한 항의 방법을 사용하여 입력 오디오 신호(1)를 위하여 식별되며, 식별된 크기 라인(L₁,L₂,L₃,L₄) 및/또는 대응하는 이득 조정값을 설명하는 정보가 나중에 응용을 위한 적절한 형태로 저장되는, 추가 자동적인 크기 조정을 위한 오디오 신호를 준비하는 방법.
9. 제 8 항에 있어서,

   식별된 크기 라인(L₁,L₂,L₃,L₄) 및/또는 대응하는 이득 조정값을 설명하는 정보는 입력 오디오 신호(1)와 함께 오디오 파일(10)에 저장되는, 추가 자동적인 크기 조정을 위한 오디오 신호를 준비하는 방법.
10. 오디오 신호의 크기의 자동적인 조정을 위한 시스템(6)으로서,

    입력 오디오 신호(1)의 샘플에 대한 크기 측정값을 계산하는 계산 유닛(2);

    상기 크기 측정값 중에서 다수의 개별 크기 라인(L₁,L₂,L₃,L₄)을 식별하는 식별 유닛(3); 및

    조정된 크기로 출력 오디오 신호(5)를 제공하기 위해 상기 식별된 크기 라인(L₁,L₂,L₃,L₄)에 따라 입력 오디오 신호(1)의 샘플을 변경하는 변경 유닛(4)

    을 포함하는 오디오 신호의 크기의 자동적인 조정을 위한 시스템.
11. 오디오 신호(1)의 크기를 조정하는 오디오 처리 디바이스(7)로서, 제 10 항에 따른 자동적인 크기 조정을 위한 시스템을 포함하는, 오디오 처리 디바이스.
12. 오디오 처리 디바이스(7)로서,

    이전에 식별된 크기 라인(L₁,L₂,L₃,L₄) 및/또는 오디오 신호를 위한 이득 조정값을 검색하는 검색 유닛; 및 출력 오디오 신호(5)에 조정된 크기를 제공하기 위해 상기 식별된 크기 라인(L₁,L₂,L₃,L₄)에 따라 입력 오디오 신호(1)의 샘플을 변경하는 변경 유닛을 포함하는, 오디오 처리 디바이스.
13. 컴퓨터 프로그램 제품으로서,

    상기 제품이 오디오 처리 디바이스(7) 상에 실행되는 경우, 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법의 단계를 실행하는 소프트웨어 코드 부분을 포함하는 프로그램 가능한 오디오 처리 디바이스(7)의 메모리로 직접 로딩 가능한, 컴퓨터 프로그램 제품.
14. 오디오 파일(10)을 저장하는 메모리 매체로서,

    제 8 항에 따른 방법을 사용하여 발생한, 식별된 크기 라인(L₁,L₂,L₃,L₄) 및/ 또는 이득값을 설명하는 정보와 오디오 입력 신호(1)를 포함하는, 오디오 파일을 저장하는 메모리 매체.
15. 오디오 파일(10)을 저장하는 메모리 매체로서,

    제 7 항에 따른 방법을 사용하여 발생하는 조정된 오디오 신호(5)를 포함하는, 오디오 파일을 저장하는 메모리 매체.

Images