KR102423753B1 - 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 - Google Patents

스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR102423753B1
KR102423753B1 KR1020150117342A KR20150117342A KR102423753B1 KR 102423753 B1 KR102423753 B1 KR 102423753B1 KR 1020150117342 A KR1020150117342 A KR 1020150117342A KR 20150117342 A KR20150117342 A KR 20150117342A KR 102423753 B1 KR102423753 B1 KR 102423753B1
Authority
KR
South Korea
Prior art keywords
audio signal
speaker
frequency band
gain value
determining
Prior art date
Application number
KR1020150117342A
Other languages
English (en)
Other versions
KR20170022415A (ko
Inventor
임동현
이윤재
박해광
유승관
오은미
조재연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150117342A priority Critical patent/KR102423753B1/ko
Priority to US15/240,416 priority patent/US9860665B2/en
Priority to CN201610702156.3A priority patent/CN106470379B/zh
Publication of KR20170022415A publication Critical patent/KR20170022415A/ko
Priority to US15/851,832 priority patent/US10075805B2/en
Priority to US16/126,610 priority patent/US10524077B2/en
Application granted granted Critical
Publication of KR102423753B1 publication Critical patent/KR102423753B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Abstract

오디오 신호가 출력될 스피커의 위치 정보 및 성능 정보를 획득하고, 위치 정보에 기초하여, 주파수 대역을 선택하고, 성능 정보에 기초하여, 오디오 신호에 대하여 선택된 주파수 대역 중 강화하고자 하는 구간을 결정하고, 결정된 구간에 게인 값을 적용하는, 오디오 신호를 처리하는 방법이 개시된다.

Description

스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치{Method and apparatus for processing audio signal based on speaker location information}
본 발명은 오디오 신호가 출력되는 스피커의 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치에 대한 것이다.
5.1 채널, 2.1 채널, 스테레오 등 멀티 채널을 통해 오디오 신호가 출력될 수 있는 오디오 시스템이 제공되고 있다. 오디오 신호는 오디오 신호가 출력되는 각 스피커의 위치에 기초하여 처리되고, 출력될 수 있다.
그러나, 스피커가 설치되는 주변 환경이나 스피커의 이동성에 따라 스피커의 위치는 오디오 신호 처리 시 기준이 되는 위치와 다르거나 고정적이지 않을 수 있다. 따라서, 스피커의 위치가 변동되는 경우, 오디오 제공 시스템은 현재의 스피커 위치를 고려하지 않고, 오디오 신호를 처리함에 따라, 청취자에게 고음질의 오디오 신호를 제공하지 못하는 문제점이 존재한다.
본 발명은 스피커의 정보에 따라 적응적으로 오디오 신호를 처리하기 위한 것으로, 오디오 신호가 출력되는 스피커의 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치를 제공한다.
일 실시 예에 의한 오디오 신호를 처리하는 방법에 있어서, 상기 오디오 신호가 출력될 스피커의 위치 정보 및 성능 정보를 획득하는 단계; 상기 위치 정보에 기초하여, 주파수 대역을 선택하는 단계; 상기 성능 정보에 기초하여, 상기 오디오 신호에 대하여 상기 선택된 주파수 대역 중 강화하고자 하는 구간을 결정하는 단계; 및 상기 결정된 구간에 게인 값을 적용하는 단계를 포함한다.
상기 주파수 대역을 선택하는 단계는 청취자의 위치에 기초하여, 중심축(center axis)을 결정하는 단계; 및 상기 스피커 및 상기 중심축 간 직선 거리에 기초하여, 상기 주파수 대역을 선택하는 단계를 포함한다.
상기 게인 값을 적용하는 단계는 청취자의 위치에 기초하여, 중심축을 결정하는 단계; 상기 스피커 및 상기 중심축 간 거리에 기초하여, 상기 게인 값을 결정하는 단계; 및 상기 결정된 게인값을 상기 결정된 구간에 적용하는 단계를 포함한다.
상기 위치 정보에 기초하여 파라미터를 결정하는 단계; 상기 결정된 파라미터를 이용하여, 상기 오디오 신호를 처리하는 단계를 더 포함하고, 상기 파라미터는 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 음향 레벨을 보정하기 위한 게인, 및 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 위상 차이를 보정하기 위한 딜레이 시간 중 적어도 하나를 포함한다.
상기 스피커가 복수 개 존재하는 경우, 상기 파라미터는 상기 오디오 신호의 음상의 방향을 보정하기 위한 패닝 게인을 더 포함한다.
시간 도메인에서 프레임 간 오디오 신호의 에너지 변화량을 구하는 단계; 상기 에너지 변화량에 따라 프레임의 게인 값을 결정하는 단계; 및 상기 결정된 게인값을 상기 프레임의 오디오 신호에 적용하는 단계를 더 포함한다.
상기 게인 값이 적용된 구간에 기초하여, 마스킹이 발생된 구간을 검출하는 단계; 및 상기 검출된 구간의 오디오 신호가 마스킹 임계치 이상의 값을 가지도록 상기 검출된 구간의 오디오 신호에 게인 값을 적용하는 단계를 더 포함한다.
상기 게인 값을 적용하는 단계는 상기 오디오 신호로부터 논모노 신호를 추출하는 단계; 상기 논 모노 신호의 최대값에 기초하여, 게인 값을 결정하는 단계; 및 상기 결정된 게인 값을 상기 오디오 신호에 적용하는 단계를 포함한다.
일 실시 예에 있어서, 오디오 신호 처리 장치에 있어서, 상기 오디오 신호가 출력될 스피커의 위치 정보 및 성능 정보를 획득하는 수신부; 상기 위치 정보에 기초하여, 주파수 대역을 선택하고, 상기 성능 정보에 기초하여, 상기 오디오 신호에 대하여 상기 선택된 주파수 대역 중 강화하고자 하는 구간을 결정하고, 상기 결정된 구간에 게인 값을 적용하는 제어부; 상기 제어부에 의해 처리된 오디오 신호를 출력하는 출력부를 포함한다.
일 실시 예에 의하면, 임의의 위치에 존재하는 스피커의 위치 정보에 따라 오디오 신호를 처리함으로써, 고음질의 오디오 신호가 청취자에게 제공될 수 있다.
도 1은 일 실시 예에 의한 오디오 시스템의 일 예를 나타낸 예시 도면이다.
도 2는 일 실시 예에 의한 오디오 신호를 처리하는 프로세스의 일 예를 나타낸 예시도면이다.
도 3은 일 실시 예에 의한 스피커의 위치 정보에 기초하여 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 4는 일 실시 예에 의한 스피커의 위치 정보의 일 예를 나타낸 예시 도면이다.
도 5는 일 실시 예에 의한 주파수 대역에 따라 오디오 신호를 증폭하는 일 예를 나타낸 예시도면이다.
도 6은 일 실시 예에 의한 복수 개의 스피커의 위치 정보의 일 예를 나타낸 예시 도면이다.
도 7은 일 실시 예에 의한 에너지 변화량에 따라 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 8은 일 실시 예에 의한 에너지 변화량에 따라 오디오 신호가 처리된 일 예를 나타낸 예시도면이다.
도 9는 일 실시 예에 의한 논 모노 신호의 크기에 기초하여 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 10은 일 실시 예에 의한 논 모노 신호의 크기에 기초하여 오디오 신호를 처리하는 방법을 나타낸 블록도이다.
도 11은 일 실시 예에 의한 마스킹된 중고역 주파수 대역의 오디오 신호를 증폭하는 일 예를 나타낸 예시 도면이다.
도 12는 일 실시 예에 의한 오디오 신호 처리 장치를 나타낸 블록도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
또한, 본 명세서에서, 오디오 오브젝트는 오디오 신호에 포함된 음향 성분들 각각을 지칭한다. 하나의 오디오 신호에는 다양한 오디오 오브젝트가 포함될 수 있다. 예를 들어, 오케스트라의 공연 실황을 녹음하여 생성된 오디오 신호에는 기타, 바이올린, 오보에 등의 다수개의 악기로부터 발생한 다수개의 오디오 오브젝트가 포함된다.
또한, 본 명세서에서, 음상은 청취자가 음원이 발생하는 곳으로 느껴지는 위치를 의미한다. 실제 소리는 스피커에서 출력되지만 각각의 음원이 가상으로 맺히는 지점을 음상이라 한다. 음향이 출력되는 스피커에 따라 음상의 크기 및 위치가 달라질 수 있다. 각 음원의 소리의 위치가 뚜렷하고, 청취자에게 각 음원의 소리가 따로 잘 들릴 때, 음상 정위가 뛰어나다고 판단될 수 있다. 오디오 오브젝트 별로 청취자에 의해 오디오 오브젝트의 음원이 발생하는 곳으로 느껴질 수 있는 음상이 존재할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 오디오 시스템의 일 예를 나타낸 예시 도면이다.
도 1을 참조하면, 오디오 신호를 출력하는 스피커(111)가 청취자 주변에 위치할 수 있다. 스피커(111)는 오디오 신호 처리 장치에 의해 처리된 오디오 신호를 출력할 수 있다. 스피커(111)가 무선 스피커와 같이 이동성이 좋은 장치인 경우, 스피커(111)의 위치는 실시간으로 변경될 수 있다. 일 실시 예에 의한, 오디오 신호 처리 장치는 스피커(111)의 위치 변화를 감지하고, 변경된 위치 정보에 기초하여 오디오 신호를 처리할 수 있다. 오디오 신호 처리 장치는 스피커(111)의 위치 변화에 따라 적응적으로(adaptively) 오디오 신호를 처리할 수 있다.
도 1의 110을 참조하면, 스피커(111)는 멀티미디어 기기(112)와 연결되어 서브 우퍼와 같이 동작할 수 있다. 서브 우퍼는 멀티미디어 기기(112) 또는 다른 스피커에서 출력되기 어려운 저주파수 대역의 오디오 신호를 출력할 수 있다. 서브 우퍼에 의해 저주파수 대역의 오디오 신호가 보다 강화되어 출력됨으로써, 오디오 신호의 입체감, 볼륨감, 무게감, 웅장감 등이 보다 효과적으로 표현될 수 있다. 스피커(111)가 서브 우퍼와 같이 동작할 때, 스피커(111)에서 출력되는 저주파수 대역의 오디오 신호의 방향감이 제대로 인지되지 않을수록, 상술된 오디오 신호의 입체감, 볼륨감, 무게감, 웅장감 등이 보다 효과적으로 인지될 수 있다. 출력되는 오디오 신호의 주파수가 낮아짐에 따라 방향감은 제대로 인지되지 않으나, 스피커(111)에서 강화되어 출력되는 오디오 신호의 주파수 대역대가 좁아지게 되어, 저주파수 대역의 오디오 신호가 강화되어 출력됨에 따른 효과가 제대로 나타나기 어려울 수 있다.
예를 들면, 일반적인 크기를 갖는 가정의 룸 또는 거실에서, 80Hz 이하의 오디오 신호는 청취자에 의해 스피커(111)의 위치에 따른 출력 방향이 인지되기 어렵다. 그러나, 스피커(111)에서 80Hz 이하의 오디오 신호가 강화되어 출력되는 경우, 저주파수 대역의 오디오 신호가 강화되어 출력됨에 따른 음향 효과가 제대로 나타나지 않을 수 있다.
120을 참조하면, 스피커(111)에서 110보다 높은 주파수 대역의 오디오 신호가 출력될 수 있다. 120의 스피커(111)에서 출력되는 오디오 신호는 110의 스피커(111)에서 출력되는 오디오 신호보다 청취자에 의해 방향감이 쉽게 인지될 수 있다. 스피커(111)가 청취 위치의 정면에 가깝게 위치할수록, 오디오 신호는 청취자의 정면을 향해 출력되므로, 청취자가 느끼는 방향감이 덜할 수 있다. 또한, 스피커(111)가 청취 위치를 기준으로 좌측 또는 우측에 편향되어 위치하는 경우, 스피커(111)에서 출력되는 오디오 신호의 방향감은 스피커(111) 위치에 따라서 강하게 인지될 수 있다.
따라서, 일 실시 예에 의한 오디오 신호 처리 장치는 스피커(111)의 위치 정보에 따라서, 오디오 신호를 증폭시키고자 하는 주파수 대역을 선택할 수 있다. 예를 들면, 스피커(111) 및 청취 위치를 기준으로 한 중심축 간 직선 거리에 기초하여, 오디오 신호의 주파수 대역을 선택할 수 있다. 그리고, 장치는 오디오 신호 중 선택된 주파수 대역에 대응하는 구간을 결정하여, 결정된 구간에 게인 값을 적용할 수 있다. 장치는 스피커(111)의 위치 정보에 따라 결정된 오디오 신호의 구간에 게인값을 적용하여 출력함으로써, 저주파수 대역의 오디오 신호가 강화되어 출력됨에 따른 음향 효과가 최적으로 나타날 수 있다.
청취자의 위치는 청취자가 가진 휴대 장치, 예를 들면, 스마트폰의 위치를 기준으로 결정될 수 있다. 이에 한하지 않고 청취자의 위치는 다양한 형태의 단말 장치, 예를 들면, 웨어러블 디바이스, PDA 단말 등을 기준으로 결정될 수 있다.
도 2는 일 실시 예에 의한 오디오 신호를 처리하는 프로세스의 일 예를 나타낸 예시도면이다. 도 2의 프로세스는 상술된 오디오 신호 처리 장치에 의해 구현될 수 있다.
도 2를 참조하면, 오디오 신호 처리 프로세스는 시스템 및 오디오 신호를 분석하는 프로세스(210), 강화 대상 주파수 대역 및 게인을 결정하는 프로세스(220) 및 게인을 적용하는 프로세스(230)를 포함할 수 있다.
시스템 및 오디오 신호를 분석하는 프로세스(210)에서, 장치는 오디오 신호가 출력되는 시스템과 오디오 신호의 구성 정보를 분석할 수 있다. 예를 들면, 장치는 오디오 신호가 출력되는 스피커들의 위치 정보 및 성능 정보를 획득할 수 있다. 스피커들의 성능 정보는 각 스피커들이 출력할 수 있는 오디오 신호의 주파수 대역 및 크기에 관한 정보를 포함할 수 있다. 오디오 신호의 구성 정보는 오디오 신호의 주파수 대역 및 크기에 관한 정보를 포함할 수 있다.
장치는 스피커의 성능 정보에 기초하여, 스피커에 의해 출력되지 못하는 오디오 신호의 주파수 대역을 검출하고, 검출된 주파수 대역의 오디오 신호에 기초하여, 다른 주파수 대역의 오디오 신호를 증폭시킬 수 있다. 예를 들면, 장치는 스피커에 의해 출력되지 못하는 소정 주파수 대역의 오디오 신호의 크기만큼 다른 주파수 대역의 오디오 신호를 증폭시켜 출력할 수 있다.
강화 대상 주파수 대역 및 게인을 결정하는 프로세스(220)에서, 장치는 강화하고자 하는 주파수 대역을 결정하고, 결정된 주파수 대역과 대응되는 오디오 신호에 적용될 게인을 결정할 수 있다. 장치는 시스템 및 오디오 신호를 분석하는 프로세스(210)에서 획득된 스피커들의 위치 정보에 기초하여 증폭시키고자 하는 주파수 대역을 선택할 수 있다. 또한, 장치는 스피커의 위치 정보에 기초하여 게인을 결정하거나 미리 설정된 게인 값을 획득할 수 있다.
예를 들면, 장치는 스피커의 위치 정보에 기초하여, 주파수 대역을 선택하고, 선택된 주파수 대역에 적용될 게인값을 획득할 수 있다. 장치는 저주파수 대역의 오디오 신호가 최적으로 출력될 수 있도록 증폭시킬 오디오 신호의 주파수 대역을 선택할 수 있다.
또한, 장치는 스피커의 위치 정보에 기초하여, 주파수 대역 선택 없이, 스피커에서 출력되는 오디오 신호에 적용될 게인값을 획득할 수 있다. 장치는 오디오 신호의 음상이 기준 위치에 정위될 수 있도록 스피커의 위치 정보에 기초하여 게인 값을 획득할 수 있다.
게인을 적용하는 프로세스(230)에서, 장치는 프로세스(120)에서 결정된 게인을 오디오 신호에 적용할 수 있다. 또한, 장치는 프로세스(120)에서 결정된 게인을 오디오 신호에 적용한 후, 게인이 적용된 오디오 신호를 분석하여, 분석 결과에 따라 오디오 신호를 보정할 수 있다.
예를 들면, 장치는 시간 도메인에서 오디오 신호의 에너지 변화량을 획득하고, 오디오 신호의 에너지 변화량에 기초하여 오디오 신호에 적용시킬 게인을 추가로 결정할 수 있다. 장치는 에너지 변화량에 기초하여 결정된 게인을 오디오 신호에 적용시킴으로써 펀치감이 강화되도록 오디오 신호를 보정할 수 있다.
또한, 장치는 오디오 신호로부터 논모노 오디오 신호를 추출하고, 논모노 오디오 신호에 기초하여 오디오 신호에 적용될 게인을 결정할 수 있다. 논모노 신호는 스테레오 신호로부터 모노 신호를 뺀 신호로 음성이 아닌 배경음, 효과음과 같은 소리가 포함될 수 있다. 저주파수 대역의 오디오 신호의 크기가 논모노 신호에 포함된 배경음이나 효과음의 크기보다 작을 경우, 저주파수 대역의 오디오 신호를 논모노 신호의 크기만큼 증폭시켜, 저주파수 대역의 배경음이나 효과음을 강화 할 수 있다. 또한, 원 오디오 신호으로부터 분리된 논모노 신호는 원 오디오 신호보다 크기가 작으므로 논모노 신호의 크기에 기초하여 게인을 결정하면 클리핑 현상이 발생될 가능성이 낮아질 수 있다.
또한, 장치는 저주파 대역의 오디오 신호 및 고주파 대역의 오디오 신호의 크기를 비교하여, 고주파 대역의 오디오 신호의 크기를 보정할 수 있다. 저주파 대역의 신호를 강화함으로 인하여 특정 저주파 대역의 오디오 신호의 크기가 고주파 대역의 오디오 신호에 비해 상대적으로 큰 값을 가지는 경우, 특정 고주파 대역의 오디오 신호가 저주파 대역의 오디오 신호에 의해 마스킹될 수 있다. 마스킹 현상이 발생되는 경우, 해당 고주파 대역의 오디오 신호를 제대로 청취할 수 없는 상태로 오디오 신호가 출력될 수 있다. 따라서, 장치는 고주파 대역의 오디오 신호가 마스킹되지 않도록 소정 게인 값을 고주파 대역의 오디오 신호에 적용시켜 증폭시킬 수 있다.
도 3은 일 실시 예에 의한 스피커의 위치 정보에 기초하여 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 3을 참조하면, 단계 S310에서, 오디오 신호 처리 장치는 오디오 신호가 출력될 스피커에 대한 위치 정보를 획득할 수 있다. 예를 들면, 스피커의 위치 정보는 청취 위치를 원점으로 하는 좌표 정보 또는 각도 및 거리 정보를 포함할 수 있다. 오디오 신호가 출력될 스피커가 복수 개 존재하는 경우, 장치는 복수 개의 스피커에 대한 위치 정보를 각각 획득할 수 있다.
단계 S320에서, 오디오 신호 처리 장치는 단계 S310에서 획득된 위치 정보에 기초하여, 증폭시키고자 하는 주파수 대역을 선택할 수 있다. 상술한 바와 같이 고 주파수 대역의 오디오 신호는 방향감이 쉽게 인지될 수 있으나, 증폭되는 주파수 대역이 좁은 경우, 저주파수 대역의 오디오 신호가 증폭됨에 따른 효과가 제대로 발현되지 않을 수 있다. 따라서, 장치는, 스피커의 위치 정보에 따라서, 저주파수 대역의 오디오 신호가 증폭됨에 따른 효과가 최적으로 발현될 수 있는 주파수 대역을 선택하고, 선택된 주파수 대역의 오디오 신호를 증폭시킬 수 있다.
예를 들면, 장치는 청취 위치를 기준으로 한 중심축과 스피커 간 직선 거리에 기초하여 증폭시키고자 하는 오디오 신호의 주파수 대역을 선택할 수 있다. 중심축과 스피커 간 직선 거리가 멀거나 중심축과 스피커 간 각도가 클수록, 주파수 대역 선택의 기준이 되는 컷오프 주파수 값은 낮아질 수 있다. 장치는 컷오프 주파수를 기준으로 주파수 대역을 선택할 수 있다. 예를 들면, 장치는 증폭 가능한 오디오 신호의 최저 주파수 값과 컷오프 주파수 값 사이의 구간을 증폭시키고자 하는 오디오 신호의 주파수 대역으로 선택할 수 있다.
단계 S330에서, 장치는 오디오 신호 중 단계 S320에서 선택된 주파수 대역 중 강화하고자 하는 구간을 결정하고, 단계 S340에서 결정된 구간에 대하여 게인값을 적용함으로써 선택된 주파수 대역의 오디오 신호를 증폭시킬 수 있다. 단계 S340에서 적용될 수 있는 게인 값은 미리 설정된 값이거나 오디오 신호 및 스피커의 능력 정보에 기초하여 결정될 수 있다.
예를 들면, 스피커의 성능 정보에 따라 주파수 대역별로 오디오 신호의 최대 크기가 정해져 있을 수 있다. 게인 값이 오디오 신호에 적용되었을 때 스피커가 출력할 수 있는 오디오 신호의 최대 크기보다 큰 경우, 클리핑이 발생되어 음질이 저하될 수 있다. 따라서, 장치는 클리핑이 발생되지 않도록 오디오 신호의 주파수 대역에 따라 게인 값을 다르게 결정할 수 있다.
또한, 게인 값은 스피커의 위치 정보에 기초하여 결정될 수 있다. 스피커와 청취 위치를 기준으로 한 중심축 간 직선 거리가 멀수록 게인 값은 더 큰 값으로 결정될 수 있다.
도 4는 일 실시 예에 의한 스피커의 위치 정보의 일 예를 나타낸 예시 도면이다.
도 4를 참조하면, 청취자의 위치(420)를 중심으로 스피커(440)의 위치 정보가 획득될 수 있다. 멀티미디어 기기(410)는 청취 위치(420)를 기준으로 정면에 위치할 수 있으나, 도 4에 도시된 멀티미디어 기기(410)의 위치는 예시에 불과하고 다른 방향에 존재할 수 있다.
오디오 신호 처리 장치는, 스피커의 위치 정보에 기초하여 저주파수 대역의 오디오 신호를 증폭시키기 위한 필터 함수를 획득할 수 있다. 장치는, 필터 함수를 이용하여 오디오 신호의 음질을 개선시킬 수 있다. 필터 함수에 따라 처리된 오디오 신호는 스피커(440)를 통해 최적의 상태로 출력될 수 있다. 오디오 신호는 오디오 오브젝트 별로 서로 다른 필터 함수에 의해 처리되어 출력될 수 있다.
오디오 신호 처리 장치는, 필터 함수의 파라미터를 결정하기 위하여, 스피커(440)의 위치 정보를 획득할 수 있다. 스피커(440)의 위치 정보는 실시간으로 획득되거나, 장치에 의해 스피커의 위치 이동이 감지됨에 따라 변경된 위치 정보가 획득될 수 있다. 장치는 스피커의 위치가 변경될 때 마다, 필터 함수의 파라미터를 결정하고, 결정된 파라미터를 포함하는 필터 함수를 이용하여 오디오 신호를 처리하여 출력할 수 있다.
스피커(440)의 위치 정보는 청취자(420) 위치를 원점으로 하는 좌표 값, 또는 청취자(420) 위치를 기준으로 하는 스피커의 거리 정보 및 각도 정보를 포함할 수 있다. 예를 들면, 스피커(440)의 위치 정보는 청취자(420)의 위치를 기준으로, 각 스피커와의 거리 정보 및, 청취자(420)의 방향과 각 스피커가 이루는 각도 정보를 포함할 수 있다. 스피커(440)의 위치 정보가 좌표 값인 경우, 좌표 값은 청취자(420)의 위치를 기준으로 상술된 거리 정보 및 각도 정보로 환산될 수 있다. 예를 들면, 스피커의 좌표 값이 (xR, yR)인 경우, 스피커의 위치 정보는,
Figure 112015080805359-pat00001
의 각도 및 거리 값으로 변환될 수 있다.
오디오 신호 처리 장치는, 스피커(440)의 위치 정보에 기초하여, 필터 함수를 보정하기 위한 파라미터들을 구하고, 파라미터를 이용하여 필터 함수를 보정할 수 있다.
일 실시 예에 의한 저주파수 대역의 오디오 신호를 증폭시시키 위한 필터 함수의 파라미터들 Filterlow(
Figure 112015080805359-pat00002
)는 이하 수학식 1에 따라서 스피커(440)의 위치 정보에 기초하여 획득될 수 있다. 수학식 1에서, AF, BF, A, B는 상수값이다.
Figure 112015080805359-pat00003
Fc는 상술된 컷오프 주파수와 대응될 수 있고, G는 게인 값과 대응될 수 있다. Fc 및 G는 청취자(420)의 위치를 중심으로 한 중심축(430)과 스피커 간 직선 거리에 기초하여 결정될 수 있다. AF 및 BF 값은 Fc의 최소값, 최대값에 따라 결정될 수 있다. 중심축(430)과 스피커 간 직선 거리인
Figure 112015080805359-pat00004
에 반비례하여 Fc값이 결정될 수 있도록 AF값은 음수값으로 결정될 수 있다. 또한, A, B 값은 G의 최소값, 최대값에 따라 결정될 수 있고,
Figure 112015080805359-pat00005
에 비례하여 G 값이 결정될 수 있도록 A 값은 양수값으로 결정될 수 있다.
더하여, 멀티미디어 기기(410)의 위치를 기준으로, 오디오 신호가 출력되도록 게인 값과 딜레이 시간이 결정될 수 있다. 스피커(440)에서 출력되는 오디오 신호가 멀티미디어 기기(410)의 위치에서 출력되는 것과 같이 출력될 수 있도록 게인 값과 딜레이 시간이 결정될 수 있다. 청취자(420)의 위치 및 스피커 간 거리 rR에 따라 예를 들면, 수학식 2와 같이 게인 값이 결정될 수 있다.
Figure 112015080805359-pat00006
장치는 스피커에 의해 출력되는 오디오 신호의 위상 차이를 보정하기 위한 딜레이 시간을 결정할 수 있다. 스피커가 이동됨에 따라 스피커와 청취자 간의 거리가 달라지게 되므로, 스피커를 통해 출력되는 음향의 위상 차이가 존재할 수 있다.
장치는 청취자(420)의 위치와 스피커 간 거리 rR에 따라 딜레이 시간을 결정할 수 있다. 딜레이 시간은 예를 들면, 이하 수학식 3과 같이 각 스피커에서 청취자 위치까지 음향이 도달하는 시간 차이로 결정될 수 있다. 수학식 3의 340m/s는 음향의 속도를 의미하는 것으로, 음향이 전달되는 주변환경에 따라 서로 다른 딜레이 시간이 결정될 수 있다. 예를 들면, 음향이 전달되는 공기의 온도에 따라 음향 속도가 달라지므로, 공기 온도에 따라 서로 다른 딜레이 시간이 결정될 수 있다.
딜레이 시간은 수학식 3에 한하지 않고, 각 스피커와 청취자 간 거리에 따라서, 다양한 방법으로 결정될 수 있다.
Figure 112015080805359-pat00007
상술된 수학식 2 및 3에 따라 결정될 수 있는 게인 값 및 딜레이 시간은 스피커(440)를 통해 출력될 수 있는 오디오 신호에 대하여 적용될 수 있다.
스피커(440)를 통해 출력될 수 있는 오디오 신호에는 이하 수학식 4와 같이 필터 함수 및 게인, 딜레이 시간이 적용될 수 있다.
Figure 112015080805359-pat00008
Fc를 기준으로 선택된 주파수 구간의 오디오 신호에 대하여 게인 값인 G 값이 적용될 수 있다. 또한, 스피커(440)를 통해 출력될 수 있는 오디오 신호에 대하여 게인 Gt 및 딜레이 시간 Dt 값이 적용될 수 있다.
일 실시 예에 의한 오디오 신호 처리 장치는, 오디오 신호와 대응되는 영상 신호를 처리하는 멀티미디어 장치(410) 내부에 존재하거나 멀티미디어 장치(410)일 수 있다. 상술된 예에 한하지 않고, 오디오 신호 처리 장치는 오디오 신호를 출력하는 스피커(440)와 유무선으로 연결된 다양한 형태의 장치일 수 있다.
또한, 각 스피커의 높이가 다른 경우, 각 스피커의 위치 정보에 기초하여, 상술한 방법과 동일한 방법으로 오디오 신호가 처리될 수 있다. 스피커의 높이가 달라지면, 청취자와 각 스피커 간 거리가 달라진다. 따라서, 장치는, 청취자와 각 스피커 간 거리 정보에 기초하여, 상술한 딜레이 시간 및 게인 값을 결정하고, 오디오 신호를 처리할 수 있다.
도 5는 일 실시 예에 의한 주파수 대역에 따라 오디오 신호를 증폭하는 일 예를 나타낸 예시도면이다.
도 5를 참조하면, 주파수 도메인에서의 오디오 신호가 도시되어 있다. 장치는 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행함으로써, 오디오 신호의 주파수별 오디오 신호의 크기를 포함하는 오디오 스펙트럼을 획득할 수 있다. 예를 들면, 장치는 오디오 신호의 하나의 프레임에 속하는 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행할 수 있다. 주파수별 오디오 신호의 크기는 오디오 스펙트럼에서 데시벨(dB; decibel) 값으로 표현될 수 있다. 이에 한하지 않고, 주파수별 오디오 신호의 크기는 다양한 단위로 표현될 수 있다. 오디오 스펙트럼에 포함된 주파수별 오디오 신호의 크기는 파워, 놈(norm) 값, 강도, 진폭 등을 의미할 수 있다.
스피커 출력 한계(530)로 인하여, 오디오 신호 중 일부 주파수 대역의 영역(510)이 스피커를 통해 출력되지 못할 수 있다. 스피커 출력 한계(530)로 인하여 일부 저주파수 대역의 오디오 신호가 입력된 오디오 신호만큼 출력되지 못할 수 있다.
일 실시 예에 의한 장치는 스피커 출력 한계(530)로 인하여 출력되지 못한 오디오 신호의 에너지(Elack)만큼 저주파수 대역의 오디오 신호에 게인을 적용함으로써 오디오 신호를 증폭시킬 수 있다. 증폭된 오디오 신호의 에너지 (Ereinforcement)는 출력되지 못한 오디오 신호의 에너지(Elack)와 비슷하거나 동일한 값일 수 있다. 장치는 출력되지 못하는 영역(510)과 인접한 영역의 오디오 신호를 증폭시킴으로써 스피커 출력 한계(530)로 인하여 출력되지 못한 오디오 신호를 보충하여 출력할 수 있다.
주파수 N부터 M 사이의 오디오 신호의 에너지 값은 예를 들면, 수학식 5에 따라 결정될 수 있다. X(m)은 주파수 도메인의 오디오 신호를 의미한다. 상술된 에너지 값 Ereinforcement 및 Elack 은 수학식 5에 따라서 획득될 수 있다.
Figure 112015080805359-pat00009
또한, 장치는 저주파수 대역의 오디오 신호를 증폭시킬 때, 스피커의 위치 정보에 따라 오디오 신호의 증폭의 효과가 최적으로 나타날 수 있는 주파수 대역을 선택하여, 선택된 구간의 오디오 신호를 증폭시킬 수 있다. 오디오 신호에 적용될 수 있는 게인은 스피커의 위치 정보를 더 고려되어 결정될 수 있다. 예를 들면, 스피커가 청취자(420)의 정면에서 멀리 떨어질수록 더 큰 값의 게인이 적용되도록 결정될 수 있다. 오디오 신호에 적용될 수 있는 게인 값은 상술된 Elack, 스피커의 위치 정보, 스피커의 출력 한계(530) 등에 기초하여 결정될 수 있다.
도 6은 일 실시 예에 의한 복수 개의 스피커의 위치 정보의 일 예를 나타낸 예시 도면이다.
도 6을 참조하면, 청취 위치(620)를 중심으로 복수 개의 스피커들(630, 640)의 위치 정보가 획득될 수 있다. 멀티미디어 기기(610)는 청취 위치(620)를 기준으로 정면에 위치할 수 있으나, 도 6에 도시된 멀티미디어 기기(610)의 위치는 예시에 불과하고 다른 방향에 존재할 수 있다.
오디오 신호 처리 장치는, 스피커의 위치 정보에 기초하여 저주파수 대역의 오디오 신호를 증폭시키기 위한 필터 함수를 획득할 수 있다. 필터 함수는 오디오 신호의 채널 별로 존재할 수 있다. 예를 들면, 오디오 신호가 좌우 스피커를 통해 출력되는 경우, 필터 함수는 각각 좌우 스피커를 통해 출력될 수 있는 오디오 신호에 대하여 존재할 수 있다. 필터 함수는 복수의 스피커들(630, 640)의 현재 위치에 따라 획득될 수 있다. 오디오 신호는 오디오 오브젝트 별로 필터 함수에 의해 처리되어 출력될 수 있다. 오디오 신호 처리 장치는, 필터 함수의 파라미터를 결정하기 위하여, 복수의 스피커들(630, 640)의 위치정보를 획득할 수 있다.
오디오 신호의 음상은 오디오 오브젝트 별로 서로 다른 위치에 정위될 수 있다. 예를 들면, 음상은 오디오 신호와 대응되는 영상 신호가 디스플레이되는 멀티미디어 장치(610) 상에 정위될 수 있다. 오디오 오브젝트 별로 음상이 존재할 수 있으며, 각 음상에 대한 오디오 신호에 대해 음질 개선을 위한 필터 함수가 적용될 수 있다. 채널 별로 서로 다른 필터 함수가 오디오 신호에 대해 적용될 수 있다. 필터 함수는 스피커의 위치 정보에 따라 보정될 수 있는 점에서, 음상이 정위된 위치의 고려 없이 보정될 수 있다.
오디오 신호 처리 장치는, 필터 함수를 보정하기 위한 파라미터를 결정하기 위하여, 스피커의 위치(630, 640) 정보를 획득할 수 있다. 스피커의 위치(630, 640) 정보는 실시간으로 획득되거나, 장치에 의해 하나 이상의 스피커의 위치 이동이 감지됨에 따라 변경된 위치 정보가 획득될 수 있다. 장치는 스피커의 위치가 변경될 때 마다, 필터 함수를 보정하고, 보정된 필터 함수로 오디오 신호를 처리하여 출력할 수 있다.
스피커의 위치(630, 640) 정보는 청취자(620)의 위치를 원점으로 하는 좌표 값, 또는 청취자(620)의 위치를 기준으로 하는 스피커의 거리 정보 및 각도 정보를 포함할 수 있다. 예를 들면, 스피커의 위치(630, 640) 정보는 청취자(620)의 위치를 기준으로, 각 스피커와의 거리 정보 및, 청취자(620)의 방향과 각 스피커가 이루는 각도 정보를 포함할 수 있다. 스피커의 위치(630, 640) 정보가 좌표 값인 경우, 좌표 값은 청취자(620)의 위치를 기준으로 상술된 거리 정보 및 각도 정보로 환산될 수 있다. 예를 들면, 스피커의 좌표 값이 (x, y)인 경우, 스피커의 위치 정보는,
Figure 112015080805359-pat00010
의 각도 및 거리 값으로 변환될 수 있다. 스피커의 각도 정보는 청취자(620)와 멀티미디어 기기(610)를 잇는 중심축(650)을 기준으로 두고 결정될 수 있다.
오디오 신호 처리 장치는, 스피커(440)의 위치 정보에 기초하여, 필터 함수를 보정하기 위한 파라미터들을 구하고, 파라미터를 이용하여 필터 함수를 보정할 수 있다.
일 실시 예에 의한 저주파수 대역의 오디오 신호를 증폭시시키 위한 필터 함수의 파라미터들 Filterlow(
Figure 112015080805359-pat00011
) 또는 Filterlow(
Figure 112015080805359-pat00012
) 는 상술된 수학식 1에 따라서 스피커(630,640)의 위치 정보에 기초하여 획득될 수 있다.
더하여, 멀티미디어 기기(610)의 위치를 기준으로, 복수의 스피커들(630,640)이 멀티미디어 기기(610)의 위치에 존재하는 경우와 같이 오디오 신호가 출력되도록 게인 값과 딜레이 시간이 결정될 수 있다. 게인 값과 딜레이 시간은 상술된 수학식 2 및 3에 따라 결정될 수 있다.
이에 더하여, 복수의 스피커(630,640)들을 통해 서로 다른 방향으로 오디오 신호가 출력되므로, 출력되는 오디오 신호의 방향을 보정하기 위한 패닝 게인이 오디오 신호에 더 적용될 수 있다. 스피커가 이동됨에 따라 스피커를 통해 출력되는 음향의 방향이 청취자를 중심으로 패닝이 되므로, 각 스피커를 통해 출력되는 패닝 정도에 기초하여 패닝 게인이 결정될 수 있다. 장치는 스피커가 청취자 위치(620)를 기준으로 패닝된 각도(
Figure 112015080805359-pat00013
)에 따라 결정될 수 있는 패닝 게인을 결정할 수 있다. 패닝 게인은 각 스피커에 대하여 결정될 수 있다. 예를 들면, 패닝 게인은 이하 수학식 6과 같이 결정될 수 있다.
Figure 112015080805359-pat00014
복수의 스피커(630,640)를 통해 출력될 수 있는 오디오 신호에는 이하 수학식 7과 같이 필터 함수, 게인, 패닝 게인 및 딜레이 시간이 적용될 수 있다.
Figure 112015080805359-pat00015
이하 도 7 내지 도 8을 참조하여, 오디오 신호의 에너지 변화량에 따라 오디오 신호를 증폭시키는 방법에 관하여 더 자세히 설명하기로 한다.
도 7은 일 실시 예에 의한 에너지 변화량에 따라 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 7을 참조하면, 단계 S710에서 오디오 신호 처리 장치는 시간 도메인에서 오디오 신호의 에너지 변화량을 구할 수 있다. 예를 들면, 장치는 프레임 단위로 오디오 신호의 에너지 변화량을 구할 수 있다. 도 7에서 처리될 수 있는 오디오 신호는 도 3 내지 도 6에 따라 저주파수 대역이 증폭된 오디오 신호일 수 있으나 이에 한하지 않고, 여러가지 방법으로 처리되거나 처리되지 않은 오디오 신호일 수도 있다.
프레임 간 에너지 변화량을 E_diff(t)로 두면, E_diff(t)는 이하 수학식 7과 같이 결정될 수 있다.
Figure 112015080805359-pat00016
단계 S720에서, 장치는 단계 S710에서 결정된 에너지 변화량에 따라서 게인값을 결정할 수 있고, 단계 S730에서 결정된 게인값을 오디오 신호에 적용할 수 있다. 예를 들면, 에너지 변화량에 비례하여 게인값이 결정될 수 있다. 게인 값 G(t)은 수학식 9와 같이 결정될 수 있다.
Figure 112015080805359-pat00017
게인 값은 프레임 단위로 대응되는 오디오 신호에 대하여 적용될 수 있다. 에너지 변화량이 클수록 큰 게인값이 오디오 신호에 적용될 수 있으므로, 펀치감 효과가 더 강화될 수 있다. 모든 프레임에 대하여 동일한 게인값을 적용하는 경우에 비해서, 에너지 변화량에 따라 프레임에 서로 다른 게인 값이 적용되는 경우, 오디오 신호의 다이나믹 레인지(dynamic range)가 유지되면서, 펀치감 효과가 더 강화될 수 있다.
따라서, 일 실시 예에 의하면, 에너지가 급격히 변하는 오디오 신호의 트랜지언트(transient) 구간에는 큰 게인값이 적용될 수 있다. 또한, 에너지가 일정하게 유지되는 오디오 신호의 서스테인(sustain) 구간에는 작은 게인값이 적용될 수 있다. 에너지 변화량이 큰 트랜지언트 구간의 오디오 신호에 더 큰 게인값이 적용됨에 따라 펀치감 효과가 더 강화될 수 있다.
도 8은 일 실시 예에 의한 에너지 변화량에 따라 오디오 신호가 처리된 일 예를 나타낸 예시도면이다.
도 8을 참조하면, 810은 에너지 변화량에 따라 오디오 신호가 처리되기 전 시간 도메인의 오디오 신호를 나타낸 일 예이며, 820은 에너지 변화량에 따라 오디오 신호가 처리된 시간 도메인의 오디오 신호를 나타낸 일 예이다.
820의 오디오 신호를 참조하면, 810의 오디오 신호에 비하여, 에너지 변화량이 큰 구간의 오디오 신호에 더 큰 게인 값이 적용됨에 따라 다른 구간의 오디오 신호에 비해 더 많이 증폭될 수 있다. 에너지 변화량에 따라 서로 다른 게인 값이 오디오 신호에 적용될 수 있으므로 오디오 신호의 펀치감이 강화될 수 있다.
이하 도 9 내지 도 10을 참조하여, 논 모노 신호의 크기에 기초하여 오디오 신호를 처리하는 방법에 관하여 더 자세히 설명하기로 한다. 일 실시 예에 의한 오디오 신호 처리 장치는 배경음, 효과음과 같이 모노 신호보다 상대적으로 작은 크기를 포함하는 논 모노 신호의 크기에 기초하여 저주파수 대역의 오디오 신호를 증폭시킬 수 있다. 따라서, 저주파수 대역의 오디오 신호에 대한 증폭으로 인하여 발생될 수 있는 클리핑이나 불연속 신호 등의 신호 왜곡이 최소화될 수 있다.
도 9는 일 실시 예에 의한 논 모노 신호의 크기에 기초하여 오디오 신호를 처리하는 방법을 나타낸 순서도이다.
도 9를 참조하면, 단계 S910에서, 장치는 오디오 신호로부터 논 모노 신호를 추출할 수 있다. 예를 들면, 장치는 프레임 단위로 오디오 신호로부터 논 모노 신호를 추출하고 오디오 신호를 처리할 수 있다. 논 모노 신호는 오디오 신호 중에서 스테레오 신호로 출력될 수 있는 신호를 포함할 수 있으며, 예를 들면, 배경음, 효과음 등을 포함할 수 있다. 논 모노 신호는 모노 신호에 비해 크기가 작은 오디오 신호를 포함할 수 있다.
단계 S920에서, 장치는 오디오 신호로부터 저주파수 대역의 오디오 신호를 추출할 수 있다. 장치는 상술한 스피커의 위치 정보에 따라 주파수 대역을 선택하고, 선택된 주파수 대역과 대응되는 오디오 신호를 획득할 수 있다. 이에 한하지 않고, 장치는 다양한 방법으로 저주파수 대역의 오디오 신호를 추출할 수 있다.
단계 S930에서, 장치는 단계 S910 및 S920에서 추출된 저주파수 대역의 오디오 신호 및 논 모노 신호에 대하여 각각 최대값을 획득할 수 있다. 다시 말하면, 장치는 프레임 단위로 논 모노 신호의 최대값 및 저주파수 대역의 오디오 신호의 최대값을 획득할 수 있다. 게인값이 최대값에 따라 급격히 변하지 않도록, 장치는 극점 추정(one pole estimation)과 같은 방법을 이용하여 최대 값을 수정할 수 있다. 예를 들면, 장치는 수학식 10과와 같이 최대 값 X(t)을 수정할 수 있다. Y(t-1)은 이전 프레임의 수정된 최대값이며, Y(t) 및 X(t)는 각각 수정된 최대값 및 수정전 최대값을 의미한다. a는 상수로서 수학식 10의 값은 예시에 불과하며 다른 값으로 설정될 수도 있다.
Figure 112015080805359-pat00018
단계 S940에서, 장치는 단계 S930에서 획득한 최대값에 기초하여, 게인값을 결정하고, 단계 S950에서, 결정된 게인값을 저주파수 대역의 오디오 신호에 적용시킬 수 있다. 예를 들면, 게인값은 수학식 11에 따라 결정될 수 있다. MaxN은 논모노 오디오 신호로부터 획득된 수정된 최대값, MaxL은 저주파수 대역의 오디오 신호로부터 획득된 수정된 최대값을 의미한다.
Figure 112015080805359-pat00019
Gadap 값이 1보다 작은 경우, Gadap 값은 1로 결정될 수 있다. 수학식 10 내지 11에 따라 결정된 최대값 및 게인값은 예시에 불과하며, 이에 한하지 않고 다양한 방법으로 획득될 수 있다.
도 10은 일 실시 예에 의한 논 모노 신호의 크기에 기초하여 오디오 신호를 처리하는 방법을 나타낸 블록도이다. 도 10에 의한 오디오 신호를 처리하는 방법은, 논모노 오디오 신호 추출(1020) 및 게인 결정(1030)을 포함할 수 있다. 도 10에 도시된 오디오 신호를 처리하는 방법은 상술된 오디오 신호 처리 장치에 의해 구현될 수 있다.
도 10을 참조하면, 1010에서, 오디오 신호로부터 저주파수 대역의 오디오 신호가 추출될 수 있다. 저주파수 대역의 오디오 신호는 저역 통과 필터(low pass filter)에 의해 추출될 수 있다.
또한, 1020에서, 오디오 신호로부터 논모노 오디오 신호가 추출될 수 있다. 예를 들면, 논 모노 오디오 신호는 오디오 신호의 구성 정보에 기초하여 추출될 수 있다.
1030에서, 논모노 오디오 신호 및 저주파수 대역의 오디오 신호의 최대값에 기초하여 게인 값 Gadap 가 결정될 수 있다. 게인 값 Gadap은 논 모노 오디오 신호 및 저주파수 대역의 오디오 신호의 최대값의 비율에 따라 결정될 수 있다. 따라서, 게인 값 Gadap에 적용된 저주파수 대역의 오디오 신호는 논 모노 오디오 신호의 최대값 이하로 증폭될 수 있다.
게인 값 Gadap는 저주파수 대역의 오디오 신호에 적용됨으로써, 저주파수 대역의 오디오 신호가 증폭되어 출력될 수 있다.
도 11은 일 실시 예에 의한 마스킹된 중고역 주파수 대역의 오디오 신호를 증폭하는 일 예를 나타낸 예시 도면이다.
도 11을 참조하면, 저주파수 대역의 오디오 신호가 강화됨에 따라, 고주파수 대역의 오디오 신호에 대하여 마스킹 현상이 발생될 수 있다. 마스킹 임계치(masking threshold)은 주파수 도메인 오디오 신호 중 피크 점(peak)을 기준으로 획득될 수 있다. 마스킹 한계선 이하에 존재하는 오디오 신호는 마스킹 현상이 발생될 수 있다.
고주파수 대역의 오디오 신호에는 보컬, 음성 등의 중요 정보가 포함되어 있어 마스킹되지 않도록 중요 정보가 포함된 오디오 신호를 증폭시키는 것이 바람직하다. 따라서, 장치는 중요 정보가 포함된 고주파수 대역의 오디오 신호에 대한 마스킹 현상을 최소화하기 위해, 저역의 오디오 신호가 증폭됨에 따라서 고주파수 대역의 오디오 신호를 마스킹 임계치 이상으로 증폭시킬 수 있다.
도 12는 일 실시 예에 의한 오디오 신호 처리 장치를 나타낸 블록도이다.
일 실시 예에 의한 오디오 신호 처리 장치(1200)는 사용자에 의해 이용될 수 있는 단말 장치일 수 있다. 예를 들면, 오디오 신호 처리 장치(1000)는 스마트 TV(television), UHD(ultra high definition) TV, 모니터, PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, 스마트폰(smart phone), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 디지털방송 수신기를 포함할 수 있다. 상술된 예에 한하지 않고, 장치(1000)는 다양한 종류의 장치를 포함할 수 있다.
도 12를 참조하면, 장치(1200)는 수신부(1210), 제어부(1220) 및 출력부(1230)를 포함할 수 있다.
수신부(1210)는 오디오 신호 및 오디오 신호가 출력될 스피커의 위치에 관한 정보를 획득할 수 있다. 수신부(1210)는 주기적으로 스피커 위치 정보를 획득할 수 있다. 예를 들면, 스피커 위치 정보는 스피커에 구비된 스피커의 위치를 감지하는 센서 또는 스피커의 위치를 감지하는 외부 장치로부터 획득될 수 있다. 상술된 예에 한하지 않고, 수신부(1210)는 다양한 방법으로 스피커 위치 정보를 획득할 수 있다.
제어부(1220)는 수신부(1210)에 의해 획득된 스피커 위치 정보에 기초하여, 주파수 대역을 선택하고, 선택된 주파수 대역에 대응하는 오디오 신호에 대하여 게인 값을 적용함으로써 오디오 신호를 증폭시킬 수 있다. 제어부(1220)는 스피커의 위치 정보가 변경될 때마다 주파수 대역을 선택하여 선택된 주파수 대역의 오디오 신호를 증폭시킬 수 있다.
또한, 제어부(1220)는 시간 도메인에서 오디오 신호의 에너지 변화량을 분석하여, 에너지 변화량에 따라 게인 값을 결정하고, 오디오 신호에 적용시킴으로써 오디오 신호의 펀치감을 강화시킬 수 있다. 제어부(1220)는 소정 시간 단위로 에너지 변화량을 분석하고 오디오 신호를 증폭시킬 수 있다.
또한, 제어부(1220)는 오디오 신호로부터 논모노 오디오 신호 및 저주파수 대역의 오디오 신호를 추출하고 추출된 오디오 신호의 최대값을 획득하여, 최대값에 기초한 게인값을 결정할 수 있다. 제어부(1220)는 논모노 오디오 신호의 최대값 및 저주파수 대역의 오디오 신호의 최대값의 비율에 따라 결정된 게인 값을 오디오 신호에 적용하여 증폭시킴으로써, 클리핑을 최소화하면서 오디오 신호를 증폭시킬 수 있다. 제어부(1220)는 소정 시간 단위로 게인 값을 결정하여 오디오 신호를 증폭시킬 수 있다.
출력부(1230)는 제어부(1220)에 의해 처리된 오디오 신호를 출력할 수 있다. 출력부(1230)는 오디오 신호를 스피커로 출력할 수 있다.
일 실시 예에 의하면, 임의의 위치에 존재하는 스피커의 위치 정보에 따라 오디오 신호를 처리함으로써, 고음질의 오디오 신호가 청취자에게 제공될 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (19)

  1. 오디오 신호를 처리하는 방법에 있어서,
    상기 오디오 신호가 출력될 스피커의 위치 정보 및 성능 정보를 획득하는 단계;
    상기 위치 정보 및 상기 성능 정보에 기초하여, 강화될 상기 오디오 신호의 제1 주파수 대역을 결정하는 단계;
    상기 성능 정보로부터 스피커 출력 한계를 획득하는 단계;
    상기 스피커 출력 한계에 기초하여, 상기 오디오 신호가 출력되지 않는 영역을 포함하는 상기 오디오 신호의 제2 주파수 대역을 결정하는 단계;
    상기 제2 주파수 대역에서의 상기 오디오 신호에 기초하여, 상기 제1 주파수 대역의 게인 값을 결정하는 단계; 및
    상기 결정된 제1 주파수 대역에 포함되는 상기 오디오 신호에 상기 게인 값을 적용하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 주파수 대역을 선택하는 단계는
    청취자의 위치에 기초하여, 중심축(center axis)을 결정하는 단계; 및
    상기 스피커 및 상기 중심축 간 직선 거리에 기초하여, 컷오프 주파수 값을 선택하는 단계를 포함하고,
    상기 오디오 신호의 상기 제1 주파수 대역은 상기 성능 정보 및 상기 선택된 컷오프 주파수 값에 기초하여 결정되는, 방법.
  3. 제1항에 있어서, 상기 게인 값을 적용하는 단계는
    청취자의 위치에 기초하여, 중심축을 결정하는 단계;
    상기 스피커 및 상기 중심축 간 거리에 기초하여, 상기 게인 값을 결정하는 단계; 및
    상기 결정된 게인 값을 상기 결정된 제1 주파수 대역에 포함되는 상기 오디오 신호에 적용하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 스피커의 위치 정보에 기초하여 파라미터를 결정하는 단계;
    상기 결정된 파라미터를 이용하여, 상기 오디오 신호를 처리하는 단계를 더 포함하고,
    상기 파라미터는 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 음향 레벨을 보정하기 위한 게인, 및 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 위상 차이를 보정하기 위한 딜레이 시간 중 적어도 하나를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 스피커가 복수 개 존재하는 경우, 상기 파라미터는 상기 오디오 신호의 음상의 방향을 보정하기 위한 패닝 게인을 더 포함하는, 방법.
  6. 제1항에 있어서,
    시간 도메인에서 프레임 간 오디오 신호의 에너지 변화량을 구하는 단계;
    상기 에너지 변화량에 따라 프레임의 게인 값을 결정하는 단계; 및
    상기 결정된 게인 값을 상기 프레임의 오디오 신호에 적용하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    상기 게인 값이 적용된 상기 제1 주파수 대역에 기초하여, 마스킹이 발생된 구간을 검출하는 단계; 및
    상기 검출된 구간의 오디오 신호가 마스킹 임계치 이상의 값을 가지도록 상기 검출된 구간의 오디오 신호에 게인 값을 적용하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서, 상기 게인 값을 적용하는 단계는
    상기 오디오 신호로부터 논 모노 신호를 추출하는 단계;
    상기 논 모노 신호의 최대값에 기초하여, 게인 값을 결정하는 단계; 및
    상기 결정된 게인 값을 상기 오디오 신호에 적용하는 단계를 포함하는, 방법.
  9. 오디오 신호 처리 장치에 있어서,
    상기 오디오 신호가 출력될 스피커의 위치 정보 및 성능 정보를 획득하는 수신부;
    상기 위치 정보 및 상기 성능 정보에 기초하여, 강화될 상기 오디오 신호의 제1 주파수 대역을 결정하고, 상기 성능 정보로부터 스피커 출력 한계를 획득하고, 상기 스피커 출력 한계에 기초하여, 상기 오디오 신호가 출력되지 않는 영역을 포함하는 상기 오디오 신호의 제2 주파수 대역을 결정하고, 상기 제2 주파수 대역에서의 상기 오디오 신호에 기초하여, 상기 제1 주파수 대역의 게인 값을 결정하고, 상기 결정된 제1 주파수 대역에 포함되는 상기 오디오 신호에 상기 게인 값을 적용하는 제어부;
    상기 제어부에 의해 처리된 오디오 신호를 출력하는 출력부를 포함하는, 장치.
  10. 제9항에 있어서, 상기 제어부는
    청취자의 위치에 기초하여, 중심축을 결정하고, 상기 스피커 및 상기 중심축 간 직선 거리에 기초하여, 컷오프 주파수 값을 선택하고,
    상기 오디오 신호의 상기 제1 주파수 대역은 상기 성능 정보 및 상기 선택된 컷오프 주파수 값에 기초하여 결정되는, 장치.
  11. 제9항에 있어서, 상기 제어부는
    청취자의 위치에 기초하여, 중심축을 결정하고, 상기 스피커 및 상기 중심축 간 거리에 기초하여, 상기 게인 값을 결정하고, 상기 결정된 게인 값을 상기 결정된 제1 주파수 대역에 포함되는 오디오 신호에 적용하는, 장치.
  12. 삭제
  13. 제9항에 있어서, 상기 제어부는
    상기 스피커의 위치 정보에 기초하여 파라미터를 결정하고, 상기 결정된 파라미터를 이용하여, 상기 오디오 신호를 처리하고,
    상기 파라미터는 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 음향 레벨을 보정하기 위한 게인, 및 상기 스피커의 위치 정보에 기초하여, 상기 오디오 신호의 음상의 위상 차이를 보정하기 위한 딜레이 시간 중 적어도 하나를 포함하는, 장치.
  14. 제9항에 있어서, 상기 제어부는
    시간 도메인에서 프레임 간 신호의 에너지 변화량을 구하고, 상기 에너지 변화량에 따라 프레임의 게인 값을 결정하고, 상기 결정된 게인 값을 상기 프레임의 오디오 신호에 적용하는, 장치.
  15. 제9항에 있어서, 상기 제어부는
    상기 게인 값이 적용된 상기 제1 주파수 대역에 기초하여, 마스킹이 발생된 구간을 검출하고, 상기 검출된 구간의 오디오 신호가 마스킹 임계치 이상의 값을 가지도록 상기 검출된 구간의 오디오 신호에 게인 값을 적용하는, 장치.
  16. 제9항에 있어서, 상기 제어부는
    상기 오디오 신호로부터 논 모노 신호를 추출하고, 상기 논 모노 신호의 최대값에 기초하여, 게인 값을 결정하고, 상기 결정된 게인 값을 상기 오디오 신호에 적용하는, 장치.
  17. 제1항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  18. 제1항에 있어서, 상기 게인 값을 결정하는 단계는,
    상기 제2 주파수 대역에서의 상기 오디오 신호의 에너지를 결정하는 단계; 및
    상기 결정된 에너지에 기초하여, 상기 제1 주파수 대역의 게인 값을 결정하는 단계; 를 포함하는 방법.
  19. 제9항에 있어서, 상기 제어부는
    상기 제2 주파수 대역에서의 상기 오디오 신호의 에너지를 결정하고, 상기 결정된 에너지에 기초하여 상기 제1 주파수 대역의 게인 값을 결정하는, 장치.
KR1020150117342A 2015-08-20 2015-08-20 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 KR102423753B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150117342A KR102423753B1 (ko) 2015-08-20 2015-08-20 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
US15/240,416 US9860665B2 (en) 2015-08-20 2016-08-18 Method and apparatus for processing audio signal based on speaker location information
CN201610702156.3A CN106470379B (zh) 2015-08-20 2016-08-22 用于基于扬声器位置信息处理音频信号的方法和设备
US15/851,832 US10075805B2 (en) 2015-08-20 2017-12-22 Method and apparatus for processing audio signal based on speaker location information
US16/126,610 US10524077B2 (en) 2015-08-20 2018-09-10 Method and apparatus for processing audio signal based on speaker location information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150117342A KR102423753B1 (ko) 2015-08-20 2015-08-20 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170022415A KR20170022415A (ko) 2017-03-02
KR102423753B1 true KR102423753B1 (ko) 2022-07-21

Family

ID=58158386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150117342A KR102423753B1 (ko) 2015-08-20 2015-08-20 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치

Country Status (3)

Country Link
US (3) US9860665B2 (ko)
KR (1) KR102423753B1 (ko)
CN (1) CN106470379B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102423753B1 (ko) * 2015-08-20 2022-07-21 삼성전자주식회사 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
US10007481B2 (en) * 2015-08-31 2018-06-26 Sonos, Inc. Detecting and controlling physical movement of a playback device during audio playback
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
US10158960B1 (en) * 2018-03-08 2018-12-18 Roku, Inc. Dynamic multi-speaker optimization
US10904662B2 (en) * 2019-03-19 2021-01-26 International Business Machines Corporation Frequency-based audio amplification
KR102306226B1 (ko) * 2019-12-19 2021-09-29 애드커넥티드 주식회사 디지털 콘텐츠의 비디오 및 오디오 재생 동기화를 맞추는 방법 및 이를 이용한 장치
KR102288470B1 (ko) * 2020-12-16 2021-08-10 (주)파브미디어 딥러닝 기반의 인공지능을 이용한 방송 제어 방법 및 이를 수행하는 시스템
WO2022181860A1 (ko) * 2021-02-26 2022-09-01 애드커넥티드 주식회사 디지털 콘텐츠의 비디오 및 오디오 재생 동기화를 맞추는 방법 및 이를 이용한 장치
US20240015459A1 (en) * 2022-07-07 2024-01-11 Harman International Industries, Incorporated Motion detection of speaker units
CN116980804B (zh) * 2023-09-25 2024-01-26 腾讯科技（深圳）有限公司 音量调整方法、装置、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206451A (ja) * 2009-03-03 2010-09-16 Panasonic Corp カメラ付きスピーカ、信号処理装置、およびａｖシステム
JP2014523165A (ja) * 2011-07-01 2014-09-08 ドルビー ラボラトリーズ ライセンシング コーポレイション スピーカー・アレイの等化
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930373A (en) 1997-04-04 1999-07-27 K.S. Waves Ltd. Method and system for enhancing quality of sound signal
JP2003032776A (ja) * 2001-07-17 2003-01-31 Matsushita Electric Ind Co Ltd 再生システム
US7848531B1 (en) 2002-01-09 2010-12-07 Creative Technology Ltd. Method and apparatus for audio loudness and dynamics matching
US8280076B2 (en) 2003-08-04 2012-10-02 Harman International Industries, Incorporated System and method for audio system configuration
WO2005041618A1 (en) * 2003-10-24 2005-05-06 Koninklijke Philips Electronics N.V. Adaptive sound reproduction
JP4254502B2 (ja) * 2003-11-21 2009-04-15 ヤマハ株式会社 アレースピーカ装置
KR20050089187A (ko) * 2004-03-04 2005-09-08 엘지전자 주식회사 오디오 기기에서의 스피커 특성 보상장치 및 방법
JP2006101248A (ja) 2004-09-30 2006-04-13 Victor Co Of Japan Ltd 音場補正装置
SG123638A1 (en) 2004-12-31 2006-07-26 St Microelectronics Asia Method and system for enhancing bass effect in audio signals
US20070011026A1 (en) * 2005-05-11 2007-01-11 Imetrikus, Inc. Interactive user interface for accessing health and financial data
US8238576B2 (en) 2005-06-30 2012-08-07 Cirrus Logic, Inc. Level dependent bass management
WO2007076863A1 (en) * 2006-01-03 2007-07-12 Slh Audio A/S Method and system for equalizing a loudspeaker in a room
JP4738213B2 (ja) * 2006-03-09 2011-08-03 富士通株式会社 利得調整方法及び利得調整装置
JP2007272843A (ja) 2006-03-31 2007-10-18 Hideo Sunaga １対多コミュニケーションシステム
US8750538B2 (en) 2006-05-05 2014-06-10 Creative Technology Ltd Method for enhancing audio signals
US8050434B1 (en) 2006-12-21 2011-11-01 Srs Labs, Inc. Multi-channel audio enhancement system
JP5082517B2 (ja) * 2007-03-12 2012-11-28 ヤマハ株式会社 スピーカアレイ装置および信号処理方法
JP2008263583A (ja) 2007-03-16 2008-10-30 Sony Corp 低域増強方法、低域増強回路および音響再生システム
JP2009206691A (ja) * 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
RU2545383C2 (ru) 2009-04-21 2015-03-27 Конинклейке Филипс Электроникс Н.В. Возбуждение многоканальных громкоговорителей
KR101613684B1 (ko) * 2009-12-09 2016-04-19 삼성전자주식회사 음향 신호 보강 처리 장치 및 방법
DE112011100216T5 (de) 2010-01-07 2012-11-08 That Corp. Dynamische Bassverbesserung auf Kompressionsvorrichtungsbasis mit EQ
FR2955996B1 (fr) * 2010-02-04 2012-04-06 Goldmund Monaco Sam Methode pour creer un environnement audio avec n haut-parleurs
TW202339510A (zh) 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
PL2798737T3 (pl) 2011-12-27 2019-05-31 Dts Inc System wzbogacania niskich tonów
EP2675063B1 (en) * 2012-06-13 2016-04-06 Dialog Semiconductor GmbH Agc circuit with optimized reference signal energy levels for an echo cancelling circuit
JP6063230B2 (ja) * 2012-12-03 2017-01-18 クラリオン株式会社 歪み音補正補完装置および歪み音補正補完方法
US9357306B2 (en) * 2013-03-12 2016-05-31 Nokia Technologies Oy Multichannel audio calibration method and apparatus
EP3474575B1 (en) * 2013-06-18 2020-05-27 Dolby Laboratories Licensing Corporation Bass management for audio rendering
CN105225666B (zh) * 2014-06-25 2016-12-28 华为技术有限公司 处理丢失帧的方法和装置
GB2534949B (en) * 2015-02-02 2017-05-10 Cirrus Logic Int Semiconductor Ltd Loudspeaker protection
KR102423753B1 (ko) * 2015-08-20 2022-07-21 삼성전자주식회사 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
US20170195811A1 (en) * 2015-12-30 2017-07-06 Knowles Electronics Llc Audio Monitoring and Adaptation Using Headset Microphones Inside User's Ear Canal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206451A (ja) * 2009-03-03 2010-09-16 Panasonic Corp カメラ付きスピーカ、信号処理装置、およびａｖシステム
JP2014523165A (ja) * 2011-07-01 2014-09-08 ドルビー ラボラトリーズ ライセンシング コーポレイション スピーカー・アレイの等化
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理

Also Published As

Publication number Publication date
US10524077B2 (en) 2019-12-31
KR20170022415A (ko) 2017-03-02
CN106470379A (zh) 2017-03-01
US20190028828A1 (en) 2019-01-24
US9860665B2 (en) 2018-01-02
US20170055098A1 (en) 2017-02-23
US10075805B2 (en) 2018-09-11
CN106470379B (zh) 2020-10-30
US20180139564A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
KR102423753B1 (ko) 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
US20120245933A1 (en) Adaptive ambient sound suppression and speech tracking
US20150071446A1 (en) Audio Processing Method and Audio Processing Apparatus
US10880638B2 (en) Sound field forming apparatus and method
KR102343330B1 (ko) 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스
JP2017530396A (ja) 音源を強調するための方法及び機器
US10366703B2 (en) Method and apparatus for processing audio signal including shock noise
US20220260664A1 (en) Audio processing
JP6562572B2 (ja) ステレオ信号のステレオイメージを修正するためのオーディオ信号処理装置及び方法
US11962992B2 (en) Spatial audio processing
KR20160122029A (ko) 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
KR102455549B1 (ko) 사용자 및 스피커의 위치를 이용한 오디오 신호 변환 장치 및 그 방법
JP2013009198A (ja) 音響制御装置、音響補正装置、及び音響補正方法
CN108605197B (zh) 滤波器生成装置、滤波器生成方法以及声像定位处理方法
CN111800729B (zh) 声音信号处理装置及声音信号处理方法
CN114067817A (zh) 低音增强方法、装置、电子设备及存储介质
US20160133270A1 (en) Method for reducing noise and computer program thereof and electronic device
US9571950B1 (en) System and method for audio reproduction
KR102531634B1 (ko) 오디오 장치 및 그 제어방법
US20230360662A1 (en) Method and device for processing a binaural recording
WO2014097893A1 (ja) 音声処理装置および方法、並びにプログラム
CN105720937A (zh) 电子装置和声音信号的分析与播放方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant