KR102565447B1 - 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법 - Google Patents

청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102565447B1
KR102565447B1 KR1020170094833A KR20170094833A KR102565447B1 KR 102565447 B1 KR102565447 B1 KR 102565447B1 KR 1020170094833 A KR1020170094833 A KR 1020170094833A KR 20170094833 A KR20170094833 A KR 20170094833A KR 102565447 B1 KR102565447 B1 KR 102565447B1
Authority
KR
South Korea
Prior art keywords
audio signal
digital audio
signal
gain
data
Prior art date
Application number
KR1020170094833A
Other languages
English (en)
Other versions
KR20190012003A (ko
Inventor
바딤 쿠드랴브체브
김병준
김재현
우주환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170094833A priority Critical patent/KR102565447B1/ko
Priority to US16/045,955 priority patent/US10812031B2/en
Publication of KR20190012003A publication Critical patent/KR20190012003A/ko
Application granted granted Critical
Publication of KR102565447B1 publication Critical patent/KR102565447B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/002—Volume compression or expansion in amplifiers in untuned or low-frequency amplifiers, e.g. audio amplifiers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3089—Control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems

Abstract

다양한 실시예들에 따른 전자 장치(electronic device)는, 프로세서(processor)를 포함할 수 있고, 상기 프로세서는, 오디오 신호(audio signal)의 최대 진폭을 지정된 범위(designated range)로 지정하고, 지정된 이득(designated gain)에 따라 상기 지정된 범위로 상기 오디오 신호를 처리하고, 상기 처리된 오디오 신호에 대한 주파수 대역 별 사람의 청각 인지 속성에 적어도 기반하여, 상기 처리된 오디오 신호에 대한 왜곡(distortion)을 허용할지 여부를 결정하고, 상기 처리된 오디오 신호에 대한 왜곡을 허용하지 않음을 결정하는 것에 응답하여, 상기 처리된 오디오 신호에 대한 이득을 감소시키고, 상기 처리된 오디오 신호에 대한 왜곡을 허용함을 결정하는 것에 응답하여, 상기 청각 인지 속성에 적어도 기반하여 상기 처리된 오디오 신호에 대한 이득을 조정하도록 설정될 수 있다.

Description

청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR ADJUSTING GAIN OF DIGITAL AUDIO SIGNAL BASED ON HEARING RECOGNITION CHARACTERISTICS}
다양한 실시예들은 디지털 오디오 신호를 처리하기 위한 전자 장치(electronic device) 및 그의 방법에 관한 것이다.
다양한 저장 매체(storage medium)들의 개발과 다양한 통신 방식(communication scheme)들의 개발로 인하여, 저장된 음원(music)을 재생하거나 스트리밍(streaming) 서비스를 통해 음원을 재생할 수 있는 전자 장치(electronic device)가 개발되고 있다.
사용자에게 높은 이동성(mobility)을 제공하기 위하여, 전자 장치(electronic device)는 소형화(minimize)되고 있다. 전자 장치의 소형화로 인한 트레이드 오프(trade off)로, 전자 장치에 포함되는(또는 임베디드되는(embedded)) 스피커(speaker)는 제한된 성능을 가질 수 있다. 따라서, 스피커의 제한된 성능을 극복하기 위한 신호 처리가 전자 장치에서 요구될 수 있다.
다양한 실시예들은, 사람의 청각적 특성(hearing characteristic)에 기반하여 디지털 오디오 신호를 처리하여 스피커를 통해 출력하기 위한 전자 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따른 전자 장치(electronic device)는, 프로세서(processor)를 포함할 수 있고, 상기 프로세서는, 오디오 신호(audio signal)의 최대 진폭을 지정된 범위(designated range)로 지정하고, 지정된 이득(designated gain)에 따라 상기 지정된 범위로 상기 오디오 신호를 처리하고, 상기 처리된 오디오 신호에 대한 주파수 대역 별 사람의 청각 인지 속성에 적어도 기반하여, 상기 처리된 오디오 신호에 대한 왜곡(distortion)을 허용할지 여부를 결정하고, 상기 처리된 오디오 신호에 대한 왜곡을 허용하지 않음을 결정하는 것에 응답하여, 상기 처리된 오디오 신호에 대한 이득을 감소시키고, 상기 처리된 오디오 신호에 대한 왜곡을 허용함을 결정하는 것에 응답하여, 상기 청각 인지 속성에 적어도 기반하여 상기 처리된 오디오 신호에 대한 이득을 조정하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치는, 스피커(speaker)와, 상기 스피커와 동작적(operably)으로 결합되고(coupled with), 지정된 범위(designated range)보다 넓은 제1 범위를 가지는 디지털 오디오 신호(digital audio signal)의 주파수 특성(frequency characteristic)이 사람(human)의 청각 특성(hearing characteristic)과 관련된 지정된 조건(designated condition)을 만족하는지 여부를 결정하고, 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 기반하여, 상기 지정된 범위보다 넓은 제2 범위를 가지는 제1 디지털 오디오 신호를 생성하고, 상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 기반하여, 상기 지정된 범위보다 좁은 제3 범위를 가지는 제2 디지털 오디오 신호를 생성하고, 상기 제1 디지털 오디오 신호에 기반하여 생성되는 제1 출력 신호 또는 상기 제2 디지털 오디오 신호에 기반하여 생성되는 제2 출력 신호를 상기 스피커를 통해 출력하도록 설정되는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시예들에 따른 전자 장치의 방법은, 오디오 신호의 최대 진폭을 지정된 범위로 지정하는 동작과, 지정된 이득에 따라 상기 지정된 범위로 상기 오디오 신호를 처리하는 동작과, 상기 처리된 오디오 신호에 대해 주파수 대역 별 사람의 청각 인지 속성에 적어도 기반하여 상기 처리된 오디오 신호에 대한 왜곡을 허용할지 여부를 결정하는 동작과, 상기 처리된 오디오 신호에 대한 왜곡을 허용하지 않음을 결정하는 것에 응답하여, 상기 처리된 오디오 신호에 대한 이득을 감소시키는 동작과, 상기 처리된 오디오 신호에 대한 왜곡을 허용함을 결정하는 것에 응답하여 상기 청각 인지 속성에 적어도 기반하여 상기 처리된 오디오 신호에 대한 이득을 조정하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치의 방법은, 지정된 범위보다 넓은 제1 범위를 가지는 디지털 오디오 신호의 주파수 특성이 사람의 청각 특성과 관련된 지정된 조건을 만족하는지 여부를 결정하는 동작과, 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 기반하여, 상기 지정된 범위보다 넓은 제2 범위를 가지는 제1 디지털 오디오 신호를 생성하는 동작과, 상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 기반하여, 상기 지정된 범위보다 좁은 제3 범위를 가지는 제2 디지털 오디오 신호를 생성하는 동작과, 상기 제1 디지털 오디오 신호에 기반하여 생성되는 제1 출력 신호 또는 상기 제2 디지털 오디오 신호에 기반하여 생성되는 제2 출력 신호를 상기 스피커를 통해 출력하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 그의 방법은, 디지털 오디오 신호에 기반하여 클리핑에 따른 왜곡이 마스킹 효과에 의해 사용자에게 인지되는지 여부를 결정함으로써, 향상된 음질 및/또는 음량을 가지는 오디오 신호를 제공할 수 있다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 오디오 모듈의 블록도이다.
도 3은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 기능적 구성의 예를 도시한다.
도 4는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 기능적 구성의 예를 도시한다.
도 5는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 왜곡 허용 결정부의 기능적 구성의 예를 도시한다.
도 6은 참조 데이터를 나타내는 그래프를 도시한다.
도 7은 다양한 실시예들에 따른 왜곡 허용 결정부의 동작을 나타내는 그래프를 도시한다.
도 8은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 왜곡 허용 결정부의 기능적 구성의 다른 예를 도시한다.
도 9는 디지털 오디오 입력 신호의 에너지 분포를 나타내는 그래프를 도시한다.
도 10은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 왜곡 허용 결정부의 기능적 구성의 또 다른 예를 도시한다.
도 11은 다양한 실시 예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서 내의 DRC(dynamic range control)부와 왜곡 허용 결정부 사이의 연결 관계의 예를 도시한다.
도 12는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 기능적 구성의 다른 예를 도시한다.
도 13은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 기능적 구성의 또 다른 예를 도시한다.
도 14는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 동작 흐름의 예를 도시한다.
도 15는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 동작의 다른 예를 도시한다.
도 16은 다양한 실시예들에 따라 제1 디지털 오디오 신호를 생성하는 전자 장치의 동작의 예를 도시한다.
도 17은 다양한 실시예들에 따라 제2 디지털 오디오 신호를 생성하는 전자 장치의 동작의 예를 도시한다.
도 18은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 동작 흐름의 또 다른 예를 도시한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 청각 인지 속성(hearing recognition characteristics)에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)을 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))을 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호를 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시에 따른, 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 오디오 모듈(170)의 블록도(200)이다.
도 2를 참조하면, 오디오 모듈(170)은, 예를 들면, 오디오 입력 인터페이스(210), 오디오 입력 믹서(220), ADC(analog to digital converter)(230), 오디오 신호 처리기(240), DAC(digital to analog converter)(250), 오디오 출력 믹서(260), 또는 오디오 출력 인터페이스(270)를 포함할 수 있다.
오디오 입력 인터페이스(210)는 입력 장치(150)의 일부로서 또는 전자 장치(101)와 별도로 구성된 마이크(예: 다이나믹 마이크, 콘덴서 마이크, 또는 피에조 마이크)를 통하여 전자 장치(101)의 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 예를 들어, 외부의 전자 장치(102)(예: 헤드셋 또는 마이크)로부터 오디오 신호를 획득하는 경우, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)와 연결 단자(178)를 통해 유선으로, 또는 무선 통신 모듈(192)을 통하여 무선으로(예: Bluetooth 통신) 연결되어 오디오 신호를 수신할 수 있다. 일실시예에 따르면, 오디오 입력 인터페이스(210)는 상기 외부의 전자 장치(102)로부터 획득되는 오디오 신호와 관련된 제어 신호(예: 입력 버튼을 이용한 볼륨 조정 신호)를 수신할 수 있다. 오디오 입력 인터페이스(210)는 복수의 오디오 입력 채널들을 포함하고, 각각의 오디오 입력 채널 별로 다른 오디오 신호를 수신할 수 있다. 일실시예에 따르면, 추가적으로 또는 대체적으로, 오디오 입력 인터페이스(210)는 전자 장치(101)의 다른 구성 요소(예: 프로세서(120) 또는 메모리(130))로부터 오디오 신호를 입력 받을 수 있다.
오디오 입력 믹서(220)는 입력된 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일실시예에 따르면, 오디오 입력 믹서(220)는, 오디오 입력 인터페이스(210)를 통해 입력된 복수의 아날로그 오디오 신호들을 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
ADC(230)는 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다. 일실시예에 따르면, ADC(230)는 오디오 입력 인터페이스(210)을 통해 수신된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 입력 믹서(220)를 통해 합성된 아날로그 오디오 신호를 디지털 오디오 신호로 변환할 수 있다.
오디오 신호 처리기(240)는 ADC(230)를 통해 입력받은 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 수신된 디지털 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 오디오 신호 처리기(240)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 증폭 또는 감쇄(예: 일부 주파수 대역 또는 전 주파수 대역의 증폭 또는 감쇄) 처리, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일실시예에 따르면, 오디오 신호 처리기(240)의 적어도 일부 기능은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
DAC(250)는 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다. 일실시예에 따르면, DAC(250)는 오디오 신호 처리기(240)에 의해 처리된 디지털 오디오 신호, 또는 전자 장치(101)의 다른 구성 요소로부터 획득한 디지털 오디오 신호를 아날로그 오디오 신호로 변환할 수 있다.
오디오 출력 믹서(260)는 출력할 복수의 오디오 신호들을 적어도 하나의 오디오 신호로 합성할 수 있다. 일실시예에 따르면, 오디오 출력 믹서(260)는 DAC(250)를 통해 아날로그로 전환된 오디오 신호 및 다른 아날로그 오디오 신호(예: 오디오 입력 인터페이스(210)을 통해 수신한 아날로그 오디오 신호)를 적어도 하나의 아날로그 오디오 신호로 합성할 수 있다.
오디오 출력 인터페이스(270)는 DAC(250)를 통해 변환된 아날로그 오디오 신호, 또는 추가적으로 또는 대체적으로 오디오 출력 믹서(260)에 의해 합성된 아날로그 오디오 신호를 음향 출력 장치(155)(예: 스피커(예: dynamic driver 또는 balanced armature driver), 또는 리시버)를 통해 전자 장치(101)의 외부로 출력할 수 있다. 일실시예에 따르면, 음향 출력 장치(155)는 복수의 스피커들을 포함하고, 오디오 출력 인터페이스(270)는 상기 복수의 스피커들 중 적어도 일부 스피커들을 통하여 서로 다른 복수의 채널들(예: 스테레오, 또는 5.1채널)을 갖는 오디오 신호를 출력할 수 있다. 일실시예에 따르면, 오디오 출력 인터페이스(270)는 외부의 전자 장치(102)(예: 외부 스피커 또는 헤드셋)와 연결 단자(178)를 통해 유선으로, 또는 무선 통신 모듈(192)을 통하여 무선으로 연결되어 오디오 신호를 출력할 수 있다.
일실시예에 따르면, 오디오 모듈(170)은 오디오 입력 믹서(220) 또는 오디오 출력 믹서(260)를 별도로 구비하지 않고, 오디오 신호 처리기(240)의 적어도 일부 기능으로서 복수의 디지털 오디오 신호들을 합성하여 적어도 하나의 디지털 오디오 신호를 생성할 수 있다.
일실시예에 따르면, 오디오 모듈(170)은 오디오 입력 인터페이스(210)를 통해 입력된 아날로그 오디오 신호, 또는 오디오 출력 인터페이스(270)를 통해 출력될 오디오 신호를 증폭할 수 있는 오디오 증폭기(미도시)(예: 스피커 증폭 회로)를 포함할 수 있다. 일실시예에 따르면, 상기 오디오 증폭기는 오디오 모듈(170)과 별도의 모듈로 구성될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 3은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치(101)의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은, 도 1에 도시된 전자 장치(101)에 포함될 수 있다.
도 3을 참조하면, 전자 장치(101)는 프로세서(120), 메모리(130), 음향 출력 장치(155), 및 오디오 모듈(170)을 포함할 수 있다.
도 3에 도시된 프로세서(120)는 도 1에 도시된 프로세서(120)에 상응할 수 있다.
프로세서(120)는, 디지털 오디오 신호를 처리할 수 있다. 다양한 실시예들에서, 상기 디지털 오디오 신호는 외부 전자 장치(예: 도 1에 도시된 전자 장치(102), 전자 장치(104), 서버(108) 등)로부터 수신되는 데이터에 기반하여 생성될 수 있다. 다양한 실시예들에서, 전자 장치(101)에 저장된 데이터에 기반하여 생성될 수 있다.
상기 디지털 오디오 신호는, 상기 디지털 오디오 신호에 기반하여 출력되는 신호가 포화(saturate)되는 것을 방지하기 위하여, 이득(gain)을 조정(adjust)하는 것이 요구되는 신호일 수 있다. 상기 디지털 오디오 신호는, 지정된 범위(designated range)보다 넓은 제1 범위 내(within)에서 분포될 수 있다. 상기 지정된 범위는, 스피커를 통해 출력되는 신호에서 포화(saturation)가 발생하는 것을 방지하기 위해 구성될(configured) 수 있다. 예를 들면, 상기 지정된 범위는, 16 비트 범위(bit range, 예: -32768 ~ +32768)이며, 상기 제1 범위는 32 비트 범위일 수 있다.
다양한 실시예들에서, 상기 디지털 오디오 신호는, 지정된 시간 단위(time unit) 내의 신호일 수 있다. 예를 들면, 프로세서(120)는 프레임(frame) 별로 상기 디지털 오디오 신호를 처리할 수 있다. 다양한 실시예들에서, 상기 디지털 오디오 신호는, 하나의 샘플(sample) 내의 신호일 수 있다.
다양한 실시예들에서, 프로세서(120)는 상기 디지털 오디오 신호의 주파수 특성(frequency characteristic)을 결정할 수 있다. 상기 주파수 특성은, 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호에 포함된 클리핑(clipping)에 따른 왜곡(distortion)에 대하여 마스킹 효과(masking effect)가 야기되는지 여부를 확인하기 위해 이용될 수 있다. 상기 마스킹 효과는, 특정 소리(예: 방해음(masker))에 의해 다른 특정 소리가 사람(human)에게 인지되지 않는 현상(phenomenon)을 나타낼 수 있다. 예를 들면, 프로세서(120)는 상기 디지털 오디오 신호를 주파수 도메인으로 변환하여 주파수 특성을 결정할 수 있다.
다양한 실시예들에서, 프로세서(120)는 상기 결정된 주파수 특성에 기반하여 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호에 클리핑에 따른 왜곡을 허용할지 여부(즉, 상기 출력될 오디오 신호에 클리핑에 따른 왜곡을 포함시킬지 여부)를 결정할 수 있다.
다양한 실시예들에서, 프로세서(120)는 상기 결정된 주파수 특성에 기반하여 상기 디지털 오디오 신호에 대한 이득을 결정할 수 있다. 프로세서(120)는, 상기 디지털 오디오신호에 기반하여 출력될 오디오 신호의 음량을 조절하기 위해 상기 디지털 오디오 신호에 대한 이득을 결정할 수 있다. 프로세서(120)는, 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호에 클리핑에 따른 왜곡을 포함시킬 것인지 여부를 결정하기 위해 상기 디지털 오디오 신호에 대한 이득을 결정할 수 있다. 예를 들어, 상기 디지털 오디오에 기반하여 출력될 오디오 신호가 클리핑에 따른 왜곡을 포함하더라도 마스킹 효과에 의해 사용자에게 인지되지 않을 것으로 추정되는 경우, 프로세서(120)는 상기 디지털 오디오 신호에 대한 이득을 제1 값으로 결정할 수 있다. 상기 제1 값을 가지는 이득이 적용된 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호는, 클리핑에 따른 왜곡을 포함할 수 있다. 상기 제1 값으로 설정된 이득이 적용된 상기 디지털 오디오 신호는 상기 지정된 범위보다 넓은 제2 범위를 가질 수 있다. 다른 예를 들어, 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호가 클리핑에 따른 왜곡을 포함함이 사용자에게 인지될 것으로 추정되는 경우, 프로세서(120)는 상기 디지털 오디오 신호에 대한 이득을 제2 값으로 결정할 수 있다. 상기 제2 값을 가지는 이득이 적용된 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호는, 클리핑에 따른 왜곡을 포함하지 않을 수 있다. 상기 제2 값으로 설정된 이득이 적용된 상기 디지털 오디오 신호는 상기 지정된 범위보다 좁은 제3 범위를 가질 수 있다.
다양한 실시예들에서, 프로세서(120)는, 상기 디지털 오디오 신호에 대한 이득을 결정하기 위해 적어도 하나의 파라미터(예: 제한 이득(limit gain), 목표 이득(target gain, 이득으로 지칭될 수도 있음), 반응속도(예: 어택(attack) 또는 릴리즈(release)) 등)를 결정할 수 있다. 예를 들면, 프로세서(120)는, 상기 적어도 하나의 파라미터의 값을 상기 디지털 오디오 신호의 주파수 특성에 상응하는 값으로 결정할 수 있다.
다양한 실시예들에서, 프로세서(120)는 음원(audio source)으로부터 입력되는 디지털 입력 신호(digital input signal)를 처리할 수 있다. 프로세서(120)는 상기 디지털 입력 신호를 복수의 서브 대역 상의 복수의 신호들로 분할할 수 있다. 예를 들면, 프로세서(120)는 상기 디지털 입력 신호에 대한 MBDRC(multi-band dynamic range control)를 수행하기 위해, 상기 디지털 입력 신호를 상기 복수의 신호들로 분할할 수 있다.
다양한 실시예들에서, 프로세서(120)는 메모리(130), 음향 출력 장치(155), 또는 오디오 모듈(170) 중 하나 이상과 동작적으로(operatively 또는 operably) 결합될(coupled with 또는 coupled to) 수 있다. 예를 들면, 프로세서(120)는 상기 디지털 입력 신호의 처리, 상기 디지털 오디오 신호의 처리 등을 위해 메모리(130)에 저장된 명령어(instruction)들을 실행할 수 있다. 다른 예를 들면, 프로세서(120)는 상기 디지털 오디오 신호를 아날로그 오디오 신호로 변환하기 위해 오디오 모듈(170)을 제어할 수 있다. 또 다른 예를 들면, 프로세서(120)는 상기 아날로그 오디오 신호를 출력하기 위해 음향 출력 장치(155)를 제어할 수 있다.
도 3에 도시된 메모리(130)은 도 1에 도시된 메모리(130)에 상응할 수 있다.
메모리(130)는 상기 디지털 입력 신호를 처리하기 위한 명령어들을 포함할 수 있다. 메모리(130)는 상기 디지털 오디오 신호를 처리하기 위한 명령어들을 포함할 수 있다.
도 3에 도시된 음향 출력 장치(155)는 도 1에 도시된 음향 출력 장치(155)에 상응할 수 있다.
음향 출력 장치(155)(예: 스피커)는 전자 장치(101)의 하우징(housing)에 탑재(embedded)될 수 있다. 상기 하우징은, 전자 장치(101)의 구성 요소(예: 프로세서(120), 메모리(130), 음향 출력 장치(155), 또는 오디오 모듈(170) 등)를 포함하기 위한 공간(space)를 제공할 수 있다. 상기 하우징은, 다양한 형태들로 구현될 수 있다. 하우징에 포함된 음향 출력 장치(155)의 적어도 일부는 외부에 노출될 수 있다. 음향 출력 장치(155)는 아날로그 오디오 신호를 출력하도록 구성될(configured) 수 있다. 음향 출력 장치(155)의 적어도 일부는, 아날로그 오디오 신호를 출력하기 위해, 상기 하우징의 하단의 적어도 일부를 통해 노출될 수 있다.
도 3에 도시된 오디오 모듈(170)은 도 1에 도시된 오디오 모듈(170) 및/또는 도 2에 도시된 오디오 모듈(170)에 상응할 수 있다.
오디오 모듈(170)은 상기 디지털 오디오 신호를 상기 아날로그 오디오 신호로 변환할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는, 프로세서(120)을 이용하여 디지털 오디오 신호에 기반하여 출력될 오디오 신호에 클리핑에 따른 왜곡을 허용할지 여부를 결정하고 상기 결정에 기반하여 디지털 오디오 신호를 처리함으로써, 향상된 음질 및/또는 음량을 가지는 오디오 신호를 제공할 수 있다.
도 4는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 기능적 구성의 예를 도시한다. 이러한 프로세서의 기능은, 도 1에 도시된 프로세서(120) 또는 도 3에 도시된 프로세서(120)에 의해 수행될 수 있다.
도 4를 참조하면, 프로세서(120)는 DRC(dynamic range control)부(400) 및 왜곡 허용 결정부(430)을 포함할 수 있다.
DRC부(400)는 딜레이 처리부(410), 레벨 측정부(420), 게인 커브 적용부(440), 게인 스무딩 적용부(450), 및 이득 적용부(460)를 포함할 수 있다.
딜레이 처리부(410)는 디지털 오디오 입력 신호를 지연시킬 수 있다. 상기 디지털 오디오 입력 신호는 상기 지정된 범위보다 넓은 범위를 가질 수 있다. 상기 디지털 오디오 입력 신호는 프레임 단위 또는 샘플링 단위로 처리될 수 있다. 다양한 실시예들에서, 상기 디지털 오디오 입력 신호는 MBDRC를 수행함으로써 생성된 복수의 신호들을 합성한 신호일 수 있다. 딜레이 처리부(410)는 상기 디지털 오디오 신호에 적용될 이득을 결정하기 위한 파라미터들을 결정하기 위해 요구되는 시간에 상응하는 시간만큼 상기 디지털 오디오 입력 신호를 지연시킬 수 있다. 상기 파라미터들은 게인 커브(gain curve)를 나타내는 데이터(예: 목표 이득, 또는 제한 이득 등)를 포함할 수 있다. 상기 파라미터들은 디지털 오디오 입력 신호에 적용될 이득을 스무딩하기 위한 데이터(예: 어택(attack), 또는 릴리즈(release) 등)를 포함할 수 있다. 상기 디지털 오디오 입력 신호는, 딜레이 처리부(410)에 의해 결정된 시간만큼 지연되어 이득 적용부(460)에 제공될 수 있다.
레벨 측정부(420)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. 상기 디지털 오디오 입력 신호는 프레임 단위 또는 샘플링 단위로 수신되거나 처리될 수 있다. 레벨 측정부(420)는 상기 디지털 오디오 입력 신호에 대한 연산을 수행할 수 있다. 다양한 실시 예들에서, 레벨 측정부(420)는 상기 디지털 오디오 입력 신호에 기반하여 상기 디지털 오디오 입력 신호의 피크를 나타내는 데이터 또는 상기 디지털 오디오 입력 신호의 RMS(root mean square)를 나타내는 데이터를 결정하거나 생성할 수 있다. 레벨 측정부(420)는 상기 결정된 데이터를 게인 커브 적용부(440)에게 제공할 수 있다.
게인 커브 적용부(440)는 레벨 측정부(420)로부터 제공되는 데이터 또는 왜곡 허용 결정부(430)로부터 수신되는 데이터 중 적어도 하나에 기반하여 게인 커브를 나타내는 데이터를 결정할 수 있다. 예를 들면, 게인 커브 적용부(440)는, 왜곡 허용 결정부(430)로부터 왜곡 허용 결정부(430)에 의해 결정된 데이터를 수신하는 경우, 레벨 측정부(420)로부터 제공되는 데이터 및 상기 수신된 데이터에 기반하여 게인 커브를 나타내는 데이터를 결정할 수 있다. 상기 게인 커브를 나타내는 데이터는 목표 이득 및 제한 이득일 수 있다.
게인 스무딩 적용부(450)는 게인 커브 적용부(440)로부터 제공되는 데이터 또는 왜곡 허용 결정부(430)로부터 수신되는 데이터 중 적어도 하나에 기반하여 상기 디지털 오디오 입력 신호에 적용될 이득에 대한 스무딩을 위한 데이터를 결정할 수 있다. 예를 들면, 게인 스무딩 적용부(450)는 왜곡 허용 결정부(430)로부터 왜곡 허용 결정부(430)에 의해 결정된 데이터를 수신하는 경우, 게인 커브 적용부(440)로부터 제공된 데이터 및 상기 수신된 데이터에 기반하여, 상기 스무딩을 위한 데이터를 결정할 수 있다. 상기 스무딩을 위한 데이터는 어택(attack) 시간 및 릴리즈(release) 시간일 수 있다.
이득 적용부(460)는 상기 게인 커브를 나타내는 데이터 및 상기 스무딩을 위한 데이터에 기반하여 결정되는 이득을 상기 디지털 오디오 입력 신호에 적용함으로써, 디지털 오디오 출력 신호를 생성할 수 있다. 다양한 실시예들에서, 상기 디지털 오디오 출력 신호는, 왜곡 허용 결정부(430)가 상기 디지털 오디오 출력 신호에 클리핑에 따른 왜곡을 허용할 것을 결정한 경우, 상기 지정된 범위보다 넓은 범위를 가질 수 있다. 다양한 실시예들에서, 상기 디지털 오디오 출력 신호는, 왜곡 허용 결정부(430)가 상기 디지털 오디오 출력 신호에 클리핑에 따른 왜곡을 허용하지 않음을 결정한 경우, 상기 지정된 범위에 상응하거나 상기 지정된 범위보다 좁은 범위를 가질 수 있다. 이득 적용부(460)는 딜레이 처리부(410)에 의해 지연된 디지털 오디오 입력 신호에 결정된 이득을 적용함으로써, 상기 디지털 오디오 출력 신호를 생성할 수 있다.
왜곡 허용 결정부(430)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. 왜곡 허용 결정부(430)는 상기 디지털 오디오 입력 신호에 FFT(fast fourier transform)를 적용함으로써, 제1 데이터를 생성하거나 획득할 수 있다. 왜곡 허용 결정부(430)는 상기 디지털 오디오 입력 신호에 대한 마스킹 커브(masking curve)를 나타내는 데이터를 생성하거나 획득할 수 있다. 상기 마스킹 커브를 나타내는 데이터는, 마스킹 커브를 구성하는 값들을 가지며, MPEG(moving picture experts group)-1 등과 같은 표준 규격에 따라 생성되거나 획득될 수 있다. 왜곡 허용 결정부(430)는 상기 제1 데이터 및 상기 마스킹 커브를 나타내는 데이터에 기반하여 상기 디지털 오디오 출력 신호에 클리핑에 따른 왜곡을 포함할지 여부를 결정하기 위한 참조 데이터(reference data)를 생성할 수 있다. 예를 들면, 왜곡 허용 결정부(430)는 상기 제1 데이터와 상기 마스킹 커브를 나타내는 데이터의 주파수 bin 별 최대값에 적어도 일부 기반하여 상기 참조 데이터를 생성할 수 있다.
왜곡 허용 결정부(430)는, 상기 디지털 오디오 입력 신호에 초기값(initial value)을 가지는 이득을 적용함으로써, 제2 데이터를 생성할 수 있다. 왜곡 허용 결정부(430)는, 상기 제2 데이터가 상기 지정된 범위보다 넓은 범위를 가지는 경우, 상기 제2 데이터가 상기 지정된 범위를 가지도록 상기 제2 데이터를 처리(예: 스케일링(scaling))함으로써, 제3 데이터를 생성할 수 있다. 예를 들면, 왜곡 허용 결정부(430)는 상기 제2 데이터 내에서 상기 지정된 범위의 최대값보다 큰 적어도 하나의 값을 상기 지정된 범위의 최대값으로 변경(convert 또는 change)하고, 상기 제2 데이터 내에서 상기 지정된 범위의 최소값보다 작은 적어도 하나의 값을 상기 지정된 범위의 최소값으로 변경함으로써, 상기 지정된 범위를 가지는 제3 데이터를 생성하거나 획득할 수 있다. 상기 제3 데이터는, 상기 지정된 범위보다 넓은 범위를 가지는 제2 데이터를 처리함으로써 생성되기 때문에, 클리핑에 따른 왜곡을 포함할 수 있다.
왜곡 허용 결정부(430)는 상기 생성된 제3 데이터에 FFT를 적용함으로써, 제4 데이터를 생성할 수 있다.
왜곡 허용 결정부(430)는, 상기 제4 데이터와 상기 참조 데이터에 기반하여, 상기 디지털 오디오 출력 신호에 상기 초기값을 가지는 이득을 적용할 경우 상기 디지털 오디오 출력 신호에서 상기 클리핑에 따른 왜곡이 인지되는지 여부를 결정할 수 있다. 다양한 실시예들에서, 왜곡 허용 결정부(430)는, 상기 제4 데이터가 상기 참조 데이터보다 작거나 같은 경우, 상기 초기값을 가지는 이득이 적용된 상기 디지털 오디오 출력 신호 내의 상기 클리핑에 따른 왜곡이 사용자에게 인지되지 않음을 결정할 수 있다. 상기 디지털 오디오 출력 신호에서 상기 클리핑에 따른 왜곡이 인지되지 않음을 결정하는 경우, 왜곡 허용 결정부(430)는 상기 초기값을 가지는 이득을 결정하기 위해 요구되는 적어도 하나의 파라미터에 대한 정보를 게인 커브 적용부(440) 또는 게인 스무딩 적용부(450) 중 적어도 하나로 제공할 수 있다. 다양한 실시예들에서, 왜곡 허용 결정부(430)는, 상기 제4 데이터가 상기 참조 데이터보다 큰 경우, 상기 초기값을 가지는 이득이 적용된 상기 디지털 오디오 출력 신호에서 상기 클리핑에 따른 왜곡이 사용자에게 인지됨을 결정할 수 있다. 상기 디지털 오디오 출력 신호에서 상기 클리핑에 따른 왜곡이 인지됨을 결정하는 경우, 왜곡 허용 결정부(430)는 상기 초기값을 이득을 조정(adjust)하거나 변경(change)할 수 있다. 예를 들면, 왜곡 허용 결정부(430)는 상기 초기값을 이득을 상기 초기값으로부터 지정된 값만큼 감소된 값을 가지는 이득으로 조정하거나 변경할 수 있다.
왜곡 허용 결정부(430)는, 상기 디지털 오디오 신호에 상기 조정된 이득을 적용함으로써, 갱신된(updated) 제2 데이터를 생성할 수 있다. 왜곡 허용 결정부(430)는 상기 갱신된 제2 데이터가 상기 지정된 범위보다 넓은 범위를 가지는 경우, 상기 제2 데이터가 상기 지정된 범위를 가지도록 상기 제2 데이터를 처리함으로써, 갱신된 제3 데이터를 생성할 수 있다. 왜곡 허용 결정부(430)는 상기 갱신된 제3 데이터에 FFT를 적용함으로써 갱신된 제4 데이터를 생성할 수 있다.
왜곡 허용 결정부(430)는 상기 갱신된 제4 데이터와 상기 참조 데이터에 기반하여, 상기 디지털 오디오 출력 신호에 상기 조정된 이득을 적용할 경우 상기 디지털 오디오 출력 신호에서 상기 클리핑에 따른 왜곡이 인지되는지 여부를 결정할 수 있다. 다양한 실시예들에서, 왜곡 허용 결정부(430)는, 상기 갱신된 제4 데이터가 상기 참조 데이터보다 작거나 같은 경우, 상기 조정된 이득이 적용된 상기 디지털 오디오 출력 신호 내의 상기 클리핑에 따른 왜곡이 사용자에게 인지되지 않음을 결정하고, 상기 조정된 이득을 결정하기 위해 요구되는 적어도 하나의 파라미터에 대한 정보를 게인 커브 적용부(440) 또는 게인 스무딩 적용부(450) 중 적어도 하나로 제공할 수 있다. 다양한 실시예들에서, 왜곡 허용 결정부(430)는, 상기 갱신된 제4 데이터가 상기 참조 데이터보다 큰 경우, 상기 디지털 오디오 출력 신호 내의 상기 클리핑에 따른 왜곡이 사용자에게 인지됨을 결정하고, 상기 조정된 이득을 재차 조정하거나 변경할 수 있다. 왜곡 허용 결정부(430)는 갱신된 제4 데이터가 상기 참조 데이터보다 작거나 같아질 때까지(즉, 상기 클리핑에 따른 왜곡이 상기 사용자에게 인지되지 않을 때까지), 이득을 조정하고, 조정된 이득에 기반하여 클리핑에 따른 왜곡을 포함할 것인지 여부를 결정하는 동작(예: 제2 데이터를 생성하는 동작, 제3 데이터를 생성하는 동작, 및 제4 데이터를 생성하는 동작, 디지털 오디오 출력 신호에서 클리핑에 따른 왜곡이 인지되는지 여부를 결정하는 동작 등)을 반복적으로 수행할 수 있다.
다양한 실시예들에서, 왜곡 허용 결정부(430)는, 상기 디지털 오디오 출력 신호에서 상기 클리핑에 따른 왜곡이 인지되지 않도록 하기 위한 동작을 미리 저장된 데이터에 기반하여 수행할 수도 있다. 상기 미리 저장된 데이터는 상술한 이득을 조정하고 조정된 이득에 기반하여 클리핑에 따른 왜곡을 포함할 것인지 여부를 결정하는 동작을 학습을 통해 반복적으로 수행함으로써, 결정될 수 있다. 왜곡 허용 결정부(430)는, 상기 디지털 오디오 입력 신호의 스펙트럼(spectrum)에 대한 데이터(예: 스펙트럼 히스토그램(spectrum histogram)) 및 상기 디지털 오디오 입력 신호의 크기(amplitude)에 대한 데이터(예: 크기 히스토그램(amplitude histogram))에 기반하여 상기 미리 저장된 데이터를 검색함으로써, 상기 디지털 오디오 입력 신호에 적용될 이득을 결정하기 위한 적어도 하나의 파라미터를 결정할 수 있다. 왜곡 허용부(430)는 상기 결정된 적어도 하나의 파라미터에 대한 정보를 게인 커브 적용부(440) 또는 게인 스무딩 적용부(450) 중 적어도 하나로 제공할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는 마스킹 커브를 나타내는 데이터 및 디지털 오디오 입력 신호에 기반하여 결정되는 데이터를 이용하여 참조 데이터를 생성하고, 상기 생성된 참조 데이터를 이용하여 상기 디지털 오디오 입력 신호에 대한 디지털 오디오 출력 신호에 포함될 수 있는 클리핑에 따른 왜곡이 사용자에게 인지되는지 여부를 결정함으로써, 보다 향상된 음질 또는 음량을 가지는 오디오 신호를 제공할 수 있다.
도 5는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 왜곡 허용 결정부의 기능적 구성의 예를 도시한다. 이러한 왜곡 허용 결정부의 기능은, 도 4에 도시된 왜곡 허용 결정부(430)에 의해 수행될 수 있다.
도 6은 참조 데이터를 나타내는 그래프를 도시한다. 도 6에서, 그래프(600)의 가로축은 주파수(frequency)를 나타내며, 그래프(600)의 가로축의 단위는 헤르츠(hertz, Hz)일 수 있다. 도 6에서, 그래프(600)의 세로축은 크기(magnitude)를 나타내며, 그래프(600)의 세로축의 단위는 데시벨(decibel, dB)일 수 있다.
도 5를 참조하면, 왜곡 허용 결정부(430)는 FFT 적용부(510), 마스킹 커브 생성부(520), 참조 커브 생성부(530), 파라미터 적용부(540), 클리핑 적용부(550), FFT 적용부(560), 비교부(570), 파라미터 수정부(580)를 포함할 수 있다.
FFT 적용부(510)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. FFT 적용부(510)는 상기 디지털 오디오 입력 신호에 FFT를 적용함으로써 상기 제1 데이터를 생성할 수 있다. 상기 제1 데이터는 참조 커브 생성부(530)에게 제공될 수 있다.
마스킹 커브 생성부(520)는 상기 디지털 오디오 입력 신호에 대한 마스킹 커브 또는 상기 디지털 오디오 입력 신호에 대한 마스킹 커브를 나타내는 데이터를 생성할 수 있다. 다양한 실시예들에서, 마스킹 커브 생성부(520)는 MPEG-1 등과 같은 표준 규격에 따라 마스킹 커브 또는 마스킹 커브를 나타내는 데이터를 생성할 수 있다. 마스킹 커브 생성부(520)는 상기 마스킹 커브에 대한 정보 또는 상기 마스킹 커브를 나타내는 데이터에 대한 정보를 참조 커브 생성부(530)에게 제공할 수 있다.
참조 커브 생성부(530)는 상기 마스킹 커브를 나타내는 데이터(또는 상기 마스킹 커브) 및 상기 제1 데이터에 기반하여 상기 디지털 오디오 출력 신호에 클리핑에 따른 왜곡을 포함할 지 여부를 결정하기 위한 참조 데이터(또는 참조 데이터로 구성되는 참조 커브)를 생성할 수 있다. 예를 들어, 도 6을 참조하면, 그래프(600)의 곡선(610)은 상기 제1 데이터를 나타낼 수 있으며, 그래프(600)의 곡선(620)은 상기 마스킹 커브를 나타내는 데이터로 구성된 마스킹 커브를 나타낼 수 있다. 참조 커브 생성부(530)는 상기 제1 데이터 및 상기 마스킹 커브를 나타내는 데이터에 기반하여 참조 데이터를 생성할 수 있다. 그래프(600)의 곡선(630)은 상기 참조 데이터로 구성된 참조 커브일 수 있다. 상기 참조 데이터는, 상기 제1 데이터와 상기 마스킹 커브를 나타내는 데이터 사이의 주파수 bin 별 최대값에 기반하여 상기 참조 데이터를 생성할 수 있다. 예를 들면, 참조 데이터는, 하기의 수학식 1에 기반하여 생성될 수 있다.
수학식 1에서, 은 n번째 bin에서 상기 제1 데이터를 나타내고, 는 n번째 bin에서 상기 마스킹 커브를 나타내는 데이터를 나타내며, 는 n번째 bin에서 상기 참조 데이터를 나타낼 수 있다.
참조 커브 생성부(530)는 상기 수학식 1에 기반하여 그래프(600)의 참조 커브(630)와 같이, 참조 데이터를 생성할 수 있다.
파라미터 적용부(540)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. 파라미터 적용부(54)는 상기 디지털 오디오 입력 신호에 특정 이득(예: 초기값을 가지는 이득 또는 파라미터 수정부(580)에 의해 조정되거나 수정된 이득 등)을 위한 파라미터들(예: 목표 이득, 제한 이득, 어택 타임, 또는 릴리즈 타임 등)을 적용함으로써, 상기 제2 데이터를 생성할 수 있다. 파라미터 적용부(540)는 상기 생성된 제2 데이터를 클리핑 적용부(550)에게 제공할 수 있다.
클리핑 적용부(550)는 상기 제2 데이터가 상기 지정된 범위보다 넓은 범위를 가지는 경우, 상기 제2 데이터가 상기 지정된 범위를 가지도록 상기 제2 데이터를 처리함으로써, 상기 제3 데이터를 생성할 수 있다. 예를 들면, 클리핑 적용부(550)는 하기의 수학식 2에 기반하여 상기 제3 데이터를 생성할 수 있다.
수학식 2에서, 는 상기 제2 데이터를 나타내고, 1은 상기 지정된 범위의 최대값을 나타내며, -1은 상기 지정된 범위의 최소값을 나타내며, 은 상기 제3 데이터를 나타낼 수 있다. 상기 제2 데이터에서 -1보다 크거나 같고 1보다 작거나 같은 데이터는 상기 제3 데이터에서 동일하게 설정될 수 있다.
클리핑 적용부(550)는 상기 제3 데이터를 FFT 적용부(560)에 제공할 수 있다.
FFT 적용부(560)은 상기 제3 데이터에 FFT를 적용함으로써, 제4 데이터를 생성할 수 있다. FFT 적용부(560)은 상기 제4 데이터를 비교부(570)에게 제공할 수 있다.
비교부(570)는 상기 제4 데이터 및 상기 참조 데이터를 수신할 수 있다. 비교부(570)는 상기 제4 데이터와 상기 참조 데이터를 비교할 수 있다. 상기 제4 데이터가 상기 참조 데이터보다 작거나 같은 경우, 비교부(570)는 상기 특정 이득을 위한 파라미터들에 대한 정보를 게인 커브 적용부(440) 또는 게인 스무딩 적용부(450) 중 적어도 하나로 제공할 수 있다. 이와 달리, 상기 제4 데이터의 적어도 일부가 상기 참조 데이터보다 큰 경우, 비교부(570)는 상기 특정 이득을 위한 파라미터들에 대한 정보를 파라미터 수정부(580)에게 제공할 수 있다.
파라미터 수정부(580)는 상기 특정 이득을 위한 파라미터들을 조정하거나 변경할 수 있다. 다양한 실시예들에서, 파라미터 수정부(580)는 상기 제4 데이터가 상기 참조 데이터보다 작거나 같아지도록 상기 특정 이득을 위한 파라미터들을 조정하거나 변경할 수 있다. 파라미터 수정부(580)는 상기 조정된 파라미터들에 대한 정보를 파라미터 적용부(540)에게 제공할 수 있다.
왜곡 허용 결정부(430)는 상기 제4 데이터가 상기 참조 데이터보다 작거나 같아질 때까지, 루프(loop)(590)에 따른 동작들을 반복적으로 수행할 수 있다.
도 7은 다양한 실시예들에 따른 왜곡 허용 결정부의 동작을 나타내는 그래프를 도시한다. 도 7에서, 그래프(700), 그래프(730), 및 그래프(760) 각각의 가로축은 주파수를 나타내며, 그래프(700), 그래프(730), 및 그래프(760) 각각의 가로축의 단위는 헤르츠일 수 있다. 도 7에서, 그래프(700), 그래프(730), 및 그래프(760) 각각의 세로축은 크기를 나타내며, 그래프(700), 그래프(730), 및 그래프(760) 각각의 세로축의 단위는 데시벨일 수 있다.
도 7을 참조하면, 그래프(700)에서, 곡선(710)은 상기 제4 데이터를 나타내며, 곡선(720)은 상기 참조 데이터를 나타낼 수 있다. 그래프(700)에서, 곡선(710)의 일부는 곡선(720)보다 큰 크기를 가질 수 있다. 곡선(710)의 일부가 곡선(720)보다 큰 크기를 가지기 때문에, 상기 제4 데이터에 기반하여 출력될 디지털 오디오 출력 신호는 사용자에게 인지될 수 있는 클리핑에 따른 왜곡을 포함할 수 있다. 왜곡 허용 결정부(430)는, 상기 클리핑에 따른 왜곡이 사용자에게 인지되는 것을 방지하기 위하여, 상기 디지털 오디오 출력 신호에 적용될 이득을 결정하기 위한 적어도 하나의 파라미터를 조정할 수 있다.
그래프(730)에서, 곡선(740)은 왜곡 허용 결정부(430)에 의해 조정된 적어도 하나의 파라미터에 기반하여 생성된 제4 데이터를 나타내며, 곡선(720)은 상기 참조 데이터를 나타낼 수 있다. 그래프(730)에서, 곡선(740)의 일부는 곡선(720)보다 큰 크기를 가질 수 있다. 곡선(740)의 일부가 곡선(720)보다 큰 크기를 가지기 때문에, 상기 제4 데이터에 기반하여 출력될 디지털 오디오 출력 신호는 사용자에게 인지될 수 있는 클리핑에 따른 왜곡을 포함할 수 있다. 왜곡 허용 결정부(430)는 상기 클리핑에 따른 왜곡이 사용자에게 인지되는 것을 방지하기 위하여, 상기 디지털 오디오 출력 신호에 적용될 이득을 결정하기 위한 적어도 하나의 파라미터를 재조정할 수 있다.
그래프(760)에서, 곡선(770)은 왜곡 허용 결정부(430)에 의해 재조정된 적어도 하나의 파라미터에 기반하여 생성된 제4 데이터를 나타내며, 곡선(720)은 상기 참조 데이터를 나타낼 수 있다. 그래프(760)에서, 곡선(770)을 구성하는 상기 제4 데이터는 곡선(720)을 구성하는 상기 참조 데이터보다 작거나 같은 값을 가질 수 있다. 곡선(770)이 곡선(720)보다 아래에 배치(곡선(770)과 곡선(720)이 일치되는 것을 포함)되기 때문에, 상기 제4 데이터에 기반하여 출력될 디지털 오디오 출력 신호 내의 클리핑에 따른 왜곡은 사용자에게 인지되지 않을 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는, 클리핑에 따른 왜곡이 사용자에게 인지되는지 여부를 결정하기 위한 참조 데이터를 이용하여, 클리핑에 따른 왜곡이 사용자에게 인지되지 않을 때까지 이득을 결정하기 위한 적어도 하나의 파라미터를 조정할 수 있다. 이러한 조정을 통해, 다양한 실시예들에 따른 전자 장치(101)는 향상된 음질 또는 음량을 가지는 오디오 신호를 출력할 수 있다.
도 8은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 왜곡 허용 결정부의 기능적 구성의 다른 예를 도시한다. 이러한 왜곡 허용 결정부의 기능은, 도 4에 도시된 왜곡 허용 결정부(430)에 의해 수행될 수 있다.
도 9는 디지털 오디오 입력 신호의 에너지 분포를 나타내는 그래프를 도시한다. 도 9에서, 그래프(900) 및 그래프(950) 각각의 가로축은 주파수를 나타내며, 그래프(900) 및 그래프(950) 각각의 가로축의 단위는 헤르츠일 수 있다. 도 9에서, 그래프(900) 및 그래프(950) 각각의 세로축은 크기를 나타내며, 그래프(900) 및 그래프(950) 각각의 세로축의 단위는 데시벨일 수 있다.
도 8을 참조하면, 왜곡 허용 결정부(430)은 고대역 통과 필터(810, HPF: high pass filter), 저대역 통과필터(820, LPF: low pass filter), 비율 분석부(830), 및 파라미터 테이블(840)을 포함할 수 있다.
HPF(810)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. HPF(810)은 상기 디지털 오디오 입력 신호에서 제1 기준 주파수(reference frequency)보다 높은 주파수를 가지는 제1 신호를 식별할 수 있다. 다양한 실시예들에서, HPF(810)는 상기 디지털 오디오 입력 신호에서 상기 제1 기준 주파수보다 낮은 주파수를 가지는 제2 신호를 필터링함으로써, 상기 제1 신호를 획득할 수 있다. HPF(810)은 상기 제1 신호를 비율 분석부(830)에게 제공할 수 있다.
LPF(820)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. LPF(820)은 상기 디지털 오디오 입력 신호에서 제2 기준 주파수보다 낮은 주파수를 가지는 제3 신호를 식별할 수 있다. 상기 제2 기준 주파수는 상기 제1 기준 주파수와 동일한 값으로 구성될 수도 있고, 다른 값으로 구성될 수도 있다. 다양한 실시예들에서, LPF(820)는 상기 디지털 오디오 입력 신호에서 상기 제2 기준 주파수보다 높은 주파수를 가지는 제4 신호를 필터링함으로써, 상기 제3 신호를 획득할 수 있다. LPF(820)는 상기 제3 신호를 비율 분석부(830)에게 제공할 수 있다.
비율 분석부(830)는 상기 제1 신호의 에너지와 상기 제3 신호의 에너지에 기반하여 상기 디지털 오디오 입력 신호에 대한 에너지 분포를 결정할 수 있다. 다양한 실시예들에서, 비율 분석부(830)는 상기 제1 기준 주파수보다 높은 주파수를 가지는 상기 제1 신호의 에너지와 상기 제2 기준 주파수보다 낮은 주파수를 가지는 상기 제3 신호의 에너지 사이의 비율을 결정할 수 있다.
예를 들어, 도 9를 참조하면, 그래프(900)의 곡선(910)과 그래프(950)의 곡선(960)은 디지털 오디오 입력 신호의 에너지 분포를 나타낼 수 있다. 곡선(910)은 곡선(960)보다 주파수 별로 에너지가 균일하게 분포될 수 있다. 주파수 별로 에너지가 균일하게 분포되는 경우(즉, 그래프(910)의 경우), 사용자는 마스킹 효과로 인하여 클리핑에 따른 왜곡을 인지하지 못할 수 있다. 이와 달리, 에너지가 특정 주파수 대역에 집중되는 경우(즉, 그래프(960)의 경우), 사용자는 클리핑에 따른 왜곡을 인지할 수 있다. 비율 분석부(830)는, 클리핑에 따른 왜곡이 인지되는지 여부를 결정하기 위해, 상기 제1 신호의 에너지와 상기 제3 신호의 에너지 사이의 비율을 결정할 수 있다.
비율 분석부(830)는 상기 결정된 비율에 대한 정보를 파라미터 테이블(840)에게 제공할 수 있다.
파라미터 테이블(840)은 비율 분석부(830)로부터 상기 결정된 비율에 대한 정보를 수신할 수 있다. 파라미터 테이블(840)은 상기 제1 기준 주파수보다 높은 주파수를 가지는 상기 제1 신호의 에너지와 상기 제2 기준 주파수보다 낮은 주파수를 가지는 상기 제3 신호의 에너지 사이의 비율 별로 맵핑된 이득을 결정하기 위한 적어도 하나의 파라미터에 대한 기준 정보를 저장할 수 있다. 파라미터 테이블(840)은 상기 기준 정보에서 상기 비율 분석부(830)로부터 수신된 정보에 맵핑된 적어도 하나의 파라미터를 식별할 수 있다. 파라미터 테이블(840)은 상기 식별된 적어도 하나의 파라미터에 대한 정보를 게인 커브 적용부(440) 또는 게인 스무딩 적용부(450) 중 적어도 하나로 제공할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는 상기 디지털 오디오 입력 신호의 에너지 분포에 따라 미리 결정된 파라미터 테이블을 이용하여 적어도 하나의 파라미터를 결정하고, 상기 결정된 적어도 하나의 파라미터에 기반하여 상기 디지털 오디오 입력 신호에 대한 이득을 결정함으로써, 상기 이득을 결정하기 위해 요구되는 복잡도를 감소시킬 수 있다.
도 10은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 왜곡 허용 결정부의 기능적 구성의 또 다른 예를 도시한다. 이러한 왜곡 허용 결정부의 기능은, 도 4에 도시된 왜곡 허용 결정부(430)에 의해 수행될 수 있다.
도 10을 참조하면, 왜곡 허용 결정부(430)는 FFT 적용부(1010) 및 뉴럴 네트워크(neural network)(1020)를 포함할 수 있다.
FFT 적용부(1010)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. FFT 적용부(1010)는 상기 디지털 오디오 입력 신호에 FFT를 적용함으로써, 상기 디지털 오디오 입력 신호의 스펙트럼에 대한 데이터를 생성하거나 획득할 수 있다. 상기 스펙트럼에 대한 데이터는, 스펙트럼 히스토그램(spectrum histogram)으로 구성될 수 있다. 상기 스펙트럼에 대한 데이터는, 뉴럴 네트워크(1020)에게 제공될 수 있다.
뉴럴 네트워크(1020)는 상기 스펙트럼에 대한 데이터를 수신할 수 있다. 뉴럴 네트워크(1020)는 상기 디지털 오디오 입력 신호의 크기(amplitude)에 대한 데이터를 수신할 수 있다. 상기 크기에 대한 데이터는, 크기 히스토그램(amplitude histogram)으로 구성될 수 있다.
뉴럴 네트워크(1020)는, 도 5에 도시된 기능적 구성을 이용하여 기계 학습(machine learning)을 통해 획득되는 기준 정보를 저장(또는 메모리(130)로부터 호출(read))할 수 있다. 상기 기준 정보는 상기 스펙트럼에 대한 데이터 및 상기 크기에 대한 데이터의 조합과 연계된 복수의 파라미터들을 포함할 수 있다. 상기 복수의 파라미터들은, 상기 디지털 오디오 입력 신호에 적용될 이득을 위해 이용되는 파라미터들일 수 있다. 예를 들면, 상기 기준 정보는, (스펙트럼에 대한 데이터, 크기에 대한 데이터)=(a, b)에 맵핑된 적어도 하나의 파라미터의 집합 k, (스펙트럼에 대한 데이터, 크기에 대한 데이터)=(c, d)에 맵핑된 적어도 하나의 파라미터의 집합 l 등을 포함할 수 있다.
뉴럴 네트워크(1020)는 상기 기준 정보 내에서 상기 수신된 스펙트럼에 대한 데이터 및 상기 수신된 크기에 데이터에 상응하는 적어도 하나의 파라미터(예: 목표 이득, 제한 이득, 어택 타임, 또는 릴리즈 타임 등)의 집합에 대한 정보를 게인 커브 적용부(440) 또는 게인 스무딩 적용부(450) 중 하나 또는 그 이상에 제공할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는, 기계 학습 등을 통해 결정된 기준 정보를 이용하는 뉴럴 네트워크(1020)를 통해, 출력 오디오 신호에 클리핑에 따른 왜곡을 포함할 것인지 여부를 결정하기 위한 동작에 대한 복잡도를 감소시킬 수 있다.
도 11은 다양한 실시 예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서 내의 DRC부와 왜곡 허용 결정부 사이의 연결 관계의 예를 도시한다. 이러한 연결 관계는, 도 1에 도시된 프로세서(120) 또는 도 3에 도시된 프로세서(120)에서 구성될 수 있다.
도 11을 참조하면, 프로세서(120)는 DRC부(400) 및 왜곡 허용 결정부(430)를 포함할 수 있다.
왜곡 허용 결정부(430)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. 왜곡 허용 결정부(430)는 상기 수신된 디지털 오디오 입력 신호의 크기에 대한 데이터를 획득할 수 있다. 왜곡 허용 결정부(430) 내의 FFT 적용부(1010)는 상기 수신된 디지털 오디오 입력 신호에 FFT를 적용함으로써 상기 수신된 디지털 오디오 입력 신호의 스펙트럼에 대한 데이터를 획득할 수 있다. 상기 크기에 대한 데이터 및 상기 스펙트럼에 대한 데이터는 뉴럴 네트워크(1020)에게 제공될 수 있다.
뉴럴 네트워크(1020)는 상기 기준 정보에 기반하여 상기 크기에 대한 데이터 및 상기 스펙트럼에 대한 데이터에 상응하는 적어도 하나의 파라미터를 결정할 수 있다. 뉴럴 네트워크(1020)는 상기 결정된 적어도 하나의 파라미터에 대한 정보를 DRC부(400)에게 제공할 수 있다. 다양한 실시예들에서, 뉴럴 네트워크(1020)는 DRC부(400)의 게인 커브 적용부(440) 또는 DRC부(400)의 게인 스무딩 적용부(450) 중 적어도 하나로 상기 결정된 적어도 하나의 파라미터에 대한 정보를 제공할 수 있다.
DRC부(400)는 상기 디지털 오디오 입력 신호를 수신할 수 있다. DRC부(400)는, 뉴럴 네트워크(1020)로부터 상기 결정된 적어도 하나의 파라미터에 대한 정보를 수신할 수 있다. DRC부(400)는 상기 수신된 디지털 오디오 입력 신호에 상기 적어도 하나의 파라미터에 대한 정보에 적어도 일부 기반하여 결정되는 이득을 상기 수신된 디지털 오디오 입력 신호에 적용함으로써, 상기 디지털 오디오 출력 신호를 생성할 수 있다.
도 12는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 기능적 구성의 다른 예를 도시한다. 이러한 프로세서의 기능은, 도 1에 도시된 프로세서(120) 또는 도 3에 도시된 프로세서(120)에 의해 수행될 수 있다.
도 12를 참조하면, 프로세서(120)는, FFT 적용부(1210), MBDRC(multi-band dynamic range control)부(1220), IFFT(inverse fast fourier transform) 적용부(1230), DRC부(400), 및 왜곡 허용 결정부(430)를 포함할 수 있다.
FFT 적용부(1210)는 입력 신호를 수신할 수 있다. 상기 입력 신호는 복수의 서브 밴드들을 포함하는 밴드(band) 상의 디지털 신호일 수 있다. FFT 적용부(1210)는 상기 입력 신호에 FFT를 적용하여 제1 신호를 생성할 수 있다. FFT 적용부(1210)는, 상기 제1 신호를 MBDRC부(1220)에게 제공할 수 있다.
MBDRC부(1220)는 상기 제1 신호를 수신할 수 있다. MBDRC부(1220)는 상기 제1 신호에 기반하여 상기 복수의 서브 밴드들 상의 복수의 신호들을 생성할 수 있다. 다양한 실시예들에서, MBDRC부(1220)는 상기 제1 신호를 서브 밴드 별로 분할함으로써, 상기 복수의 서브 밴드들 상의 상기 복수의 신호들로 분할할 수 있다. MBDRC부(1220)는 상기 복수의 신호들 각각에 대하여 DRC를 수행할 수 있다. MBDRC부(1220)는 상기 DRC가 수행된 복수의 신호들을 합성함으로써, 제2 신호를 생성할 수 있다. 상기 제2 신호는, IFFT 적용부(1230)에 제공될 수 있다.
IFFT 적용부(1230)는 상기 제2 신호에 IFFT를 적용함으로써, 제3 신호를 생성할 수 있다. 상기 제3 신호는, 상기 디지털 오디오 입력 신호일 수 있다. 상기 제3 신호는, DRC부(400) 및 왜곡 허용 결정부(430)에 제공될 수 있다.
왜곡 허용 결정부(430)는 상기 제공된 제3 신호에 기반하여 상기 크기에 대한 데이터를 생성할 수 있다. 왜곡 허용 결정부(430)는 상기 제공된 제3 신호에 기반하여 FFT 적용부(1010)를 통해 상기 스펙트럼에 대한 데이터를 생성할 수 있다. 왜곡 허용 결정부(430)는 상기 크기에 대한 데이터 및 상기 스펙트럼에 대한 데이터에 기반하여 뉴럴 네트워크(1020)를 통해 상기 제3 신호에 적용될 이득을 위한 적어도 하나의 파라미터를 결정할 수 있다. 상기 결정된 적어도 하나의 파라미터에 대한 정보는 DRC부(400)에 제공될 수 있다.
DRC부(400)는, 상기 제공된 제3 신호 및 상기 제공된 적어도 하나의 파라미터에 대한 정보에 적어도 일부 기반하여, 상기 제3 신호에 적용될 이득을 결정할 수 있다. DRC부(400)는 상기 이득을 상기 제3 신호에 적용함으로써 상기 디지털 오디오 출력 신호를 생성할 수 있다.
상술한 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)는, MBDRC부(1220)를 포함하는 구성에서, 클리핑에 따른 왜곡의 허용 여부를 결정할 수 있다. 이러한 결정을 통해, MBDRC를 수행하도록 설정된 전자 장치(101)에서 향상된 음질 또는 음량을 가지는 오디오 신호를 스피커를 통해 출력할 수 있다.
도 13은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 프로세서의 기능적 구성의 또 다른 예를 도시한다. 이러한 프로세서의 기능은, 도 1에 도시된 프로세서(120) 또는 도 3에 도시된 프로세서(120)에 의해 수행될 수 있다.
도 13을 참조하면, 프로세서(120)는 FFT 적용부(1210), MBDRC부(1220), IFFT 적용부(1230), DRC부(400), 및 왜곡 허용 결정부(430)를 포함할 수 있다.
FFT 적용부(1210)는 상기 입력 신호를 수신할 수 있다. FFT 적용부(1210)는 상기 입력 신호에 FFT를 적용하여 상기 제1 신호를 생성할 수 있다. FFT 적용부(1210)는 상기 제1 신호를 MBDRC부(1220)에게 제공할 수 있다.
MBDRC부(1220)는 상기 제1 신호를 수신할 수 있다. MBDRC부(1220)는 상기 제1 신호에 기반하여 상기 복수의 서브 밴드들 상의 상기 복수의 신호들을 생성하고, 상기 생성된 복수의 신호들 각각에 대하여 DRC를 수행할 수 있다. MBDRC부(1220)는 상기 DRC가 수행된 복수의 신호들을 합성함으로써, 제2 신호를 생성할 수 있다. MBDRC부(1220)는 상기 제2 신호를 왜곡 허용 결정부(430)에 제공할 수 있다. MBDRC부(1220)는 상기 제2 신호를 IFFT 적용부(1230)에 제공할 수 있다.
IFFT 적용부(1230)는 상기 제2 신호에 IFFT를 적용함으로써, 상기 제3 신호를 생성할 수 있다. 상기 제3 신호는 상기 디지털 오디오 입력 신호에 상응할 수 있다. IFFT 적용부(1230)는 상기 제3 신호를 DRC부(400)에 제공할 수 있다. IFFT 적용부(1230)는 상기 제3 신호를 왜곡 허용 결정부(430)에게 제공할 수 있다.
왜곡 허용 결정부(430)는 상기 MBDRC부(1220)로부터 제공된 상기 제2 신호에 기반하여 상기 제2 신호의 스펙트럼에 대한 데이터를 생성할 수 있다. 도 12의 왜곡 허용 결정부(430)와 달리, 도 13의 왜곡 허용 결정부(430)는 FFT 적용부(1010)을 포함하지 않을 수 있다. 왜곡 허용 결정부(430)는, FFT가 적용된 상기 제2 신호를 MBDRC부(1220)로부터 수신함으로써, 왜곡 허용 결정부(430)에서 FFT와 관련된 연산을 수행하지 않고 상기 디지털 오디오 출력 신호에 적용될 이득을 위한 적어도 하나의 파라미터를 결정하기 위해 이용되는 스펙트럼에 대한 정보를 획득할 수 있다.
왜곡 허용 결정부(430)는 상기 IFFT 적용부(1230)로부터 제공된 상기 제3 신호에 기반하여 상기 제3 신호의 크기에 대한 데이터를 생성할 수 있다.
왜곡 허용 결정부(430)는 상기 스펙트럼에 대한 데이터 및 상기 크기에 대한 데이터에 기반하여 뉴럴 네트워크(1020)를 통해 상기 제3 신호에 적용될 이득을 결정하기 위한 적어도 하나의 파라미터를 결정할 수 있다. 왜곡 허용 결정부(430)는 상기 결정된 적어도 하나의 파라미터에 대한 정보를 DRC부(400)에게 제공할 수 있다. 다양한 실시예들에서, 왜곡 허용 결정부(430)는 상기 결정된 적어도 하나의 파라미터에 대한 정보를 DRC부(400)의 게인 커브 적용부(440) 또는 DRC부(400)의 게인 스무딩 적용부(450) 중 적어도 하나로 제공할 수 있다.
DRC부(400)는 상기 수신된 제3 신호 및 상기 수신된 적어도 하나의 파라미터에 대한 정보에 적어도 일부 기반하여 상기 디지털 오디오 출력 신호를 생성할 수 있다. 다양한 실시예들에서, DRC부(400)는 상기 수신된 적어도 하나의 파라미터에 대한 정보에 적어도 일부 기반하여 상기 제3 신호를 위한 이득을 결정할 수 있다. DRC부(400)는 상기 결정된 이득을 상기 제3 신호에 적용함으로써, 상기 디지털 오디오 출력 신호를 생성할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는, MBDRC를 위해 수행되는 FFT를 통해 획득되는 데이터를 왜곡 허용 결정부(430)에서 이용함으로써, 왜곡 허용 결정부(430)에 의해 수행되는 연산의 복잡도를 감소시킬 수 있다.
상술한 바와 같은 다양한 실시예들에 따른 전자 장치(101)는 프로세서(예: 도 1 또는 도 3에 도시된 프로세서(120))를 포함할 수 있고, 상기 프로세서는, 오디오 신호(audio signal)의 최대 진폭을 지정된 범위(designated range)로 지정하고, 지정된 이득(designated gain)에 따라 상기 지정된 범위로 상기 오디오 신호를 처리하고, 상기 처리된 오디오 신호에 대한 주파수 대역 별 사람의 청각 인지 속성에 적어도 기반하여, 상기 처리된 오디오 신호에 대한 왜곡(distortion)을 허용할지 여부를 결정하고, 상기 처리된 오디오 신호에 대한 왜곡을 허용하지 않는 결정에 적어도 기반하여, 상기 처리된 오디오 신호에 대한 이득을 감소시키고, 상기 처리된 오디오 신호에 대한 왜곡을 허용하는 결정에 적어도 기반하여, 상기 청각 인지 속성에 따라 상기 처리된 오디오 신호에 대한 이득을 조정하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서는, 상기 청각 인지 속성의 적어도 일부로, 상기 처리된 오디오 신호의 주파수 대역 별 에너지 분포를 확인하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서는, 상기 처리된 오디오 신호에 대한 왜곡을 허용하지 않는 결정에 적어도 기반하여, 상기 지정된 이득을 다른 지정된 이득으로 변경하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치(101)는, 스피커(예: 도 1에 도시된 음향 출력 장치(155) 또는 도 3에 도시된 음향 출력 장치(155))와, 상기 스피커와 동작적(operably)으로 결합된(coupled with) 적어도 하나의 프로세서(processor)(예: 도 1에 도시된 프로세서(120) 또는 도 3에 도시된 프로세서(120))을 포함할 수 있고, 상기 적어도 하나의 프로세서는, 지정된 범위(designated range)보다 넓은 제1 범위를 가지는 디지털 오디오 신호(digital audio signal)의 주파수 특성(frequency characteristic)이 사람(human)의 청각 특성(hearing characteristic)과 관련된 지정된 조건(designated condition)을 만족하는지 여부를 결정하고, 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 넓은 제2 범위를 가지는 제1 디지털 오디오 신호를 생성하고, 상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 좁은 제3 범위를 가지는 제2 디지털 오디오 신호를 생성하며, 상기 제1 디지털 오디오 신호에 적어도 기반하여 생성되는 제1 출력 신호 또는 상기 제2 디지털 오디오 신호에 적어도 기반하여 생성되는 제2 출력 신호를 상기 스피커를 통해 출력하도록 설정될 수 있다.
다양한 실시예들에서, 상기 청각 특성은, 마스킹 효과(masking effect)와 관련될 수 있고, 상기 적어도 하나의 프로세서는, 상기 주파수 특성에 기반하여 결정되는 데이터가 상기 디지털 오디오 신호에 적어도 기반하여 출력될 신호에 포함된 클리핑(clipping)에 따른 왜곡이 상기 마스킹 효과에 의해 인지되지 않는 것으로 추정되면 상기 지정된 조건을 만족하는 것으로 결정하도록 설정될 수 있다.
다양한 실시예들에서, 상기 스피커를 통해 출력되는 제1 출력 신호는, 클리핑(clipping)에 의해 야기되는 왜곡(distortion)을 포함할 수 있다. 다양한 실시예들에서, 상기 스피커를 통해 출력되는 제2 출력 신호는, 상기 왜곡을 포함하지 않을 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 디지털 오디오 신호의 주파수 도메인 상의 에너지 분포(energy distribution)에 적어도 기반하여 상기 주파수 특성을 확인하도록 설정될 수 있다.
다양한 실시예들에서, 상기 디지털 오디오 신호는, 복수의 프레임들 중 제1 프레임(frame)에 상응할 수 있고, 상기 적어도 하나의 프로세서는, 상기 복수의 프레임들 중 상기 제1 프레임의 다음(next to) 프레임인 제2 프레임에 상응하는 다른 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족하는지 여부를 결정하고, 상기 다른 디지털 오디오 신호의 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 다른 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 넓은 제4 범위를 가지는 제3 디지털 오디오 신호를 생성하고, 상기 제3 디지털 오디오 신호에 적어도 기반하여 생성되는 제3 출력 신호를 상기 스피커를 통해 출력하도록 더 설정될 수 있다. 상기 적어도 하나의 프로세서는, 상기 다른 디지털 오디오 신호의 주파수 특성에 상응하는 적어도 하나의 값을 결정하고, 상기 결정된 적어도 하나의 값에 적어도 기반하여 결정되는 이득을 상기 다른 디지털 오디오 신호에 적용함으로써, 상기 제3 디지털 오디오 신호를 생성하도록 설정될 수 있고, 상기 적어도 하나의 값은, 상기 다른 디지털 오디오 신호에 대한 제한 이득(limit gain), 상기 다른 디지털 오디오 신호에 대한 목표 이득(target gain), 또는 상기 목표 이득에 도달하거나 상기 목표 이득으로부터 이득을 복원하는 반응 속도 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호가 가지는 범위를 상기 제3 범위로 변경하기 위한 제2 이득을 결정하고, 상기 제2 이득을 상기 디지털 오디오 신호에 적용함으로써 상기 제2 디지털 오디오 신호를 생성하도록 설정될 수 있다.
다양한 실시예들에서, 상기 주파수 특성은, 상기 디지털 오디오 신호에 특정 값을 가지는 이득을 적용함으로써 생성되는 제1 데이터에 기반하여 결정되고, 상기 지정된 조건은, 상기 제1 데이터가 상기 참조 데이터보다 작거나 같은 것을 나타내며, 상기 참조 데이터는, 상기 디지털 오디오 신호에 대한 마스킹 커브를 나타내는 제2 데이터와 상기 디지털 오디오 신호에 FFT(fast fourier transform)를 적용함으로써 생성되는 제3 데이터에 기반하여 결정될 수 있다. 상기 참조 데이터는, 상기 제2 데이터와 상기 제3 데이터 사이의 주파수 단위 별 최대값으로 구성될 수 있다.
다양한 실시예들에서, 상기 디지털 오디오 신호는, MBDRC(multi-band dynamic range control)가 적용된 복수의 신호들을 합성(combine)함으로써 생성될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 제1 디지털 오디오 신호 또는 상기 제2 디지털 오디오 신호로부터 변환된 아날로그 신호를 생성하고, 상기 생성된 아날로그 신호를 상기 제1 출력 신호 또는 상기 제2 출력 신호로 상기 스피커를 통해 출력하도록 설정될 수 있다.
도 14는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 동작 흐름의 예를 도시한다. 이러한 동작은 도 1 또는 도 3에 도시된 전자 장치(101) 또는 전자 장치(101)의 구성 요소(예: 도 1 또는 도 3에 도시된 프로세서(120) 등)에 의해 수행될 수 있다.
도 14를 참조하면, 동작 1410에서, 프로세서(120)는 오디오 신호의 최대 진폭을 지정된 범위로 지정할 수 있다. 상기 오디오 신호는, 상기 복수의 신호들을 합성한 통합된 신호에 상응할 수도 있다. 상기 지정된 범위는, 음원 출력 프로세스에서 포화(saturation)가 발생하는 것을 방지하기 위해 구성될 수 있다. 예를 들면, 상기 지정된 범위는 16 비트 범위일 수 있다. 프로세서(120)는 오디오 신호의 최대 진폭을 지정된 범위로 지정할 수 있다.
동작 1420에서, 프로세서(120)는 상기 처리된 오디오 신호에 대한 주파수 대역 별 사람의 청각 인지 속성에 적어도 일부 기반하여, 상기 처리된 오디오 신호에 대한 왜곡을 허용할지 여부를 결정할 수 있다. 상기 사람의 청각 인지 속성은 마스킹 효과와 관련될 수 있다. 상기 왜곡은 클리핑에 따른 왜곡일 수 있다. 상기 사람의 청각 인지 속성은, 상기 오디오 신호에 기반하여 출력될 신호에 클리핑에 따른 왜곡이 포함되는 경우, 상기 왜곡이 마스킹 효과에 의해 사람에게 인지되지 않는 것을 포함할 수 있다. 예를 들면, 프로세서(120)는, 상기 처리된 오디오 신호에 대한 주파수 대역 별 사람의 청각 인지 속성에 적어도 일부 기반하여 상기 왜곡이 마스킹 효과에 의해 사람에게 인지되지 않음을 결정하는 것에 응답하여, 상기 왜곡을 허용할 것을 결정할 수 있다. 다른 예를 들면, 프로세서(120)는, 상기 처리된 오디오 신호에 대한 주파수 대역 별 사람의 청각 인지 속성에 적어도 일부 기반하여 상기 왜곡이 마스킹 효과에 의해 사람에게 인지됨을 결정하는 것에 응답하여, 상기 왜곡을 허용하지 않을 것을 결정할 수 있다.
동작 1430에서, 프로세서(120)는 상기 오디오 신호에 대한 왜곡의 허용 여부에 따라 상기 오디오 신호에 대한 이득을 조정할 수 있다. 예를 들어, 프로세서(120)는, 상기 왜곡을 허용함을 결정하는 것에 응답하여, 상기 오디오 신호가 상기 지정된 범위보다 넓은 범위를 가지도록 상기 오디오 신호에 대한 이득을 조정할 수 있다. 상기 조정된 이득은 상기 지정된 이득보다 높을 수 있다. 다른 예를 들어, 프로세서(120)는 상기 왜곡을 허용하지 않음을 결정하는 것에 응답하여, 상기 오디오 신호가 상기 지정된 범위보다 좁은 범위를 가지도록 상기 오디오 신호에 대한 이득을 조정(또는 감소)할 수 있다. 상기 조정된 이득은 상기 지정된 이득보다 낮을 수 있다.
도 14에 도시하지 않았으나, 프로세서(120)는 상기 조정된 이득을 상기 오디오 신호에 적용함으로써, 출력 오디오 신호를 생성할 수 있다. 프로세서(120)는, 상기 출력 오디오 신호에 대한 디지털-아날로그 변환을 수행함으로써, 출력 아날로그 오디오 신호를 생성할 수 있다. 프로세서(120)는 상기 생성된 출력 아날로그 오디오 신호를 음향 출력 장치(155) 등을 통해 출력할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는, 클리핑에 따른 왜곡이 마스킹 효과에 의해 사용자에게 인지되는지 여부를 결정함으로써, 향상된 음질 및/또는 음량을 가지는 오디오 신호를 제공할 수 있다.
도 15는 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치(101)의 동작의 다른 예를 도시한다. 이러한 동작은 도 1 또는 도 3에 도시된 전자 장치(101) 또는 전자 장치(101)의 구성 요소(예: 도 1 또는 도 3에 도시된 프로세서(120) 등)에 의해 수행될 수 있다.
도 15를 참조하면, 동작 1510에서, 프로세서(120)는 지정된 범위보다 넓은 제1 범위를 가지는 디지털 오디오 신호의 주파수 특성이 지정된 조건을 만족하는지 여부를 결정할 수 있다. 상기 디지털 오디오 신호는 음원으로부터 야기된 신호일 수 있다. 상기 디지털 오디오 신호는 MBDRC가 적용된 복수의 신호들을 합성함으로써 생성된 신호에 상응할 수도 있다. 상기 지정된 범위는 음원 출력 프로세스에서 포화가 발생하는 것을 방지하기 위해 구성될 수 있다. 상기 디지털 오디오 신호의 주파수 특성은, 상기 디지털 오디오 신호의 주파수 도메인 상의 진폭 또는 에너지 분포와 관련될 수 있다. 다양한 실시예들에서, 프로세서(120)는 상기 지정된 범위보다 넓은 상기 제1 범위를 가지는 디지털 오디오 신호의 주파수 특성이 사람의 청각 특성과 관련된 지정된 조건을 만족하는지 여부를 결정할 수 있다. 상기 청각 특성은, 상기 마스킹 효과와 관련될 수 있고, 상기 지정된 조건은 상기 주파수 특성에 기반하여 결정되는 데이터가 상기 디지털 오디오 신호에 기반하여 출력될 신호에 포함될 클리핑에 따른 왜곡이 마스킹 효과에 의해 인지되지 않는 것으로 추정되는 것을 포함할 수 있다.
예를 들면, 프로세서(120)는 상기 디지털 오디오 신호의 주파수 도메인 상의 에너지 분포에 대한 정보를 획득할 수 있다. 프로세서(120)는 상기 획득된 정보에 기반하여 출력될 신호에 포함될 클리핑에 따른 왜곡이 마스킹 효과에 의해 사용자에게 인지되지 않는지 여부를 결정함으로써, 상기 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족하는지 여부를 결정할 수 있다.
다른 예를 들면, 프로세서(120)는 상기 디지털 오디오 신호의 주파수 도메인 상의 크기를 나타내기 위한 데이터를 획득할 수 있다. 프로세서(120)는 상기 획득된 데이터와 상기 마스킹 효과와 관련된 기준 정보를 비교할 수 있다. 상기 기준 정보는, 기계 학습 또는 딥 러닝에 의해 구성될 수 있다. 상기 기준 정보는, 주파수 특성과 마스킹 효과 사이의 관계를 나타내는 정보를 포함할 수 있다. 예를 들면, 상기 기준 정보는, 주파수 도메인 상에서 특정 진폭을 가지거나 특정 에너지 분포를 가지는 디지털 오디오 신호에 적어도 일부 기반하여 출력될 오디오 신호에 클리핑에 따른 왜곡이 포함되는 경우, 상기 왜곡이 마스킹 효과에 의해 사용자에게 인지되지 않는지 여부에 대한 정보 또는 상기 왜곡이 마스킹 효과에 의해 사용자에게 인지되지 않을 확률에 대한 정보를 포함할 수 있다. 프로세서(120)는, 상기 비교 결과에 기반하여, 출력될 신호에 포함될 클리핑에 따른 왜곡이 마스킹 효과에 의해 가려지는지 여부를 결정함으로써, 상기 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족하는지 여부를 결정할 수 있다.
다양한 실시예들에서, 프로세서(120)는 상기 디지털 오디오 신호에 특정 값을 가지는 이득을 적용함으로써 생성되는 제1 데이터를 상기 주파수 특성으로 결정할 수 있다. 프로세서(120)는 상기 디지털 오디오 신호에 대한 참조 데이터를 생성할 수 있다. 상기 참조 데이터는, 상기 디지털 오디오 신호에 대한 마스킹 커브를 나타내는 제2 데이터와 상기 디지털 오디오 신호에 FFT를 적용함으로써 생성되는 제3 데이터에 기반하여 결정될 수 있다. 예를 들면, 상기 참조 데이터는, 상기 제2 데이터와 상기 제3 데이터 사이의 주파수 단위 별 최대값으로 구성될 수 있다. 상기 참조 데이터는, 상기 수학식 1에 의해 결정될 수 있다. 프로세서(120)는 상기 제1 데이터가 상기 참조 데이터보다 작거나 같은 경우, 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정할 수 있다.
상기 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 프로세서(120)는 동작 1520을 수행할 수 있다. 이와 달리, 상기 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 프로세서(120)는 동작 1540을 수행할 수 있다.
상기 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 동작 1520에서, 프로세서(120)는 상기 디지털 오디오 신호에 기반하여 상기 지정된 범위보다 넓은 제2 범위를 가지는 제1 디지털 오디오 신호를 생성할 수 있다. 상기 제1 디지털 오디오 신호는 상기 지정된 범위보다 넓은 상기 제2 범위를 가지기 때문에, 상기 제1 디지털 오디오 신호에 기반하여 출력될 오디오 신호는 클리핑에 따른 왜곡을 포함할 수 있다. 상기 출력될 오디오 신호에 포함된 상기 클리핑에 따른 왜곡은, 마스킹 효과에 의해 사용자에게 인지되지 않기 때문에, 상기 출력될 오디오 신호는 상기 왜곡을 포함할지라도 향상된 음질 및/또는 음량을 가질 수 있다.
동작 1530에서, 프로세서(120)는 상기 제1 디지털 오디오 신호에 기반하여 제1 출력 신호를 생성할 수 있다. 예를 들면, 프로세서(120)는 상기 제1 디지털 오디오 신호로부터 변환된 아날로그 신호를 상기 제1 출력 신호로 생성할 수 있다.
상기 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 동작 1540에서, 프로세서(120)는 상기 디지털 오디오 신호에 기반하여 상기 지정된 범위보다 좁은 제3 범위를 가지는 제2 디지털 오디오 신호를 생성할 수 있다. 상기 제2 디지털 오디오 신호는 상기 지정된 범위보다 좁은 상기 제3 범위를 가지기 때문에, 상기 제2 디지털 오디오 신호에 기반하여 출력될 오디오 신호는 클리핑에 따른 왜곡을 포함하지 않을 수 있다. 상기 출력될 오디오 신호는, 상기 왜곡을 포함하지 않기 때문에, 향상된 음질 및/또는 음량을 가질 수 있다.
동작 1550에서, 프로세서(120)는 상기 제2 디지털 오디오 신호에 기반하여 제2 출력 신호를 생성할 수 있다. 예를 들면, 프로세서(120)는 상기 제2 디지털 오디오 신호로부터 변환된 아날로그 신호를 상기 제2 출력 신호로 생성할 수 있다.
동작 1560에서, 프로세서(120)는 상기 제1 출력 신호 또는 상기 제2 출력 신호를 스피커(예: 도 1 또는 도 3에 도시된 음향 출력 장치(155))를 통해 출력할 수 있다. 상기 제1 출력 신호는, 클리핑에 따른 왜곡을 포함할 수 있지만, 상기 왜곡은 마스킹 효과에 의해 사용자에게 인지되지 않기 때문에, 향상된 음질 및/또는 음량을 가질 수 있다. 상기 제2 출력 신호는, 사용자에게 인지될 수 있는 클리핑에 따른 왜곡을 포함하지 않기 때문에, 향상된 음질 및/또는 음량을 가질 수 있다.
도 15에 도시된 동작 1510 내지 동작 1560 중 적어도 일부는 프레임 별 또는 샘플 별로 수행될 수도 있다. 예를 들면, 프로세서(120)는, 복수의 프레임들 중 제1 프레임에 상응하는 디지털 오디오 신호에 대하여, 동작 1510 내지 동작 1560 중 적어도 일부를 수행하고, 복수의 프레임들 중 상기 제1 프레임의 다음 프레임인 제2 프레임에 상응하는 다른 디지털 오디오 신호에 대하여, 동작 1510 내지 동작 1560 중 적어도 일부를 수행할 수 있다.
도 16은 다양한 실시예들에 따라 제1 디지털 오디오 신호를 생성하는 전자 장치(101)의 동작의 예를 도시한다. 이러한 동작은 도 1 또는 도 3에 도시된 전자 장치(101) 또는 전자 장치(101)의 구성 요소(예: 도 1 또는 도 3에 도시된 프로세서(120) 등)에 의해 수행될 수 있다.
도 16의 동작 1610, 동작 1620, 및 동작 1630은 도 15의 동작 1520과 관련될 수 있다.
도 16을 참조하면, 동작 1610에서, 프로세서(120)는 디지털 오디오 신호의 주파수 특성에 상응하는 적어도 하나의 값을 결정할 수 있다. 프로세서(120)는 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호에 클리핑에 따른 왜곡을 허용한다는 것을 고려하여, 상기 디지털 오디오 신호의 주파수 특성에 상응하는 적어도 하나의 값을 결정할 수 있다. 상기 적어도 하나의 값은, 상기 디지털 오디오 신호에 적용될 이득을 결정하기 위한 적어도 하나의 파라미터에 설정되는 값일 수 있다. 상기 적어도 하나의 파라미터는, 상기 디지털 오디오 신호에 대한 제한 이득, 상기 디지털 오디오 신호에 대한 목표 이득, 또는 상기 목표 이득에 도달(즉, 어택 타임)하거나 상기 목표 이득으로부터 이득을 복원(즉, 릴리즈 타임)하는 반응 속도 중 적어도 하나를 포함할 수 있다.
동작 1620에서, 프로세서(120)는 상기 결정된 적어도 하나의 값에 기반하여, 상기 디지털 오디오 신호에 적용될 이득을 결정할 수 있다. 예를 들면, 프로세서(120)는 상기 이득을 결정하기 위해 이용되고, 동작 1610에서 결정된 값과 관련된 파라미터와 다른 적어도 하나의 파라미터에 대한 적어도 하나의 다른 값을 결정할 수 있다. 프로세서(120)는 동작 1610에서 결정된 적어도 하나의 값과 동작 1620에서 결정된 적어도 하나의 다른 값에 적어도 일부 기반하여 상기 디지털 오디오 신호에 적용될 이득을 결정할 수 있다.
동작 1630에서, 프로세서(120)는 상기 결정된 이득을 상기 디지털 오디오 신호에 적용함으로써, 상기 제1 디지털 오디오 신호를 생성할 수 있다.
도 17은 다양한 실시예들에 따라 제2 디지털 오디오 신호를 생성하는 전자 장치(101)의 동작의 예를 도시한다. 이러한 동작은 도 1 또는 도 3에 도시된 전자 장치(101) 또는 전자 장치(101)의 구성 요소(예: 도 1 또는 도 3에 도시된 프로세서(120) 등)에 의해 수행될 수 있다.
도 17의 동작 1710 및 동작 1720은 도 15의 동작 1540과 관련될 수 있다.
도 17을 참조하면, 동작 1710에서, 프로세서(120)는 상기 디지털 오디오 신호가 가지는 범위를 상기 지정된 범위보다 좁은 상기 제3 범위로 변경하기 위한 이득을 결정할 수 있다. 프로세서(120)는 이전 동작에서 상기 디지털 오디오 신호에 기반하여 출력될 신호가 사용자에게 인지되는 클리핑에 따른 왜곡을 포함할 것으로 추정하였기 때문에, 프로세서(120)는 상기 클리핑에 따른 왜곡이 상기 출력될 신호에 포함되지 않도록 상기 디지털 오디오 신호가 가지는 범위를 상기 지정된 범위보다 좁은 상기 제3 범위로 변경하기 위한 이득을 결정할 수 있다. 예를 들면, 프로세서(120)는 상기 디지털 오디오 신호의 주파수 특성에 적어도 일부 기반하여 상기 디지털 오디오 신호의 이득을 결정할 수 있다.
동작 1720에서, 프로세서(120)는 상기 결정된 이득을 상기 디지털 오디오 신호에 적용함으로써, 상기 제2 디지털 오디오 신호를 생성할 수 있다.
도 18은 다양한 실시예들에 따른 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하기 위한 전자 장치의 동작 흐름의 또 다른 예를 도시한다. 이러한 동작은 도 1 또는 도 3에 도시된 전자 장치(101) 또는 전자 장치(101)의 구성 요소(예: 도 1 또는 도 3에 도시된 프로세서(120) 등)에 의해 수행될 수 있다.
도 18을 참조하면, 동작 1810에서, 프로세서(120)는 상기 지정된 범위보다 넓은 범위를 가지는 디지털 오디오 신호에 FFT를 적용함으로써, 제1 데이터를 생성할 수 있다. 상기 제1 데이터는, 상기 디지털 오디오 신호에 포함될 수 있는 클리핑에 따른 왜곡이 인지되는지 여부를 결정하기 위한 참조 데이터를 생성하기 위해 이용될 수 있다.
동작 1820에서, 프로세서(120)는 상기 디지털 오디오 신호에 대한 마스킹 커브를 나타내는 데이터를 생성할 수 있다. 상기 마스킹 커브를 나타내는 데이터는 MPEG-1와 같은 표준 규격에 기반하여 생성될 수 있다.
동작 1830에서, 프로세서(120)는 상기 제1 데이터 및 상기 마스킹 커브를 나타내는 데이터에 기반하여 참조 데이터를 생성할 수 있다. 상기 참조 데이터는 상기 제1 데이터 및 상기 마스킹 커브를 나타내는 데이터의 주파수 bin 별 최대값에 적어도 일부 기반하여 생성될 수 있다. 예를 들면, 상기 참조 데이터는, 상기 수학식 1에 기반하여 생성될 수 있다.
동작 1840에서, 프로세서(120)는 상기 제1 데이터에 이득을 적용하여(by) 제2 데이터를 생성할 수 있다. 동작 1840에서, 상기 이득은, 결정된 값이 아닐 수 있다. 동작 1840에서, 상기 이득은 동작 1880을 통해 조정될 수 있다. 예를 들면, 동작 1840에서, 상기 이득은 초기값을 가지는 이득일 수 있다. 다른 예를 들면, 동작 1840에서, 상기 이득은, 동작 1880에서 조정된 값을 가지는 이득일 수 있다.
동작 1850에서, 프로세서(120)는 상기 제2 데이터에 클리핑을 적용하여(by) 제3 데이터를 생성할 수 있다. 프로세서(120)는, 상기 제2 데이터가 상기 지정된 범위보다 넓은 범위를 가지는 경우, 상기 제2 데이터가 상기 지정된 범위를 가지도록 상기 제2 데이터를 처리할 수 있다. 다양한 실시예들에서, 프로세서(120)는 상기 제2 데이터 내에서 상기 지정된 범위의 최대값보다 큰 적어도 하나의 값을 상기 지정된 범위의 최대값으로 변경하고, 상기 제2 데이터 내에서 상기 지정된 범위의 최소값보다 작은 적어도 하나의 값을 상기 지정된 범위의 최소값으로 변경(즉, 상기 제2 데이터를 클리핑)할 수 있다. 예를 들면, 프로세서(120)는 상기 수학식 2에 기반하여 상기 제3 데이터를 생성할 수 있다.
동작 1860에서, 프로세서(120)는 상기 제3 데이터에 FFT를 적용하여(by) 제4 데이터를 생성할 수 있다.
동작 1870에서, 프로세서(120)는 상기 제4 데이터가 상기 참조 데이터보다 작거나 같은지 여부를 결정(또는 확인)할 수 있다. 상기 제4 데이터의 적어도 일부가 상기 참조 데이터보다 크다는 것은 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호가 사용자에게 인지 가능한 클리핑에 대한 왜곡을 포함함을 나타낼 수 있다. 이와 달리, 상기 제4 데이터가 상기 참조 데이터보다 작거나 같다는 것은 상기 디지털 오디오 신호에 기반하여 출력될 오디오 신호가 사용자에게 인지 불가능한 클리핑에 대한 왜곡을 포함함을 나타낼 수 있다. 프로세서(120)는, 상기 제4 데이터가 상기 참조 데이터보다 작거나 같음을 결정하는 것에 응답하여, 동작 1890을 수행할 수 있다. 이와 달리, 프로세서(120)는, 상기 제4 데이터가 상기 참조 데이터보다 큼을 결정하는 것에 응답하여, 동작 1880을 수행할 수 있다.
상기 제4 데이터가 상기 참조 데이터보다 큰 경우, 동작 1880에서, 프로세서(120)는 이득을 조정하기 위한 동작을 수행할 수 있다. 다양한 실시예들에서, 프로세서(120)는 동작 1840에서 적용된 이득을 위한 적어도 하나의 파라미터 중 적어도 일부를 조정할 수 있다. 예를 들면, 프로세서(120)는 동작 1840에서 적용된 이득을 위한 목표 이득, 제한 이득, 어택 타임, 또는 릴리즈 타임 중 하나 또는 그 이상을 조정할 수 있다. 다양한 실시예들에서, 프로세서(120)는 동작 1840에서 적용된 이득을 다른 이득으로 조정할 수도 있다.
프로세서(120)는 동작 1880에서 조정된 이득 또는 동작 1880에서 조정된 적어도 하나의 파라미터에 기반하여 동작 1840 내지 동작 1870을 재차 수행할 수 있다.
상기 제4 데이터가 상기 참조 데이터보다 작거나 같은 경우, 동작 1890에서, 프로세서(120)는 동작 1840에서 적용된 이득을 위한 적어도 하나의 파라미터를 상기 디지털 오디오 신호에 적용될 이득을 위한 파라미터로 결정할 수 있다.
도 18에 도시하지 않았으나, 프로세서(120)는 상기 결정된 파라미터에 기반하여 결정된 이득을 상기 디지털 오디오 신호에 적용함으로써, 출력 신호를 생성할 수 있다. 상기 출력 신호가 클리핑에 따른 왜곡을 포함하더라도, 상기 클리핑에 따른 왜곡은 사용자에게 인지되지 않을 수 있기 때문에, 다양한 실시예들에 따른 전자 장치(101)는 향상된 음질 또는 음량을 가지는 출력 신호를 제공(또는 출력)할 수 있다.
상술한 바와 같은 다양한 실시예들에 따른 전자 장치의 방법은, 오디오 신호의 최대 진폭을 지정된 범위로 지정하는 동작과, 지정된 이득에 따라 상기 지정된 범위로 상기 오디오 신호를 처리하는 동작과, 상기 처리된 오디오 신호에 대해 주파수 대역 별 사람의 청각 인지 속성에 적어도 기반하여 상기 처리된 오디오 신호에 대한 왜곡을 허용할지 여부를 결정하는 동작과, 상기 처리된 오디오 신호에 대한 왜곡을 허용하지 않는 결정에 적어도 기반하여, 상기 처리된 오디오 신호에 대한 이득을 감소시키는 동작과, 상기 처리된 오디오 신호에 대한 왜곡을 허용하는 결정에 적어도 기반하여 상기 청각 인지 속성에 따라 상기 처리된 오디오 신호에 대한 이득을 조정하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 방법은, 상기 청각 인지 속성의 적어도 일부로 상기 처리된 오디오 신호의 주파수 대역 별 에너지 분포를 확인하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 방법은, 상기 처리된 오디오 신호에 대한 왜곡을 허용하지 않는 결정에 적어도 기반하여, 상기 지정된 이득을 다른 지정된 이득으로 변경하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치의 방법은, 지정된 범위(designated range)보다 넓은 제1 범위를 가지는 디지털 오디오 신호(digital audio signal)의 주파수 특성(frequency characteristic)이 사람(human)의 청각 특성(hearing characteristic)와 관련된 지정된 조건(designated condition)을 만족하는지 여부를 결정하는 동작과, 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 넓은 제2 범위를 가지는 제1 디지털 오디오 신호를 생성하는 동작과, 상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 좁은 제3 범위를 가지는 제2 디지털 오디오 신호를 생성하는 동작과, 상기 제1 디지털 오디오 신호에 적어도 기반하여 생성되는 제1 출력 신호 또는 상기 제2 디지털 오디오 신호에 적어도 기반하여 생성되는 제2 출력 신호를 상기 스피커를 통해 출력하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 청각 특성은, 마스킹 효과(masking effect)와 관련될 수 있고, 상기 지정된 조건은, 상기 주파수 특성에 기반하여 결정되는 데이터가 상기 디지털 오디오 신호에 기반하여 출력될 신호에 포함된 클리핑(clipping)에 따른 왜곡이 마스킹 효과에 의해 인지되지 않는 것으로 추정되는 것을 포함할 수 있다.
다양한 실시예들에서, 상기 스피커를 통해 출력되는 제1 출력 신호는, 클리핑(clipping)에 의해 야기되는 왜곡(distortion)을 포함할 수 있고, 상기 스피커를 통해 출력되는 제2 출력 신호는, 상기 왜곡을 포함하지 않을 수 있다.
다양한 실시예들에서, 상기 주파수 특성은, 상기 디지털 오디오 신호의 주파수 도메인 상의 에너지 분포(energy distribution)에 기반하여 결정될 수 있다.
다양한 실시예들에서, 상기 디지털 오디오 신호는, 복수의 프레임들 중 제1 프레임(frame)에 상응할 수 있고, 상기 방법은, 상기 복수의 프레임들 중 상기 제1 프레임의 다음(next to) 프레임인 제2 프레임에 상응하는 다른 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족하는지 여부를 결정하는 동작과, 상기 다른 디지털 오디오 신호의 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 다른 디지털 오디오 신호에 기반하여, 상기 지정된 범위보다 넓은 제4 범위를 가지는 제3 디지털 오디오 신호를 생성하는 동작과, 상기 제3 디지털 오디오 신호에 적어도 기반하여 생성되는 제3 출력 신호를 상기 스피커를 통해 출력하는 동작을 더 포함할 수 있다. 예를 들면, 상기 제3 디지털 오디오 신호를 생성하는 동작은, 상기 다른 디지털 오디오 신호의 주파수 특성에 상응하는 적어도 하나의 값을 결정하는 동작과, 상기 결정된 적어도 하나의 값에 적어도 기반하여 결정되는 이득을 상기 다른 디지털 오디오 신호에 적용함으로써, 상기 제3 디지털 오디오 신호를 생성하는 동작을 포함할 수 있고, 상기 적어도 하나의 값은, 상기 다른 디지털 오디오 신호에 대한 제한 이득(limit gain), 상기 다른 디지털 오디오 신호에 대한 목표 이득(target gain), 또는 상기 목표 이득에 도달하거나 상기 목표 이득으로부터 이득을 복원하는 반응 속도 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 상기 제2 디지털 오디오 신호를 생성하는 동작은, 상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호가 가지는 범위를 상기 제3 범위로 변경하기 위한 제2 이득을 결정하는 동작과, 상기 제2 이득을 상기 디지털 오디오 신호에 적용함으로써 상기 제2 디지털 오디오 신호를 생성하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 주파수 특성은, 상기 디지털 오디오 신호에 특정 값을 가지는 이득을 적용함으로써 생성되는 제1 데이터에 기반하여 결정되고, 상기 지정된 조건은, 상기 제1 데이터가 상기 참조 데이터보다 작거나 같은 것을 나타내며, 상기 참조 데이터는, 상기 디지털 오디오 신호에 대한 마스킹 커브를 나타내는 제2 데이터와 상기 디지털 오디오 신호에 FFT(fast fourier transform)를 적용함으로써 생성되는 제3 데이터에 기반하여 결정될 수 있다. 상기 참조 데이터는, 상기 제2 데이터와 상기 제3 데이터 사이의 주파수 단위 별 최대값으로 구성될 수 있다.
다양한 실시예들에서, 상기 디지털 오디오 신호는, MBDRC(multi-band dynamic range control)가 적용된 복수의 신호들을 합성(combine)함으로써 생성될 수 있다.
다양한 실시예들에서, 상기 제1 디지털 오디오 신호 또는 상기 제2 디지털 오디오 신호를 출력하는 동작은, 상기 제1 디지털 오디오 신호 또는 상기 제2 디지털 오디오 신호로부터 변환된 아날로그 신호를 생성하는 동작과, 상기 생성된 아날로그 신호를 상기 제1 출력 신호 또는 상기 제2 출력 신호로 상기 스피커를 통해 출력하는 동작을 포함할 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 전자 장치(electronic device)에 있어서,
    스피커(speaker);
    상기 스피커와 동작적(operably)으로 결합된(coupled with) 적어도 하나의 프로세서(processor)를 포함하고,
    상기 적어도 하나의 프로세서는,
    지정된 범위(designated range)보다 넓은 제1 범위를 가지는 디지털 오디오 신호(digital audio signal)의 주파수 특성(frequency characteristic)이 사람(human)의 청각 특성(hearing characteristic)과 관련된 지정된 조건(designated condition)을 만족하는지 여부를 결정하고, 상기 지정된 범위는, 상기 스피커를 통하여 출력될 상기 디지털 오디오 신호에서 포화(saturation)가 발생하지 않도록, 상기 디지털 오디오 신호의 최대 진폭에 대응하는 16 비트 범위를 포함하고;
    상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 넓은 제2 범위를 가지는 제1 디지털 오디오 신호를 생성하고;
    상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 좁은 제3 범위를 가지는 제2 디지털 오디오 신호를 생성하고; 및
    상기 제1 디지털 오디오 신호에 적어도 기반하여 생성되는 제1 출력 신호 또는 상기 제2 디지털 오디오 신호에 적어도 기반하여 생성되는 제2 출력 신호를 상기 스피커를 통해 출력하도록 설정되고,
    상기 주파수 특성은, 상기 디지털 오디오 신호에 특정 값을 가지는 이득을 적용함으로써 생성되는 제1 데이터에 기반하여 결정되고, 상기 특정 값은, 상기 디지털 오디오 신호에 대한 제한 이득(limit gain), 상기 디지털 오디오 신호에 대한 목표 이득(target gain), 또는 상기 디지털 오디오 신호에 대한 상기 목표 이득에 도달하거나 상기 목표 이득으로부터 이득을 복원하는 반응 속도 중 적어도 하나를 포함하고,
    상기 지정된 조건은, 상기 제1 데이터가 참조 데이터보다 작거나 같은 것을 나타내며,
    상기 참조 데이터는, 상기 디지털 오디오 신호에 대한 마스킹 커브를 나타내는 제2 데이터와, 상기 디지털 오디오 신호에 FFT(fast fourier transform)를 적용함으로써 생성되는 제3 데이터에 기반하여, 상기 제2 데이터와 상기 제3 데이터 사이의 주파수 단위 별 최대값으로 결정되는 전자 장치.
  5. 청구항 4에 있어서, 상기 청각 특성은,
    마스킹 효과(masking effect)와 관련되고, 상기 적어도 하나의 프로세서는,
    상기 주파수 특성에 기반하여 결정되는 데이터가 상기 디지털 오디오 신호에 적어도 기반하여 출력될 신호에 포함되는 클리핑(clipping)에 따른 왜곡이 상기 마스킹 효과에 의해 인지되지 않는 것으로 추정되면 상기 지정된 조건을 만족하는 것으로 결정하도록 설정되는 전자 장치.
  6. 청구항 4에 있어서, 상기 스피커를 통해 출력되는 제1 출력 신호는,
    클리핑(clipping)에 의해 야기되는 왜곡(distortion)을 포함하는 전자 장치.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 6에 있어서, 상기 스피커를 통해 출력되는 제2 출력 신호는,
    상기 왜곡을 포함하지 않는 전자 장치.
  8. 청구항 4에 있어서, 상기 적어도 하나의 프로세서는, 상기 디지털 오디오 신호의 주파수 도메인 상의 에너지 분포(energy distribution)에 적어도 기반하여 상기 주파수 특성을 확인하도록 설정되는 전자 장치.
  9. 청구항 4에 있어서, 상기 디지털 오디오 신호는,
    복수의 프레임들 중 제1 프레임(frame)에 상응하고,
    상기 적어도 하나의 프로세서는,
    상기 복수의 프레임들 중 상기 제1 프레임의 다음(next to) 프레임인 제2 프레임에 상응하는 다른 디지털 오디오 신호의 주파수 특성이 상기 지정된 조건을 만족하는지 여부를 결정하고,
    상기 다른 디지털 오디오 신호의 상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 다른 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 넓은 제4 범위를 가지는 제3 디지털 오디오 신호를 생성하고,
    상기 제3 디지털 오디오 신호에 적어도 기반하여 생성되는 제3 출력 신호를 상기 스피커를 통해 출력하도록 더 설정되는 전자 장치.
  10. 청구항 9에 있어서, 상기 적어도 하나의 프로세서는,
    상기 다른 디지털 오디오 신호의 주파수 특성에 상응하는 적어도 하나의 값을 결정하고,
    상기 결정된 적어도 하나의 값에 적어도 기반하여 결정되는 이득을 상기 다른 디지털 오디오 신호에 적용하여, 상기 제3 디지털 오디오 신호를 생성하도록 설정되고,
    상기 적어도 하나의 값은,
    상기 다른 디지털 오디오 신호에 대한 제한 이득(limit gain), 상기 다른 디지털 오디오 신호에 대한 목표 이득(target gain), 또는 상기 다른 디지털 오디오 신호에 대한 상기 목표 이득에 도달하거나 상기 목표 이득으로부터 이득을 복원하는 반응 속도 중 적어도 하나를 포함하는 전자 장치.
  11. 청구항 4에 있어서, 상기 적어도 하나의 프로세서는,
    상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호가 가지는 범위를 상기 제3 범위로 변경하기 위한 다른 이득을 결정하고,
    상기 다른 이득을 상기 디지털 오디오 신호에 적용하여 상기 제2 디지털 오디오 신호를 생성하도록 설정되는 전자 장치.
  12. 삭제
  13. 삭제
  14. 청구항 4에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 디지털 오디오 신호 또는 상기 제2 디지털 오디오 신호로부터 변환된 아날로그 신호를 생성하고,
    상기 생성된 아날로그 신호를 상기 제1 출력 신호 또는 상기 제2 출력 신호로 상기 스피커를 통해 출력하도록 설정되는 전자 장치.
  15. 전자 장치(electronic device)의 방법에 있어서,
    지정된 범위(designated range)보다 넓은 제1 범위를 가지는 디지털 오디오 신호(digital audio signal)의 주파수 특성(frequency characteristic)이 사람(human)의 청각 특성(hearing characteristic)와 관련된 지정된 조건(designated condition)을 만족하는지 여부를 결정하는 동작, 상기 지정된 범위는, 상기 전자 장치의 스피커를 통하여 출력될 상기 디지털 오디오 신호에서 포화(saturation)가 발생하지 않도록, 상기 디지털 오디오 신호의 최대 진폭에 대응하는 16 비트 범위를 포함하고;
    상기 주파수 특성이 상기 지정된 조건을 만족함을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 넓은 제2 범위를 가지는 제1 디지털 오디오 신호를 생성하는 동작;
    상기 주파수 특성이 상기 지정된 조건을 만족하지 않음을 결정하는 것에 응답하여, 상기 디지털 오디오 신호에 적어도 기반하여, 상기 지정된 범위보다 좁은 제3 범위를 가지는 제2 디지털 오디오 신호를 생성하는 동작; 및
    상기 제1 디지털 오디오 신호에 적어도 기반하여 생성되는 제1 출력 신호 또는 상기 제2 디지털 오디오 신호에 적어도 기반하여 생성되는 제2 출력 신호를 상기 전자 장치의 스피커를 통해 출력하는 동작을 포함하고,
    상기 주파수 특성은, 상기 디지털 오디오 신호에 특정 값을 가지는 이득을 적용함으로써 생성되는 제1 데이터에 기반하여 결정되고, 상기 특정 값은, 상기 디지털 오디오 신호에 대한 제한 이득(limit gain), 상기 디지털 오디오 신호에 대한 목표 이득(target gain), 또는 상기 디지털 오디오 신호에 대한 상기 목표 이득에 도달하거나 상기 목표 이득으로부터 이득을 복원하는 반응 속도 중 적어도 하나를 포함하고,
    상기 지정된 조건은, 상기 제1 데이터가 참조 데이터보다 작거나 같은 것을 나타내며,
    상기 참조 데이터는, 상기 디지털 오디오 신호에 대한 마스킹 커브를 나타내는 제2 데이터와, 상기 디지털 오디오 신호에 FFT(fast fourier transform)를 적용함으로써 생성되는 제3 데이터에 기반하여, 상기 제2 데이터와 상기 제3 데이터 사이의 주파수 단위 별 최대값으로 결정되는 방법.
  16. 청구항 15에 있어서, 상기 청각 특성은,
    마스킹 효과(masking effect)와 관련되고,
    상기 지정된 조건은,
    상기 주파수 특성에 기반하여 결정되는 데이터가 상기 디지털 오디오 신호에 적어도 기반하여 출력될 신호에 포함된 클리핑(clipping)에 따른 왜곡이 마스킹 효과에 의해 인지되지 않는 것으로 추정되는 것을 포함하는 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 15에 있어서, 상기 스피커를 통해 출력되는 제1 출력 신호는,
    클리핑(clipping)에 의해 야기되는 왜곡(distortion)을 포함하는 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    청구항 17에 있어서, 상기 스피커를 통해 출력되는 제2 출력 신호는,
    상기 왜곡을 포함하지 않는 방법.
  19. 삭제
  20. 삭제
KR1020170094833A 2017-07-26 2017-07-26 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법 KR102565447B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170094833A KR102565447B1 (ko) 2017-07-26 2017-07-26 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법
US16/045,955 US10812031B2 (en) 2017-07-26 2018-07-26 Electronic device and method for adjusting gain of digital audio signal based on hearing recognition characteristics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170094833A KR102565447B1 (ko) 2017-07-26 2017-07-26 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190012003A KR20190012003A (ko) 2019-02-08
KR102565447B1 true KR102565447B1 (ko) 2023-08-08

Family

ID=65038284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170094833A KR102565447B1 (ko) 2017-07-26 2017-07-26 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법

Country Status (2)

Country Link
US (1) US10812031B2 (ko)
KR (1) KR102565447B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977555B2 (en) 2018-08-06 2021-04-13 Spotify Ab Automatic isolation of multiple instruments from musical mixtures
US10991385B2 (en) 2018-08-06 2021-04-27 Spotify Ab Singing voice separation with deep U-Net convolutional networks
US10923141B2 (en) 2018-08-06 2021-02-16 Spotify Ab Singing voice separation with deep u-net convolutional networks
KR102524100B1 (ko) * 2021-11-26 2023-04-21 국방과학연구소 고속 푸리에 변환을 이용한 광대역 신호 감시 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231983A1 (en) 2013-09-12 2016-08-11 Dolby Laboratories Licensing Corporation Dynamic range control for a wide variety of playback environments

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101048935B (zh) * 2004-10-26 2011-03-23 杜比实验室特许公司 控制音频信号的单位响度或部分单位响度的方法和设备
US8300849B2 (en) 2007-11-06 2012-10-30 Microsoft Corporation Perceptually weighted digital audio level compression
EP2521377A1 (en) * 2011-05-06 2012-11-07 Jacoti BVBA Personal communication device with hearing support and method for providing the same
BR112014015629B1 (pt) * 2011-12-15 2022-03-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Aparelho e método para evitar perturbações de clipagem.
EP2757558A1 (en) * 2013-01-18 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Time domain level adjustment for audio signal decoding or encoding
US9462381B2 (en) 2014-05-28 2016-10-04 Apple Inc. Intelligent dynamics processing
CN105336344B (zh) * 2014-07-10 2019-08-20 华为技术有限公司 杂音检测方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160231983A1 (en) 2013-09-12 2016-08-11 Dolby Laboratories Licensing Corporation Dynamic range control for a wide variety of playback environments

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEO, Hoon, et al. Development of multiband dynamic range compressor regarding noise characteristics. Audio Engineering Society Convention 130. 2011.05.13.*

Also Published As

Publication number Publication date
US10812031B2 (en) 2020-10-20
US20190036502A1 (en) 2019-01-31
KR20190012003A (ko) 2019-02-08

Similar Documents

Publication Publication Date Title
KR102478951B1 (ko) 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치
KR102570480B1 (ko) 오디오 신호 처리 방법 및 이를 지원하는 전자 장치
KR102565447B1 (ko) 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법
KR20210017229A (ko) 오디오 줌 기능을 갖는 전자 장치 및 이의 동작 방법
US10354651B1 (en) Head-mounted device control based on wearer information and user inputs
KR102475989B1 (ko) 오디오 신호의 주파수의 변화에 따른 위상 변화율에 기반하여 노이즈가 감쇠된 오디오 신호를 생성하는 장치 및 방법
KR102478393B1 (ko) 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치
KR20200124948A (ko) 전자 장치 및 전자 장치의 제어 방법
US11398242B2 (en) Electronic device for determining noise control parameter on basis of network connection information and operating method thereof
KR102419512B1 (ko) 복수의 스피커의 상태에 기반하여 오디오 신호의 볼륨 레벨을 제어하는 방법 및 전자 장치
KR102473337B1 (ko) 전자 장치 및 이의 스테레오 오디오 신호 처리 방법
US11423912B2 (en) Method and electronic device for processing audio signal on basis of resolution set on basis of volume of audio signal
KR102460335B1 (ko) 외부 전자 장치와의 거리에 기반하여 스피커의 출력 세기를 조정하기 위한 방법 및 전자 장치
KR102461608B1 (ko) 스피커에 포함된 진동판을 이용하여 하우징 내부 공간의 액체를 외부로 배출하는 전자 장치, 및 그 전자 장치의 제어 방법
KR102324063B1 (ko) 마이크를 통해 획득한 오디오 신호의 크기에 기반하여 마이크의 오류 발생 여부를 결정하기 위한 방법 및 그 전자 장치
KR20210017252A (ko) 다채널 오디오 신호 처리 방법 및 전자 장치
US11562763B2 (en) Method for improving sound quality and electronic device using same
US10388301B2 (en) Method for processing audio signal and electronic device for supporting the same
KR102386773B1 (ko) 다수 개의 스피커 및 마이크를 이용하여 오디오 신호를 생성하는 방법 및 그 전자 장치
KR20210111603A (ko) 음질 개선 방법 및 그 장치
KR20200107125A (ko) 간소화된 상관을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
KR20200108718A (ko) 오디오 데이터를 처리하기 위한 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant