KR20200026575A - 전자 장치 및 그 동작 방법 - Google Patents

전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20200026575A
KR20200026575A KR1020180104698A KR20180104698A KR20200026575A KR 20200026575 A KR20200026575 A KR 20200026575A KR 1020180104698 A KR1020180104698 A KR 1020180104698A KR 20180104698 A KR20180104698 A KR 20180104698A KR 20200026575 A KR20200026575 A KR 20200026575A
Authority
KR
South Korea
Prior art keywords
signal
electronic device
audio signal
frequency band
viewing environment
Prior art date
Application number
KR1020180104698A
Other languages
English (en)
Other versions
KR102522567B1 (ko
Inventor
정현식
조재연
손상모
최석재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180104698A priority Critical patent/KR102522567B1/ko
Priority to US16/558,955 priority patent/US10992273B2/en
Priority to EP19857727.2A priority patent/EP3827430A4/en
Priority to PCT/KR2019/011337 priority patent/WO2020050593A1/en
Publication of KR20200026575A publication Critical patent/KR20200026575A/ko
Application granted granted Critical
Publication of KR102522567B1 publication Critical patent/KR102522567B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/22—Automatic control in amplifiers having discharge tubes
    • H03G3/24—Control dependent upon ambient noise level or sound level
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/005—Tone control or bandwidth control in amplifiers of digital signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

전자 장치 및 그 동작 방법이 제공된다. 오디오 신호를 처리하는 전자 장치의 동작 방법은, 음향 전달과 관련된 시청 환경 정보를 획득하는 단계, 및 시청 환경 정보에 기초하여, 입력된 오디오 신호를 처리하여 출력 신호를 생성하는 단계를 포함하고, 오디오 신호를 처리하여 출력 신호를 생성하는 단계는, 입력된 오디오 신호로부터 주요 신호(primary signal)를 포함하는 채널과 주변 신호(ambient signal)를 포함하는 채널의 분리에 기초하여 오디오 신호를 처리하는 단계, 및 주파수 대역에 기초하여 오디오 신호를 처리하는 단계를 포함할 수 있다.

Description

전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS AND OPERATING METHOD FOR THE SAME}
다양한 실시 예들은, 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는, 시청 환경 정보에 기초하여 오디오 신호를 처리하는 전자 장치 및 그 동작 방법에 관한 것이다.
디스플레이 장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 디스플레이 장치를 통하여 방송을 시청할 수 있다. 디스플레이 장치는 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
사용자가 디스플레이 장치의 스피커, 사운드 바 등을 이용하여 방송 또는 다양한 콘텐츠를 시청할 경우, 콘텐츠의 영상뿐 아니라, 사운드의 전달력 또한 중요하다.
최근, 다양한 시청 환경에서, 사용자에게 최적의 사운드 전달력을 제공할 수 있는 방법에 대한 연구가 요구되고 있다.
본 개시는, 시청 환경 정보에 기초하여 오디오 신호를 처리하는 전자 장치 및 그 동작 방법을 제공한다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 측면에 따른 오디오 신호를 처리하는 전자 장치의 동작 방법은, 음향 전달과 관련된 시청 환경 정보를 획득하는 단계, 및 시청 환경 정보에 기초하여, 입력된 오디오 신호를 처리하여 출력 신호를 생성하는 단계를 포함하고, 오디오 신호를 처리하여 출력 신호를 생성하는 단계는, 입력된 오디오 신호로부터 주요 신호(primary signal)가 포함된 채널과 주변 신호(ambient signal)가 포함된 채널의 분리에 기초하여 오디오 신호를 처리하는 단계, 및 주파수 대역에 기초하여 오디오 신호를 처리하는 단계를 포함할 수 있다.
일 측면에 따른 오디오 신호를 처리하는 전자 장치는, 음향 전달과 관련된 시청 환경 정보를 획득하는 시청 환경 정보 획득부, 및 시청 환경 정보에 기초하여, 입력된 오디오 신호를 처리하여 출력 신호를 생성하는 오디오 처리부를 포함하고, 오디오 처리부는, 입력된 오디오 신호로부터 주요 신호(primary signal)가 포함된 채널과 주변 신호(ambient signal)를 포함하는 채널의 분리에 기초하여 오디오 신호를 처리하고, 주파수 대역에 기초하여 오디오 신호를 처리할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 일 실시 예에 따른 전자 장치의 개략도를 도시한다.
도 2는 일 실시 예에 따른 전자 장치의 동작 방법의 흐름도이다.
도 3은 일 실시 예에 따른 주변 소음에 관한 정보를 획득하는 예를 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 공간에 관한 정보를 획득하는 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 주변 기기에 관한 정보를 획득하는 예를 설명하기 위한 도면이다.
도 6a 및 도 6b는 일 실시 예에 따른 전자 장치의 설치 환경에 관한 정보의 예를 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 사용자 입력에 기초하여 시청 환경 정보를 획득하는 예를 설명하기 위한 도면이다.
도 8 내지 도 12는 일 실시 예에 따른 입력된 오디오 신호로부터 주요 신호가 포함된 채널과 주변 신호가 포함된 채널의 분리에 기초하여 오디오 신호를 처리하는 예를 설명하기 위한 도면이다.
도 13 내지 도 16은 일 실시 예에 따른 주파수 대역에 기초하여 오디오 신호를 처리하는 예를 설명하기 위한 도면이다.
도 17 내지 도 19는 일 실시 예에 따른 처리된 오디오 신호의 에너지 보상 예를 설명하기 위한 도면이다.
도 20은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 전자 장치의 개략도를 도시한다.
일 실시 예에 따른 전자 장치(100)(이하, 전자 장치(100))는 음향을 출력하는 장치일 수 있다. 전자 장치(100)는 오디오 입력 신호를 처리하여 출력 신호를 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 사용자에게 음향을 보다 명료하게 전달할 수 있도록, 전자 장치(100) 주변의 시청 환경에 기초하여, 오디오 입력 신호를 처리할 수 있다.
예를 들어, 종래, 청취자가 TV의 스피커 또는 사운드바, AI 스피커 등을 이용하여 멀티미디어 콘텐트를 시청하는 경우, 주변 사람들의 소리, 주변 디바이스의 작동 소리, 방의 크기, TV의 설치 환경 등에 따라 콘텐트의 음향 전달력이 저하될 수 있다.
일 실시 예에 따르면, 다양한 시청 환경에서, 전자 장치(100)는 최적의 사운드 전달력을 제공할 수 있다.
예컨대, 전달력을 위해 단순히 볼륨만을 증가시킨다면, 오디오 신호의 전체적인 에너지가 과도하게 증가하여 청취자가 시끄럽게 느낄 수 있을 것이다. 그러나, 일 실시 예에 따르면 사운드 전달력에서 비교적 불필요한 부분(예컨대, 주변 신호(Ambient signal), 저역, 고역)에서 에너지를 감소시키고, 사운드 전달력에서 중요한 부분(예컨대, 주요 신호(Primary signal), 음성대역)에 집중시킴으로써, 오디오 신호 전체의 에너지는 비슷하거나 음량이 크게 증가하지 않는 상태에서, 사운드 전달력은 향상되고, 어떠한 시청 환경에서도 청취자는 편안한 소리를 들을 수 있다.
일 실시 예에 따른 전자 장치(100)는 시청 환경 정보 획득부(1001), Primary/Ambient 신호 처리부(1002), 주파수 대역 별 신호 처리부(1003), 에너지 보상부(1004)를 포함할 수 있다.
일 실시 예에 따른 시청 환경 정보 획득부(1001)는, 전자 장치(100)에 내장된 적어도 하나의 센서를 이용한 센싱, 마이크를 통한 소리 입력, 통신부를 통한 정보 수신 등을 통해, 시청 환경 정보를 획득할 수 있다.
일 실시 예에 따른 시청 환경 정보는, 전자 장치의 주변 소음에 관한 정보, 전자 장치가 위치한 공간에 관한 정보, 전자 장치의 주변 기기에 관한 정보 및 전자 장치의 설치 환경에 관한 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 시청 환경 정보 획득부(1001)는, Primary/Ambient 신호 처리부(1002), 주파수 대역 별 신호 처리부(1003)에게 획득한 시청 환경 정보를 전달할 수 있다.
일 실시 예에 따른 Primary/Ambient 신호 처리부(1002)는, 오디오 신호의 구성에서 음향 전달력에 주요하게 기여하는 주요 신호(primary signal)를 포함하는 채널과, 주요 신호에 비해 상대적으로 음향 전달력에 영향이 적은 주변 신호(ambient signal)를 포함하는 채널로 분리하여 처리할 수 있다.
예를 들어, 음향 전달력에 있어서 주요한 주요 신호(primary signal)는 음성 신호일 수 있다. 또한, 주요 신호(primary signal)는, 콘텐트를 시청할 때 영상과 연동한 어떤 오브젝트들의 소리일 수도 있다.
또한, 예를 들어, 주변 신호(ambient signal)는, 음성 신호 이외의 배경음일 수 있다.
일 실시 예에 따른 Primary/Ambient 신호 처리부(1002)는, 시청 환경 정보 획득부(1001)로부터 전달 받은 시청 환경 정보에 기초하여, 입력 오디오 신호의 주요 신호와 주변 신호의 가중치를 조정할 수 있다.
일 실시 예에 따른 주파수 대역 별 신호 처리부(1003)는, 주파수 특성에서의 음향 전달력에 주요하게 기여하는 주파수 대역(예컨대, 중역)과 상대적으로 영향이 적은 주파수 대역(예컨대, 저역, 고역)을 구분하여 처리할 수 있다.
사람의 청각 특성에 따르면 사람은 주파수 대역 별로 독립적으로 소리를 인지한다. 주파수 대역 중에 사람은 1~5kHz 대역에 가장 민감하며, 이 대역은 음향 전달의 명료성에 영향을 미친다. 하지만 이 대역은 저음에 의해서 마스킹되기 쉬운 영역이기도 하다. 마스킹은 어느 음이 존재하면 다른 음이 잘 들리지 않는 현상을 의미한다. 반사가 심하고 면적이 큰 청취 공간에서는 소리의 난반사와 긴 잔향시간 등으로 인하여 주파수 중역대에 위치한 음성의 명료성에 심한 영향을 주기도 한다.
일 실시 예에 따른 주파수 대역 별 신호 처리부(1003)는, 저역, 고역 및 음성 대역의 소음 마스킹이 심한 주파수 대역 신호는 에너지를 줄이고, 상대적으로 음성 대역의 소음 마스킹이 덜한 주파수 대역의 신호 에너지를 늘임으로써, 전체적인 에너지는 유지한 채 소리의 전달력을 향상시킬 수 있다.
한편, Primary/Ambient 신호 처리부(1002), 주파수 대역 별 신호 처리부(1003)에서 음향 전달력을 향상시키기 위해서 오디오 신호 처리를 할 때, 입력 신호로부터 처리된 결과 신호의 전체 에너지가 변동될 수 있다. 처리된 신호가 입력 신호와 비교할 때 에너지가 너무 크거나 또는 작을 수 있는데, 에너지 보상부(1004)는 에너지가 변동된 만큼 보상을 해줌으로써, 출력 신호의 전달력을 향상함과 동시에, 입력 신호와의 음량 차이를 최소화하여 사용자에게 편안한 소리를 제공할 수 있다.
일 실시 예에 따라, 도 1에 도시한 시청 환경 정보 획득부(1001), Primary/Ambient 신호 처리부(1002), 주파수 대역 별 신호 처리부(1003), 에너지 보상부(1004)의 구성은 일 실시 예로서 이제 제한되지 않는다. 예를 들어, 에너지 보상부(1004)의 동작은, Primary/Ambient 신호 처리부(1002), 주파수 대역 별 신호 처리부(1003)에서 처리될 수 있다.
일 실시 예에 따른 전자 장치(100)는, 음향 전달력(intelligibility)을 높이기 위해서, 오디오 신호 중 주요 신호와 주변 신호가 음향 전달력에 미치는 영향, 주파수 대역 별로 잡음 특성 등이 음향 전달력에 미치는 영향을 모두 고려하여 오디오 신호를 처리할 수 있다. 이 때, 전자 장치(100)는 음향 전달력에 영향을 줄 수 있는 여러 부가 입력(예컨대, 전자 장치의 특성, 주변 소음, 주변의 시청 환경(예컨대, 벽의 유무, 방의 크기, 장치가 설치된 위치 등))을 받아 이를 분석한 결과를 오디오 신호 처리에 반영함으로써, 청취자는 전자 기기(100)를 이용하여 콘텐트를 시청하는 경우 어떠한 시청 환경에서도 최적의 사운드를 제공 받을 수 있다. 이에 따라 청취자는 빈번한 볼륨 키 조작 등을 최소화하여 시청 환경의 편리성이 향상될 수 있다.
한편, 일 실시 예에 따른 전자 장치(100)는, TV일 수 있으나, 이에 한정되지 않는다. 예를 들어, 전자 장치(100)는 데스크탑, 태블릿 PC, 노트북 컴퓨터(laptop computer), 휴대폰, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션, 디지털 카메라, 캠코더, MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 또한, 전자 장치(100)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
일 실시 예에 따른 전자 장치(100)는, 다양한 외부 입력 소스(예컨대,셋톱 박스 등)를 통해 입력되는 콘텐트(영상, 음향 데이터)를 출력할 수 있다.
또한, 일 실시 예에 따른 전자 장치(100)는, 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 전자 장치(100)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
도 1은 일 실시 예를 도시한 것으로서, 이에 한정되지 않는다.
도 2는 일 실시 예에 따른 전자 장치의 동작 방법의 흐름도이다.
도 2의 단계 S201에서, 전자 장치(100)는 음향 전달과 관련된 시청 환경 정보를 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)는, 오디오 신호의 전 달력(intelligibility)에 영향을 줄 수 있는 시청 환경 정보를 획득할 수 있다.
일 실시 예에 따른 시청 환경 정보는, 전자 장치(100)의 주변 소음에 관한 정보, 전자 장치(100)가 위치한 공간에 관한 정보, 전자 장치(100)의 주변 기기에 관한 정보 및 전자 장치(100)의 설치 환경에 관한 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 주변 기기에 관한 정보는, 주변 기기의 On/Off 상태, 동작 모드, 전자 장치(100)와의 거리 등에 관한 정보일 수 있다. 또한, 예를 들어, 전자 장치(100)가 위치한 공간에 관한 정보는, 전자 장치가 위치한 방의 체적, 방의 높이 등일 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 마이크 입력을 통해서 전자 장치가 어느 위치에 있는지(예컨대, 벽에 붙어 있는지, 열린 공간 내에 있는지 등)를 추정할 수 있다.
일 실시 예에 따른 전자 장치(100)는, 시청 환경 정보를 획득하고, 시청 환경 정보가 사운드 전달력(intelligibility)에 미치는 영향을 판단할 수 있다. 전자 장치(100)는, 시청 환경 정보에 기초하여, 주요 신호(Primary signal)와 주변 신호(Ambient signal)의 가중치를 어느 정도 적용할 것인지, 주파수 대역 별 필터링 처리를 적용할지, 어떤 필터 값을 적용할 것인지를 가변적으로 판단할 수 있다.
일 실시 예에 따라 시청 환경 정보를 획득하는 예에 대해서는 후술할 도 3 내지 도 7에 관한 설명에서, 보다 상세히 설명하기로 한다.
일 실시 예에 따라, 전자 장치(100)는 시청 환경 정보에 기초하여, 입력된 오디오 신호를 처리하여 출력 신호를 생성할 수 있다.
도 2의 단계 S202에서, 전자 장치(100)는, 시청 환경 정보에 기초하여, 입력된 오디오 신호로부터 주요 신호(primary signal)를 포함하는 채널과 주변 신호(ambient signal)을 포함하는 채널로 분리하여 오디오 신호를 처리할 수 있다.
일 실시 예에 따라 전자 장치(100)는, 입력된 오디오 신호를 음향 전달력에 중요한 주요 신호(Primary signal)를 포함하는 채널과 상대적으로 중요성이 적은 주변 신호(Ambient signal)를 포함하는 채널로 분리하고, 각각의 채널에 적정 게인을 적용하여 믹싱하고 출력하는 과정을 수행할 수 있다.
예를 들어, 전자 장치(100)는 2채널 스테레오 음원의 입력 신호를 복수의 신호로 분리할 수 있다. 예컨대, 2채널 스테레오 입력 신호가 3개의 신호(Ambient Left, Center(Primary), Ambient Right)로 분리되거나, 좌/우 Ambience 성분을 보다 세분화하여 분리될 수 있다. 분리된 주요 신호(Primary(Center))는, 시청 환경 정보에 기초하여, 적정 게인이 적용되어 믹싱(mixing)될 수 있다.
일 실시 예에 따라 입력된 오디오 신호로부터 주요 신호와 주변 신호의 추출에 기초하여 오디오 신호를 처리하는 예에 대해서는 후술할 도 8 내지 도 12에 관한 설명에서, 보다 상세히 설명하기로 한다.
도 2의 단계 S203에서, 전자 장치(100)는, 시청 환경 정보에 기초하여, 주파수 대역에 기초하여 오디오 신호를 처리할 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 시청 환경 정보에 기초하여, 사운드 전달력에 중요한 주파수 대역을 결정할 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 사운드 전달력에 불필요한 주파수 대역의 에너지를 줄이고, 줄인 에너지만큼 사운드 전달력에 중요한 주파수 대역의 에너지를 증가시킴으로써, 입력 신호와 출력 신호 간의 에너지 차이를 최소화 하면서, 음향 전달력을 향상시킬 수 있다.
일 실시 예에 따라, 전자 장치(100)는, 시청 환경 정보에 따라, Primary/Ambient 신호 처리부(1002, 도1)로부터 전달 받은 신호에, 주파수 대역에 기초하여 서브밴드 필터링을 적용할 수 있다.
일 실시 예에 따라 주파수 대역에 기초하여 오디오 신호를 처리하는 예에 대해서는 후술할 도 13 내지 도 16에 관한 설명에서, 보다 상세히 설명하기로 한다.
도 3 내지 도 7은 일 실시 예에 따른 시청 환경 정보를 획득하는 예를 관해 도시한다.
도 3은 일 실시 예에 따른 주변 소음에 관한 정보를 획득하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 마이크 입력을 통해 전자 장치(100) 주변의 소음을 측정할 수 있다. 일 실시 예에 따라, 마이크는 전자 장치(100)에 장착된 마이크일 수 있으며, 다른 단말(예컨대, 스마트 폰, 리모컨, AI 스피커 등)에 장착된 마이크일 수 있으며, 이에 제한되지 않는다.
전자 장치(100)는 마이크를 통해 입력되는 주변 소음의 특성 및 레벨을 확인할 수 있다(3001).
예를 들어, 주변 소음은, 전자 장치(100) 주변에 위치한 주변 기기들에서 발생하는 소음일 수 있다.
전자 장치(100) 주변에서 동작 중인 주변 기기들(예컨대, 청소기, 믹서, 핸드 드라이어 등)의 다양한 동작 모드에서의 소음의 크기와 특성이 다르기 때문에, 사운드 전달력을 향상시키기 위해, 주변의 소음 특성에 따른 오디오 처리가 달라질 수 있다.
또한, 예를 들어, 주변 소음은, 일반적인 가정, 사무실 내에서 발생하는 생활 소음일 수도 있다.
일 실시 예에 따라, 전자 장치(100)는 마이크를 통해 입력되는 소음의 특성 및 레벨을 실시간으로 분석할 수 있다.
또한, 전자 장치(100)는 소음에 의한 마스킹 여부, 음향의 명료도에 중요한 주파수 대역의 소음 특성이 어떤지 여부 등을 분석할 수 있다.
일 실시 예에 따라, 전자 장치는(100)는 주변 소음의 특성 및 레벨 확인에 기초하여, Primary/Ambient 신호를 추출하고, 주파수 대역 별 신호 처리를 수행할 수 있다.
한편, 전자 장치(100)가 마이크를 통해 소음을 측정할 때, 주변 소음뿐만 아니라, 전자 장치(100)로부터 출력되는 오디오 출력음도 함께 입력될 수 있다.
이에 따라 일 실시 예에 따른 전자 장치(100)는, 마이크를 통해 입력되는 소리 중 오디오 출력음을 제거한 후, 주변 소음의 특성 및 레벨을 추정할 수 있다.
도 4는 일 실시 예에 따른 공간에 관한 정보를 획득하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 전자 장치(100)가 위치한 공간의 정보를 확인할 수 있다(4001).
예를 들어, 전자 장치(100)는 잔향 시간을 측정할 수 있다.
잔향 시간은 음향 공간의 체적 및 흡음률에 의해서 결정된다. 잔향 시간이 길면 잔향에 의해 음성 명료도가 떨어지게 되고, 잔향 시간이 짧으면 소리가 드라이하여 음성 명료도가 떨어진다.
전자 장치(100)는 측정한 잔향 시간이 일정 시간(예컨대, 380msec) 이상이면 주요 신호(primary signal)의 음성을 강조하는 동작을 수행하고, 일정 시간(예컨대, 380msec) 이하이면 주변 신호(ambient signal)에 잔향을 주어 음의 풍부함을 높일 수 있다.
일 실시 예에 따라, 전자 장치는(100)는 공간 정보 확인에 기초하여, Primary/Ambient 신호를 추출하고, 주파수 대역 별 신호 처리를 수행할 수 있다.
도 5는 일 실시 예에 따른 주변 기기에 관한 정보를 획득하는 예를 설명하기 위한 도면이다.
일 실시 예에 따라, 전자 장치(100)는 전자 장치(100)에 연결된 디바이스를 확인할 수 있다(5001). 또한, 전자 장치(100)는 미리 저장된 디바이스의 룩업 테이블(look-up table)을 확인할 수 있다(5002).
일 실시 예에 따라, 전자 장치(100)는 다른 디바이스와 통신 연결되었을 때, 연결된 다른 디바이스의 정보들을 이용함으로써, 전자 장치(100)의 음향 전달력을 향상시킬 수 있다.
예를 들어, 공기청정기, 청소기 등이 전자 장치(100) 주변에서 동작할 때, 소음을 발생시킬 수 있다. 전자 장치(100)는 다른 디바이스(예컨대, 공기 청정기, 청소기)가 통신 범위 내에 위치하는 것으로 인식되면, 미리 저장된 룩-업 테이블을 이용하여, 다른 디바이스에서 발생되는 소리 특성 및 레벨에 기초하여, 오디오 신호를 처리할 수 있다. 예컨대, 룩-업 테이블은 다른 디바이스(예컨대, 공기 청정기, 청소기)의 동작 모드 별 발생되는 소음의 특성 및 레벨을 포함할 수 있다.
도 6a및 도 6b는 일 실시 예에 따른 전자 장치의 설치 환경에 관한 정보의 예를 설명하기 위한 도면이다.
도 6a은 전자 장치(예컨대, TV)가 벽걸이 형태로 설치된 경우에 전자 장치에서 화이트 노이즈 신호 재생 시의 주파수 특성(6001)과, 전자 장치(예컨대, TV)가 스탠드 형태로 설치된 경우에 전자 장치에서 화이트 노이즈 재생 시의 주파수 특성(6002)을 나타낸다. 전자 장치(100)의 설치 환경에 따라 서로 다른 주파수 파형을 나타낸다.
예를 들어, 전자 장치가 스탠드 형태로 설치된 경우에 벽걸이 형태 보다 저역(300Hz이하)이 조금 더 강조되고, 벽걸이 형태로 설치된 경우에 스탠드 형태보다 중역(300Hz~1kHz) 부분이 보다 강조되어 있는 양상을 나타낸다.
도 6b는 전자 장치(예컨대, TV)가 스탠드 형태로 설치된 경우에 뒷 벽과의 거리(뒷 벽과의 거리가 100cm 일 때(7001), 뒷 벽과의 거리가 15cm 일 때(7002)) 에 따른 전자 장치에서 재생한 화이트 노이즈 신호의 주파수 특성을 나타낸다.
예를 들어, 전자 장치가 뒷 벽에 가깝게 설치되어 있을 때 저역(300Hz이하)이 강조되는 것을 확인 할 수 있다.
도 6a, 6b을 참조하면, 전자 장치의 설치 환경에 따라, 동일한 오디오 신호라 하더라도 음향 출력 시의 주파수 특성이 달라짐을 알 수 있다.
일 실시 예에 따라, 전자 장치(100)는 전자 장치의 설치 환경에 관한 정보에 기초하여, Primary/Ambient 신호를 추출하고, 주파수 대역 별 신호 처리를 수행할 수 있다.
도 7은 일 실시 예에 따른 사용자 입력에 기초하여 시청 환경 정보를 획득하는 예를 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(100)는 사용자 인터페이스 예를 들어, 메뉴 선택(7005)을 통한 사용자 입력에 기초하여 시청 환경 정보 획득할 수 있다.
예를 들어, 전자 장치(100)는 사용자 인터페이스를 통해서 시청 공간이 큰 공간인지, 작은 공간인지, 또한, 주변 기기들의 위치, 현재 재생중인 오디오 장치의 위치 등을 입력 받을 수 있다.
일 실시 예에 다르면, 전자 장치(100)는 사용자 입력에 기초하여 획득한 시청 환경 정보에 기초하여 오디로 신호를 처리함으로써, 음향 전달력을 향상시킬 수 있다.
일 실시 예에 따르면, 전자 장치(100)가 주변 시청 환경을 센싱하지 않는 경우에도 사용자 입력을 통해 시청 환경 정보를 획득함으로써, 오디오 신호의 전달력을 향상시킬 수 있다.
도 8 내지 도 12는 일 실시 예에 따른 입력된 오디오 신호로부터 주요 신호와 주변 신호의 추출에 기초하여 오디오 신호를 처리하는 예를 설명하기 위한 도면이다.
도 8은 스테레오 입력 신호를 Primary 신호, Ambience L, Ambience R 신호로 분리하는 예를 도시한다.
도 8은, 입력 오디오 신호의 좌/우 채널로부터, 주파수 영역 별 상관도를 비교하여(Correlation Calculation), Primary(Center) 성분을 추출하고, 추출된 Primary(Center) 성분을 이용하여 좌/우 Ambience 성분으로 분리하는 방법을 나타낸다.
일 실시 예에 따른 전자 장치(100)는 시청 환경 정보에 기초하여, 좌/우 채널 간의 상관도(Correlation)를 조정할 수 있다. 전자 장치(100)는 좌/우 채널 간의 상관도(Correlation)에 기초하여, Primary(Center) 신호를 추출할 수 있다.
예를 들어, 전자 장치(100)는, 상관도(Correlation) 정도가 크다면 주요 신호(Primary signal)를 상대적으로 많이 추출하고, 상관도(Correlation) 정도가 작다면 주요 신호(Primary 신호)를 상대적으로 적게 추출할 수 있다. 일 실시 예에 따른 전자 장치(100)는 시청 환경 정보에 기초하여, 입력 스테레오 신호로부터 primary 신호, ambient 신호를 어느 정도 비율로 분리할지에 관한 가중치를 결정할 수 있다.
또한, 일 실시 예에 따른 전자 장치(100)는 시청 환경 정보에 기초하여, 분리된 primary 신호와 ambient 신호를 어느 정도 비율로 믹싱할 지 결정할 수 있다.
예를 들어, 청취자 주변이 시끄러운 환경이라면, 입력 신호로부터 Ambient 신호보다 Primary 신호를 더 높은 비율로 추출하고, 추출한 신호를 믹싱할 때 primary 신호에 가중치를 더 높일 수 있다. 이에 따라, 시끄러운 환경에서의 음성 신호의 전달력(intelligibility)을 향상시킬 수 있다.
또한, 청취자 주변이 조용한 환경이라면, 입력 신호로부터 Ambient 신호의 추출 비율을 높여 Primary 신호를 상대적으로 적은 비율로 추출할 수 있다.
도 9를 참조하면, 일 실시 예에 따른 전자 장치(100)는 시청 환경 정보에 기초하여, primary 신호를 포함하는 채널과 ambient 신호를 포함하는 채널을 분리하고, 분리된 각각의 채널에 계산된 비율에 맞도록 게인을 적용하고 다운믹싱 한 후 출력할 수 있다.
일 실시 예에 따른 전자 장치(100)는 각각 primary 신호를 포함하는 채널과 ambient 신호를 포함하는 채널에 적용되는 게인 값을, 시청 환경 정보에 따라 가변적으로 적용할 수 있다.
예를 들어, 주변 환경이 시끄러운 경우에는, 상대적으로 신호의 전달력에 중요한 primary 신호를 강조해 주기 위해 primary 게인을 크게 적용하고, 상대적으로 중요하지 않은 ambient 게인은 작게 적용할 수 있다.
도 10은 입력 신호(Input signal)로부터 분리된 Primary 신호, Ambient 신호(Left)의 주파수 특성의 일 예를 도시한다.
예를 들어, 주변 시청 환경이 소음이 많은 환경일 경우에는, ambient 가중치를 작게 하여 primary 신호를 포함하는 채널을 상대적으로 많이 추출할 수 있다.
도 11을 참조하면, Ambient 신호의 가중치에 따른, Primary 신호가 추출된 예를 도시한다.
도 11을 참조하면, ambient 가중치를 작게 적용할 경우(가중치 low)(1102), ambient 가중치를 크게 적용할 때(가중치 high)(1101)보다, primary 신호가 좀 더 크게 추출된 것을 확인할 수 있다.
도 12를 참조하면, 일 실시 예에 따른 전자 장치(100)는, 추출된 Primary 신호를 포함하는 채널로부터, 사운드 전달력에 중요한 음성 신호 영역을 추정하고, 음성 신호에 대해서 강조를 할 수 있다.
예를 들어, 추출된 Primary 신호의 대부분이 음성 부분이라고 가정을 하더라도, 비 음성 부분이 포함될 수 밖에 없다. 이에, 전자 장치(100)는 추출된 Primary 신호로부터 음성 부분과 비 음성 부분을 추정할 수 있다.
일 실시 예에 따라 전자 장치(100)는, 음성 신호 영역을 추정하는 방법으로 Spectral Flux 및 Spectral Flatness를 활용하여 음성 및 비음성 영역을 추정할 수 있다.
일 실시 예에 따라 전자 장치(100)는, 입력 오디오 신호로부터 음성 신호를 추출하면, 추출된 음성 신호를 증폭시켜 음성신호를 강조할 수 있다. 이에 따라, 전자 장치(100)는 사운드 전달력에 중요한 음성 신호 영역을 강조함으로써, 입력 오디오 신호의 전달력을 향상시킬 수 있다.
또한, 일 실시 예에 따르면, 전자 장치(100)는 시청 환경 정보가 없는 경우에도, 입력 오디오 신호를 분석함으로써, 음향 전달력을 향상시킬 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 입력 오디오 신호의 주파수 대역 별 상관도를 계산하여(Correlation Calculation), Primary 성분을 추출할 수 있다. 전자 장치(100)는, 추출된 Primary 신호로부터 음성 신호 영역을 추출할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 입력 오디오 신호로부터 추출된 음성 신호를 증폭시켜 음성 신호 영역을 강조함으로써, 사운드 전달력을 향상시킬 수 있다.
도 13 내지 도 16은 일 실시 예에 따른 주파수 대역에 기초하여 오디오 신호를 처리하는 예를 설명하기 위한 도면이다.
도 13을 참조하면, 전자 장치(100)는 시청 환경 정보에 기초하여, 주파수 대역에 기초하여 오디오 신호를 처리할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 주파수 대역에 기초하여 오디오 신호에 필터링을 적용할 수 있다.
예를 들어, 전자 장치(100)는 주변 시청 환경이 시끄러운 경우, 주변 소음에 의해서 잘 들리지 않는 오디오 신호 중에서 중요하지 않은 주파수 대역은 에너지를 감소시키고, 감소한 만큼 확보된 에너지를 잘 들리는 주파수 대역으로 집중시켜 오디오 신호의 전달력을 향상시킬 수 있다.
주파수 대역은 저역(수 백 Hz 이하), 중역( 수 백~ 수 천 Hz), 고음 대역(수 천 ~ 수 만 Hz), 초고음 대역(수 만 Hz 이상)으로 나눌 수 있다. 이 중에서 1kHz~5kHz 대역은 음의 명료성을 크게 좌우하며, 사람의 청각 특성상 귀에 가장 민감한 대역이다.
일 실시 예에 따라, 전자 장치(100)는 명료도의 기여율이 낮은 주파수 대역의 에너지를 감소시키고, 명료도 기여율이 높은 주파수 대역의 에너지를 증가시킴으로써, 전체적인 에너지를 크게 증가하지 않거나 비슷한 상태에서, 사운드 전달력을 향상시킬 수 있다.
예를 들어, 전자 장치(100)는 음성 신호의 전달력에 중요한 중역(mid-range frequency band)은 강조하면서, 상대적으로 음성 신호가 작은 저역과 고역의 에너지를 감소시킬 수 있다.
또한, 전자 장치(100)는 중역 내에서 소음 마스킹이 심한 부분의 에너지는 줄이고, 그렇지 않은 부분은 강조하여 음향 전달력을 향상시킬 수 있다.
이에 따라, 신호의 전체적인 에너지는 증가하지 않는 상태에서, 음향 전달력은 향상될 수 있다.
또한, 일 실시 예에 따라, 전자 장치(100)는 마스킹이 될 수 있는 주파수 영역을 구분하고, 이를 이용하여 오디오 신호에 필터링을 적용할 수 있다.
마스킹 효과란 어느 음이 존재하면 다른 음이 잘 들리지 않는 현상을 의미한다. 예컨대, 주변의 시청 환경이 노이즈가 많은 환경이라면, 노이즈 때문에 TV에서 전달하는 소리가 잘 들리지 않는 경우가 발생할 수 있다.
전자 장치(100) 주변에서 소음을 유발하는 디바이스들(예컨대, 청소기, 헤어 드라이어 등)마다 소음의 특성이 상이할 수 있다. 전자 장치(100)는 다른 디바이스들로부터 출력되는 소음을 분석하고, 마스킹되는 주파수 영역을 결정하여, 오디오 신호의 필터링에 적용할 수 있다.
일 실시 예에 따라 전자 장치(100)는 노이즈의 크기 또는 특성에 기초하여, 마스킹이 될 수 있는 주파수 영역을 결정하고, 필터를 가변적으로 적용할 수 있다.
예를 들어, 전자 장치(100)는 마스킹이 될 수 있는 주파수 영역을 결정하고, 마스킹된 음성 대역의 에너지를 줄이고, 마스킹이 상대적으로 적은 음성 대역의 에너지를 높일 수 있다.
도 14는, 오디오 신호의 필터링에 적용된 필터의 예시를 나타낸다.
일 실시 예에 따라, 전자 장치(100)는 시청 환경 정보에 기초하여, 필터 값을 가변적으로 조정할 수 있다.
예를 들어, 도 14의 필터는 명료도에서 중요한 주파수 영역인 1kHz~5kHz 부분을 강조하고 있으며, 입출력의 에너지를 비슷하게 유지해주기 위해서, 저역, 고역 부분은 감소시킨 것을 나타낸다.
한편, 일 실시 예에 따라, 전자 장치(100)는 Primary/Ambient 신호 분리 후, 다운 믹싱된 L, R 채널에, 필터링을 적용할 수 있다.
도 15를 참조하면, 다운 믹싱된 L,R 채널에 필터링이 적용되는 과정을 나타낸다.
또한, 일 실시 예에 따라, 전자 장치(100)는 다운 믹싱 하기 전의 Primary 신호와 Ambient 신호 각각에, 필터링을 적용할 수도 있다. 이 때, 전자 장치(100)는 Primary 신호와 Ambient신호에, 동일한 필터를 적용할 수도 있고, 상이한 필터를 적용할 수도 있다.
도 16을 참조하면, 다운 믹싱 하기 전, Primary 신호를 포함하는 채널과 Ambient 신호를 포함하는 채널에 필터링이 먼저 적용된 후, 다운 믹싱되어 출력되는 과정을 나타낸다.
도 17 내지 도 19는 일 실시 예에 따른 처리된 오디오 신호의 에너지 보상 예를 설명하기 위한 도면이다.
도 17은 입력된 스테레오 신호 중 한 채널에 대한 입력 신호와 처리된 결과 신호의 파형을 나타낸다.
도 17에 도시한 신호의 파형 변화를 보면, 입력 신호(1701)의 파형보다, 처리된 결과(1702)(primary/ambient 신호 조정 및 필터링이 적용된 결과)의 파형이 좀 더 커 보이는 것을 알 수 있으며, 주파수 대역 중 중간 영역이 보다 강조되었음을 나타낸다.
그러나, 일 실시 예에 따라 전자 장치(100)로부터 출력되는 출력 신호의 전체 에너지 크기는 입력 신호와 비슷할 수 있다.
도 18은, 출력 신호의 저역이 입력 신호보다 상대적으로 낮으며, 중역(mid-range)은 입력 신호보다 상대적으로 높은 것을 나타낸다.
도 19를 참조하면, Total RMS Amplitude를 확인하면, 입력 신호와 출력 신호의 파워(RMS:root mean square)값이 거의 비슷한 것을 나타낸다.
입력 오디오 신호가 Primary/Ambient 신호 처리부(1002, 도 1)와 주파수 대역 별 신호 처리부(1003, 도1)에 의해 처리되면, 처리 결과는 입력 신호와 에너지 차이가 발생할 수 있다. 예를 들면, primary 신호 대비 ambient 신호를 낮추고, 저역과 고역을 감쇠시키며, 입력 신호의 중역 부분을 보상해주는 경우, 출력 신호가 입력 신호에 비하여 훨씬 작아지는 경우가 발생할 수 있다. 이 때, 입력 신호와 출력 신호의 에너지 차이, 음량 차이를 최소화 하기 위해서, 출력 신호에 에너지를 보상해줄 필요가 있다.
일 실시 예에 따르면, 에너지 보상부(1004, 도1)는 입출력 신호 간의 에너지를 보상할 수 있다.
예를 들어, 입력 신호의 평균 RMS 값과 주파수 대역 별 신호 처리부(1003, 도1)에서 출력된 필터링된 신호의 평균 RMS 값을 계산하여(수식 1), 입출력 신호의 RMS 값의 비율에 따라서 출력 신호에 이득을 주어서 입출력 신호 간의 에너지를 보상할 수 있다.
(수식1)
Figure pat00001
또한, 일 실시 예에 따라, 전자 장치(100)는 입력 오디오 신호를 프레임 단위로 처리할 수 있다. 전자 장치(100)는 프레임마다 입출력 신호의 RMS 값을 구하고, 프레임 마다 이득을 구하여, 출력 신호에 이득을 적용할 수 있다.
이 때, 이득이 갑자기 변하는 경우 프레임 간의 이득이 크게 차이가 나서, 프레임 간 불연속이 발생할 수 있을 수 있기 때문에 Gain Smoothing 등을 활용하여 프레임 간의 불연속을 방지할 수 있다.
(수식2)
Figure pat00002
예를 들어, (수식2)를 이용하여, Gain Smoothing을 적용할 수 있다. alpha 값을 조정하여 현재 프레임에서 계산된 이득과 이전 프레임에서 계산된 이득 간에 어느 정도 비중으로 최종 Gain을 적용할지 정할 수 있으며, 프레임 간의 불연속을 방지할 수 있다.
도 20은 일 실시 예에 따른 전자 장치의 블록 구성도(block diagram)이다.
도 20의 전자 장치(100a)는 도 1의 전자 장치(100)의 일 실시 예일 수 있다.
도 1의 시청 환경 정보 획득부(1001), Primary/Ambient 신호 처리부(1002), 주파수 대역 별 신호 처리부(1003), 에너지 보상부(1004)의 동작은 도 20의 오디오 처리부(115)에서 수행될 수 있다.
도 20에 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(100)는 구현될 수 있다.
예를 들어, 도 20에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(100)는, 디스플레이(110), 메모리(120), 프로세서(130), 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170), 비디오 처리부(180), 오디오 처리부(115), 오디오 출력부(126), 전원부(190), 센싱부(191)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 살펴본다.
프로세서(130)는, 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(130)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(120)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(130)는 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬 및 프로세서를 포함할 수 있다.
프로세서(130)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(130)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 프로세서(130)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
또한, 프로세서(130)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시 예에 따라, 프로세서(130)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 시청 환경 정보에 기초하여 오디오 신호 처리를 수행하도록 오디오 처리부(115)를 제어할 수 있다.
메모리(120)는, 프로세서(130)의 제어에 의해 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(120)는 비디오 처리부(180), 디스플레이(110), 오디오 처리부(115), 오디오 출력부(126), 전원부(130), 튜너부(140), 통신부(150), 감지부(160), 입/출력부(170)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.
메모리(120)는 전자 장치(100) 및 프로세서(130)의 제어를 위한 오퍼레이팅 시스템(121), 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션(122), 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
또한, 메모리(120)는 원격 제어 장치(미도시)로부터의 입력 신호를 수신하고 이에 따라 입력 신호에 대응하는 채널 제어를 수행하거나 또는, 입력 신호가 미리 지정된 입력에 대응하는 경우 채널 스크롤 유저 인터페이스 모드로 진입하기 위한 하나 이상의 인스트럭션을 포함하는 TV 뷰어 모듈(123), 외부 장치(미도시)로부터 수신된 컨텐츠로부터 정보를 인식하기 위한 하나 이상의 인스트럭션을 포함하는 문자 인식 모듈(124), 외부 장치(미도시)로부터의 채널 제어를 위한 하나 이상의 인스트럭션을 포함하는 MBR 모듈(125)를 포함할 수 있다.
메모리(120)는, 롬, 램 또는 전자 장치(100)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리(120)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
일 실시 예에 따라, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시 예에 따라, 메모리(120)는, 다양한 디바이스의 동작 모드 별 발생하는 소음에 관한 정보를 포함하는 룩-업 테이블 저장할 수 있다.
디스플레이(110)는 프로세서(130)의 제어에 의해 튜너부(140, 도3)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시한다. 또한, 디스플레이(110)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 컨텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(110)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 영상을 출력할 수 있다.
디스플레이(110)는, 프로세서(130)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(110)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(110)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시 예에 따라, 전자 장치(100)의 디스플레이(110)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.
튜너부(140)는, 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 전자 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(140)는 사용자 입력(예를 들어, 원격 제어 장치(미도시)로부터 수신되는 제어 신호, 예컨대, 채널 번호 입력, 채널의 업다운(up-down) 입력 및 EPG 화면에서 채널 입력)에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(140)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(140)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(140)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(130)의 제어에 의해 메모리(120)에 저장될 수 있다.
전자 장치(100)의 튜너부(140)는 하나이거나 복수일 수 있다. 튜너부(140)는 전자 장치(100)와 일체형(all-in-one)으로 구현되거나, 또는 전자 장치(100)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋톱박스(set-top box, 도시되지 아니함), 입/출력부(170)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부(150)는, 프로세서(130)의 제어에 의해 전자 장치(100)를 외부 장치(예를 들어, 오디오 장치 등)(미도시)와 연결할 수 있다. 프로세서(130)는 통신부(150)를 통해 연결된 외부 장치(미도시)로 컨텐츠를 송/수신, 외부 장치(미도시)에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(150)는 전자 장치(100)의 성능 및 구조에 대응하여 무선 랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153) 중 하나를 포함할 수 있다. 또한, 통신부(150)는 무선랜(151), 블루투스(152), 및 유선 이더넷(Ethernet, 153)의 조합을 포함할 수 있다.
또한, 통신부(150)는 프로세서(130)의 제어에 의해 원격 제어 장치(미도시)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
또한, 통신부(150)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
감지부(160)는, 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크(161), 카메라부(162) 및 광 수신부(163)를 포함할 수 있다.
마이크(161)는 사용자의 발화(utterance)된 음성을 수신한다. 마이크(161)는 수신된 음성을 전기 신호로 변환하여 프로세서(130)로 출력할 수 있다. 사용자 음성은 예를 들어, 전자 장치(100)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
일 실시 예에 따라 마이크(161)는 전자 장치(100) 주변의 소리를 입력 받을 수 있다.
카메라부(162)는 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라부(162)에서 처리된 화상 프레임은 메모리(1200)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라부(162)는 전자 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
광 수신부(163)는 외부의 원격 제어 장치(미도시)로부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부(163)는 원격 제어 장치(미도시)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(130)의 제어에 의해 제어 신호가 추출될 수 있다. 예를 들어, 광 수신부(163)는 원격 제어 장치(미도시)로부터 채널 전환을 위한 채널 업/다운 버튼에 대응하는 제어 신호를 수신할 수 있다.
입/출력부(170)는, 프로세서(130)의 제어에 의해 전자 장치(100)의 외부로부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입/출력부(170)는, HDMI 포트(High-Definition Multimedia Interface port)(171), 컴포넌트 잭(component jack)(172), PC 포트(173), 및 USB 포트(174) 중 적어도 하나를 포함할 수 있다. 입/출력부(170)는 HDMI 포트(171), 컴포넌트 잭(172), PC 포트(173), 및 USB 포트(174) 중 적어도 하나의 조합을 포함할 수 있다. 외부 영상 제공 장치(미도시)는 HDMI 포트(171)을 통해 연결될 수 있다.
비디오 처리부(180)는, 전자 장치(100)가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부(180)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
그래픽 처리부(181)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 감지부(160)를 통해 감지된 사용자 입력을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(110)의 디스플레이 영역 내에 표시된다.
오디오 처리부(115)는, 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(115)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(115)는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
일 실시 예에 따라 오디오 처리부(115)는, 시청 환경 정보에 기초하여, 입력된 오디오 신호를 처리하여 출력 신호를 생성할 수 있다.
또한, 일 실시 예에 따라 오디오 처리부(115)는, 시청 환경 정보에 기초하여,입력된 오디오 신호로부터 주요 신호(primary signal)와 주변 신호(ambient signal)의 추출에 기초하여 오디오 신호를 처리할 수 있다.
또한, 일 실시 예에 따라 오디오 처리부(115)는, 시청 환경 정보에 기초하여, 주요 신호와 주변 신호의 가중치를 결정하고, 가중치에 따라 주요 신호와 주변 신호를 분리할 수 있다.
또한, 일 실시 예에 따라 오디오 처리부(115)는, 시청 환경 정보에 기초하여, 주요 신호와 주변 신호에 적용할 각각의 게인 값을 결정하고, 주요 신호와 주변 신호에 결정된 게인 값을 적용할 수 있다.
또한, 일 실시 예에 따라 오디오 처리부(115)는, 시청 환경 정보에 기초하여,주파수 대역에 기초하여 오디오 신호를 처리할 수 있다.
또한, 일 실시 예에 따라 오디오 처리부(115)는, 시청 환경 정보에 기초하여, 음향 전달에 주요한 주파수 대역을 결정하고, 입력된 오디오 신호 중 결정된 주파수 대역의 에너지를 증가시키고, 나머지 주파수 대역의 에너지를 감소시킬 수 있다.
또한, 일 실시 예에 따라 오디오 처리부(115)는, 사람의 청각 특성 및 소음에 의한 마스킹 중 적어도 하나에 기초하여, 음향 전달에 주요한 주파수 대역을 결정할 수 있다.
또한, 일 실시 예에 따라 오디오 처리부(115)는, 입력된 오디오 신호와 처리된 오디오 신호의 에너지 차이에 기초하여, 처리된 오디오 신호의 에너지 값을 조정할 수 있다.
오디오 출력부(126)는, 프로세서(130)의 제어에 의해 튜너부(140)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(126)는 통신부(150) 또는 입/출력부(170)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(126)는 프로세서(130)의 제어에 의해 메모리(120)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(129) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(126)는 스피커(127), 헤드폰 출력 단자(128) 및 S/PDIF 출력 단자(129)의 적어도 하나의 조합을 포함할 수 있다.
전원부(190)는, 프로세서(130)의 제어에 의해 전자 장치(100) 내부의 구성 요소들로 외부의 전원 소스에서부터 입력되는 전원을 공급한다. 또한, 전원부(190)는 프로세서(130)의 제어에 의해 전자 장치(100) 내부에 위치하는 하나 또는 둘 이상의 배터리(도시되지 아니함)로부터 출력되는 전원을 내부의 구성 요소들에게 공급할 수 있다.
센싱부(191)는, 전자 장치(100)의 상태 또는 전자 장치(100) 주변의 상태를 감지하고, 감지된 정보를 프로세서(130)로 전달할 수 있다.
센싱부(191)는, 지자기 센서(Magnetic sensor)(192), 가속도 센서(Acceleration sensor)(193), 온/습도 센서(194), 적외선 센서(195), 자이로스코프 센서(196), 위치 센서(예컨대, GPS)(1970), 기압 센서(198), 근접 센서(199), 및 RGB 센서(illuminance sensor)(200) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
또한, 디스플레이(110)를 포함하는 전자 장치(100)는 튜너부(140)를 포함하는 별도의 외부 장치(예를 들어, 셋톱 박스, 도시되지 아니함)와 전기적으로 연결될 수 있다.
또한, 전자 장치(100)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도시된 전자 장치(100, 100a)의 블록도는 일 실시 예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시 예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 1 내지 도 20은 일 실시 예를 설명하기 위한 것으로 이에 한정되지 않는다.
한편, 상술한 실시 예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시에서 모든 예들 또는 예시적인 용어의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다.
또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 개시에 기재된 구성 요소들은 본 개시의 실행을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 개시의 실시 예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
본 개시는 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 본 개시는 명세서에 기재된 특정한 실시 형태에 의해 한정되는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물이 본 개시에 포함되는 것으로 이해되어야 한다. 그러므로, 개시된 실시예들은 한정적인 관점이 아닌 설명적 관점에서 이해되어야 한다.
본 개시의 범위는 발명의 상세한 설명보다는 특허 청구 범위에 의하여 나타나며, 특허 청구 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
본 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
"부", "모듈"은 어드레싱될 수 있는 저장 매체에 저장되며 프로세서에 의해 실행될 수 있는 프로그램에 의해 구현될 수도 있다.
예를 들어, “부”, "모듈" 은 소프트웨어 구성 요소들, 객체 지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들에 의해 구현될 수 있다.
본 명세서에서, "A는 a1, a2 및 a3 중 하나를 포함할 수 있다"는 기재은, A라는 엘리먼트(element)에 포함될 수 있는 예시적인 엘리먼트가 a1, a2 또는 a3라는 넓은 의미이다.
상기 기재로 인해 엘리먼트 A를 구성할 수 있는 엘리먼트가 반드시 a1, a2 또는 a3로 국한된다는 것은 아니다. 따라서 A를 구성할 수 있는 엘리먼트가, a1, a2 및 a3 이외에 예시되지 않은 다른 엘리먼트들을 배제한다는 의미로, 배타적으로 해석되지 않음에 유의하여야 한다.
또한, 상기 기재는, A는 a1를 포함하거나, a2를 포함하거나, 또는 a3를 포함할 수 있다는 의미이다. 상기 기재가 A를 구성하는 엘리먼트들이 반드시 소정 집합 내에서 선택적으로 결정된다는 것을 의미하지는 않는다. 예를 들어 상기 기재가, 반드시 a1, a2 및 a3를 포함하는 집합으로부터 선택된 a1, a2, 또는 a3가 컴포넌트 A를 구성한다는 것으로, 제한적으로 해석되지 않음에 유의하여야 한다.
또한 본 명세서에서, "a1, a2 및 a3 중 적어도 하나"라는 기재는, "a1", "a2", "a3", "a1 및 a2", "a1 및 a3", "a2 및 a3", 및 "a1, a2 및 a3" 중에서 한 가지를 나타낸다. 따라서, "a1 중 적어도 하나, a2 중 적어도 하나 및 a3 중 적어도 하나"라고 명시적으로 기재되지 않는 이상, "a1, a2 및 a3 중 적어도 하나"라는 기재는 "a1 중 적어도 하나", "a2 중 적어도 하나" 및 "a3 중 적어도 하나"라고 해석되지 않음에 유의하여야 한다.
100 : 전자 장치

Claims (15)

  1. 오디오 신호를 처리하는 전자 장치의 동작 방법에 있어서,
    음향 전달과 관련된 시청 환경 정보를 획득하는 단계; 및
    상기 시청 환경 정보에 기초하여, 입력된 오디오 신호를 처리하여 출력 신호를 생성하는 단계를 포함하고,
    상기 오디오 신호를 처리하여 출력 신호를 생성하는 단계는,
    상기 입력된 오디오 신호로부터 주요 신호(primary signal)를 포함하는 채널과 주변 신호(ambient signal)를 포함하는 채널의 분리에 기초하여 상기 오디오 신호를 처리하는 단계; 및
    주파수 대역에 기초하여 상기 오디오 신호를 처리하는 단계를 포함하는, 동작 방법.
  2. 제1 항에 있어서,
    상기 시청 환경 정보는,
    상기 전자 장치의 주변 소음에 관한 정보, 상기 전자 장치가 위치한 공간에 관한 정보, 상기 전자 장치의 주변 기기에 관한 정보 및 상기 전자 장치의 설치 환경에 관한 정보 중 적어도 하나를 포함하는, 동작 방법.
  3. 제1 항에 있어서,
    상기 주요 신호를 포함하는 채널과 주변 신호를 포함하는 채널의 분리 에 기초하여 상기 오디오 신호를 처리하는 단계는,
    상기 시청 환경 정보에 기초하여, 상기 주요 신호와 상기 주변 신호의 가중치를 결정하고, 상기 가중치에 따라 상기 주요 신호와 상기 주변 신호를 추출하는 단계를 포함하는, 동작 방법.
  4. 제1 항에 있어서,
    상기 주요 신호를 포함하는 채널과 주변 신호를 포함하는 채널의 분리에 기초하여 상기 오디오 신호를 처리하는 단계는,
    상기 시청 환경 정보에 기초하여, 상기 주요 신호와 상기 주변 신호에 적용할 각각의 게인 값을 결정하고, 상기 주요 신호와 상기 주변 신호에 상기 결정된 게인 값을 적용하는 단계를 포함하는, 동작 방법.
  5. 제1 항에 있어서,
    상기 주파수 대역에 기초하여 상기 오디오 신호를 처리하는 단계는,
    상기 시청 환경 정보에 기초하여, 음향 전달에 주요한 주파수 대역을 결정하고,
    상기 입력된 오디오 신호 중 상기 결정된 주파수 대역의 에너지를 증가시키고, 나머지 주파수 대역의 에너지를 감소시키는 단계를 포함하는, 동작 방법.
  6. 제5 항에 있어서,
    상기 주파수 대역을 결정하는 단계는,
    사람의 청각 특성 및 소음에 의한 마스킹 중 적어도 하나에 기초하여, 상기 음향 전달에 주요한 주파수 대역을 결정하는, 동작 방법.
  7. 제1 항에 있어서,
    상기 출력 신호를 생성하는 단계는,
    상기 입력된 오디오 신호와 상기 처리된 오디오 신호의 에너지 차이에 기초하여, 상기 처리된 오디오 신호의 에너지 값을 조정하는 단계를 포함하는, 동작 방법.
  8. 오디오 신호를 처리하는 전자 장치에 있어서,
    음향 전달과 관련된 시청 환경 정보를 획득하는 시청 환경 정보 획득부; 및
    상기 시청 환경 정보에 기초하여, 입력된 오디오 신호를 처리하여 출력 신호를 생성하는 오디오 처리부를 포함하고,
    상기 오디오 처리부는,
    상기 입력된 오디오 신호로부터 주요 신호(primary signal)를 포함하는 채널과 주변 신호(ambient signal)를 포함하는 채널의 분리에 기초하여 상기 오디오 신호를 처리하고,
    주파수 대역에 기초하여 상기 오디오 신호를 처리하는, 전자 장치.
  9. 제8 항에 있어서,
    상기 시청 환경 정보는,
    상기 전자 장치의 주변 소음에 관한 정보, 상기 전자 장치가 위치한 공간에 관한 정보, 상기 전자 장치의 주변 기기에 관한 정보 및 상기 전자 장치의 설치 환경에 관한 정보 중 적어도 하나를 포함하는, 전자 장치.
  10. 제8 항에 있어서,
    상기 오디오 처리부는,
    상기 시청 환경 정보에 기초하여, 상기 주요 신호와 상기 주변 신호의 가중치를 결정하고, 상기 가중치에 따라 상기 주요 신호와 상기 주변 신호를 추출하는, 전자 장치.
  11. 제8 항에 있어서,
    상기 오디오 처리부는,
    상기 시청 환경 정보에 기초하여, 상기 주요 신호와 상기 주변 신호에 적용할 각각의 게인 값을 결정하고, 상기 주요 신호와 상기 주변 신호에 상기 결정된 게인 값을 적용하는, 전자 장치.
  12. 제8 항에 있어서,
    상기 오디오 처리부는,
    상기 시청 환경 정보에 기초하여, 음향 전달에 주요한 주파수 대역을 결정하고,
    상기 입력된 오디오 신호 중 상기 결정된 주파수 대역의 에너지를 증가시키고, 나머지 주파수 대역의 에너지를 감소시키는, 전자 장치.
  13. 제12 항에 있어서,
    상기 오디오 처리부는,
    사람의 청각 특성 및 소음에 의한 마스킹 중 적어도 하나에 기초하여, 상기 음향 전달에 주요한 주파수 대역을 결정하는, 전자 장치.
  14. 제8 항에 있어서,
    상기 오디오 처리부는,
    상기 입력된 오디오 신호와 상기 처리된 오디오 신호의 에너지 차이에 기초하여, 상기 처리된 오디오 신호의 에너지 값을 조정하는, 전자 장치.
  15. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180104698A 2018-09-03 2018-09-03 전자 장치 및 그 동작 방법 KR102522567B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180104698A KR102522567B1 (ko) 2018-09-03 2018-09-03 전자 장치 및 그 동작 방법
US16/558,955 US10992273B2 (en) 2018-09-03 2019-09-03 Electronic device and operation method thereof
EP19857727.2A EP3827430A4 (en) 2018-09-03 2019-09-03 ELECTRONIC DEVICE AND OPERATING PROCEDURES FOR IT
PCT/KR2019/011337 WO2020050593A1 (en) 2018-09-03 2019-09-03 Electronic device and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180104698A KR102522567B1 (ko) 2018-09-03 2018-09-03 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20200026575A true KR20200026575A (ko) 2020-03-11
KR102522567B1 KR102522567B1 (ko) 2023-04-18

Family

ID=69639164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180104698A KR102522567B1 (ko) 2018-09-03 2018-09-03 전자 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US10992273B2 (ko)
EP (1) EP3827430A4 (ko)
KR (1) KR102522567B1 (ko)
WO (1) WO2020050593A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11418877B2 (en) 2019-11-21 2022-08-16 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11094328B2 (en) * 2019-09-27 2021-08-17 Ncr Corporation Conferencing audio manipulation for inclusion and accessibility

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110255699A1 (en) * 2010-04-19 2011-10-20 Kabushiki Kaisha Toshiba Signal correction apparatus and signal correction method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993480B1 (en) 1998-11-03 2006-01-31 Srs Labs, Inc. Voice intelligibility enhancement system
US20040125962A1 (en) * 2000-04-14 2004-07-01 Markus Christoph Method and apparatus for dynamic sound optimization
US6480821B2 (en) 2001-01-31 2002-11-12 Motorola, Inc. Methods and apparatus for reducing noise associated with an electrical speech signal
JP4260046B2 (ja) * 2004-03-03 2009-04-30 アルパイン株式会社 音声明瞭度改善装置及び音声明瞭度改善方法
FR2932332B1 (fr) * 2008-06-04 2011-03-25 Parrot Systeme de controle automatique de gain applique a un signal audio en fonction du bruit ambiant
US8229125B2 (en) 2009-02-06 2012-07-24 Bose Corporation Adjusting dynamic range of an audio system
US8321215B2 (en) 2009-11-23 2012-11-27 Cambridge Silicon Radio Limited Method and apparatus for improving intelligibility of audible speech represented by a speech signal
US8744091B2 (en) 2010-11-12 2014-06-03 Apple Inc. Intelligibility control using ambient noise detection
US9866955B2 (en) 2013-08-23 2018-01-09 Google Llc Enhancement of intelligibility in noisy environment
US9875754B2 (en) * 2014-05-08 2018-01-23 Starkey Laboratories, Inc. Method and apparatus for pre-processing speech to maintain speech intelligibility
KR102248071B1 (ko) * 2014-09-15 2021-05-04 엘지전자 주식회사 멀티미디어 장치 및 그의 오디오 신호 처리방법
KR101682796B1 (ko) 2015-03-03 2016-12-05 서울과학기술대학교 산학협력단 소음 환경에서 음절 형태 기반 음소 가중 기법을 이용한 음성의 명료도 향상 방법 및 이를 기록한 기록매체
KR101662946B1 (ko) 2015-03-25 2016-10-06 연세대학교 산학협력단 음질 개선 장치 및 그 제어 방법
EP3479378B1 (en) * 2016-07-04 2023-05-24 Harman Becker Automotive Systems GmbH Automatic correction of loudness level in audio signals containing speech signals

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110255699A1 (en) * 2010-04-19 2011-10-20 Kabushiki Kaisha Toshiba Signal correction apparatus and signal correction method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11418877B2 (en) 2019-11-21 2022-08-16 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
US10992273B2 (en) 2021-04-27
US20200076389A1 (en) 2020-03-05
WO2020050593A1 (en) 2020-03-12
EP3827430A1 (en) 2021-06-02
EP3827430A4 (en) 2021-10-20
KR102522567B1 (ko) 2023-04-18

Similar Documents

Publication Publication Date Title
US11527243B1 (en) Signal processing based on audio context
US10362433B2 (en) Electronic device and control method thereof
JP6143887B2 (ja) 方法、電子機器およびプログラム
US10678563B2 (en) Display apparatus and method for controlling display apparatus
KR20150087025A (ko) 전자 장치 및 이의 음성 인식 방법
JP5085769B1 (ja) 音響制御装置、音響補正装置、及び音響補正方法
JP2018509820A (ja) パーソナライズされたヘッドホン
KR102565447B1 (ko) 청각 인지 속성에 기반하여 디지털 오디오 신호의 이득을 조정하는 전자 장치 및 방법
WO2019237667A1 (zh) 播放音频数据的方法和装置
KR102454761B1 (ko) 영상표시장치의 동작 방법
KR20150001521A (ko) 입체 음향 서비스를 제공하는 디스플레이 장치 및 방법
KR20160049347A (ko) 영상표시기기 및 그의 원거리 음성 인식율 향상 방법
EP3610366B1 (en) Display apparatus and controlling method thereof
US10992273B2 (en) Electronic device and operation method thereof
KR101672210B1 (ko) 음향출력장치 및 그 동작 방법
US20210019113A1 (en) Display apparatus and controlling method thereof
JP4982617B1 (ja) 音響制御装置、音響補正装置、及び音響補正方法
JP2016206646A (ja) 音声再生方法、音声対話装置及び音声対話プログラム
KR20130139074A (ko) 오디오 신호 처리 방법 및 이를 적용한 오디오 신호 처리 장치
KR102608680B1 (ko) 전자장치 및 그 제어방법
CN111050261A (zh) 听力补偿方法、装置及计算机可读存储介质
JP2014202808A (ja) 入出力装置
JP2018084843A (ja) 入出力装置
JP6773876B2 (ja) 入出力装置
EP4425936A1 (en) System comprising tv and remote control, and control method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right