KR20220066746A - 전자 장치 및 이의 제어 방법 - Google Patents
전자 장치 및 이의 제어 방법 Download PDFInfo
- Publication number
- KR20220066746A KR20220066746A KR1020200153109A KR20200153109A KR20220066746A KR 20220066746 A KR20220066746 A KR 20220066746A KR 1020200153109 A KR1020200153109 A KR 1020200153109A KR 20200153109 A KR20200153109 A KR 20200153109A KR 20220066746 A KR20220066746 A KR 20220066746A
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- information
- electronic device
- correction value
- spatial
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000012937 correction Methods 0.000 claims abstract description 70
- 230000005236 sound signal Effects 0.000 claims abstract description 14
- 238000009434 installation Methods 0.000 claims description 14
- 238000010521 absorption reaction Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012795 verification Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
전자 장치가 개시된다. 본 전자 장치는 사운드를 출력하는 음향 출력 장치, 마이크 및 컨텐츠가 선택되면, 사운드 보정 값을 이용하여 컨텐츠에 대응되는 음향 신호가 출력되도록 음향 출력 장치를 제어하는 프로세서를 포함하고, 프로세서는, 컨텐츠에 대응되는 사운드가 음향 출력 장치에서 출력되어 마이크에 입력되면, 마이크에 입력된 사운드에서 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 사운드 보정 값을 산출하고, 사운드 보정 값을 산출된 사운드 보정 값으로 업데이트한다.
Description
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 음향 출력 장치를 포함하는 전자 장치가 배치된 공간 특성에 따라 음향 출력 장치에서 출력되는 사운드를 보정하는 전자 장치 및 이의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 가정, 사무실, 공공장소 등 다양한 장소에서 이용되는 디스플레이 장치는 최근 수년 간 지속적으로 발전하고 있으며, 디스플레이 장치의 형태에 있어서 플랫(flat)화, 슬림(slim)화가 지속적으로 진행됨에 따라 디스플레이 장치의 설치 위치의 자유도가 높아졌다.
다만, 디스플레이 장치가 설치되는 공간의 특징이 달라짐에 따라 디스플레이 장치에서 출력하는 사운드에 주는 영향이 상이하므로, 각각의 공간 특징에 맞는 사운드 보정을 수행할 필요성이 생겼다.
또한, 디스플레이 장치의 실내 설치 조건에 따라서 저주파 대역의 음량이 필요 이상으로 커져서 특정한 소리가 잘 들리지 않게 되는 부밍(Booming) 현상이나 음원 주변의 물체들에 의해 소리의 명료도가 지나치게 떨어지는 현상이 발생할 수 있어, 각각의 실내 설치 조건 별로 최적화된 사운드 보정을 수행할 필요성이 있다.
한편, 종래에는 사운드 보정을 위해 사용자가 일정한 보정 작업을 수행하여야 하였으므로, 사용자가 불편함을 느끼는 문제점이 있었다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 컨텐츠를 재생함에 따라 사용자의 개입 없이 자동으로 전자 장치가 배치된 공간의 특성에 따라 출력되는 사운드를 보정하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위해 본 개시의 일 실시예에 따른 전자 장치는, 사운드를 출력하는 음향 출력 장치, 마이크 및 컨텐츠가 선택되면, 사운드 보정 값을 이용하여 상기 컨텐츠에 대응되는 음향 신호가 출력되도록 상기 음향 출력 장치를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 컨텐츠에 대응되는 사운드가 상기 음향 출력 장치에서 출력되어 상기 마이크에 입력되면, 상기 마이크에 입력된 사운드에서 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 사운드 보정 값을 산출하고, 상기 사운드 보정 값을 상기 산출된 사운드 보정 값으로 업데이트한다.
이 경우, 상기 전자 장치는 복수의 공간 정보 및 상기 복수의 공간 정보별 특징 정보를 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 추출된 특징 정보와 상기 저장된 특징 정보를 이용하여 상기 복수의 공간 정보 중 하나를 선택하고, 상기 사운드 보정 값을 상기 선택된 공간 정보에 대응되는 사운드 보정 값으로 업데이트할 수 있다.
한편, 상기 전자 장치는 특징 정보가 입력되면 그에 대응되는 공간 특징을 식별하는 학습 모델을 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 추출된 특징 정보와 상기 학습 모델을 이용하여 상기 전자 장치가 위치하는 공간 특징을 확인하고, 상기 확인된 공간 특징에 대응되는 사운드 보정 값을 이용하여 상기 사운드 보정 값을 업데이트할 수 있다.
이 경우, 상기 공간 특징은, 공간 내의 전자 장치 설치 형태에 대한 정보, 전자 장치와 벽 사이의 거리 정보, 공간의 흡음 수준에 대한 정보 중 적어도 하나의 정보를 포함할 수 있다.
한편, 상기 프로세서는, 상기 추출된 특징 정보의 주파수 영역에 대한 신호 패턴 정보 및 시간 영역에 대한 신호 패턴 정보 중 적어도 하나에 기초하여 상기 전자 장치가 위치하는 공간 특징을 확인할 수 있다.
한편, 상기 프로세서는, 상기 컨텐츠에 대응되는 음향 신호 및 상기 음향 출력 장치의 출력 음량 값에 기초하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출할 수 있다.
한편, 상기 프로세서는, 적응 필터, 최적 필터 및 블라인드 오디오 소스 분리(blind audio source separation, BASS) 중 적어도 하나를 적용하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출할 수 있다.
한편, 상기 전자 장치는 본체 및 상기 본체의 전면에 배치되며, 상기 컨텐츠에 대응되는 영상을 표시하는 디스플레이를 더 포함할 수 있다.
한편, 본 개시의 일 실시예에 따른 전자 장치의 제어 방법은, 컨텐츠가 선택되면, 사운드 보정 값을 이용하여 상기 컨텐츠에 대응되는 음향 신호를 음향 출력 장치를 통해 출력하는 단계, 상기 컨텐츠에 대응되는 사운드가 상기 음향 출력 장치에서 출력되어 마이크에 입력되면, 상기 마이크에 입력된 사운드에서 특징 정보를 추출하는 단계, 상기 추출된 특징 정보에 기초하여 사운드 보정 값을 산출하는 단계 및 상기 사운드 보정 값을 상기 산출된 사운드 보정 값으로 업데이트하는 단계를 포함한다.
이 경우, 복수의 공간 정보 및 상기 복수의 공간 정보별 특징 정보를 저장하는 단계를 더 포함하고, 상기 업데이트하는 단계는, 상기 추출된 특징 정보와 상기 저장된 특징 정보를 이용하여 상기 복수의 공간 정보 중 하나를 선택하고, 상기 사운드 보정 값을 상기 선택된 공간 정보에 대응되는 사운드 보정 값으로 업데이트할 수 있다.
한편, 특징 정보가 입력되면 그에 대응되는 공간 특징을 식별하는 학습 모델을 저장하는 단계를 더 포함하고, 상기 보정 값을 산출하는 단계는, 상기 추출된 특징 정보와 상기 학습 모델을 이용하여 상기 전자 장치가 위치하는 공간 특징을 확인하는 단계를 더 포함하고, 상기 업데이트하는 단계는, 상기 확인된 공간 특징에 대응되는 사운드 보정 값을 이용하여 상기 사운드 보정 값을 업데이트할 수 있다.
이 경우, 상기 공간 특징은, 공간 내의 전자 장치 설치 형태에 대한 정보, 전자 장치와 벽 사이의 거리 정보, 공간의 흡음 수준에 대한 정보 중 적어도 하나의 정보를 포함할 수 있다.
한편, 상기 공간 특징을 확인하는 단계는, 상기 추출된 특징 정보의 주파수 영역에 대한 신호 패턴 정보 및 시간 영역에 대한 신호 패턴 정보 중 적어도 하나에 기초하여 상기 전자 장치가 위치하는 공간 특징을 확인할 수 있다.
한편, 상기 특징 정보를 추출하는 단계는, 상기 컨텐츠에 대응되는 음향 신호 및 상기 음향 출력 장치의 출력 음량 값에 기초하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출할 수 있다.
한편, 상기 특징 정보를 추출하는 단계는, 적응 필터, 최적 필터 및 블라인드 오디오 소스 분리(blind audio source separation, BASS) 중 적어도 하나를 적용하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출할 수 있다.
도 1은 본 개시의 일 실시예에 따른 전자 장치를 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 마이크에 입력된 사운드에서 특징 정보를 추출하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 주파수 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 주파수 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴의 잔향 시간을 분석하는 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴의 잔향 시간을 분석하는 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 마이크에 입력된 사운드에서 특징 정보를 추출하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 주파수 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 주파수 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴의 잔향 시간을 분석하는 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴의 잔향 시간을 분석하는 동작을 설명하기 위한 도면이다.
이하에서 설명되는 실시 예는 본 개시의 이해를 돕기 위하여 예시적으로 나타낸 것이며, 본 개시는 여기서 설명되는 실시 예들과 다르게, 다양하게 변형되어 실시될 수 있음이 이해되어야 할 것이다. 다만, 이하에서 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명 및 구체적인 도시를 생략한다. 또한, 첨부된 도면은 개시의 이해를 돕기 위하여 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있다.
본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
그리고, 본 명세서에서는 본 개시의 각 실시 예의 설명에 필요한 구성요소를 설명한 것이므로, 반드시 이에 한정되는 것은 아니다. 따라서, 일부 구성요소는 변경 또는 생략될 수도 있으며, 다른 구성요소가 추가될 수도 있다. 또한, 서로 다른 독립적인 장치에 분산되어 배치될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하 첨부된 도면들을 참고하여 본 개시를 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치를 개략적으로 설명하기 위한 도면이다.
도 1을 참고하면 본 개시의 일 실시예에 따른 전자 장치(100)는 본체(10), 본체(10)의 전면에 배치되는 디스플레이(140), 본체(10)의 내부에 내장되는 음향 출력 장치(110) 및 마이크(120)를 포함할 수 있다.
도 1에서는 전자 장치(100)가 디스플레이 장치인 것으로 도시하였으나, 이에 한정되는 것은 아니며 전자 장치(100)는 TV, 스마트폰, 태블릿, 컴퓨터 등 디스플레이를 포함하는 장치 뿐만 아니라 음향 출력 기능을 포함하는 다양한 전자 기기로 구현될 수 있다.
음향 출력 장치(110)는 다양한 사운드를 출력할 수 있는 구성으로, 스피커와 같은 장치로 구현될 수 있다. 음향 출력 장치(110)는 전자 장치(100)에 의해 재생되는 컨텐츠가 제공하는 음향 신호를 출력할 수 있다. 전자 장치(100)가 디스플레이 장치인 경우, 음향 출력 장치(110)는 디스플레이(140)를 통해 표시되는 컨텐츠 영상에 대응되는 음향 신호를 출력할 수 있다.
마이크(120)는 전자 장치(100)에서 출력하는 소리 정보 및 전자 장치(100) 주변에서 발생하는 소리 정보를 수신할 수 있다. 예를 들어, 마이크(120)는 음향 출력 장치(110)에서 출력하는 사운드를 수신할 수 있다. 이 경우, 마이크(120)는 음향 출력 장치(110)에서 출력된 후 주변 공간에 의해 영향을 받아 열화된 사운드를 입력 받을 수 있다. 전자 장치(100)는 주변 공간에 의해 영향을 받은 사운드를 마이크(120)를 통해 수신하여 공간 특징을 확인하고, 확인된 공간 특징에 최적화된 사운드 보정을 수행하여 사운드를 출력할 수 있다. 이와 관련한 상세한 설명은 이후 도면에서 후술하기로 한다.
음향 출력 장치(110) 및 마이크(120)는 전자 장치(100)의 본체(10) 내부에 수용되어, 전자 장치(100)의 외관 상으로 보이지 않거나, 일부분이 보이도록 배치될 수 있다. 이에 따라, 사용자는 전자 장치(100)의 전면에 배치된 디스플레이(140)에 표시되는 영상에 집중할 수 있으며, 심미성을 향상시킬 수 있다.
이상에서는 음향 출력 장치(110) 및 마이크(120)는 본체(10) 내부에 수용되는 것으로 설명하였으나, 음향 출력 장치(110) 및 마이크(120)의 배치 위치는 이에 한정되지 않는다. 예컨대, 음향 출력 장치(110) 및 마이크(120)는 본체(10) 외부에 배치될 수도 있다. 또한, 음향 출력 장치(110) 및 마이크(120)는 본체(10)와 별도 장치로 구현될 수도 있다. 또한, 음향 출력 장치(110) 및 마이크(120)는 제어 디바이스(리모컨 등)에 실장될 수도 있다.
도 1을 참고하면, 전자 장치(100)는 복수의 음향 출력 장치(110)를 포함할 수 있다. 이 경우, 각각의 음향 출력 장치(110)는 2 채널, 2.1 채널, 3 채널, 3.1 채널, 5.1 채널, 7.1 채널 등과 같이 복수의 채널을 각각 담당하여 재생할 수 있다. 음향 출력 장치(110)는 본체(10)의 양 측면, 상측 및 하측에 배치될 수 있으며, 디스플레이(140)가 영상을 표시하는 전면 방향, 전면 방향에 대향되는 후방 방향, 하부 방향, 상부 방향 또는 측면 방향 중 적어도 하나의 방향으로 사운드를 출력할 수 있다. 다만, 음향 출력 장치(110)의 개수 및 배치 위치는 이에 한정되는 것은 아니며, 음향 출력 장치(110)는 본체(10)에 대하여 다양한 위치에 배치될 수 있다.
이하, 도 2 내지 도 3을 참고하여 전자 장치(100)에 포함되는 구성들을 상세하게 설명한다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 동작을 설명하기 위한 블록도이다.
도 2를 참고하면, 전자 장치(100)는 음향 출력 장치(110), 마이크(120) 및 프로세서(130)를 포함할 수 있다.
음향 출력 장치(110) 및 마이크(120)는 앞선 도면에서 설명하였으므로, 중복되는 설명은 생략한다.
프로세서(130)는 음향 출력 장치(110) 및 마이크(120)와 전기적으로 연결되며, 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
본 개시의 일 실시 예에 따라, 프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서, AI(Artificial Intelligence) 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(130)는 메모리(150)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로세서(130)는 컨텐츠가 선택되면 사운드 보정 값을 이용하여 컨텐츠에 대응되는 음향 신호가 출력되도록 음향 출력 장치(110)를 제어할 수 있다. 여기에서, 사운드 보정 값은 기설정된 값 또는 마이크(120)를 통해 측정된 측정 값에 기반한 값일 수 있다.
음향 출력 장치(110)에서 출력된 사운드는 전자 장치(100)에 포함된 마이크(120)에 입력될 수 있다. 마이크(120)에 입력되어 녹음 및 표본화된 전기음향신호는 이후의 처리 단계에서 필요하게 될 공간 특징과 관련된 정보뿐만 아니라, 재생되는 컨텐츠의 오디오 신호 성분의 음향 특성도 포함된 신호이다. 이에 따라, 전자 장치(100)가 배치된 공간 특징을 확인하기 위해 필요한 특징 정보를 추출하는 동작이 수행되어야 한다.
프로세서(130)는 컨텐츠에 대응되는 사운드가 음향 출력 장치(110)에서 출력되어 마이크(120)에 입력되면, 마이크(120)에 입력된 사운드에서 특징 정보를 추출할 수 있다.
여기에서, 추출의 대상이 되는 특징 정보는 실내 임펄스 응답(Room impulse response, RIR) 신호일 수 있다. 이 경우, 프로세서(130)는 적응 필터, 최적 필터 및 독립 성분 분석(Independent component analysis)에 대표적인 블라인드 오디오 소스 분리(Blind audio source separation, BASS) 중 적어도 하나를 적용하여 마이크(120)에 입력된 사운드에서 특징 정보를 추출할 수 있다.
프로세서(130)는 특징 정보 추출 동작을 복수 회 수행하여 최종적으로 결정되는 특징 정보를 생성할 수 있다.
또한, 프로세서(130)는 각각의 추출 동작에 의해 추출된 특징 정보에 대한 검증을 수행하여, 왜곡 수준이 기준치를 벗어나거나 추출된 특징 정보들 간에 상호 상관 수준을 비교하여 기준치를 벗어나는 특징 정보를 파기할 수 있다. 이와 관련한 상세한 설명은 도 5에서 후술하기로 한다.
프로세서(130)는 추출된 특징 정보에 기초하여 사운드 보정 값을 산출할 수 있다. 이 경우, 프로세서(130)는 최종적으로 생성한 특징 정보를 바탕으로 공간 내의 전자 장치(100) 설치 상태를 추정할 수 있다. 일 예로, 전자 장치(100)가 TV와 같은 디스플레이 장치인 경우, 프로세서(130)는 추정된 RIR 신호를 바탕으로 전자 장치(100)가 벽걸이 설치 상태 또는 테이블 거치 상태인지 추정할 수 있으며, 전자 장치(100)와 벽 사이의 거리 정보 또는 전자 장치가 설치된 공간의 흡음 수준에 대한 정보를 확인할 수 있다. 이와 관련한 상세한 설명은 도 6 내지 도 11에서 후술하기로 한다.
프로세서(130)는 확인된 공간 특징에 기초하여, 해당 공간에 대해 최적화된 방식으로 사운드 보정을 수행하기 위한 사운드 보정 값을 산출할 수 있다. 여기에서, 공간 특징은 공간 내의 전자 장치(100) 설치 형태에 대한 정보, 전자 장치(100)와 벽 사이의 거리 정보, 공간의 흡음 수준에 대한 정보 중 적어도 하나의 정보를 포함할 수 있다.
예를 들어, 저주파 대역의 음량이 필요 이상으로 커지는 부밍(booming) 현상이 일어나기 쉬운 벽걸이 설치 상태 또는 전자 장치(100)와 벽 사이가 밀착된 테이블 거치 상태의 경우, 부밍(booming) 현상 발생을 억제하기 위해 저주파 대역 주파수 특성 평활화 처리를 수행하는 사운드 보정 값을 산출할 수 있다. 한편, 흡음 현상이 크게 일어나는 공간 특징이 확인된 경우, 소리의 명료도를 높이기 위해 중고주파수 대역의 레벨을 상향시키기 위한 주파수 특성 평활화 처리 및 하모닉 인핸서(Harmonic enhancer) 처리를 수행하는 사운드 보정 값을 산출할 수 있다.
프로세서(130)는 컨텐츠에 적용되는 사운드 보정 값을 산출된 사운드 보정 값으로 업데이트할 수 있다. 즉, 실시간으로 전자 장치(100)가 배치된 공간의 특징을 반영하여 음향 출력 장치(110)에서 출력되는 사운드를 보정할 수 있으며, 전자 장치(100)가 배치된 공간 특징이 변경되는 경우에도 마이크(120)에 입력된 사운드에 대해 특징 정보를 추출하여 사운드 보정 값을 업데이트하는 동작을 주기적으로 수행함으로써 자동으로 변경된 공간 특징을 반영한 사운드 보정을 수행할 수 있다.
이에 따라, 사용자의 별도 개입 없이 사운드 보정이 자동적으로 수행되며, 전자 장치(100)에서 일반적으로 재생되는 컨텐츠 음향을 사용하여 사운드 보정 동작을 진행함으로써 사용자 편의를 향상시킬 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 3을 참고하면, 전자 장치(100)는 음향 출력 장치(110), 마이크(120), 프로세서(130), 디스플레이(140), 메모리(150), 통신 인터페이스(160), 센서(170), 입력 인터페이스(180) 및 출력 인터페이스(190)를 포함할 수 있다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이(140)는 컨텐츠의 영상을 표시하기 위한 구성으로, LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있다.
전자 장치(100)는 디스플레이(140)를 통해 다양한 컨텐츠를 표시할 수 있다. 여기에서, 컨텐츠는 정지 영상 또는 동영상 중 적어도 하나를 포함하는 개념일 수 있다.
메모리(150)는 프로세서(130)와 전기적으로 연결되며, 본 개시의 다양한 실시예를 위해 필요한 데이터를 저장할 수 있다.
본 개시의 일 실시예에 따라, 메모리(150)는 복수의 공간 정보 및 복수의 공간 정보별 특징 정보를 저장할 수 있다. 이 경우, 프로세서(130)는 마이크(120)에 입력된 사운드에서 추출된 특징 정보와 메모리(150)에 저장된 특징 정보를 이용하여 복수의 공간 정보 중 하나를 선택하고, 컨텐츠에 적용되는 사운드 보정 값을 선택된 공간 정보에 대응되는 사운드 보정 값으로 업데이트할 수 있다.
한편, 메모리(150)는 특징 정보가 입력되면 그에 대응되는 공간 특징을 식별하는 학습 모델을 저장할 수 있다. 이 경우, 프로세서(130)는 마이크(120)에 입력된 사운드에서 추출된 특징 정보와 메모리(150)에 저장된 학습 모델을 이용하여 전자 장치(100)가 위치하는 공간 특징을 확인하고, 확인된 공간 특징에 대응되는 사운드 보정 값을 이용하여 컨텐츠에 적용되는 사운드 보정 값을 업데이트할 수 있다.
메모리(150)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
통신 인터페이스(160)는 다양한 통신 방식을 통해 다른 외부 장치와 네트워크로 연결될 수 있다. 이에 따라 통신 인터페이스(160)는 다른 외부 장치로부터 다양한 데이터를 송수신할 수 있다.
통신 인터페이스(160)는 다양한 외부 장치와 유선 통신 방식 또는 무선 통신 방식의 통신을 수행하여, 다양한 정보(또는 데이터)를 송수신할 수 있는 하드웨어를 지칭할 수 있다. 이 경우, 통신 인터페이스(160)는 TCP/IP(Transmission Control Protocol/Internet Protocol), UDP(User Datagram Protocol), HTTP(Hyper Text Transfer Protocol), HTTPS(Secure Hyper Text Transfer Protocol), FTP(File Transfer Protocol), SFTP(Secure File Transfer Protocol), MQTT(Message Queuing Telemetry Transport) 등의 통신 규약(프로토콜)을 이용하여 다양한 외부 장치와 다양한 정보를 송수신할 수 있다.
센서(170)는 다양한 물리적인 신호(예: 온도, 빛, 소리, 화학 물질, 전기, 자기, 압력 등)의 양 또는 변화를 감지하는 소자를 지칭할 수 있다. 여기서, 감지된 신호는 프로세서(130)가 해석할 수 있는 형식의 데이터로 변환될 수 있다. 센서(170)는 근접 센서, 조도 센서, 모션 센서, ToF 센서, GPS 센서 등 다양한 센서로 구현될 수 있다.
입력 인터페이스(180)는 다양한 사용자 명령 및 정보를 입력 받기 위한 구성이다. 프로세서(130)는 입력 인터페이스(180)를 통해 입력된 사용자 명령에 대응되는 기능을 실행하거나, 입력 인터페이스(180)를 통해 입력된 정보를 메모리(150)에 저장할 수도 있다. 입력 인터페이스(180)는 사용자 명령을 음성 형태로 수신하기 위해 마이크(120)를 포함하거나, 사용자 명령을 터치로 입력 받기 위한 디스플레이(터치스크린)으로 구현될 수 있다.
출력 인터페이스(190)는 디스플레이 및 스피커 중 적어도 하나를 포함할 수 있다. 여기서, 디스플레이는 정보를 시각적인 형태(예: 문자, 이미지 등)로 출력하는 장치이다. 디스플레이는 이미지 프레임을 디스플레이 영역의 전체 또는 일부 영역에 표시할 수 있다. 디스플레이 영역은 정보 또는 데이터가 시각적으로 표시되는 픽셀 단위의 영역 전체를 지칭할 수 있다. 스피커는 정보를 청각적인 형태(예: 음성)로 출력하는 장치이다. 스피커는 오디오 처리부에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 직접 소리로 출력할 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 전자 장치(100)는 컨텐츠가 선택되면, 사운드 보정 값을 이용하여 컨텐츠에 대응되는 음향 신호를 음향 출력 장치를 통해 출력(S410)할 수 있다.
그리고, 전자 장치(100)는 컨텐츠에 대응되는 사운드가 음향 출력 장치에서 출력되어 마이크에 입력되면, 마이크에 입력된 사운드에서 특징 정보를 추출(S420)할 수 있다.
그리고, 전자 장치(100)는 추출된 특징 정보에 기초하여 사운드 보정 값을 산출(S430)할 수 있다.
전자 장치(100)는 복수의 공간 정보 및 복수의 공간 정보별 특징 정보를 저장할 수 있다. 이 경우, 전자 장치(100)는 추출된 특징 정보와 저장된 특징 정보를 이용하여 복수의 공간 정보 중 하나를 선택하고, 사운드 보정 값을 선택된 공간 정보에 대응되는 사운드 보정 값으로 업데이트할 수 있다.
또한, 전자 장치(100)는 특징 정보가 입력되면 그에 대응되는 공간 특징을 식별하는 학습 모델을 기 저장할 수 있다. 이 경우, 전자 장치(100)는 추출된 특징 정보와 기 저장된 학습 모델을 이용하여 전자 장치(100)가 위치하는 공간 특징을 확인할 수 있다.
여기에서, 공간 특징은 공간 내의 전자 장치 설치 형태에 대한 정보, 전자 장치와 벽 사이의 거리 정보, 공간의 흡음 수준에 대한 정보 중 적어도 하나의 정보를 포함할 수 있다.
한편, 전자 장치(100)는 추출된 특징 정보의 주파수 영역에 대한 신호 패턴 정보 및 시간 영역에 대한 신호 패턴 정보 중 적어도 하나에 기초하여 상기 전자 장치가 위치하는 공간 특징을 확인할 수 있다. 이와 관련한 상세한 설명은 도 6 내지 도 11에서 후술하기로 한다.
그리고, 전자 장치(100)는 사운드 보정 값을 산출된 보정 값으로 업데이트(S440)할 수 있다.
이 경우, 전자 장치(100)는 기 저장된 학습 모델을 이용하여 확인된 공간 특징에 대응되는 사운드 보정 값을 이용하여 사운드 보정 값을 업데이트할 수 있다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 마이크에 입력된 사운드에서 특징 정보를 추출하는 동작을 설명하기 위한 도면이다.
전자 장치(100)는 마이크(120)에 입력된 사운드에서 공간의 특징을 확인하기 위한 정보를 포함하는 특징 정보를 추출하여 최종 특징 정보(예컨대, 추정 RIR 신호)를 생성하기 위한 신호 추출 동작 및 추출된 신호에 대한 검증 동작을 수행할 수 있다. 이에 따라, 마이크(120)에 입력된 사운드로부터 추정된 특징 정보의 정확도를 높일 수 있다.
도 5를 참고하면, 전자 장치(100)는 마이크(120)에 입력된 사운드에서 특징 정보를 복수회 추출하고, 추출된 각각의 특징 정보에 대해 제1 검증을 수행할 수 있다.
예를 들어, 전자 장치(100)는 제1 검증을 통해 추출된 특징 정보, 즉 추출된 RIR 신호의 직접음 성분의 발생 시점을 확인하고, 각각의 신호들에 대한 샘플 딜레이(sample-delay)를 보정하여 시간 영역 구간별 왜곡 수준을 판별하고, 왜곡 수준이 기준치를 벗어나면 해당 특징 정보를 파기할 수 있다. 이와 같은 검증을 통과한 특징 정보가 일정 개수 이상으로 판단되면, 해당 특징 정보들을 메모리(150)에 일시적으로 저장할 수 있다.
그리고, 전자 장치(100)는 저장된 복수의 특징 정보에 대해 제2 검증을 수행할 수 있다.
예를 들어, 복수의 특징 정보들에 대해 샘플 딜레이(sample-delay) 수준을 비교하여 기준치를 벗어나는 특징 정보는 파기하고, 남아있는 특징 정보의 RIR 신호들을 주파수 변환하여 상호 상관 수준을 비교하여, 기준치를 벗어나는 신호에 대한 특징 정보를 파기할 수 있다. 이와 같은 검증을 통과한 특징 정보가 일정 개수 이상으로 판단되면, 이들의 통계적 대표값을 최종 특징 정보로 생성할 수 있다.
이 경우, 전자 장치(100)는 최종적으로 생성된 특징 정보를 이용하여 공간 특징을 확인하고, 이에 대응되는 사운드 보정 값을 산출할 수 있다.
도 6 및 도 7은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 주파수 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
도 6은 마이크(120)에 입력된 사운드에서 추출되어, 최종적으로 생성된 특징 정보의 RIR 신호 주파수 영역에 대한 신호 패턴의 일 예를 도시한 것이며, 도 7은 복수의 서로 다른 공간 특징을 가지는 공간에서 나타나는 특징 정보의 주파수 영역에 대한 신호 패턴을 도시한 것이다.
전자 장치(100)가 TV인 경우를 예로 들어 설명하면, 공간 내에 TV를 설치할 경우 TV와 벽 사이의 거리, TV가 거치되어 있는 테이블의 유무와 같은 조건에 따라 TV 설치 공간 상에서 음압의 보강 및 상쇄 현상이 상이하게 발생할 수 있다.
본 개시의 일 실시예에서 TV 설치 공간의 음향적인 특징을 측정하기 위한 1개의 마이크가 TV에 내장되어 있는 점(즉, 음원과 음압 측정점 간의 위치가 일치되는 점)을 고려할 때, 각 추정 RIR 신호의 주파수 특성(파워 스펙트럼, Power spectrum)은 약 100 ~ 400 [Hz]의 대역 범위 안에서 공간 특성 별로 특징적인 피크(Peak) 와 딥(Dip) 형상을 갖는 파워 스펙트럼 포락선(Power spectral envelope)의 특징들을 가질 수 있다. 예를 들어, 피크(Peak) 특성의 주파수 대역, 딥(Dip) 특성의 주파수 대역, 피크(Peak) 및 딥(Dip) 특성의 파워 레벨(power level) 등의 특징이 공간 특성에 따라 상이하게 나타날 수 있다.
이에, TV 설치시의 조건들 및 100~400 [Hz]의 대역 범위에서 나타나게 될 파워 스펙트럼 포락선(Power spectral envelope) 특징들 간의 상호 관계를 사전에 각 공간 특징 별로 측정한 특성 데이터 혹은 시뮬레이션을 통해 획득한 저주파 대역 주파수 특성들 간의 상호관계를 함수 파라미터(Parameter)로 근사화 및 매핑(Mapping)함으로써, 3차함수 형태의 파라미터(Parametric) 함수로의 근사화 혹은 회귀함수 (Regression function) 나 클러스터링(Clustering)과 같은 통계적 기법을 사용한 모델링(Modelling)을 수행하여, 추정 RIR 신호의 주파수 특성과 공간 특징을 매칭할 수 있다.
또한, 이러한 파워 스펙트럼 포락선(Power spectral envelope) 패턴은 다양한 실측 데이터에 기반하여 디시전 트리(Decision tree)나 서포트 벡터 머신(Support vector machine)과 같은 기계 학습 또는 심층 신경망(Deep neural network)에 대표되는 심화 기계학습(Deep learning)을 이용하여 분석하는 것도 가능하다.
도 8 및 도 9는 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴을 분석하는 동작을 설명하기 위한 도면이다.
공간 내에 TV 설치 상태 추정의 정확도를 높이기 위해, RIR 신호의 시간 영역 패턴을 통해 분석하는 동작을 병용할 수 있다.
도 8을 참고하면, 추출된 특징 정보의 시간 영역 패턴의 특정 구간 내에서 반사 성분이 존재하는 점을 확인할 수 있다. 반면, 도 9를 참고하면, 동일 구간 내에 반사 성분이 관찰되지 않는 점을 확인할 수 있다. 이와 같이 시간 영역에 대한 신호 패턴을 분석함으로써 공간 특징을 확인할 수 있다.
도 10 및 도 11은 본 개시의 일 실시예에 따른 전자 장치가 위치하는 공간 특징을 확인하기 위해, 추출된 특징 정보의 시간 영역에 대한 신호 패턴의 잔향 시간을 분석하는 동작을 설명하기 위한 도면이다.
잔향 시간이란, 음파가 공간에 방사된 경우 공간 안에서 음파가 어떻게 반사되고 있는지 파악하는 용도로 활용 가능한 특징 값이다. 예컨대, 임펄스 응답 (Impulse response, IR) 신호의 시간 영역에 대한 신호 패턴에서 나타나는 직접음 (신호 패턴에서 진폭 크기가 가장 큰 성분)의 진폭 크기를 기준으로 하여, 신호 진폭 레벨이 일정 수준까지 감쇄하기까지의 시간 간격을 해당 공간의 잔향 시간으로 결정할 수 있다. 전자 장치(100)는 잔향 시간에 기초하여, 공간의 흡읍 정도를 추정할 수 있으며, 흡음 정도가 큰 공간의 경우 일반적으로 사용자가 청취하는 사운드의 명료도가 낮아지는 현상이 발생하므로 이를 보정할 수 있는 사운드 보정 값을 산출할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치
110: 음향 출력 장치
120: 마이크 130: 프로세서
140: 디스플레이 150: 메모리
120: 마이크 130: 프로세서
140: 디스플레이 150: 메모리
Claims (15)
- 전자 장치에 있어서,
사운드를 출력하는 음향 출력 장치;
마이크; 및
컨텐츠가 선택되면, 사운드 보정 값을 이용하여 상기 컨텐츠에 대응되는 음향 신호가 출력되도록 상기 음향 출력 장치를 제어하는 프로세서;를 포함하고,
상기 프로세서는,
상기 컨텐츠에 대응되는 사운드가 상기 음향 출력 장치에서 출력되어 상기 마이크에 입력되면, 상기 마이크에 입력된 사운드에서 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 사운드 보정 값을 산출하고, 상기 사운드 보정 값을 상기 산출된 사운드 보정 값으로 업데이트하는, 전자 장치. - 제1항에 있어서,
복수의 공간 정보 및 상기 복수의 공간 정보별 특징 정보를 저장하는 메모리;를 더 포함하고,
상기 프로세서는,
상기 추출된 특징 정보와 상기 저장된 특징 정보를 이용하여 상기 복수의 공간 정보 중 하나를 선택하고, 상기 사운드 보정 값을 상기 선택된 공간 정보에 대응되는 사운드 보정 값으로 업데이트하는, 전자 장치. - 제1항에 있어서,
특징 정보가 입력되면 그에 대응되는 공간 특징을 식별하는 학습 모델을 저장하는 메모리;를 더 포함하고,
상기 프로세서는,
상기 추출된 특징 정보와 상기 학습 모델을 이용하여 상기 전자 장치가 위치하는 공간 특징을 확인하고, 상기 확인된 공간 특징에 대응되는 사운드 보정 값을 이용하여 상기 사운드 보정 값을 업데이트하는, 전자 장치. - 제3항에 있어서,
상기 공간 특징은,
공간 내의 전자 장치 설치 형태에 대한 정보, 전자 장치와 벽 사이의 거리 정보, 공간의 흡음 수준에 대한 정보 중 적어도 하나의 정보를 포함하는, 전자 장치. - 제3항에 있어서,
상기 프로세서는,
상기 추출된 특징 정보의 주파수 영역에 대한 신호 패턴 정보 및 시간 영역에 대한 신호 패턴 정보 중 적어도 하나에 기초하여 상기 전자 장치가 위치하는 공간 특징을 확인하는, 전자 장치. - 제1항에 있어서,
상기 프로세서는,
상기 컨텐츠에 대응되는 음향 신호 및 상기 음향 출력 장치의 출력 음량 값에 기초하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출하는, 전자 장치. - 제1항에 있어서,
상기 프로세서는,
적응 필터, 최적 필터 및 블라인드 오디오 소스 분리(blind audio source separation) 중 적어도 하나를 적용하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출하는, 전자 장치. - 제1항에 있어서,
본체; 및
상기 본체의 전면에 배치되며, 상기 컨텐츠에 대응되는 영상을 표시하는 디스플레이;를 더 포함하는, 전자 장치. - 전자 장치의 제어 방법에 있어서,
컨텐츠가 선택되면, 사운드 보정 값을 이용하여 상기 컨텐츠에 대응되는 음향 신호를 음향 출력 장치를 통해 출력하는 단계;
상기 컨텐츠에 대응되는 사운드가 상기 음향 출력 장치에서 출력되어 마이크에 입력되면, 상기 마이크에 입력된 사운드에서 특징 정보를 추출하는 단계;
상기 추출된 특징 정보에 기초하여 사운드 보정 값을 산출하는 단계; 및
상기 사운드 보정 값을 상기 산출된 사운드 보정 값으로 업데이트하는 단계;를 포함하는, 제어 방법. - 제9항에 있어서,
복수의 공간 정보 및 상기 복수의 공간 정보별 특징 정보를 저장하는 단계;를 더 포함하고,
상기 업데이트하는 단계는,
상기 추출된 특징 정보와 상기 저장된 특징 정보를 이용하여 상기 복수의 공간 정보 중 하나를 선택하고, 상기 사운드 보정 값을 상기 선택된 공간 정보에 대응되는 사운드 보정 값으로 업데이트하는, 제어 방법. - 제9항에 있어서,
특징 정보가 입력되면 그에 대응되는 공간 특징을 식별하는 학습 모델을 저장하는 단계;를 더 포함하고,
상기 보정 값을 산출하는 단계는,
상기 추출된 특징 정보와 상기 학습 모델을 이용하여 상기 전자 장치가 위치하는 공간 특징을 확인하는 단계;를 더 포함하고,
상기 업데이트하는 단계는,
상기 확인된 공간 특징에 대응되는 사운드 보정 값을 이용하여 상기 사운드 보정 값을 업데이트하는, 제어 방법. - 제11항에 있어서,
상기 공간 특징은,
공간 내의 전자 장치 설치 형태에 대한 정보, 전자 장치와 벽 사이의 거리 정보, 공간의 흡음 수준에 대한 정보 중 적어도 하나의 정보를 포함하는, 제어 방법. - 제11항에 있어서,
상기 공간 특징을 확인하는 단계는,
상기 추출된 특징 정보의 주파수 영역에 대한 신호 패턴 정보 및 시간 영역에 대한 신호 패턴 정보 중 적어도 하나에 기초하여 상기 전자 장치가 위치하는 공간 특징을 확인하는, 제어 방법. - 제9항에 있어서,
상기 특징 정보를 추출하는 단계는,
상기 컨텐츠에 대응되는 음향 신호 및 상기 음향 출력 장치의 출력 음량 값에 기초하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출하는, 제어 방법. - 제9항에 있어서,
상기 특징 정보를 추출하는 단계는,
적응 필터, 최적 필터 및 블라인드 오디오 소스 분리(blind audio source separation) 중 적어도 하나를 적용하여 상기 마이크에 입력된 사운드에서 특징 정보를 추출하는, 제어 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200153109A KR20220066746A (ko) | 2020-11-16 | 2020-11-16 | 전자 장치 및 이의 제어 방법 |
| PCT/KR2021/016635 WO2022103222A1 (ko) | 2020-11-16 | 2021-11-15 | 전자 장치 및 이의 제어 방법 |
| EP21892389.4A EP4203502A4 (en) | 2020-11-16 | 2021-11-15 | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
| US17/665,060 US11974116B2 (en) | 2020-11-16 | 2022-02-04 | Electronic device and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200153109A KR20220066746A (ko) | 2020-11-16 | 2020-11-16 | 전자 장치 및 이의 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220066746A true KR20220066746A (ko) | 2022-05-24 |
Family
ID=81602511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200153109A KR20220066746A (ko) | 2020-11-16 | 2020-11-16 | 전자 장치 및 이의 제어 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20220066746A (ko) |
| WO (1) | WO2022103222A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6944474B2 (en) * | 2001-09-20 | 2005-09-13 | Sound Id | Sound enhancement for mobile phones and other products producing personalized audio for users |
| KR20100024552A (ko) * | 2008-08-26 | 2010-03-08 | 엘지전자 주식회사 | 사용자의 제스쳐를 이용한 전자 장치의 오디오 출력 및 입력 제어방법 |
| KR102216881B1 (ko) * | 2014-02-21 | 2021-02-18 | 삼성전자 주식회사 | 전자장치에서 마이크의 감도에 따른 자동 이득 조절 방법 및 장치 |
| KR102345926B1 (ko) * | 2017-08-28 | 2022-01-03 | 삼성전자주식회사 | 지정된 주파수 대역의 신호를 이용하여 외부 객체의 근접을 확인하는 전자 장치 및 전자 장치 제어 방법 |
| KR20200078184A (ko) * | 2018-12-21 | 2020-07-01 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
-
2020
- 2020-11-16 KR KR1020200153109A patent/KR20220066746A/ko active Search and Examination
-
2021
- 2021-11-15 WO PCT/KR2021/016635 patent/WO2022103222A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022103222A1 (ko) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3120578B2 (en) | Crowd sourced recommendations for hearing assistance devices | |
| CN110381430B (zh) | 听力辅助设备控制 | |
| US20170055075A1 (en) | Dynamic calibration of an audio system | |
| US9658100B2 (en) | Systems and methods for audio information environmental analysis | |
| US10154353B2 (en) | Monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system | |
| US20200329330A1 (en) | Improvements in sound reproduction | |
| KR101490336B1 (ko) | 사용자 개별 환경 맞춤 방식의 보청기의 피팅 방법 및 이를 위한 저장 매체 | |
| US20180227682A1 (en) | Hearing enhancement and augmentation via a mobile compute device | |
| CN108235181B (zh) | 在音频处理装置中降噪的方法 | |
| US20210036644A1 (en) | Motor vibration method, motor vibration device, computer device, and computer-readable storage medium | |
| US20170307435A1 (en) | Environmental analysis | |
| CN109756825B (zh) | 智能个人助理的位置分类 | |
| KR102581802B1 (ko) | 디스플레이장치, 시스템 및 기록매체 | |
| US20210392433A1 (en) | Loudspeaker device, method, apparatus and device for adjusting sound effect thereof, and medium | |
| KR20210008788A (ko) | 전자 장치 및 그 제어 방법 | |
| EP3614692A1 (en) | Information processing device, information processing method, speech output device, and speech output method | |
| KR20220066746A (ko) | 전자 장치 및 이의 제어 방법 | |
| US11974116B2 (en) | Electronic device and control method thereof | |
| US11227423B2 (en) | Image and sound pickup device, sound pickup control system, method of controlling image and sound pickup device, and method of controlling sound pickup control system | |
| KR102522567B1 (ko) | 전자 장치 및 그 동작 방법 | |
| CN114648996A (zh) | 音频数据处理方法和装置、语音交互方法、设备和芯片、音箱、电子设备及存储介质 | |
| CN112532788A (zh) | 音频播放方法、终端及存储介质 | |
| US12089030B2 (en) | Electronic apparatus and controlling method thereof | |
| EP4149120A1 (en) | Method, hearing system, and computer program for improving a listening experience of a user wearing a hearing device, and computer-readable medium | |
| WO2023230782A1 (zh) | 一种音效控制方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |