KR102094392B1 - 복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법 - Google Patents

복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법 Download PDF

Info

Publication number
KR102094392B1
KR102094392B1 KR1020130035997A KR20130035997A KR102094392B1 KR 102094392 B1 KR102094392 B1 KR 102094392B1 KR 1020130035997 A KR1020130035997 A KR 1020130035997A KR 20130035997 A KR20130035997 A KR 20130035997A KR 102094392 B1 KR102094392 B1 KR 102094392B1
Authority
KR
South Korea
Prior art keywords
microphone
electrical signal
function
unit
electronic device
Prior art date
Application number
KR1020130035997A
Other languages
English (en)
Other versions
KR20140120195A (ko
Inventor
안중열
박철용
김강열
윤근혁
김기원
허승윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130035997A priority Critical patent/KR102094392B1/ko
Priority to US14/243,856 priority patent/US9420371B2/en
Publication of KR20140120195A publication Critical patent/KR20140120195A/ko
Application granted granted Critical
Publication of KR102094392B1 publication Critical patent/KR102094392B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 개시는 복수의 마이크로폰들과, 상기 복수의 마이크로폰들로부터 출력되는 전기신호들에 대한 음향특성을 분석하는 분석부와, 상기 분석부로부터의 분석 결과에 따라, 특정 마이크로폰과 호스트 장치를 전기적으로 연결하는 스위치부 및 상기 특정 마이크로폰으로부터 출력되는 전기신호를 이용하여 기능을 실행하는 상기 호스트 장치를 포함하는 사용자 기기를 제공한다. 다양한 다른 실시예들이 가능하다.

Description

복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법{USER DEVICE HAVING A PLURALITY OF MICROPHONES AND OPERATING METHOD THEREOF}
본 개시의 다양한 실시예들은 복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법에 관한 것이다.
현재 전자 통신 산업의 발달로 말미암아 이동 통신 단말기(셀룰러폰), 전자수첩, 개인 복합 단말기 등의 사용자 기기는 현대 사회의 필수품이 되어가면서, 빠르게 변화하는 정보 전달의 중요한 수단이 되고 있다. 또한, 사용자 기기는 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가서비스도 제공할 수 있게 되어 기능상 멀티미디어 통신기기로 변모하게 되었다. 또한, 터치스크린을 적용하는 사용자 기기가 상용화되고 있고, 사용자 기기를 통해 제공 가능한 서비스의 증가와 더불어 사용자 기기를 제어하는 UI(user Interface) 기술도 지속적으로 개발되고 있는 실정이다. 일반적으로, 사용자 기기는 소리를 전기신호로 전환하고, 통화, 음성 녹음 등에 사용되는 마이크로폰을 가진다.
본 개시의 다양한 실시예들은 복수의 마이크로폰들로부터 전기신호들을 마이크로폰 관련 기능(예 : 통화, 음성 인식, 음성 녹음 등)에 적응적으로 이용할 수 있다.
본 개시의 다양한 실시예들은 복수의 마이크로폰들을 구비하고, 마이크로폰 관련 기능에 적합한 전기신호를 출력하는 마이크로폰의 경로를 이용할 수 있다.
본 개시의 다양한 실시예들은 복수의 마이크로폰들로부터 출력되는 전기신호들 중 기능에 적합한 음향특성(예 : 주파수, 음량, 에코, 클리핑 및 포화 등)을 가지는 전기신호를 선택하고, 선택한 전기신호를 이용하여 기능을 실행할 수 있다.
본 개시의 다양한 실시예들에 따르면, 복수의 마이크로폰들과, 상기 복수의 마이크로폰들로부터 출력되는 전기신호들에 대한 음향특성을 분석하는 분석부와, 상기 분석부로부터의 분석 결과에 따라, 특정 마이크로폰과 호스트 장치를 전기적으로 연결하는 스위치부 및 상기 특정 마이크로폰으로부터 출력되는 전기신호를 이용하여 기능을 실행하는 상기 호스트 장치를 포함하는 사용자 기기를 제공한다.
본 개시의 다양한 실시예들에 따르면, 제 1 마이크로폰 및 제 2 마이크로폰과, 상기 제 1 마이크로폰 및 상기 제 2 마이크로폰과 일대일로 전기적으로 연결되고, 상기 제 1 마이크로폰 및 상기 제 2 마이크로폰으로부터 출력되는 전기신호들에서 에코(echo)를 소거하는 상시 동작 적응 필터 및 주기 동작 적응 필터를 포함하는 필터부와, 상기 제 1 마이크로폰 및 상기 제 2 마이크로폰과 상기 필터부 간의 전기적 연결 경로를 전환하는 스위치부와, 상기 상시 동작 적응 필터에 의해 소거되지 못한 제 1 잔여 에코와 상기 주기 동작 적응 필터에 소거되지 못한 제 2 잔여 에코를 검출하는 검출부와, 상기 제 1 잔여 에코와 제 2 잔여 에코를 비교하는 비교부와, 상기 비교부의 비교 결과에 따라 상기 스위치부를 제어하는 제어부 및 상기 상시 동작 적응 필터를 통과한 전기신호를 이용하여 기능을 실행하는 호스트 장치를 포함하는 사용자 기기를 제공한다.
본 개시의 다양한 실시예들에 따르면, 복수의 마이크로폰들로부터 전기신호들을 수신하는 동작과, 기능에 적합한 전기신호를 선택하는 동작 및 상기 전기신호를 이용하여 상기 기능을 실행하는 동작을 포함하는 방법을 제공한다.
본 개시의 다양한 실시예들에 따르면, 기능을 시작하는 동작과, 상기 기능에 지정된 제 1 마이크로폰으로부터 제 1 전기신호를 수신하는 동작과, 상기 제 1 전기신호의 음향특성을 검출하는 동작과, 상기 제 1 전기신호의 음향특성이 상기 기능에 적합한 경우, 상기 제 1 전기신호를 이용하여 상기 기능을 실행하는 동작과, 상기 제 1 전기신호의 음향특성이 상기 기능에 부적합한 경우, 제 2 마이크로폰으로부터 제 2 전기신호를 수신하는 동작과, 상기 제 2 전기신호의 음향특성을 검출하는 동작과, 상기 제 2 전기신호의 음향특성이 상기 기능에 적합한 경우, 상기 제 2 전기신호를 이용하여 상기 기능을 실행하는 동작 및 상기 제 2 전기신호의 음향특성이 상기 기능에 부적합 경우, 상기 제 1 전기신호를 이용하여 상기 기능을 실행하는 동작을 포함하는 방법을 제공한다.
본 개시에 따른 사용자 기기 및 그 동작 방법은 복수의 마이크로폰들로부터 출력되는 전기신호들 중 기능에 적합한 전기신호를 이용하여 기능을 실행할 수 있다. 예컨대, 종래의 사용자 기기는 음성 인식의 경우 음성 인식에 고정된 하단의 마이크로폰으로부터 출력되는 전기신호를 이용하였다. 하지만, 사용자가 하단의 마이크로폰의 소리 유입 홀을 손가락으로 막는 경우, 종래의 사용자 기기는 음성 인식에 어려움이 있었다. 반면, 본 개시에 따른 사용자 기기는 하단의 마이크로폰과 소통하는 소리 유입 홀이 막히는 경우, 하단의 마이크로폰으로부터 출력되는 전기신호는 품질이 나빠 음성 인식에 부적합함을 결론 내고, 다른 마이크로폰으로부터의 전기신호를 음성 인식에 이용할 수 있다. 본 개시에 따른 사용자 기기 및 그 동작 방법은 복수의 마이크로폰으로부터의 전기신호들 중 기능에 적합한 우수한 품질의 전기신호를 선택적으로 이용할 수 있는 것이다. 따라서, 본 개시에 따른 사용자 기기 및 그 동작 방법은 사용자 기기가 처한 상황에 따라 마이크로폰 관련 기능에 대한 품질을 유지할 수 있고, 사용에 대한 만족도를 높일 수 있다.
도 1 및 도 2는 본 개시의 실시예에 따른 사용자 기기의 사시도;
도 3은 본 개시의 실시예에 따른 사용자 기기의 블록 구성도;
도 4는 본 개시의 실시예에 따른 마이크로폰 관련 기능에 관한 블록 구성도;
도 5는 본 개시의 실시예에 따른 사용자 기기의 동작에 관한 순서도;
도 6은 도 5의 503 동작에 관한 순서도;
도 7은 도 5의 505 동작에 관한 순서도;
도 8은 본 개시의 실시예에 따른 사용자 기기의 동작에 관한 순서도;
도 9는 본 개시의 따른 마이크로폰 관련 기능에 관한 블록 구성도;
도 10 내지 12는 본 개시의 실시예에 따라 사용자가 사용자 기기의 양측을 움켜 잡고 사용자 기기를 얼굴에 가까이 대고 상대방과 통화하는 경우, 각 마이크로폰으로 유입되는 에코(echo)의 크기 및 파형을 보여주는 도면.
도 13은 본 개시의 실시예에 따라 사용자가 사용자 기기의 하단에 배치된 제 1 마이크로폰에 입을 가까이하고 말하는 경우, 제 1 마이크로폰 및 제 2 마이크로폰에서 출력되는 전기신호의 파형을 보여주는 도면; 및
도 14는 본 개시의 실시예에 따라 지연 시간 동안 두 마이크로폰들로부터의 전기신호들을 혼합하는 경우, 각 전기신호들에 적용하는 가중치를 보여주는 표.
이하 첨부된 도면을 참조하여 본 개시의 동작 원리를 상세히 설명한다. 하기에서 본 개시를 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 및 도 2는 본 개시의 실시예에 따른 사용자 기기의 사시도이다.
도 1을 참조하면, 사용자 기기(10)의 전면(11) 상부에는 수화 스피커(111), 조도 센서(112), 근접 센서(113) 및 전면 카메라(114)가 탑재되고, 사용자 기기(10)의 전면(11)의 중앙에는 터치스크린(115)이 탑재되며, 사용자 기기(10)의 전면(11) 하부에는 누름 버튼(116)과, 터치 버튼(117)이 탑재될 수 있다. 사용자 기기(10)의 하단에는 외부 커넥터 단자(118)와 제 1 마이크로폰(119)이 탑재될 수 있다. 사용자 기기(10)의 우측에는 슬립 버튼(120)이 탑재되고, 사용자 기기(10)의 좌측에는 볼륨조절 버튼(미도시됨)이 탑재될 수 있다.
도 2를 참조하면, 사용자 기기(10)의 후면(12) 상부에는 후면 카메라(121), 플래시(122) 및 제3마이크로폰(124)이 탑재되고, 사용자 기기(10)의 후면(12) 하부에는 멀티미디어용 스피커(125)가 탑재될 수 있다. 사용자 기기(10)의 상단에는 제 2 마이크로폰(123)이 탑재될 수 있다.
사용자 기기(10)는 상술한 요소들과 전기적으로 소통하는 PCB(Printed Circuit Board)(미도시됨)를 포함할 수 있다. 상술한 요소들 중 다수는 PCB에 실장되거나 또는 FPCB(Flexible Printed Circuit Board), 케이블 등의 전기적 연결 수단을 통해 PCB에 전기적으로 연결될 수 있다. 이러한 PCB는 기본 회로와 다수의 전자 부품들이 실장된 기판으로, 사용자 기기(10)의 실행 환경을 설정하고 그 정보를 유지해 주고 사용자 기기(10)를 안정적으로 구동되게 해주며, 사용자 기기(10)의 모든 장치들의 데이터 입출력 교환을 원활하게 할 수 있다.
또한, 사용자 기기(10)는 하우징(13)을 포함하는데, 하우징(13)은 사용자 기기(10)의 외관을 형성할 뿐만 아니라 상술한 요소들을 수용 및 고정시키는 역할을 할 수 있다. 상술한 요소들 중 터치스크린(115), 카메라들(114, 121), 플래시(122), 외부 커넥터 단자(118) 등은 하우징(13)에 형성된 개구부를 통해 노출될 수 있다. 하우징(15)은 스피커들(111,125) 및 마이크로폰들(119,123,124)과 중첩되는 부분에 소리의 유입 및 방출을 위한 홀들을 가질 수 있다.
소리는 홀들을 통해 마이크로폰들(119,123,124)로 유입되고, 마이크로폰들(119,123,124)은 소리를 전기신호로 변환할 수 있다. 또한, PCB는 마이크로폰들(119,123,124)로부터 출력되는 전기신호를 처리할 수 있다. 소리는 마이크로폰들(119,123,124)로 유입되는 과정에서 변하게 되며, 따라서 마이크로폰들(119,123,124)로부터 출력되는 전기신호들의 음향특성들은 각기 다를 수 있다. 특히, 마이크로폰들(119,123,124)은 서로 떨어져 있기 때문에, 마이크로폰들(119,123,124)로 유입되는 소리의 음향특성 다를 수 있다. 예컨대, 사용자가 사용자 기기(10)를 움켜잡고 얼굴에 가까이 대고 말하는 경우, 하단의 마이크로폰(119)으로 유입되는 소리의 음량은 큰데 반해, 상단의 마이크로폰(123) 및 후면의 마이크로폰(124)로 유입되는 소리의 음량은 상대적으로 작을 수 있다. 결국, 사용자 기기(10)가 처한 상황에 따라, 마이크로폰들(119,123,124)로부터 변환되는 전기신호의 음향특성들은 달라질 수 있다. 예컨대, 사용자 기기는 사용자의 손에 파지된 상황, 거치대(dock)에 거치된 상황, 커버를 장착한 상황 등의 다양한 상황에 놓일 수 있고, 마이크로폰들(119,123,124)로부터 변환되는 전기신호의 음향특성은 상이할 수 있다. 도 10 내지 12는 본 개시의 실시예에 따라 사용자가 사용자 기기의 양측을 움켜 잡고 사용자 기기를 얼굴에 가까이 대고 상대방과 통화하는 경우, 각 마이크로폰으로 유입되는 에코(echo)의 크기 및 파형을 도시한다. 도 11은 본 개시의 실시예에 따라 사용자 다른 한 손으로 입과 가까운 마이크로폰(119)의 홀을 막은 경우이고, 도 12는 본 개시의 실시예에 따라 사용자가 다른 한 손으로 입을 가린 경우이다. 에코(echo)란 음원에서 나온 음파가 물체 면에서 반사하여 다시 들어오는 현상을 말하는 것으로, 다시 말해, 수화 스피커(111)를 통해 출력되는 상대방의 음성이 반향 경로를 경유하여 잡음과 함께 마이크로폰들(119,123,124) 유입되는 현상이다. 도 10을 참조하면, 제 1 마이크로폰(119)의 경로를 통하여 PCB로 입력되는 에코의 양이 가장 적음을 알 수 있다. 도 11 및 12를 참조하면, 제3마이크로폰(124)의 경로를 통하여 PCB로 입력되는 에코의 양이 가장 적음을 알 수 있다. 도 13은 본 개시의 실시예에 따라 사용자가 사용자 기기의 하단에 배치된 제 1 마이크로폰에 입을 가까이하고 말하는 경우, 제 1 마이크로폰 및 제 2 마이크로폰에서 출력되는 전기신호의 파형을 보여준다. 도 13을 참조하면, 제 1 마이크로폰(119)에서 출력되는 전기신호의 파형은 제 2 마이크로폰(123)에서 출력되는 전기신호의 파형에 비해 왜곡(clipping)이 심함을 보인다.
본 개시는 마이크로폰들(119,123,124)로부터 변환되는 전기신호들의 음향특성이 서로 다른 점을 고려하여, 통화, 음성 인식, 녹음 등의 마이크로폰 관련 기능(예 : 통화, 음성 인식, 음성 녹음 등)을 실행하는 경우, 기능에 적합한 음향특성의 전기신호를 출력하는 마이크로폰을 선택적으로 이용할 수 있다. 본 개시는 복수의 마이크로폰들(119,123,124)로부터 전기신호들을 마이크로폰 관련 기능에 적응적으로 이용할 수 있다. 달리 말하면, 마이크로폰들(119,123,124)은 각 경로를 통해 전기신호를 출력하는데, 사용자 기기(10)는 전기신호를 입력받기 위한 경로를 기능에 따라 전환할 수 있다. 도 13의 경우를 예로 들면, 제 1 마이크로폰(119)에서 출력되는 전기신호는 왜곡으로 인하여 우수하지 않은 음질을 가지므로, 음성 인식에 적합하지 않을 수 있다. 반면, 제 2 마이크로폰(123)에서 출력되는 전기신호는 제 1 마이크로폰(119)에서 출력되는 전기신호에 비해 상대적으로 양호한 음질을 출력하므로, 음성 인식에 적합할 수 있다. 예컨대, 종래와 비교하면 종래의 사용자 기기는 음성 인식의 경우 음성 인식에 고정된 하단의 마이크로폰으로부터 출력되는 전기신호를 이용하였다. 하지만, 사용자가 하단의 마이크로폰의 소리 유입 홀을 손가락으로 막는 경우, 종래의 사용자 기기는 음성 인식에 어려움이 있었다. 반면, 본 개시에 따른 사용자 기기(10)는 하단의 마이크로폰(119)과 소통하는 소리 유입 홀이 막히는 경우, 하단의 마이크로폰(119)으로부터 출력되는 전기신호의 품질이 음성인식에 부적합함을 결론 내고, 다른 마이크로폰(123,124)으로부터의 품질이 우수한 전기신호를 음성 인식에 이용할 있다. 다시 말해, 본 개시에 따른 사용자 기기(10) 및 그 동작 방법은 기능에 적합한 우수한 품질의 특정 마이크로폰으로부터의 전기신호를 선택적으로 이용할 수 있다.
도 3은 본 개시의 실시예에 따른 사용자 기기의 블록 구성도이다.
도 3을 참조하면, 사용자 기기(100)는 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant)와 같은 장치일 수 있다. 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 이동 단말일 수도 있다.
사용자 기기(200)는 호스트 장치(210), 외부 메모리 장치(220), 카메라 장치(230), 센서 장치(240), 무선 통신 장치(250), 오디오 장치(260), 외부 포트 장치(270), 터치 스크린 장치(280) 및 기타 입력/제어 장치들(290)을 포함할 수 있다. 외부 메모리 장치(220)와 외부 포트 장치(270)는 다수 개 구성될 수 있다.
호스트 장치(210)는 내부 메모리(211), 하나 이상의 프로세서(212) 및 인터페이스(213)를 포함할 수 있다. 내부 메모리(211), 하나 이상의 프로세서(212) 및 인터페이스(213)는 별개의 구성 요소일 수 있거나 하나 이상의 집적화된 회로에 구성될 수 있다.
프로세서(212)는 여러 가지의 소프트웨어 프로그램을 실행하여 사용자 기기(200)를 위한 여러 기능을 수행하며, 음성 통신, 영상 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 이러한 통상적인 기능에 더하여, 프로세서(212)는 내부 메모리(211) 및/또는 외부 메모리 장치(220)에 저장되어 있는 소프트웨어 프로그램(명령어 세트)을 실행하여 그 프로그램에 대응하는 여러 기능을 수행할 수 있다. 프로세서(212)는 내부 메모리(211) 및/또는 외부 메모리 장치(220)에 저장된 소프트웨어 프로그램들과 연동하여 본 개시의 다양한 실시예들을 수행할 수 있다. 프로세서(212)는 하나 이상의 애플리케이션 프로세서 유닛(APU : Application Processor Unit), 그래픽 프로세서 유닛(GPU : Graphic Processor Unit), 오디오 프로세서 유닛(Audio Processor Unit), 통신 프로세서 유닛(Communication Processor Unit) 등을 포함할 수 있다.
애플리케이션 프로세서 유닛은 사용자 기기에 적용되는 OS(Operating System) 및 각종 기능 등을 구동시킬 있고, 코어(core), 메모리(memory), 디스플레이 시스템/컨트롤러(display system/controller), 멀티미디어 인코딩/디코딩 코덱(mutimedia encoding/decoding codec), 2D/3D 가속 엔진(accelerator engine), ISP(Image Signal Processor), 카메라, 오디오, 모뎀, 각종 하이 및 로우 스피드 직렬/병렬 연결 인터페이스(High & low speed Serial/Parallel connectivity interface) 등의 수많은 기능 모두를 하나의 칩으로 모아 놓은 것일 수 있다. 애플리케이션 프로세서 유닛은 OS, 애플리케이션들을 구동시키며, 여러 가지 시스템 장치/인터페이스를 제어하는 기능을 하나의 칩으로 모아 놓은 SOC(System-On-Chip)라 할 수 있다.
그래픽 프로세서 유닛은 그래픽에 관련된 연산을 처리하는데, 영상 정보 처리, 가속화, 신호 전환, 화면 출력 등을 담당할 수 있다. 이러한 그래픽 프로세서 유닛은 애플리케이션 프로세서 유닛의 그래픽 작업으로 인해 생기는 병목 현상을 해결할 수 있으며, 애플리케이션 프로세서 유닛보다 2D 또는 3D 그래픽을 빠르게 처리할 수 있다.
오디오 프로세서 유닛은 오디오에 관련된 연산을 처리하는데, 디지털 또는 아날로그 형식의 오디오 신호를 오디오 효과 또는 효과 유닛을 통해서 변경할 수 있다.
통신 프로세서 유닛은 사용자 기기(200)와 타 기기와의 통신 처리를 담당하고, 사용자 기기(200)가 네트워크의 통신 기능을 이용하고자 할 때 그 접속을 설정하는 등의 기능을 수행할 수 있다.
인터페이스(213)는 사용자 기기(200)의 여러 장치들과 호스트 장치(210)를 연결시킬 수 있다.
외부 메모리 장치(220)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리(예컨대, NAND, NOR)를 포함할 수 있다. 외부 메모리 장치(220)는 소프트웨어를 저장하는데, 소프트웨어는 운영 체제 프로그램, 통신 프로그램, 카메라 프로그램, 그래픽 프로그램, 하나 이상의 애플리케이션 프로그램, 사용자 인터페이스 프로그램, 코덱 프로그램 등을 포함할 수 있다. 프로그램이란 용어는 명령어들의 집합 또는 명령어 세트(instruction set) 또는 프로그램으로 표현할 수 있다. 통신 프로그램, 카메라 프로그램, 그래픽 프로그램, 하나 이상의 애플리케이션 프로그램, 사용자 인터페이스 프로그램 및 코덱 프로그램은 운영 체제 프로그램이 다양한 기능을 다양한 API(Application Programming Interface)를 통해서 이용할 수 있다.
운영 체제 프로그램은 WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 또는 VxWorks와 같은 내장 운영 체제를 가리키며, 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 포함할 수 있다. 운영 체제 프로그램은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(프로그램) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다.
통신 프로그램은 무선 통신 장치(250) 또는 외부 포트 장치(270)를 통해 컴퓨터, 서버 및 사용자 기기 등과 통신을 가능하게 할 수 있다.
카메라 프로그램은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함할 수 있다.
그래픽 프로그램은 터치 스크린 장치(280)에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 그래픽 프로그램은 오픈지엘(OpenGL : Open Graphics Library), DirectX 등과 같은 API(Application Programming Interface) 기반하에 그래픽을 생성할 수 있고, 영상에 다양한 효과를 부여할 수 있는 다양한 필터를 제공할 수 있다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 가리킬 수 있다.
애플리케이션 프로그램은 브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함할 수 있다.
사용자 인터페이스 프로그램은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 사용자 인터페이스 프로그램은 사용자 인터페이스의 상태가 어떻게 변경되는지, 그리고 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.
코덱 프로그램은 비디오 파일의 인코딩 및 디코딩 관련한 소프트웨어 구성요소를 포함할 수 있다.
외부 메모리 장치(220)는 상술한 프로그램들 이외에 추가적인 프로그램(명령어들)을 더 포함할 수 있다. 또한, 사용자 기기(200)의 다양한 기능들은 하나 이상의 스트림 프로세싱(processing) 및/또는 애플리케이션 특정 집적 회로(ASIC, Application Specific Integrated circuit)를 포함하는 하드웨어 및/또는 소프트웨어 및/또는 이들의 결합으로 실행될 수 있다.
카메라 장치(240)는 사진 및 비디오 클립 레코딩 등의 카메라 기능을 수행할 수 있다. 카메라 장치(240)는 CCD(charged coupled device) 또는CMOS(complementary metal-oxide semiconductor) 등을 포함할 수 있다. 또한, 카메라 장치(240)는 프로세서(212)가 실행하는 카메라 프로그램에 따라 하드웨어적인 구성의 변경, 예컨대, 렌즈 이동, 조리개의 F수 등을 조절할 수 있다.
사용자 기기(200)의 다양한 구성요소들은 하나 이상의 통신 버스(참조번호 미기재) 또는 스트림 라인(참조번호 미기재)을 통해서 연결될 수 있다.
센서 장치(240)는 움직임 센서, 광센서, 온도 센서 등을 포함하고 여러 가지 기능을 가능하게 할 수 있다. 예컨대, 움직임 센서는 사용자 기기(200)의 움직임을 감지하고, 광센서는 주변 빛을 감지할 수 있다.
무선 통신 장치(250)는 무선 통신을 가능하게 하는데, 무선 주파수 송·수신기, 광(예컨대, 적외선) 송·수신기를 포함할 수 있다. 이러한 무선 통신 장치(125)는 적어도 하나의 안테나, RF(Radio Frequency) 커넥터 등을 포함하는 모듈을 포함할 수 있다. 무선 통신 장치(250)는 통신 네트워크에 따라 GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WiMax 네트워크 또는/및 Bluetooth 네트워크 중 하나를 통해 동작하도록 설계될 수 있다.
오디오 장치(260)는 스피커(261) 및 복수의 마이크로폰들(262-N))에 연결되어 음성 인식, 음성 복제, 디지털 레코딩 및 통화 기능 등의 오디오 입력과 출력을 담당하고, 오디오 앰프를 포함할 수 있다. 오디오 장치(260)는 스피커(261) 및 복수의 마이크로폰들(262-N)을 통해 사용자와 소통시킬 수 있다. 또한, 오디오 장치(260)는 호스트 장치(210)와 데이터 신호를 수신하고, 수신한 데이터 신호를 전기신호로 변환하며, 변환한 전기신호를 스피커(261)를 통해 출력시킬 수 있다. 스피커(261)는 전기신호를 가청 주파수 대역으로 변환하여 출력하고, 복수의 마이크로폰들(262-N)은 인물이나 기타 음원들로부터 전달된 음파를 전기신호로 변환할 수 있다. 오디오 장치(260)는 복수의 마이크로폰들(262-N)로부터 전기신호를 수신하고, 수신한 전기신호를 오디오 데이터 신호로 변환하며, 변환한 오디오 데이터 신호를 호스트 장치(210)로 전송할 수 있다.
본 개시의 다양한 실시예들에 따르면, 오디오 장치(260)는 복수의 마이크로폰들(262-N)로부터 출력되는 전기신호들에 대한 음향특성을 분석할 수 있고, 분석 결과에 따라 특정 마이크로폰과 호스트 장치(210)를 전기적으로 연결할 수 있다. 오디오 장치(260)는 복수의 마이크로폰들(262-N)로부터의 전기신호들의 음향특성과 기능에 적합한 참조 음향특성을 비교할 수 있고, 참조 음향특성을 만족하는 전기신호를 출력하는 특정 마이크로폰을 호스트 장치(210)와 전기적으로 연결할 수 있다. 이러한 음향특성은 주파수, 음량, 에코(echo), 클리핑(clipping) 및 RMS 레벨 중 적어도 하나를 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 오디오 장치(260)는 복수의 마이크로폰들(262-N)로부터 출력되는 전기신호들에서 에코(echo) 및/또는 잡음 등의 유해 성분을 소거하는 상시 동작 적응 필터(Adaptive Filter) 및 주기 동작 적응 필터를 포함할 수 있다. 상시 동작 적응 필터를 통과한 전기신호는 호스트 장치(210)로 출력될 수 있다. 오디오 장치(260)는 상시 동작 적응 필터의 성능이 일정 수준 이하로 떨어지거나 또는 기 설정된 주기가 도래하는 경우, 상시 동작 적응 필터에 의해 소거되지 못한 잔여 유해 성분(예 ; 비선형 에코 성분)과 주기 동작 적응 필터에 의해 소거되지 못한 잔여 유해 성분을 검출하고, 검출한 잔여 유해 성분들을 비교할 수 있다. 여기서, 오디오 장치(260)는 상시 동작 적응 필터에 의해 소거되지 못한 잔여 유해 성분이 기준 값을 초과하는 경우 상시 동작 적응 필터의 성능이 열화된 것으로 결정할 수 있다. 오디오 장치(260)는 그 비교 결과에 따라 복수의 마이크로폰들(262-N)과 상시 동작 적응 필터 및 주기 동작 적응 필터 사이의 전기적 연결 경로를 전환하여, 상시 동작 적응 필터의 유해 성분 소거에 대한 성능을 확보할 수 있다.
외부 포트 장치(270)는 사용자 기기(200)를 다른 사용자 기기와 직접 연결하거나, 네트워크(예컨대, 인터넷, 인트라넷, 무선 LAN 등)를 통하여 다른 사용자 기기로 간접적으로 연결할 수 있다.
터치 스크린 장치(280)는 사용자 기기(200)와 사용자 간의 입력 및 출력 인터페이스를 제공할 수 있다. 터치 스크린 장치(280)는 터치 감지 기술을 적용하고 사용자의 터치 입력을 호스트 장치(210)로 전달하고, 호스트 장치(210)로부터 제공되는 시각 정보, 예컨대, 텍스트, 그래픽, 비디오 등을 사용자에게 보여줄 수 있다. 터치 스크린 장치(280)는 영상을 표시하는 디스플레이를 포함하고, 이러한 디스플레이는 EWD(Electro Wetting Display), E-Paper, PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 및 AMOLED(Active Matrix Organic Light Emitting Diodes) 중 하나일 수 있다. 또한, 터치스크린 장치는 터치를 수신하는 장치를 포함하고, 이러한 장치는 스타일러스 펜용 디지타이저(digitizer), 정전용량방식(capacitive overlay) 터치 패널, 저항막 방식(resistance overlay) 터치 패널, 표면 초음파 방식(surface acoustic wave) 터치 패널, 적외선 방식(infrared beam) 터치 패널 중 하나일 수 있다.
기타 입력/제어 장치들(290)은 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다. 이 밖에도, 기타 입력/제어 장치들(290)는 해당 기능이 부여된 푸시 버튼(push button), 로커 버튼(locker button), 로커(locker) 스위치, 섬 휠(thumb-wheel), 다이얼(dial), 스틱(stick), 및 스타일러스 등의 포인터 장치 중 적어도 하나를 포함할 수 있다.
도 4는 본 개시에 따른 마이크로폰 관련 기능에 관한 블록 구성도이다.
도 4를 참조하면, 오디오 장치(260)는 복수의 마이크로폰들(262-N)로부터 출력되는 전기신호들 중 기능에 적합한 전기신호를 호스트 장치(210)로 출력할 수 있다. 오디오 장치(260)는 호스트 장치(210)의 기능 실행에 유리한 전기신호를 출력하는 마이크로폰의 경로를 전환할 수 있다. 이러한 기능은 통화, 음성 인식, 음성 녹음 등이 될 수 있다.
본 개시의 다양한 실시예들에 따르면, 오디오 장치(260)는 마이크로폰들(119,123,124)로부터 출력되는 전기신호들의 RMS 값을 검출하고, 음성 인식에 적합한 RMS 값의 전기신호를 출력하는 마이크로폰을 호스트 장치(210)와 전기적으로 연결하는 반면, 그러한 전기신호를 출력하지 않는 나머지 마이크로폰을 호스트 장치(210)와 전기적으로 연결하지 않을 수 있다. 음성 인식을 실행하는 호스트 장치(210)와 전기적으로 연결되는 마이크로폰으로부터 출력되는 전기신호는 음성 인식에 적합한 신호 세기(예; -44dB)를 가질 수 있다. 반면, 호스트 장치(210)와 전기적으로 연결되지 않는 마이크로폰으로부터 출력되는 전기신호는 너무 작은 음량 또는 너무 큰 음향 또는 클리핑을 가지므로 음성 인식에 부적합할 수 있다.
본 개시의 다양한 실시예들에 따르면, 오디오 장치(260)는 마이크로폰들(119,123,124)로부터 출력되는 전기신호들의 RMS 값을 검출하고, 음성 녹음에 적합한 RMS 값의 전기신호를 출력하는 마이크로폰을 호스트 장치(210)와 전기적으로 연결하는 반면, 그러한 전기신호를 출력하지 않는 나머지 마이크로폰을 호스트 장치(210)와 전기적으로 연결하지 않을 수 있다. 음성 인식을 실행하는 호스트 장치(210)와 전기적으로 연결되는 마이크로폰으로부터 출력되는 전기신호는 음성 녹음에 적합한 포화(saturation)된 신호를 가질 수 있다. 반면, 호스트 장치(210)와 전기적으로 연결되지 않는 마이크로폰으로부터 출력되는 전기신호는 포화되지 않는 신호이므로 음성 녹음에 부적합할 수 있다.
오디오 장치(260)는 분석부(420) 및 스위치부(410)을 포함할 수 있다. 분석부(420)는 복수의 마이크로폰들(262-N)로부터 출력되는 전기신호들에 대한 음향특성을 분석할 수 있다. 스위치부(410)는 분석부(420)의 분석 결과에 따라, 특정 마이크로폰과 호스트 장치(210)를 전기적으로 연결할 수 있다. 이러한 음향특성은 주파수, 음량, 에코(echo), 클리핑(clipping) 및 포화(saturation) 중 적어도 하나와 관련할 수 있다.
호스트 장치(210)는 스위치부(410)에 의하여 연결된 특정 마이크로폰으로부터 출력되는 전기신호를 이용하여 관련 기능을 실행할 수 있다.
오디오 장치(260)의 분석부(420)는 복수의 검출부들(421-N) 및 제어부(422)를 포함할 수 있다. 복수의 검출부들(421-N)은 복수의 마이크로폰들(262-N) 각각에 일대일로 전기적으로 연결되고, 복수의 마이크로폰들(262-N)로부터 출력되는 전기신호들에 대한 음향특성을 검출할 수 있다. 제어부(422)는 복수의 검출부(421-N)들로부터 출력되는 음향특성과 기능에 적합한 참조 음향특성을 비교하고, 참조 음향특성을 만족하는 전기신호를 출력하는 특정 마이크로폰을 호스트 장치(210)와 전기적으로 연결되도록 스위치부(410)를 제어할 수 있다.
호스트 장치(210)는 마이크로폰 관련 기능을 시작하는 경우, 기능에 미리 지정된 마이크로폰 및 기능에 적합한 참조 음향특성에 관한 정보를 오디오 장치(260)의 제어부(422)로 제공할 수 있다. 오디오 장치(260)의 제어부(422)는 기능에 미리 지정된 마이크로폰을 호스트 장치(210)에 우선적으로 연결되도록 스위치부(410)를 제어하고, 호스트 장치(210)는 기능에 미리 지정된 마이크로폰으로부터 출력되는 전기신호를 이용하여 기능을 우선 실행할 수 있다.
오디오 장치(260)의 제어부(422)는 기능에 미리 지정된 마이크로폰에 전기적으로 연결된 검출부를 우선적으로 동작시킬 수 있다. 다음, 오디오 장치(260)의 제어부(422)는 기능에 미리 지정된 마이크로폰에 전기적으로 연결된 검출부로부터 출력되는 전기신호의 음향특성이 참조 음향특성을 만족하지 않을 경우, 나머지 검출부를 동작시킬 수 있다. 오디오 장치(260)의 제어부(422)는 기능에 미리 지정된 마이크로폰에 전기적으로 연결된 검출부를 상시 동작시키고, 나머지 검출부를 주기 동작시킬 수도 있다.
오디오 장치(260)의 제어부(422)는 나머지 검출부로부터의 검출 결과로부터 참조 음향특성을 만족하는 전기신호를 출력하는 특정 마이크로폰이 확인되는 경우, 기능에 미리 지정된 마이크로폰에서 특정 마이크로폰으로 전환하도록 스위치부(410)를 제어할 수 있다. 오디오 장치(260)의 제어부(422)는 나머지 검출부로부터의 검출 결과로부터 참조 음향특성을 만족하는 전기신호를 출력하는 특정 마이크로폰이 확인되지 않는 경우, 기능에 미리 지정된 마이크로폰과 호스트 장치(210)의 전기적 연결을 유지시킬 수 있다. 이후에도, 오디오 장치(260)의 제어부(422)는 상술한 동작에 따라 스위치부(410)를 제어하여 호스트 장치(210)와 전기적으로 연결되는 마이크로폰의 경로를 전환할 수 있다.
오디오 장치(260)의 제어부(422)는 호스트 장치(210)와 전기적으로 연결되는 마이크로폰의 경로를 전환하는 경우, 전기적 연결 해제 대상인 마이크로폰과 호스트 장치(210)의 전기적 연결 해제를 일정 시간 지연하고, 전기적 연결 대상인 마이크로폰과 호스트 장치(210)를 전기적으로 연결하도록 스위치부(410)를 제어할 수 있다. 오디오 장치(260)의 제어부(422)는 지연 시간 동안 전기적 연결 해제 대상인 마이크로폰으로부터의 전기신호와 전기적 연결 대상인 마이크로폰으로부터의 전기신호를 혼합하여 호스트 장치(210)로 출력할 수 있다. 오디오 장치(260)의 제어부(422)는 지연 시간 이후 전기적 연결 해제 대상인 마이크로폰과 호스트 장치(210)의 전기적 연결을 해제하고, 연결을 유지하는 타 마이크로폰으로부터 전기신호만이 호스트 장치(210)로 출력될 수 있다. 도 14는 본 개시의 실시예에 따라 지연 시간 동안 두 마이크로폰들로부터의 전기신호들을 혼합하는 경우, 각 전기신호들에 적용하는 가중치를 보여주는 표이다. 도 14를 참조하면, 지연 시간 동안, 전기적 연결 해제 대상인 A 마이크로폰의 전기신호에 적용하는 가중치는 점차 줄여나가고, 전기적 연결 대상인 B 마이크로폰의 전기신호에 적용하는 가중치는 상대적으로 늘려나간다. 이는, 갑작스런 마이크로폰 경로의 전환을 막고, 전기신호들 간의 매끄러운 전환을 이를 수 있다.
도 5는 본 개시에 따른 사용자 기기의 동작에 관한 순서도이다.
도 5를 참조하면, 501 동작에서, 사용자 기기(200)는 복수의 마이크로폰들로부터 전기신호들을 수신할 수 있다.
503 동작에서, 사용자 기기(200)는 기능에 적합한 전기신호를 선택할 수 있다.
505 동작에서, 사용자 기기(200)는 전기신호를 이용하여 기능을 실행할 수 있다. 이러한 기능은 통화, 음성 인식, 음성 녹음 등이 될 수 있다.
도 6은 도 5의 503 동작에 관한 순서도이다.
도 6을 참조하면, 601 동작에서, 사용자 기기(200)는 기능에 적합한 참조 음향특성을 확인할 수 있다.
603 동작에서, 사용자 기기(200)는 전기신호들의 음향특성을 검출할 수 잇다. 이러한 음향 특성은 주파수, 음량, 에코(echo), 클리핑(clipping) 및 포화(saturation) 중 적어도 하나와 관련할 수 있다.
605 동작에서, 사용자 기기(200)는 참조 음향특성을 만족하는 음향특성의 전기신호를 선택할 수 있다.
도 7은 도 5의 505 동작에 관한 순서도이다.
도 7을 참조하면, 701 동작에서, 사용자 기기(200)는 현재 선택한 전기신호와 이전 선택한 전기신호를 혼합할 수 있다.
703 동작에서, 사용자 기기(200)는 일정 시간 동안 혼합한 전기신호들을 이용하여 기능을 실행할 수 있다. 앞서, 도 14를 참조하여, 일정 시간 동안 두 마이크로폰들로부터의 전기신호들을 혼합하는 방식을 설명하였다.
705 동작에서, 사용자 기기(200)는 일정 시간 이후, 현재 선택한 전기신호만을 이용하여 기능을 실행할 수 있다.
도 8은 본 개시의 실시예에 따른 사용자 기기의 동작에 관한 순서도이다.
도 8을 참조하면, 801 동작에서, 사용자 기기(200)는 기능을 시작할 수 잇다.
803 동작에서, 사용자 기기(200)는 기능에 지정된 제 1 마이크로폰을 확인할 수 있다.
805 동작에서, 사용자 기기(200)는 제 1 마이크로폰으로부터 제 1 전기신호를 수신할 수 있다.
807 동작에서, 사용자 기기(200)는 제 1 전기신호의 음향특성을 검출할 수 있다.
809 동작에서, 사용자 기기(200)는 제 1 전기신호의 음향특성이 기능에 적합한지 여부를 판단할 수 있다.
제 1 전기신호의 음향특성이 기능에 적합한 경우, 819 동작에서, 사용자 기기(200)는 제 1 전기신호를 이용하여 기능을 실행할 수 있다. 반면, 제 1 전기신호의 음향특성이 기능에 부적합한 경우, 811 동작에서, 사용자 기기(200)는 제 2 마이크로폰으로부터 제 2 전기신호를 수신할 수 있다. 813 동작에서, 사용자 기기(200)는 제 2 마이크로폰의 음향특성을 검출할 수 있다.
815 동작에서, 사용자 기기(200)는 제 2 전기신호의 음향특성이 기능에 적합한지 여부를 판단할 수 있다. 제 2 전기신호의 음향특성이 기능에 부적합 경우, 819 동작에서, 사용자 기기(200)는 제 1 전기신호를 기능에 그대로 이용할 수 있다. 반면, 제 2 전기신호의 음향특성이 기능에 적합한 경우, 817 동작에서, 사용자 기기(200)는 제 2 전기신호를 이용하여 기능을 실행할 수 있다.
도 9는 본 개시의 실시예에 따른 마이크로폰 관련 기능에 관한 블록 구성도이다.
도 9를 참조하면, 오디오 장치(260)는 필터부(910), 스위치부(920), 잔여 에코 검출부(930), 잔여 에코 비교부(940) 및 제어부(950)를 포함할 수 있다. 호스트 장치(210)는 오디오 장치(260)로부터 출력되는 마이크로로폰 관련 전기신호를 이용하여 기능을 실행할 수 있다.
필터부(910)는 복수의 마이크로폰들(262-N)로부터 출력되는 전기신호들에서 에코(echo)를 소거하는 상기 동작 적응 필터(911) 및 주기 동작 적응 필터들(912-N)을 포함할 수 있다. 상시 동작 적응 필터(911) 및 주기 동작 적응 필터들(912-N)은 스위치부(920)의 동작하에 각각의 마이크로폰들과 일대일로 전기적으로 연결될 수 있다. 상시 동작 적응 필터(911)와 주기 동작 적응 필터들(912-N)은 잔여 에코 검출부(930)와 전기적으로 연결될 수 있다. 상기 동작 적응 필터(911)는 호스트 장치(210)와 전기적으로 연결될 수 있다.
스위치부(920)는 제어부(930)의 제어하에 복수의 마이크로폰들(262-N)과 필터부(920) 사이의 전기적 연결 경로를 전환할 수 있다.
잔여 에코 검출부(930)는 상시 동작 적응 필터(911)에 의해 소거되지 못한 잔여 에코(예 ; 비선형 에코 성분)와, 주기 동작 적응 필터들(921-N)에 의해 소거되지 못한 잔여 에코들을 검출할 수 있다.
잔여 에코 비교부(940)는 상시 동작 적응 필터(911)에 의해 소거되지 못한 잔여 에코와 주기 동작 적응 필터들(912-N)에 의해 소거되지 못한 잔여 에코들을 비교할 수 있다.
제어부(950)는 잔여 에코 비교부(940)의 비교 결과에 따라, 필터부(910)와 복수의 마이크로폰들(292-N) 간의 전기적 연결 경로를 전환하도록 스위치부(920)를 제어할 수 있다.
예컨대, 통화 기능이 시작되는 경우, 제어부(950)는 통화 기능에 미리 지정된 제 1 마이크로폰(262-1)을 확인할 수 있다. 제어부(950)는 기능별로 미리 지정된 마이크로폰에 관한 정보를 호스트 장치(210)로부터 획득할 수 있다. 다음, 제어부(950)는 스위치부(920)를 제어하여, 상기 동작 적응 필터(911)와 제 1 마이크로폰(262-1)을 전기적으로 연결시키고, 제 1 주기 동작 적응 필터(912-1)와 제 2 마이크로폰(912-2)을 전기적으로 연결시킬 수 있다. 제 1 마이크로폰(262-1)으로부터 출력되는 전기신호는 상시 동작 적응 필터(911)를 통과한 후 선형(linear) 성분의 에코가 제거되고, 선형 성분의 에코가 제거된 전기신호는 호스트 장치(210)로 출력될 수 있다. 호스트 장치(210)는 상시 동작 적응 필터(911)를 통과한 전기신호를 이용하여 통화 기능을 실행할 수 있다. 여기서, 제어부(950)는 상시 동작 적응 필터(911)의 에코 소거 성능이 일정 수준 이하로 떨어지거나, 또는 기 설정된 주기가 도래하는 경우 상술한 잔여 에코 검출부(930) 및 잔여 에코 비교부(940)를 동작시킬 수 있다. 제어부(950)는 상시 동작 적응 필터에 의해 소거되지 못한 잔여 유해 성분이 기준 값을 초과하는 경우 상시 동작 적응 필터의 성능이 열화된 것으로 결정할 수 있다. 잔여 에코 검출부(930)는 상시 동작 적응 필터(911)에 의해 소거되지 못한 비선형 성분의 제 1 잔여 에코와, 주기 제 1 주기 동작 적응 필터(921-1)에 의해 소거되지 못한 비선형 성분의 제 2 잔여 에코를 검출할 수 있다. 또한, 잔여 에코 비교부(940)는 상시 동작 적응 필터(911)로부터 검출된 제 1 잔여 에코 및 제 2 잔여 에코를 비교할 수 있다.
상시 제 1 잔여 에코가 제 2 잔여 에코보다 큰 경우, 제어부(950)는 하기 동작을 따를 수 있다. 제어부(950)는 스위치부(920)를 제어하여, 상시 동작 적응 필터(911)와 제 1 마이크로폰(262-1) 간의 기존의 전기적 연결을 해제시키고, 상시 동작 적응 필터(911)와 제 2 마이크로폰(262-2)을 전기적으로 연결시키며, 제 1 주기 동작 적응 필터(912-1)와 제 2 마이크로폰(262-2) 간의 기존의 전기적 연결을 해제시키고, 제 1 주기 동작 적응 필터(912-1)와 제 1 마이크로폰(262-1)을 전기적으로 연결시킬 수 있다. 결국, 상시 동작 적응 필터(911)는 이전 제 1 마이크로폰(262-1)으로부터의 전기신호에서 에코를 소거하는 경우보다, 전환된 제 2 마이크로폰(262-2)으로부터의 전기신호에서 에코를 소거하는 경우 더 나은 성능을 가질 수 있다. 다시 말해, 상시 동작 적응 필터(911)는 제 2 마이크로폰(262-2)을 이용하는 경우, 호스트 장치(210)로 출력되는 전기신호에 포함된 잔여 에코를 이전보다 줄일 수 있고, 에코 성분이 적은 전기신호는 호스트 장치(210)의 기능 실행에 유리할 수 있다.
반면, 제 1 잔여 에코가 제 2 잔여 에코보다 작은 경우, 제어부(950)는 상시 동작 적응 필터(911)와 제 1 마이크로폰(262-1) 간의 전기적 연결을 유지시키고, 제 1 주기 동작 적응 필터(912-1)와 제 2 마이크로폰(262-2) 간의 전기적 연결을 유지시킬 수 있다.
제어부(950)는 복수의 마이크로폰들(262-N)과 필터부(910) 간의 전기적 연결 경로의 전환이 있는 경우, 상시 동작 적응 필터(911)와 주기 동작 적응 필터들(912-N)를 동시에 동작시키고, 상시 동작 적응 필터(911)를 통과한 전기신호와 주기 동작 적응 필터들(912-N)를 통과한 전기신호가 일정 수준 이상 유사할 때까지 전기적 연결 경로의 전환을 지연하도록 스위치부(920)를 제어할 수 있다. 이는, 갑작스런 마이크로폰 경로의 전환에 따른 상기 동작 적응 필터(911)의 에코 소거 성능 차이를 줄여, 호스트 장치(210)로 출력되는 전기신호들 간의 매끄러운 전환을 이끌 수 있다.
본 개시의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성될 수 있다. 하나 이상의 프로그램은, 전자 장치로 하여금, 본 개시의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함할 수 있다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM, Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM, Compact Disc-ROM), 디지털 다목적 디스크(DVDs, Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
210 : 호스트 장치 260 : 오디오 장치
410 : 스위치부 420 : 분석부
421-N : 검출부 422 : 제어부
262-N : 마이크로폰

Claims (20)

  1. 전자 장치에 있어서,
    복수의 마이크로폰들;
    상기 복수의 마이크로폰들로부터 출력되는 전기신호들에 대한 음향특성들을 분석하는 분석부;
    상기 분석부로부터의 분석 결과에 따라, 상기 복수의 마이크로폰들 중 적어도 하나의 마이크로폰과 호스트 장치를 전기적으로 연결하는 스위치부; 및
    상기 적어도 하나의 마이크로폰으로부터 출력되는 전기신호를 이용하여 기능을 실행하는 상기 호스트 장치를 포함하고,
    상기 분석부는:
    상기 복수의 마이크로폰들로부터 출력되는 상기 전기신호들에 대한 상기 음향특성을 검출하는 검출부; 및
    상기 검출된 음향특성들과 상기 기능에 적합한 참조 음향특성을 비교하는 제어부를 포함하되,
    상기 제어부는 상기 비교를 기반으로 상기 참조 음향특성을 만족하는 음향특성을 선택하고, 선택된 음향특성에 대응하는 전기신호를 출력하는 마이크로폰을 상기 호스트 장치와 전기적으로 연결되도록 상기 스위치부를 제어하는, 전자 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 기능에 미리 지정된 마이크로폰을 상기 호스트 장치에 우선적으로 연결되도록 상기 스위치부를 제어하는 전자 장치.
  4. 제 3항에 있어서,
    상기 제어부는,
    상기 호스트 장치로부터 상기 기능에 적합한 참조 음향특성 및 상기 기능에 미리 지정된 마이크로폰에 관한 정보를 제공받는 전자 장치.
  5. 제 3항에 있어서,
    상기 제어부는,
    상기 기능에 미리 지정된 마이크로폰에 전기적으로 연결된 제1 검출부로부터 출력되는 전기신호의 음향특성이 상기 참조 음향특성을 만족하지 않을 경우, 제2 검출부를 동작시키는 전자 장치.
  6. 제 5항에 있어서,
    상기 제어부는,
    상기 제2 검출부로부터의 검출 결과로부터 상기 참조 음향특성을 만족하는 전기신호를 출력하는 특정 마이크로폰이 확인된 경우, 상기 기능에 미리 지정된 마이크로폰에서 상기 특정 마이크로폰으로 전환하도록 상기 스위치부를 제어하는 전자 장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 선택된 음향특성에 대응하는 전기신호를 출력하는 마이크로폰에 전기적으로 연결된 검출부를 상시 동작시키고, 나머지 검출부를 주기 동작시키는 전자 장치.
  8. 제 1항에 있어서,
    상기 제어부는,
    이전 마이크로폰과 상기 호스트 장치의 전기적 연결 해제를 일정 시간 지연하도록 상기 스위치부를 제어하고,
    지연 시간 동안 상기 이전 마이크로폰으로부터의 전기신호와 상기 선택된 음향특성에 대응하는 전기신호를 출력하는 마이크로폰으로부터의 전기신호를 혼합하여 상기 호스트 장치로 출력시키는 전자 장치.
  9. 제 1항에 있어서,
    상기 음향특성은,
    주파수, 음량, 에코(echo), 클리핑(clipping) 및 포화(saturation) 중 적어도 하나와 관련하는 전자 장치.
  10. 전자 장치에 있어서,
    제 1 마이크로폰 및 제 2 마이크로폰;
    상기 제 1 마이크로폰 및 상기 제 2 마이크로폰과 일대일로 전기적으로 연결되고, 상기 제 1 마이크로폰 및 상기 제 2 마이크로폰으로부터 출력되는 전기신호들에서 에코(echo)를 소거하는 상시 동작 적응 필터 및 주기 동작 적응 필터를 포함하는 필터부;
    상기 제 1 마이크로폰 및 상기 제 2 마이크로폰과 상기 필터부 간의 전기적 연결 경로를 전환하는 스위치부;
    상기 상시 동작 적응 필터에 의해 소거되지 못한 제 1 잔여 에코와 상기 주기 동작 적응 필터에 소거되지 못한 제 2 잔여 에코를 검출하는 검출부;
    상기 제 1 잔여 에코와 제 2 잔여 에코를 비교하는 비교부;
    상기 비교부의 비교 결과에 따라 상기 스위치부를 제어하는 제어부; 및
    상기 상시 동작 적응 필터를 통과한 전기신호를 이용하여 기능을 실행하는 호스트 장치를 포함하는 전자 장치.
  11. 제 10항에 있어서,
    상기 제어부는,
    상기 제 1 잔여 에코가 기준 값을 초과하는 경우, 또는 주기가 도래하는 경우, 상기 검출부 및 상기 비교부를 동작시키는 전자 장치.
  12. 제 10항에 있어서,
    상기 제어부는,
    상기 기능에 미리 지정된 마이크로폰을 상기 상시 동작 적응 필터에 우선적으로 연결되도록 상기 스위치부를 제어하는 전자 장치.
  13. 제 10항에 있어서,
    상기 제어부는,
    상기 제 1 잔여 에코가 상기 제 2 잔여 에코보다 큰 경우, 상기 제 1 마이크로폰및 상기 제 2 마이크로폰과 상기 필터부 간의 전기적 연결 경로를 전환하도록 상기 스위치부를 제어하는 전자 장치.
  14. 제 13항에 있어서,
    상기 제어부는,
    상기 제 1 잔여 에코가 상기 제 2 잔여 에코 이하인 경우, 상기 제 1 마이크로포폰 및 상기 제 2 마이크로폰과 상기 필터부 간의 기존의 전기적 연결 경로를 유지시키는 전자 장치.
  15. 제 10항에 있어서,
    상기 제어부는,
    상기 복수의 마이크로폰들과 상기 필터부 간의 전기적 연결 경로의 전환이 있는 경우,
    상기 동작 적응 필터와 상기 주기 동작 적응 필터를 동시에 동작시키고, 상기 상시 동작 적응 필터를 통과한 전기신호와 상기 주기 동작 적응 필터를 통과한 전기신호가 일정 수준 이상 유사할 때까지 상기 전기적 연결 경로의 전환을 지연하도록 상기 스위치부를 제어하는 전자 장치.
  16. 전자 장치의 오디오 처리 방법에 있어서,
    상기 전자 장치의 복수의 마이크로폰들로부터 출력되는 전기신호들에 대한 음향특성들을 검출하는 동작;
    상기 검출된 음향특성들과 실행하고자 하는 기능에 적합한 참조 음향 특성을 비교하는 동작;
    상기 비교를 비반으로 상기 참조 음향특성을 만족하는 음향특성을 선택하고, 선택된 음향특성에 대응하는 전기신호를 출력하는 마이크로폰을 상기 전자 장치의 호스트 장치와 전기적으로 연결하는 동작; 및
    상기 전자 장치의 상기 호스트 장치에서 상기 적어도 하나의 마이크로폰으로부터 출력되는 전기신호를 이용하여 상기 기능을 실행하는 동작을 포함하는 방법.
  17. 삭제
  18. 제 16항에 있어서,
    상기 전기신호를 이용하여 상기 기능을 실행하는 동작은,
    상기 전기신호와, 상기 전기신호 이전에 선택한 전기신호를 혼합하는 동작;
    일정 시간 동안, 혼합한 상기 전기신호들을 이용하여 상기 기능을 실행하는 동작; 및
    일정 시간 이후, 상기 전기신호만을 이용하여 상기 기능을 실행하는 동작을 포함하는 방법.
  19. 제 16항에 있어서,
    상기 음향특성은,
    주파수, 음량, 에코, 클리핑 및 포화 중 적어도 하나와 관련하는 방법.
  20. 오디오 처리 방법에 있어서,
    기능을 시작하는 동작;
    상기 기능에 지정된 제 1 마이크로폰으로부터 제 1 전기신호를 수신하는 동작;
    상기 제 1 전기신호의 제1 음향특성을 검출하는 동작;
    상기 제 1 음향특성과 상기 기능에 적합한 참조 음향특성을 비교하는 동작;
    상기 비교에 기초하여 상기 제 1 전기신호의 상기 제 1 음향특성이 상기 기능에 적합한 경우, 상기 제 1 전기신호를 이용하여 상기 기능을 실행하는 동작;
    상기 비교에 기초하여 상기 제 1 전기신호의 상기 제1 음향특성이 상기 기능에 부적합한 경우, 제 2 마이크로폰으로부터 제 2 전기신호를 수신하는 동작;
    상기 제 2 전기신호의 제 2 음향특성을 검출하는 동작;
    상기 제 2 음향특성과 상기 기능에 적합한 상기 참조 음향특성을 비교하는 동작;
    상기 비교에 기초하여 상기 제 2 전기신호의 상기 제 2 음향특성이 상기 기능에 적합한 경우, 상기 제 2 전기신호를 이용하여 상기 기능을 실행하는 동작; 및
    상기 비교에 기초하여 상기 제 2 전기신호의 상기 제 2 음향특성이 상기 기능에 부적합 경우, 상기 제 1 전기신호를 이용하여 상기 기능을 실행하는 동작을 포함하는 방법.
KR1020130035997A 2013-04-02 2013-04-02 복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법 KR102094392B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130035997A KR102094392B1 (ko) 2013-04-02 2013-04-02 복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법
US14/243,856 US9420371B2 (en) 2013-04-02 2014-04-02 User device having plurality of microphones and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130035997A KR102094392B1 (ko) 2013-04-02 2013-04-02 복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20140120195A KR20140120195A (ko) 2014-10-13
KR102094392B1 true KR102094392B1 (ko) 2020-03-27

Family

ID=51620875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130035997A KR102094392B1 (ko) 2013-04-02 2013-04-02 복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법

Country Status (2)

Country Link
US (1) US9420371B2 (ko)
KR (1) KR102094392B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016159938A1 (en) * 2015-03-27 2016-10-06 Hewlett-Packard Development Company, L.P. Locating individuals using microphone arrays and voice pattern matching
TWI618390B (zh) * 2016-01-27 2018-03-11 環旭電子股份有限公司 適用於安卓系統的無間隙錄音方法
US9922637B2 (en) 2016-07-11 2018-03-20 Microsoft Technology Licensing, Llc Microphone noise suppression for computing device
KR20220111004A (ko) * 2021-02-01 2022-08-09 삼성전자주식회사 오디오 데이터를 처리하는 방법 및 이를 지원하는 전자 장치
KR20230071634A (ko) * 2021-11-16 2023-05-23 삼성전자주식회사 전자 장치 및 그 동작 방법
US20230209246A1 (en) * 2021-12-29 2023-06-29 Chicony Electronics Co., Ltd. Camera with accumulated water treatment function and method of treating accumulated water thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101184402B1 (ko) * 2008-01-29 2012-09-19 콸콤 인코포레이티드 복수의 마이크로폰들로부터의 신호들 중에서 지능적으로 선택함으로써 사운드 품질을 개선하는 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940020780A (ko) 1993-02-12 1994-09-16 김광호 다채널 마이크(mic) 신호처리장치
US7561700B1 (en) * 2000-05-11 2009-07-14 Plantronics, Inc. Auto-adjust noise canceling microphone with position sensor
US7995768B2 (en) * 2005-01-27 2011-08-09 Yamaha Corporation Sound reinforcement system
JP4951067B2 (ja) 2006-07-25 2012-06-13 アナログ デバイシス， インコーポレイテッド 複数のマイクロホンシステム
KR100892095B1 (ko) * 2007-01-23 2009-04-06 삼성전자주식회사 헤드셋에서 송수신 음성신호 처리 장치 및 방법
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US8374362B2 (en) * 2008-01-31 2013-02-12 Qualcomm Incorporated Signaling microphone covering to the user
KR101533702B1 (ko) 2008-09-23 2015-07-03 엘지전자 주식회사 휴대단말기
WO2010140358A1 (ja) * 2009-06-02 2010-12-09 パナソニック株式会社 補聴器、補聴システム、歩行検出方法および補聴方法
US8924206B2 (en) * 2011-11-04 2014-12-30 Htc Corporation Electrical apparatus and voice signals receiving method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101184402B1 (ko) * 2008-01-29 2012-09-19 콸콤 인코포레이티드 복수의 마이크로폰들로부터의 신호들 중에서 지능적으로 선택함으로써 사운드 품질을 개선하는 방법 및 장치

Also Published As

Publication number Publication date
KR20140120195A (ko) 2014-10-13
US20140294196A1 (en) 2014-10-02
US9420371B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
KR102094392B1 (ko) 복수의 마이크로폰들을 구비하는 사용자 기기 및 그 동작 방법
US11762529B2 (en) Method for displaying application icon and electronic device
KR102089638B1 (ko) 전자장치의 음성 녹음 방법 및 장치
JP2024041816A (ja) コメント追加方法及び電子デバイス
KR102060155B1 (ko) 양면 디스플레이를 사용하는 전자장치의 멀티태스킹 제어 방법 및 장치
CN113157230A (zh) 一种数据传输的方法及相关设备
US9836275B2 (en) User device having a voice recognition function and an operation method thereof
KR102039688B1 (ko) 사용자 기기 및 그 동작 방법
CN111147660B (zh) 一种控件的操作方法及电子设备
KR20140126153A (ko) 수화음 누출을 방지하는 전자 장치
WO2022022609A1 (zh) 一种防误触的方法及电子设备
CN112068907A (zh) 一种界面显示方法和电子设备
EP4120242A1 (en) Method for in-chorus mixing, apparatus, electronic device and storage medium
KR102142699B1 (ko) 어플리케이션 운용 방법 및 그 전자 장치
KR20150025646A (ko) 음원 생성 방법 및 그 전자 장치
KR102125525B1 (ko) 이미지 처리 방법 및 그 전자 장치
CN114666433A (zh) 一种终端设备中啸叫处理方法及装置、终端
WO2022222688A1 (zh) 一种窗口控制方法及其设备
KR20150024571A (ko) 적외선을 이용한 센서 장치를 갖는 전자 장치 및 그 동작 방법
CN111143580B (zh) 多媒体数据存储方法、装置、存储介质及电子设备
KR102120449B1 (ko) 어플리케이션 운용 방법 및 그 전자 장치
KR102176673B1 (ko) 동영상 운용 방법 및 그 전자 장치
KR102158293B1 (ko) 이미지 촬영 방법 및 그 전자 장치
KR20150042066A (ko) 부팅 운용 방법 및 그 전자 장치
KR20150026395A (ko) 이미지 촬영 방법 및 그 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant