KR20140054960A - 음성을 인식하는 전자 장치 및 방법 - Google Patents

음성을 인식하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR20140054960A
KR20140054960A KR1020120121099A KR20120121099A KR20140054960A KR 20140054960 A KR20140054960 A KR 20140054960A KR 1020120121099 A KR1020120121099 A KR 1020120121099A KR 20120121099 A KR20120121099 A KR 20120121099A KR 20140054960 A KR20140054960 A KR 20140054960A
Authority
KR
South Korea
Prior art keywords
electronic device
sensor
microphone
predetermined distance
voice
Prior art date
Application number
KR1020120121099A
Other languages
English (en)
Other versions
KR101967917B1 (ko
Inventor
박형진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120121099A priority Critical patent/KR101967917B1/ko
Priority to US13/962,174 priority patent/US9223540B2/en
Priority to AU2013213762A priority patent/AU2013213762B2/en
Priority to ES13180641T priority patent/ES2765049T3/es
Priority to EP13180641.6A priority patent/EP2728840B1/en
Priority to CN201310502756.1A priority patent/CN103795850B/zh
Publication of KR20140054960A publication Critical patent/KR20140054960A/ko
Application granted granted Critical
Publication of KR101967917B1 publication Critical patent/KR101967917B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/03Constructional features of telephone transmitters or receivers, e.g. telephone hand-sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은, 전자 장치의 동작 방법에 있어서, 설정된 영역에 위치한 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 설정된 값 이상의 전하 이동량을 감지하는 과정; 상기 설정된 값 이상의 전하 이동량을 감지하여, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치한 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하는 과정; 및 상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크에서 음성을 수집하는 것을 그 구성상의 특징으로 하는 음성을 인식하는 전자 장치 및 방법에 관한 것이다.

Description

음성을 인식하는 전자 장치 및 방법{APPARATAS AND METHOD FOR RECOGNIZING A VOICE IN AN ELECTRONIC DEVICE}
본 발명은 음성을 인식하는 전자 장치 및 방법에 관한 것이다.
전자 장치의 기능이 발전하면서, 사용자가 전자 장치에 특정 명령어를 직접 입력하지 않아도, 전자 장치에서 사용자의 음성을 인식하여 설정된 동작을 수행할 수 있는 음성인식이 가능한 전자 장치가 출시되었다. 예를 들면, 전자 장치에서 사용자의 음성을 수집하였으면, 전자 장치는 수집된 음성이 특정 기능을 수행하라는 명령어라는 것을 확인한 후, 확인한 명령어에 해당하는 기능을 자동으로 수행할 수 있다.
그러나, 사용자가 음성 인식 기능이 포함된 전자 장치를 사용하기 위해서는 음성 인식 기능을 시작할 수 있는 애플리케이션을 실행시켜야 했다. 예를 들면, 사용자는 음성 인식 기능을 시작하기 위하여 전자 장치에 저장된 여러 애플리케이션 중 음성 인식 기능과 연동된 애플리케이션을 선택하여 실행시켜야 하는 불편함이 있었다. 또한, 전자 장치에서는 음성 인식 기능을 시작하기 위하여 가속도 센서와 근접 센서로 전자 장치 및 사용자의 움직임을 감지하는 한계점이 있었다. 또한, 전자 장치는 설정된 시간 동안 동작 되지 않으면, 전자 장치의 배터리 사용량을 절약하기 위하여 딥 슬립(deep sleep)에 진입하게 되는데, 종래의 전자 장치에서는 딥 슬립 상태에서 음성 인식이 이루어지지 않았다. 또한, 음성 인식을 하는 전자 장치에서는 사용자의 음성이 보다 많이 수집되는 마이크와 그 외의 마이크를 구분하지 않았던 문제점도 있었다.
따라서, 전자 장치에 구비된 적어도 둘 이상의 마이크 중 사용자의 음성이 많이 수집되는 마이크와 그 외의 마이크를 구분할 수 있고, 전자 장치의 딥 슬립 상태에서도 음성 인식이 가능한 전자 장치의 개발이 시급한 실정이다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 구비된 적어도 둘 이상의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크를 메인 마이크로 설정할 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 다른 제안은, 설정된 메인 마이크에서는 음성을 수집하는 기능을 주된 기능으로 하고, 서브 마이크에서는 노이즈를 감쇄하는 기능을 주된 기능으로 하여 주변 노이즈를 효과적으로 차단할 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 또 다른 제안은, 딥 슬립 상태에서도 구비된 센서들이 작동하여 사용자의 음성을 인식할 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 또 다른 제안은, 다른 마이크가 연결된 경우에도 구비된 적어도 둘 이상의 마이크를 온 시켜 주변에서 발생하는 노이즈를 효과적으로 차단할 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 또 다른 제안은, 그립 센서와 근접 센서를 사용하여, 종래에 가속도 센서와 근접 센서를 사용했을 때에 발생할 수 있는 오작동을 방지할 수 있는 장치 및 방법을 제안하고자 한다.
본 발명의 또 다른 제안은, 적어도 둘 이상의 마이크와 설정된 거리 내에 근접 센서를 각각 구비하여, 메인 마이크와 서브 마이크를 효과적으로 구분할 수 있는 장치 및 방법을 제안하고자 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 음성을 인식하는 전자 장치의 동작 방법은, 설정된 영역에 위치한 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 설정된 값 이상의 전하 이동량을 감지하는 과정; 상기 설정된 값 이상의 전하 이동량을 감지하여, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치한 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하는 과정; 및 상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크에서 음성을 수집하는 과정을 그 구성상의 특징으로 한다.
바람직하게는, 상기 적어도 둘 이상의 제1 센서는, 딥 슬립 상태에도 동작할 수 있다.
바람직하게는, 상기 제1 센서는, 그립 센서일 수 있다.
바람직하게는, 상기 제2 센서는, 근접 센서일 수 있다.
바람직하게는, 상기 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 상기 설정된 값 이상의 전하량을 감지하였다면, 상기 적어도 둘 이상의 제2 센서가 동작하는 과정을 더 포함할 수 있다.
바람직하게는, 상기 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 상기 적어도 둘 이상의 마이크가 동작하는 과정을 더 포함할 수 있다.
바람직하게는, 상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는, 음성을 수집하는 것을 주된 기능으로 할 수 있다.
바람직하게는, 상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크를 제외한 나머지 적어도 하나의 마이크는, 노이즈를 감쇄하는 것을 주된 기능으로 할 수 있다.
바람직하게는, 상기 감지된 음성을 분석하는 과정; 상기 감지된 음성에 해당하는 명령어를 인식하는 과정; 및 상기 인식된 명령어에 따라 설정된 동작을 수행하는 과정을 더 포함할 수 있다.
바람직하게는, 상기 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하는 과정을 더 포함할 수 있다.
바람직하게는, 상기 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크에서 음성을 수집하는 과정을 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 음성을 인식하는 전자 장치는, 설정된 영역에 위치하여 설정된 값 이상의 전하 이동량을 감지하는 적어도 둘 이상 중 어느 하나의 제1 센서; 상기 제1 센서에서 상기 설정된 값 이상의 전하 이동량을 감지하면, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여 설정된 거리 내에 물체가 위치하고 있음을 감지하는 적어도 둘 이상 중 어느 하나의 제2 센서; 및 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치하여 음성을 수집하는 상기 적어도 둘 이상의 마이크 중 어느 하나의 마이크를 그 구성상의 특징으로 한다.
바람직하게는, 상기 적어도 둘 이상의 제1 센서는, 딥 슬립 상태에도 동작할 수 있다.
바람직하게는, 상기 제1 센서는, 그립 센서일 수 있다.
바람직하게는, 상기 제2 센서는, 근접 센서일 수 있다.
바람직하게는, 상기 적어도 둘 이상의 제2 센서는, 상기 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 상기 설정된 값 이상의 전하량을 감지하였다면 동작할 수 있다.
바람직하게는, 상기 적어도 둘 이상의 마이크는, 상기 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면 동작할 수 있다.
바람직하게는, 상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는, 음성을 수집하는 것을 주된 기능으로 할 수 있다.
바람직하게는, 상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크를 제외한 나머지 적어도 하나의 마이크는, 노이즈를 감쇄하는 것을 주된 기능으로 할 수 있다.
바람직하게는, 상기 감지된 음성을 분석하고, 상기 감지된 음성에 해당하는 명령어를 인식하며, 상기 인식된 명령어에 따라 설정된 동작을 수행하는 프로세서 유닛을 더 포함할 수 있다.
바람직하게는, 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하는 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서를 더 포함할 수 있다.
바람직하게는, 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치하여, 음성을 수집하는 마이크를 더 포함할 수 있다.
본 발명의 음성을 인식하는 전자 장치 및 방법에 따르면, 구비된 적어도 둘 이상의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크를 메인 마이크로 설정할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 음성을 인식하는 전자 장치를 전체적으로 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 두 개의 마이크가 구비된 전자 장치의 동작 방법을 설명하기 위하여 전자 장치의 일 측면을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 세 개의 마이크가 구비된 전자 장치의 동작 방법을 설명하기 위하여 전자 장치의 일 측면을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 전자 장치에 마이크가 구비된 이어폰이 연결된 경우 전자 장치의 동작 방법을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 차량과 근거리 통신으로 연결된 전자 장치의 동작 방법을 설명하기 위한 도면.
도 6은 본 발명의 일 실시예에 따른 전자 장치에 마이크가 구비된 헤드셋이 연결된 경우 전자 장치의 동작 방법을 설명하기 위한 도면.
도 7은 본 발명에 일 실시예에 따른 전자 장치의 동작 순서를 나타낸 순서도.
도 8은 본 발명에 일 실시예에 따른 다른 마이크가 연결된 전자 장치의 동작 순서를 나타낸 순서도.
도 9는 본 발명의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도.
도 10은 본 발명에 따른 음성 인식 오작동을 방지할 수 있는 전자 장치의 일 실시예를 나타낸 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 음성을 인식하는 전자 장치를 전체적으로 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 음성을 인식하는 전자 장치는 적어도 하나의 제1 센서(101), 적어도 하나의 제2 센서(102) 및 적어도 하나의 마이크(103)로 구성될 수 있다.
먼저, 제1 센서(101)는 설정된 영역에 구비되어 설정된 값 이상의 전하 이동량을 감지하는 센서로 정의될 수 있다. 보다 구체적으로, 제1 센서(101)는 설정된 영역에 적어도 하나 이상 구비되어, 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지할 수 있는 그립 센서(grip sensor)일 수 있다. 예를 들면, 사용자는 전자 장치를 파지할 경우, 전자 장치의 옆면을 대부분 파지하게 되는데, 제1 센서(101)는 이러한 전자 장치의 옆면의 좌우 외각에 각각 구비되어 사용자의 손으로부터 이동되는 전하량을 감지할 수 있다. 즉, 제1 센서(101)는 설정된 영역에 적어도 하나 이상 구비되어, 사용자의 손으로부터 이동되는 전하량이 설정된 값 이상으로 이동되었는지 감지할 수 있다. 본 실시예에서의 제1 센서(101)는 전자 장치의 좌우측 측면에 각각 구비된 경우를 가정하였지만, 전자 장치의 위면 및 아랫면에 각각 추가되어 구비될 수도 있다.
또한, 본 발명의 제1 센서(101)는 전자 장치의 동작 상태가 딥 슬립(deep sleep) 상태에 있는 경우에도 동작할 수 있다. 보다 구체적으로, 제1 센서(101)는 전자 장치가 딥 슬립 상태에 있는 경우에도 사용자의 손으로부터 이동되는 전하량이 설정된 값 이상으로 이동되었는지 감지할 수 있다. 종래의 전자 장치에 구비된 각종 센서들은 전자 장치가 딥 슬립 상태에 있는 경우에는 동작하지 않았다. 예를 들면, 전자 장치가 설정된 시간 이상으로 동작하지 않는 경우, 전자 장치는 딥 슬립 상태에 진입하게 되는데, 전자 장치가 이러한 딥 슬립 상태에 진입한 경우 전자 장치에 구비된 각종 센서들은 동작하지 않았다. 따라서, 사용자는 전자 장치에 구비된 각종 센서 등이 동작하도록 하기 위하여, 딥 슬립 상태에서 벗어나도록 전자 장치의 동작 상태를 수동적으로 변형해 주어야 했다. 그러나, 본 발명에 따른 제1 센서(101)는 전자 장치가 딥 슬립 상태에 진입한 경우에도 전자 장치의 외부에서 내부로 이동되는 전하량이 설정된 값 이상으로 이동되었는지 감지할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에는 전자 장치의 전체적인 동작을 제어할 수 있는 CPU(Central Processing Unit)와는 별도로 저전력으로 동작할 수 있는 센서 허브(sensor hub)가 구비되어 제1 센서(101) 및 제2 센서(102)의 동작을 제어할 수 있다. 따라서, 본 발명에 따른 전자 장치는 딥 슬립 상태에 진입한 경우에도 저전력으로 제1 센서(101) 및 제2 센서(102)의 동작을 제어할 수 있는 센서 허브가 항시 동작하는 장점이 있다.
본 발명의 제2 센서(102)는 적어도 둘 이상의 마이크(103)와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 물체가 위치하고 있음을 감지할 수 있는 센서로 정의될 수 있다. 보다 구체적으로, 제2 센서(102)는 적어도 둘 이상의 마이크(103)와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 물체의 위치를 감지할 수 있는 근접 센서(proximity sensor)일 수 있다. 즉, 본 발명의 제2 센서(102)는 적어도 둘 이상의 마이크(103)와 같은 개수로 구비될 수 있는 것으로, 적어도 둘 이상의 마이크(103)와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 위치한 물체를 감지할 수 있다. 예를 들면, 전자 장치의 상단에 위치한 제2 센서는 같은 상단에 위치한 마이크와 설정된 거리 내에 위치하여, 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 여기서, 제2 센서(102)는 제2 센서의 발광부에서 적외선 LED(Light Emitting Diode)를 발광하고, 제2 센서의 수광부에서 주변 물체에 반사된 적외선 LED를 감지하였는지 여부로 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 또한, 여기서, 제2 센서(102)는 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서(101)에서 설정된 값 이상의 전하량을 감지하였다면 동작할 수 있다. 즉, 제2 센서(102)는 동작하고 있지 않다가 제1 센서(101)에서 설정된 값 이상의 전하량을 감지하였다면 동작할 수 있다.
상술한 바와 같이, 본 발명에 따른 전자 장치는 제1 센서(101)와 제2 센서(102)를 사용하여, 종래에 가속도 센서와 근접 센서를 사용했을 때에 발생할 수 있는 오작동을 방지할 수 있다. 예를 들면, 사용자가 전자 장치를 사용하다가 전자 장치를 다른 곳에 던져서 방치하는 동작이 발생하였을 때, 종래의 전자 장치에서는 다른 곳에 던져지는 동작으로 가속도 센서가 동작하고, 사용자의 입 주변이 아닌 이동된 물체에 의하여 근접 센서가 동작하여 의도하지 않는 오작동이 발생할 수 있었다. 그러나, 본 발명에 따른 전자 장치에서는 가속도 센서를 제1 센서(101)인 그립 센서로 대체하여, 사용자의 손에서 발생한 전하가 전자 장치의 내부로 이동하는 것을 확인한 경우에만 음성 인식을 위한 동작이 시작되는 장점이 있다.
본 발명의 마이크(103)는 적어도 둘 이상이 구비될 수 있는데 각각 제2 센서(102)와 설정된 거리 내에 위치하여 음성을 수집하는 것으로 정의될 수 있다. 보다 구체적으로, 본 발명의 마이크(103)는 적어도 둘 이상의 제2 센서(102)와 각각 설정된 거리 내에 위치할 수 있는데, 적어도 둘 이상 중 물체를 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는 주변 음성을 수집할 수 있다. 예를 들면, 전자 장치에 윗면과 아랫면에 각각 마이크가 구비되어 있다고 가정해보자. 상술한 가정에서, 윗면에 위치한 마이크와 설정된 거리 내의 제2 센서에서 물체를 감지하였다면, 윗면의 마이크는 윗면 주변의 음성을 수집할 수 있다. 즉, 적어도 둘 이상의 마이크 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는 음성을 수집하는 것을 주된 기능으로 할 수 있다. 상술한 예에서, 윗면에 위치한 마이크는 주변에서 발생하고 있는 음성을 수집하는 것을 주된 기능으로 할 수 있다.
또한, 적어도 둘 이상의 마이크 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크를 제외한 나머지 적어도 하나의 마이크는 노이즈(noise)를 감쇄(cancelling)하는 것을 주된 기능으로 할 수 있다. 상술한 예에서, 전자 장치의 아랫면에 위치하고 있는 마이크는 주변 음성을 수집하는 기능보다는 주변 노이즈를 감쇄하는 것을 주된 기능으로 할 수 있다. 여기서, 본 발명의 마이크(103)는 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면 동작할 수 있다. 보다 구체적으로, 본 발명의 적어도 둘 이상의 마이크는 동작하고 있지 않다가 제2 센서(102) 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면 모든 마이크가 동작할 수 있다. 즉, 적어도 둘 이상의 제2 센서(102) 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크는 주로 주변 음성을 수집하기 위하여 동작할 것이며, 나머지 마이크는 주로 주변 노이즈를 감쇄하기 위하여 동작할 것이다.
상술한 바와 같이, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 적어도 둘 이상의 마이크 중 메인 마이크(main mic)와 서브 마이크(sub mic)를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 보다 구체적으로, 전자 장치에 구비된 적어도 둘 이상의 마이크 중 어느 하나의 마이크를 메인 마이크로, 나머지 마이크를 서브 마이크로 고정하지 않고, 전자 장치의 제2 센서(102)에서 사용자의 음성이 발생하는 입 주변을 실시간으로 감지하여, 사용자의 입 주변을 감지한 제2 센서에서 설정된 거리 내에 위치한 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 같은 의미로, 설정된 메인 마이크에서는 음성을 수집하는 기능을 주된 기능으로 하고, 서브 마이크에서는 노이즈를 감쇄하는 기능을 주된 기능으로 하여 주변 노이즈를 효과적으로 차단할 수 있다. 즉, 종래의 전자 장치에서는 전자 장치에 제2 센서가 하나만 구비되어, 실시간으로 위치가 변화되는 사용자의 입 주변을 감지하지 못하는 단점이 있었다. 그러나, 본 발명에 따른 전자 장치에서는 적어도 둘 이상의 마이크(103) 마다 설정된 거리 내에 각각 제2 센서(102)를 구비하여 마이크의 역할이 고정되지 않도록 하는 장점이 있다. 여기서, 근접 센서(102)와 마이크(103)는 하나의 통합된 모듈로 제작 및 실장이 가능할 수 있다. 보다 구체적으로, 전자 장치의 상단에 위치한 근접 센서와 마이크는 하나의 통합된 모듈로 제작 및 실장 될 수 있고, 전자 장치의 하단에 위치한 근접 센서와 마이크도 하나의 통합된 모듈로 제작 및 실장 될 수도 있다.
이후, 전자 장치는 감지된 음성을 분석하여, 감지된 음성에 해당하는 명령어를 인식한 후, 인식된 명령어에 따라 설정된 동작을 수행할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치는 사용자의 음성을 인식할 수 있는 것으로, 감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행할 수 있다. 종래에 사용자가 전자 장치에 음성을 인식시키기 위해서 음성 인식을 위한 애플리케이션을 선택하여 실행시켜야 했다. 즉, 종래의 전자 장치에서는 사용자로부터 음성 인식을 위한 애플리케이션의 실행을 요청받아, 해당 애플리케이션이 실행된 상태에서만 사용자로부터 발생한 음성을 인식할 수 있었다. 그러나, 본 발명에 따른 전자 장치에서는 별도의 애플리케이션이 실행되고 있지 않더라도, 제1 센서 및 제2 센서가 동작함에 따라 전자 장치에 구비된 적어도 둘 이상의 마이크 중 사용자의 음성이 가장 많이 수집되는 마이크에서 사용자의 음성을 수집할 수 있다. 따라서, 사용자는 추가적인 인터랙션이 없더라도 전자 장치에 설정된 음성을 입력하기만 하면, 전자 장치에서 사용자가 원하는 동작이 실행될 수 있는 장점이 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 음성 수집 조건이 성립되면, 음성을 인식할 수 있는 애플리케이션이 전자 장치의 백그라운드에서 자동적으로 실행된 후, 수집된 음성 명령에 대한 내용을 실행할 수 있다. 예를 들면, 전자 장치의 상단에 위치한 마이크에서 "음악을 실행"이라는 음성을 수집하였다면, 전자 장치는 백그라운드에서 음식을 인식할 수 있는 A 애플리케이션을 자동으로 실행한 후, 수집한 음성 명령인 "음악을 실행"이라는 명령을 인식하여, 전자 장치에 저장되어 있는 음원을 실행시킬 수 있다.
또한, 본 발명에 따른 전자 장치에서는 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하여, 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크에서 음성을 수집할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 적어도 둘 이상의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크인 메인 마이크를 변경할 수 있는 장점이 있다.
도 2는 본 발명의 일 실시예에 따른 두 개의 마이크가 구비된 전자 장치의 동작 방법을 설명하기 위하여 전자 장치의 일 측면을 나타낸 도면이다. 도 2에 도시된 바와 같이, 전자 장치는 전자 장치의 좌측과 우측 외각에 각각 제1 센서(201)를 구비할 수 있고, 전자 장치의 윗면과 아랫면에 각각 제2 센서(미도시)를 구비할 수 있다. 즉, 본 실시예에서의 제1 센서(201)는 전자 장치의 윗면과 아랫면에 추가로 구비될 수도 있으며, 사용자의 파지가 가능한 전자 장치의 외각이라면, 모서리 부분에도 구비될 수도 있다. 또한, 제2 센서는 전자 장치에 구비된 마이크와 설정된 거리 내에 위치하는 것이라면, 마이크의 개수에 따라 적어도 두 개 이상이 구비될 수도 있다. 이하, 제1 센서(201)는 전자 장치의 좌측과 우측 외각에 각각 구비되어 있고, 제2 센서는 전자 장치의 윗면과 아랫면에 각각 구비되어 있다고 가정하여 본 실시예를 상세히 설명하겠다.
먼저, 전자 장치는 전자 장치의 좌측과 우측 외각에 각각 구비된 제1 센서(201)에서 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 보다 구체적으로, 전자 장치는 그립 센서로 구성된 두 개의 제1 센서(201)에서 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 예를 들면, 전자 장치가 사용자의 손에 의하여 파지된 경우, 전자 장치는 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지할 수 있다. 즉, 전도성이 있는 사람의 손 이외에 다른 물체에 의하여 제1 센서(201)가 접속된 경우, 전자 장치는 전자 장치의 외부에서 내부로 전하 이동량을 감지할 수 없기 때문에, 전자 장치가 동작하지 않는다.
이후, 전자 장치는 전자 장치에 구비된 두 개의 제2 센서를 동작시킨다. 보다 구체적으로, 전자 장치는 전자 장치의 윗면에 구비된 제1 마이크(202)와 설정된 거리 내에 위치한 제2 센서 및 전자 장치의 아랫면에 구비된 제2 마이크(203)와 설정된 거리 내에 위치한 제2 센서를 동작시킨다. 두 개의 제2 센서를 동작시킨 전자 장치는 각각의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 보다 구체적으로, 전자 장치는 제1 마이크(202)와 설정된 거리 내에 위치한 제2 센서 및 제2 마이크(203)와 설정된 거리 내에 위치한 제2 센서를 동작시켜, 각각의 마이크(202, 203) 주변에 물체가 위치하고 있는지 감지할 수 있다. 예를 들면, 사용자의 입 주변이 제1 마이크(202) 주변에 위치하고 있는 경우, 전자 장치는 제1 마이크와 설정된 거리 내에 위치한 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지할 수 있다.
제2 센서를 이용하여 설정된 거리 내에 물체가 위치하고 있음을 감지한 전자 장치는 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크를 이용하여 주변 음성을 수집할 수 있다. 예를 들면, 제1 마이크(202)와 설정된 거리 내에 위치한 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 전자 장치는 제1 마이크(202) 및 제2 마이크(203)를 동작시킨 후, 제1 마이크(202)를 이용하여 주변 음성을 수집할 수 있다. 즉, 전자 장치는 제1 마이크(202)를 이용하여 주변 음성을 주로 수집하고, 제2 마이크(203)를 이용하여 주변에서 발생한 노이즈를 감쇄할 수 있다. 여기서, 제2 센서와 마이크는 하나의 통합된 모듈로 제작 및 실장이 가능할 수 있다. 보다 구체적으로, 전자 장치의 상단에 위치한 근접 센서와 마이크(202)는 하나의 통합된 모듈로 제작 및 실장 될 수 있고, 전자 장치의 하단에 위치한 근접 센서와 마이크(203)도 하나의 통합된 모듈로 제작 및 실장 될 수도 있다.
상술한 바와 같이, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 두 개의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 보다 구체적으로, 전자 장치에 구비된 두 개의 마이크 중 어느 하나의 마이크를 메인 마이크로, 나머지 마이크를 서브 마이크로 고정하지 않고, 전자 장치의 제2 센서에서 물체의 움직임을 실시간으로 감지하여, 사용자의 입 주변을 감지한 제2 센서에서 설정된 거리 내에 위치한 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 같은 의미로, 설정된 메인 마이크에서는 음성을 수집하는 기능을 주된 기능으로 하고, 서브 마이크에서는 노이즈를 감쇄하는 기능을 주된 기능으로 하여 주변 노이즈를 효과적으로 차단할 수 있다. 즉, 종래의 전자 장치에서는 전자 장치에 제2 센서가 하나만 구비되어, 실시간으로 위치가 변화되는 사용자의 입 주변을 효과적으로 감지하지 못하는 단점이 있었다. 그러나, 본 발명에 따른 전자 장치에서는 두 개의 마이크(202, 203) 마다 각각 설정된 거리 내에 제2 센서를 구비하여 마이크의 역할이 고정되지 않도록 하는 장점이 있다.
이후, 전자 장치는 감지된 음성을 분석하여, 감지된 음성에 해당하는 명령어를 인식한 후, 인식된 명령어에 따라 설정된 동작을 수행할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치는 사용자의 음성을 인식할 수 있는 것으로, 감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 음성 수집 조건이 성립되면, 음성을 인식할 수 있는 애플리케이션이 전자 장치의 백그라운드에서 자동적으로 실행된 후, 수집된 음성 명령에 대한 내용을 실행할 수 있다. 예를 들면, 전자 장치의 상단에 위치한 마이크에서 "A에게 전화"라는 음성을 수집하였다면, 전자 장치는 백그라운드에서 음식을 인식할 수 있는 A 애플리케이션을 자동으로 실행한 후, 수집한 음성 명령인 "A에게 전화"라는 명령을 인식하여, 전자 장치에 저장되어 있는 A의 전화번호로 전화통화를 시도할 수 있다.
종래에 사용자가 전자 장치에 음성을 인식시키기 위해서 음성 인식을 위한 애플리케이션을 선택하여 실행시켜야 했다. 즉, 종래의 전자 장치에서는 사용자로부터 음성 인식을 위한 애플리케이션의 실행을 요청받아, 해당 애플리케이션이 실행된 상태에서만 사용자로부터 발생한 음성을 인식할 수 있었다. 그러나, 본 발명에 따른 전자 장치에서는 별도의 애플리케이션이 실행되고 있지 않더라도, 제1 센서 및 제2 센서가 동작함에 따라 전자 장치에 구비된 두 개의 마이크 중 사용자의 음성이 가장 많이 수집되는 마이크에서 사용자의 음성을 수집할 수 있다. 따라서, 사용자는 추가적인 인터랙션이 없더라도 전자 장치에 설정된 음성을 입력하기만 하면, 전자 장치에서 사용자가 원하는 동작이 실행될 수 있는 장점이 있다.
또한, 본 발명에 따른 전자 장치에서는 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 나머지 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하여, 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크에서 음성을 수집할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 두 개의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크인 메인 마이크를 변경할 수 있는 장점이 있다.
도 3은 본 발명의 일 실시예에 따른 세 개의 마이크가 구비된 전자 장치의 동작 방법을 설명하기 위하여 전자 장치의 일 측면을 나타낸 도면이다. 도 3에 도시된 바와 같이, 전자 장치는 전자 장치의 좌측 외각 및 우측 외각에 각각 제1 센서(301)를 구비할 수 있고, 전자 장치의 윗면, 아랫면 및 뒷면에 각각 제2 센서(미도시)를 구비할 수 있다. 즉, 본 실시예에서의 제1 센서(301)는 전자 장치의 윗면과 아랫면에 추가로 구비될 수도 있으며, 사용자의 파지가 가능한 전자 장치의 외각이라면, 모서리 부분에도 구비될 수도 있다. 또한, 제2 센서는 전자 장치에 구비된 마이크와 설정된 거리 내에 위치하는 것이라면, 마이크의 개수에 따라 적어도 두 개 이상이 구비될 수도 있다. 이하, 제1 센서(301)는 전자 장치의 좌측과 우측 외각에 각각 구비되어 있고, 제2 센서는 전자 장치의 윗면, 아랫면 및 뒷면에 각각 구비되어 있다고 가정하여 본 실시예를 상세히 설명하겠다.
먼저, 전자 장치는 전자 장치의 좌측과 우측 외각에 각각 구비된 제1 센서(301)에서 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 보다 구체적으로, 전자 장치는 그립 센서로 구성된 두 개의 제1 센서(301)에서 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 예를 들면, 사용자의 손에 의하여 전자 장치가 파지된 경우, 전자 장치는 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지할 수 있다. 즉, 전도성이 있는 사람의 손 이외에 다른 물체에 의하여 제1 센서(301)가 접속된 경우, 전자 장치는 전자 장치의 외부에서 내부로 전하 이동량을 감지할 수 없기 때문에, 전자 장치가 동작하지 않는다. 이러한, 제1 센서(301)는 전자 장치의 동작 상태가 딥 슬립 상태에 있는 경우에도 동작할 수 있다. 보다 구체적으로, 제1 센서(301)는 전자 장치가 딥 슬립 상태에 있는 경우에도 사용자의 손으로부터 이동되는 전하량이 설정된 값 이상으로 이동되었는지 감지할 수 있다. 종래의 전자 장치에 구비된 각종 센서들은 전자 장치가 딥 슬립 상태에 있는 경우에는 동작하지 않았다. 예를 들면, 전자 장치가 설정된 시간 이상으로 동작하지 않는 경우, 전자 장치는 딥 슬립 상태에 진입하게 되는데, 전자 장치가 이러한 딥 슬립 상태에 진입한 경우 전자 장치에 구비된 각종 센서들은 동작하지 않았다. 따라서, 사용자는 전자 장치에 구비된 각종 센서 등이 동작하도록 하기 위하여, 딥 슬립 상태에서 벗어나도록 전자 장치의 동작 상태를 수동적으로 변형해 주어야 했다. 그러나, 본 발명에 따른 제1 센서(301)는 전자 장치가 딥 슬립 상태에 진입한 경우에도 전자 장치의 외부에서 내부로 이동되는 전하량이 설정된 값 이상으로 이동되었는지 감지할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에는 전자 장치의 전체적인 동작을 제어할 수 있는 CPU와는 별도로 저전력으로 동작할 수 있는 센서 허브가 구비되어 제1 센서(301) 및 제2 센서의 동작을 제어할 수 있다. 따라서, 본 발명에 따른 전자 장치는 딥 슬립 상태에 진입한 경우에도 저전력으로 제1 센서(301) 및 제2 센서의 동작을 제어할 수 있는 센서 허브가 항시 동작하는 장점이 있다.
이후, 전자 장치는 전자 장치에 구비된 세 개의 제2 센서를 동작시킨다. 보다 구체적으로, 전자 장치는 전자 장치의 윗면에 구비된 제1 마이크(302)와 설정된 거리 내에 위치한 제2 센서, 전자 장치의 아랫면에 구비된 제2 마이크(303)와 설정된 거리 내에 위치한 제2 센서 및 전자 장치의 뒷면에 구비된 제2 마이크(304)와 설정된 거리 내에 위치한 제2 센서를 동작시킨다. 세 개의 제2 센서를 동작시킨 전자 장치는 각각의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 보다 구체적으로, 전자 장치는 제1 마이크(302)와 설정된 거리 내에 위치한 제2 센서, 제2 마이크(303)와 설정된 거리 내에 위치한 제2 센서 및 제3 마이크(304)오 설정된 거리 내에 위치한 제2 센서를 동작시켜, 각각의 마이크(302, 303, 304) 주변에 물체가 위치하고 있는지 감지할 수 있다. 예를 들면, 사용자의 입 주변이 제1 마이크(302) 주변에 위치하고 있는 경우, 전자 장치는 제1 마이크와 설정된 거리 내에 위치한 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지할 수 있다.
제2 센서를 이용하여 설정된 거리 내에 물체가 위치하고 있음을 감지한 전자 장치는 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크를 이용하여 주변 음성을 수집할 수 있다. 예를 들면, 제1 마이크(302)와 설정된 거리 내에 위치한 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 전자 장치는 제1 마이크(302), 제2 마이크(303) 및 제3 마이크(304)를 동작시킨 후, 제1 마이크(302)를 이용하여 주변 음성을 수집할 수 있다. 즉, 전자 장치는 제1 마이크(302)를 이용하여 주변 음성을 주로 수집하고, 제2 마이크(303) 및 제3 마이크(304)를 이용하여 주변에서 발생한 노이즈를 감쇄할 수 있다. 여기서, 제2 센서와 마이크는 하나의 통합된 모듈로 제작 및 실장이 가능할 수 있다. 보다 구체적으로, 전자 장치의 상단에 위치한 근접 센서와 마이크(302)는 하나의 통합된 모듈로 제작 및 실장 될 수 있고, 전자 장치의 하단에 위치한 근접 센서와 마이크(303)도 하나의 통합된 모듈로 제작 및 실장 될 수도 있다.
상술한 바와 같이, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 두 개의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 보다 구체적으로, 전자 장치에 구비된 세 개의 마이크 중 어느 하나의 마이크를 메인 마이크로, 나머지 두 개의 마이크를 서브 마이크로 고정하지 않고, 전자 장치의 제2 센서에서 물체의 움직임을 실시간으로 감지하여, 사용자의 입 주변을 감지한 제2 센서에서 설정된 거리 내에 위치한 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 같은 의미로, 설정된 메인 마이크에서는 음성을 수집하는 기능을 주된 기능으로 하고, 서브 마이크에서는 노이즈를 감쇄하는 기능을 주된 기능으로 하여 주변 노이즈를 효과적으로 차단할 수 있다. 즉, 종래의 전자 장치에서는 전자 장치에 제2 센서가 하나만 구비되어, 실시간으로 위치가 변화되는 사용자의 입 주변을 효과적으로 감지하지 못하는 단점이 있었다. 그러나, 본 발명에 따른 전자 장치에서는 세 개의 마이크(302, 303, 304) 마다 각각 설정된 거리 내에 제2 센서를 구비하여 마이크의 역할이 고정되지 않도록 하는 장점이 있다.
이후, 전자 장치는 감지된 음성을 분석하여, 감지된 음성에 해당하는 명령어를 인식한 후, 인식된 명령어에 따라 설정된 동작을 수행할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치는 사용자의 음성을 인식할 수 있는 것으로, 감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행할 수 있다. 종래에 사용자가 전자 장치에 음성을 인식시키기 위해서 음성 인식을 위한 애플리케이션을 선택하여 실행시켜야 했다. 즉, 종래의 전자 장치에서는 사용자로부터 음성 인식을 위한 애플리케이션의 실행을 요청받아, 해당 애플리케이션이 실행된 상태에서만 사용자로부터 발생한 음성을 인식할 수 있었다. 그러나, 본 발명에 따른 전자 장치에서는 별도의 애플리케이션이 실행되고 있지 않더라도, 제1 센서 및 제2 센서가 동작함에 따라 전자 장치에 구비된 세 개의 마이크 중 사용자의 음성이 가장 많이 수집되는 마이크에서 사용자의 음성을 수집할 수 있다. 따라서, 사용자는 추가적인 인터랙션이 없더라도 전자 장치에 설정된 음성을 입력하기만 하면, 전자 장치에서 사용자가 원하는 동작이 실행될 수 있는 장점이 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 음성 수집 조건이 성립되면, 음성을 인식할 수 있는 애플리케이션이 전자 장치의 백그라운드에서 자동적으로 실행된 후, 수집된 음성 명령에 대한 내용을 실행할 수 있다. 예를 들면, 전자 장치의 상단에 위치한 마이크에서 "동영상을 재생"이라는 음성을 수집하였다면, 전자 장치는 백그라운드에서 음식을 인식할 수 있는 A 애플리케이션을 자동으로 실행한 후, 수집한 음성 명령인 "동영상을 재생"이라는 명령을 인식하여, 전자 장치에 저장되어 있는 동영상을 재생시킬 수 있다.
또한, 본 발명에 따른 전자 장치에서는 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 나머지 두 개의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하여, 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크에서 음성을 수집할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 세 개의 마이크 중 메인 마이크와 서브 마이크들을 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크인 메인 마이크를 변경할 수 있는 장점이 있다.
도 4는 본 발명의 일 실시예에 따른 전자 장치에 마이크가 구비된 이어폰이 연결된 경우 전자 장치의 동작 방법을 설명하기 위한 도면이다. 도 4에 도시된 바와 같이, 전자 장치에는 마이크가 구비된 이어폰이 연결될 수 있다. 즉, 전자 장치에 이어폰이 연결된 경우, 전자 장치는 통화 중 발생하는 음성을 이어폰의 케이블을 통하여 이어폰의 스피커로 전달할 수 있다. 또한, 전자 장치에서 재생된 음원 등의 음향을 이어폰의 케이블을 통하여 이어폰의 스피커로 전달할 수 있다. 이하, 전자 장치에 연결된 이어폰에는 이어폰 마이크(401)가 구비되어 있고, 전자 장치의 좌측 외각과 우측 외각에 각각 제1 센서(402)가 구비되어 있으며, 전자 장치의 윗면과 아랫면에는 각각 두 개의 제2 센서(403) 및 마이크(404)가 구비되어 있다고 가정하여 본 실시예를 상세히 설명하겠다.
먼저, 전자 장치는 전자 장치에 이어폰이 연결되어 있음을 확인할 수 있다. 보다 구체적으로, 전자 장치는 전자 장치에서 발생하는 음성 및 음향을 이어폰의 케이블을 이용하여 이어폰의 스피커로 전달하여야 하는 것을 확인할 수 있으며, 이어폰의 마이크(401)를 통하여 통화 시 발생하는 사용자의 음성을 수집할 수 있다는 것을 확인할 수 있다.
이어폰이 연결되어 있음을 확인한 전자 장치는 전자 장치의 좌측과 우측 외각에 각각 구비된 제1 센서(402)에서 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 보다 구체적으로, 전자 장치는 그립 센서로 구성된 두 개의 제1 센서(402)에서 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 만약, 전자 장치에서 설정된 값 이상의 전하 이동량을 감지하였다면, 전자 장치는 연결된 이어폰에 구비된 마이크(401)를 이용하여 주변에서 발생한 음성을 수집할 수 있다. 보다 구체적으로, 전자 장치는 이어폰에 구비된 마이크(401)를 이용하여 마이크(401) 주변에서 발생한 사용자의 음성을 수집할 수 있다. 이와 동시에, 전자 장치는 전자 장치에 구비된 두 개의 마이크(404)를 동작시켜 각각 두 개의 마이크(404) 주변에서 발생한 노이즈를 감쇄할 수 있다. 즉, 전자 장치는 주로 이어폰에 구비된 마이크(401)를 이용하여 마이크(401) 주변에서 발생한 사용자의 음성을 수집하고, 주로 전자 장치에 구비된 두 개의 마이크(404)를 이용하여 마이크들(404) 주변에서 발생한 노이즈를 감쇄할 수 있다.
이후, 전자 장치는 전자 장치에 구비된 두 개의 제2 센서(403)를 동작시킨다. 보다 구체적으로, 전자 장치는 전자 장치의 윗면에 구비된 제1 마이크와 설정된 거리 내에 위치한 제2 센서 및 전자 장치의 아랫면에 구비된 제2 마이크와 설정된 거리 내에 위치한 제2 센서를 동작시킨다. 두 개의 제2 센서를 동작시킨 전자 장치는 각각의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치는 이어폰에 구비된 마이크(401)만을 이용해서 마이크(401) 주변에서 발생하는 음성을 수집하지 않고, 실시간으로 변화되는 사용자의 움직임을 감지하여 전자 장치에 구비된 두 개의 마이크(404)에서도 마이크(404) 주변에서 발생하는 음성을 수집할 수 있다. 예를 들면, 전자 장치는 이어폰의 마이크(401)에서 음성을 수집하는 중 전자 장치의 윗면에 구비된 제2 센서에서 물체를 감지하였다고 가정해보자. 상술한 예에서, 전자 장치는 메인 마이크를 이어폰에 구비된 마이크(401)에서 전자 장치의 윗면에 구비된 제2 센서와 설정된 거리 내에 위치한 마이크로 변경할 수 있다. 즉, 전자 장치는 전자 장치의 윗면에 구비된 제2 센서와 설정된 거리 내에 위치한 마이크에서 주로 주변 음성을 수집하고, 나머지 전자 장치에 구비된 마이크와 이어폰의 마이크(401)에서는 주로 주변에서 발생하는 노이즈를 감쇄할 수 있다. 상술한 바와 같이, 본 발명에 따른 전자 장치에서는 전자 장치와 연결된 이어폰에 구비된 마이크(401)와 전자 장치에 구비된 두 개의 마이크(404) 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 보다 구체적으로, 전자 장치는 최초 디폴트 마이크로 설정된 이어폰에 구비된 마이크(401)를 메인 마이크로 설정하였다고 하여도 이후 전자 장치에 구비된 두 개의 제2 센서(403) 중 어느 하나의 제2 센서에서 사용자의 변화된 움직임을 감지하였다면, 전자 장치는 사용자의 움직임을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크를 메인 마이크로 다시 설정할 수 있다.
종래의 전자 장치에서는 마이크가 구비된 이어폰이 연결된 경우, 이어폰에 구비된 마이크만을 동작시키고, 나머지 전자 장치에 구비된 마이크를 동작시키지 않았다. 즉, 전자 장치에 구비된 나머지 마이크가 오프(off)되어 전자 장치에서 효과적으로 주변에서 발생한 노이즈를 차단할 수 없었다. 따라서, 이어폰이 연결된 전자 장치와 통화 중인 다른 전자 장치에서는 이어폰이 연결된 전자 장치의 사용자의 음성과 주변에서 발생한 노이즈를 함께 듣게 되어 통화 품질이 떨어지는 문제점이 있었다. 그러나, 본 발명에 따른 전자 장치에서는 이어폰에 구비된 마이크(401)뿐만 아니라 전자 장치에 구비된 두 개의 마이크(404)를 동시에 동작시켜, 주변에서 발생하는 노이즈를 효과적으로 감쇄할 수 있는 장점이 있다.
도 5는 본 발명의 일 실시예에 따른 차량과 근거리 통신으로 연결된 전자 장치의 동작 방법을 설명하기 위한 도면이다. 도 5의(a)에 도시된 바와 같이, 본 발명에 따른 전자 장치는 임의의 차량과 지그비(zigbee) 및 블루투스(blue tooth) 등과 같은 근거리 통신으로 연결될 수 있다. 이하, 전자 장치와 임의의 차량은 블루투스로 연결되어 있으며, 전자 장치의 좌측 외각과 우측 외각에 각각 제1 센서(503)가 구비되어 있으며, 전자 장치의 윗면과 아랫면에는 각각 두 개의 제2 센서(504) 및 마이크(505)가 구비되어 있다고 가정하여 본 실시예를 상세히 설명하겠다.
먼저, 차량의 핸들에는 음성 인식 버튼(501)과 마이크(502)가 구비될 수 있다. 보다 구체적으로, 전자 장치와 블루투스로 연결되어 있는 차량은 차량의 핸들에 구비된 음성 인식 버튼(501)을 선택받아 핸들에 구비된 마이크(502)를 이용하여 마이크(502) 주변의 음성을 수집할 수 있다. 예를 들면, 차량을 운전 중인 사용자가 전자 장치에 저장된 A에게로 전화를 걸고 싶은 경우를 가정해보자. 사용자는 차량의 핸들에 구비된 음성 인식 버튼(501)을 누른 후, 설정된 명령어에 해당하는 음성을 발음할 수 있다. 예를 들면, 사용자는 "A에게로 전화"라는 설정된 명령어를 발음하게 되면, 차량과 블루투스로 연결된 전자 장치가 A가 사용하는 전자 장치로 전화 통화를 요청하게 된다. 이후, 차량의 핸들에 구비된 마이크(502)와 전자 장치에 구비된 두 개의 마이크(505)가 동시에 동작하게 된다. 보다 구체적으로, 차량의 핸들에 구비된 마이크(502)에서는 마이크(502) 주변의 음성을 주로 수집하고, 전자 장치에 구비된 두 개의 마이크(505)에서는 주변 노이즈를 주로 감쇄할 수 있다. 즉, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 두 개의 마이크(505)를 이용하여 주변 노이즈를 효과적으로 감쇄할 수 있는 장점이 있다. 상술한 예에서, 종래의 전자 장치는 전자 장치에 구비된 두 개의 마이크가 오프(off) 되어 차량 내에 주변 소음을 감쇄하지 못하는 단점이 있었다. 예를 들면, 종래의 전자 장치는 차량 내의 소음과 차량 밖에서 발생한 소음이 그대로 A가 사용하는 전자 장치로 전달되어 통화 품질이 떨어지는 문제점이 있었다. 그러나, 본 발명에 따른 전자 장치에서는 차량의 핸들에 구비된 마이크(502)뿐 아니라 전자 장치에 구비된 두 개의 마이크(505)도 동시에 동작하여, 차량 안과 차량 밖의 소음을 효과적으로 차단하는 장점이 있다.
또한, 본 발명에 따른 전자 장치는 메인 마이크의 역할을 차량의 핸들에 구비된 마이크(502)에서 전자 장치에 구비된 두 개의 마이크(505) 중 어느 하나의 마이크로 전환할 수도 있다. 보다 구체적으로, 본 발명에 따른 전자 장치는 상술한 바와 같이 제1 센서와 제2 센서가 차례로 동작하여 실시간으로 변화되는 사용자의 움직임을 감지하여, 사용자의 입 주변과 가장 가까운 곳에 위치한 어느 하나의 마이크로 메인 마이크의 역할을 전환할 수도 있다. 예를 들면, 사용자가 운전 중 전자 장치를 직접 파지한 상태에서 전자 장치에 저장된 문자 메시지를 확인하는 경우를 가정해보자. 상술한 가정에서, 사용자가 운전 중 전자 장치로 문자를 전송받은 경우, 사용자는 전송받은 문자 메시지를 확인하기 위하여 전자 장치를 한 손으로 파지한 상태에서 전자 장치를 확인할 것이다. 이후, 사용자는 문자 메시지를 송신한 A 전자 장치로 답장 메시지를 송신하기 위하여 입 주변으로 전자 장치를 가까이하여, 설정된 명령어에 해당하는 발음을 할 수 있다. 상술한 가정에서, 전자 장치는 제1 센서(503)에 전하 이동량이 설정된 값 이상임을 감지하여, 제2 센서(504)를 동작시킬 수 있다. 이후, 전자 장치는 전자 장치의 윗면과 아랫면에 구비된 제2 센서(504)를 이용하여 각각의 제2 센서에서 주변 물체를 감지하였는지 판단할 수 있다. 만약, 사용자의 입 주변이 전자 장치의 아랫면 근처로 이동하였다면, 전자 장치는 전자 장치의 아랫면에 위치한 제2 센서를 이용하여 사용자의 움직임을 감지할 수 있다. 이후, 전자 장치는 차량의 핸들에 위치한 마이크에서 전자 장치의 아랫면에 위치한 제2 센서와 설정된 거리 내에 위치한 마이크를 메인 마이크로 변경할 수 있다. 즉, 전자 장치의 아랫면에 위치한 마이크는 주변에서 발생한 음성을 수집할 수 있고, 차량의 핸들에 구비된 마이크(502)와 전자 장치의 윗면에 위치한 마이크는 주변에서 발생한 노이즈를 효과적으로 감쇄할 수 있는 장점이 있다.
그러나, 도 5의(a)를 통하여 설명한 예에서, 차량 운행 중 사용자가 전자 장치에 구비된 마이크로 사용자의 명령어를 발음한 경우, 전자 장치는 차량의 열린 창문으로 유입되는 잡음 및 동승자의 말소리와 사용자의 명령어가 섞여서 정확한 음성 인식을 할 수 없는 문제점이 있을 수도 있을 것이다. 상술한 예와 같은 경우, 도 5의(b)에 도시된 바와 같이, 사용자는 전자 장치를 직접 집어 들고, 사용자의 입 주변에 전자 장치에 구비된 어느 하나의 마이크를 가까이하여 사용자가 원하는 명령어를 발음할 수 있다. 이와 같은 경우, 전자 장치는 차량의 열린 창문으로 유입되는 잡음 및 동승자의 말소리와 같은 잡음에 영향을 받지 않고, 사용자의 명령어를 정확히 인식할 수 있는 장점이 있다. 예를 들면, 전자 장치는 차량에 거치되어 있고, 전자 장치와 차량은 블루투스로 연결되어 있으며, 사용자는 차량에 탑승하여 차량의 핸들에 구비된 마이크로 명령어를 발음한다고 가정해 보자. 상술한 가정에서, 사용자는 차량에 구비된 음성 인식 버튼을 누른 후, "A에게로 전화"라는 명령어를 발음할 수 있다. 그러나, 사용자가 발음한 명령어는 차량의 열린 창문으로 유입되는 잡음 및 동승자의 말소리와 같은 잡음에 섞여 전자 장치에서 정확한 음성 인식을 할 수 없는 경우가 있을 수 있다. 이러한 경우, 사용자는 전자 장치를 파지한 채로 사용자의 입 주변에 전자 장치의 아랫쪽에 위치한 마이크로 사용자의 명령어를 발음할 수 있다. 즉, 전자 장치는 사용자의 입 주변에 위치한 마이크로 사용자의 명령어를 정확히 인식 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 전자 장치에 마이크가 구비된 헤드셋이 연결된 경우 전자 장치의 동작 방법을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, 전자 장치에는 마이크가 구비된 헤드셋이 연결될 수 있다. 즉, 전자 장치에 헤드셋이 연결된 경우, 전자 장치는 통화 중 발생하는 음성을 헤드셋의 케이블을 통하여 헤드셋의 스피커로 전달할 수 있다. 또한, 전자 장치에서 재생된 음원 등의 음향을 헤드셋의 케이블을 통하여 헤드셋의 스피커로 전달할 수 있다. 이하, 전자 장치에 연결된 헤드셋에는 헤드셋 마이크(601)가 구비되어 있고, 전자 장치의 좌측 외각과 우측 외각에 각각 제1 센서(602)가 구비되어 있으며, 전자 장치의 윗면과 아랫면에는 각각 두 개의 제2 센서(603) 및 마이크(604)가 구비되어 있다고 가정하여 본 실시예를 상세히 설명하겠다.
먼저, 전자 장치는 전자 장치에 헤드셋이 연결되어 있음을 확인할 수 있다. 보다 구체적으로, 전자 장치는 전자 장치에서 발생하는 음성 및 음향을 헤드셋의 케이블을 통하여 헤드셋의 스피커로 전달하여야 하는 것을 확인할 수 있으며, 헤드셋의 마이크(601)를 이용하여 통화시 발생하는 사용자의 음성을 수집할 수 있다는 것을 확인할 수 있다.
헤드셋이 연결되어 있음을 확인한 전자 장치는 전자 장치의 좌측과 우측 외각에 각각 구비된 제1 센서(602)에서 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 보다 구체적으로, 전자 장치는 그립 센서로 구성된 두 개의 제1 센서(602)에서 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 만약, 전자 장치에서 설정된 값 이상의 전하 이동량을 감지하였다면, 전자 장치는 연결된 헤드셋에 구비된 마이크(601)를 이용하여 주변에서 발생한 음성을 수집할 수 있다. 보다 구체적으로, 전자 장치는 헤드셋에 구비된 마이크(601)를 이용하여 마이크(601) 주변에서 발생한 사용자의 음성을 수집할 수 있다. 이와 동시에, 전자 장치는 전자 장치에 구비된 두 개의 마이크(604)를 동작시켜 각각 두 개의 마이크(604) 주변에서 발생한 노이즈를 감쇄할 수 있다. 즉, 전자 장치는 주로 헤드셋에 구비된 마이크(601)를 이용하여 마이크(601) 주변에서 발생한 사용자의 음성을 수집하고, 주로 전자 장치에 구비된 두 개의 마이크(604)를 이용하여 마이크들(604) 주변에서 발생한 노이즈를 감쇄할 수 있다.
이후, 전자 장치는 전자 장치에 구비된 두 개의 제2 센서(603)를 동작시킨다. 보다 구체적으로, 전자 장치는 전자 장치의 윗면에 구비된 제1 마이크와 설정된 거리 내에 위치한 제2 센서 및 전자 장치의 아랫면에 구비된 제2 마이크와 설정된 거리 내에 위치한 제2 센서를 동작시킨다. 두 개의 제2 센서를 동작시킨 전자 장치는 각각의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치는 헤드셋에 구비된 마이크(601)만을 이용해서 마이크(601) 주변에서 발생하는 음성을 수집하지 않고, 실시간으로 변화되는 사용자의 움직임을 감지하여 전자 장치에 구비된 두 개의 마이크(604)에서도 마이크(604) 주변에서 발생하는 음성을 수집할 수 있다.
예를 들면, 전자 장치는 헤드셋의 마이크(601)에서 음성을 수집하는 중 전자 장치의 아랫면에 구비된 제2 센서에서 물체를 감지하였다고 가정해보자. 상술한 예에서, 전자 장치는 메인 마이크를 헤드셋에 구비된 마이크(601)에서 전자 장치의 아랫면에 구비된 제2 센서와 설정된 거리 내에 위치한 마이크로 변경할 수 있다. 즉, 전자 장치는 전자 장치의 아랫면에 구비된 제2 센서와 설정된 거리 내에 위치한 마이크에서 주로 주변 음성을 수집하고, 나머지 전자 장치에 구비된 마이크와 헤드셋의 마이크(601)에서는 주로 주변에서 발생하는 노이즈를 감쇄할 수 있다. 상술한 바와 같이, 본 발명에 따른 전자 장치에서는 전자 장치와 연결된 헤드셋에 구비된 마이크(601)와 전자 장치에 구비된 두 개의 마이크(604) 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크를 메인 마이크로 설정할 수 있는 장점이 있다. 보다 구체적으로, 전자 장치는 최초 디폴트 마이크로 설정된 헤드셋에 구비된 마이크(601)를 메인 마이크로 설정하였다고 하여도 이후 전자 장치에 구비된 두 개의 제2 센서(603) 중 어느 하나의 제2 센서에서 사용자의 변화된 움직임을 감지하였다면, 전자 장치는 사용자의 움직임을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크를 메인 마이크로 다시 설정할 수 있다. 여기서, 제2 센서와 마이크는 하나의 통합된 모듈로 제작 및 실장이 가능할 수 있다. 보다 구체적으로, 전자 장치의 상단에 위치한 근접 센서와 마이크는 하나의 통합된 모듈로 제작 및 실장 될 수 있고, 전자 장치의 하단에 위치한 근접 센서와 마이크도 하나의 통합된 모듈로 제작 및 실장 될 수도 있다.
종래의 전자 장치에서는 마이크가 구비된 헤드셋이 연결된 경우, 헤드셋에 구비된 마이크만을 동작시키고, 나머지 전자 장치에 구비된 마이크를 동작시키지 않았다. 즉, 전자 장치에 구비된 나머지 마이크가 오프(off)되어 전자 장치에서 효과적으로 주변에서 발생한 노이즈를 차단할 수 없었다. 따라서, 헤드셋이 연결된 전자 장치와 통화 중인 다른 전자 장치에서는 헤드셋이 연결된 전자 장치의 사용자의 음성과 주변에서 발생한 노이즈를 함께 듣게 되어 통화 품질이 떨어지는 문제점이 있었다. 그러나, 본 발명에 따른 전자 장치에서는 헤드셋에 구비된 마이크(601)뿐만 아니라 전자 장치에 구비된 두 개의 마이크(604)를 동시에 동작시켜, 주변에서 발생하는 노이즈를 효과적으로 감쇄할 수 있는 장점이 있다.
도 7은 본 발명에 일 실시예에 따른 전자 장치의 동작 순서를 나타낸 순서도이다. 먼저, 도 7에 도시된 바와 같이, 전자 장치는 설정된 영역에 위치한 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다(701). 보다 구체적으로, 전자 장치는 그립 센서로 구성된 적어도 둘 이상의 제1 센서에서 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 예를 들면, 전자 장치가 사용자의 손에 의하여 파지된 경우, 전자 장치는 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지할 수 있다. 즉, 전도성이 있는 사람의 손 이외에 다른 물체에 의하여 제1 센서가 접속된 경우, 전자 장치는 전자 장치의 외부에서 내부로 전하 이동량을 감지할 수 없기 때문에, 전자 장치가 동작하지 않는다.
만약, 상술한 판단과정(701)에서, 전자 장치가 설정된 값 이상의 전하 이동량을 감지하였다고 판단되면, 전자 장치는 적어도 둘 이상의 제2 센서가 동작할 수 있다(702). 본 발명의 제2 센서는 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 물체가 위치하고 있음을 감지할 수 있는 센서로 정의될 수 있다. 보다 구체적으로, 제2 센서는 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 물체의 위치를 감지할 수 있는 근접 센서일 수 있다. 즉, 본 발명의 제2 센서는 적어도 둘 이상의 마이크와 같은 개수로 구비될 수 있는 것으로, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 위치한 물체를 감지할 수 있다. 예를 들면, 전자 장치의 상단에 위치한 제2 센서는 같은 상단에 위치한 마이크와 설정된 거리 내에 위치하여, 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 여기서, 제2 센서는 제2 센서의 발광부에서 적외선 LED를 발광하고, 제2 센서의 수광부에서 주변 물체에 반사된 적외선 LED를 감지하였는지 여부로 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다. 또한, 여기서, 제2 센서는 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 설정된 값 이상의 전하량을 감지하였다면 동작할 수 있다. 즉, 제2 센서는 동작하고 있지 않다가 제1 센서에서 설정된 값 이상의 전하량을 감지하였다면 동작할 수 있다.
이후, 전자 장치는 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치한 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단할 수 있다(703). 예를 들면, 제2 센서가 전자 장치의 윗면과 아랫면에 각각 구비되어 있다고 가정해 보자. 상술한 가정에서, 전자 장치는 제1 마이크와 설정된 거리 내에 위치한 제2 센서 및 제2 마이크와 설정된 거리 내에 위치한 제2 센서를 동작시켜, 각각의 마이크 주변에 물체가 위치하고 있는지 감지할 수 있다. 예를 들면, 사용자의 입 주변이 제1 마이크 주변에 위치하고 있는 경우, 전자 장치는 제1 마이크와 설정된 거리 내에 위치한 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지할 수 있다.
만약, 상술한 판단과정(703)에서, 전자 장치의 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 전자 장치는 적어도 둘 이상의 마이크를 동작시킬 수 있다(704). 보다 구체적으로, 본 발명의 적어도 둘 이상의 마이크는 동작하고 있지 않다가 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면 모든 마이크가 동작할 수 있다.
적어도 둘 이상의 마이크를 동작시킨 전자 장치는 적어도 둘 이상의 마이크 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크에서 음성을 수집할 수 있다(705). 본 발명의 마이크는 적어도 둘 이상이 구비될 수 있는데 각각 제2 센서와 설정된 거리 내에 위치하여 음성을 수집하는 것으로 정의될 수 있다. 보다 구체적으로, 본 발명의 마이크는 적어도 둘 이상의 제2 센서와 각각 설정된 거리 내에 위치할 수 있는데, 적어도 둘 이상 중 물체를 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는 주변 음성을 수집할 수 있다. 예를 들면, 전자 장치에 윗면과 아랫면에 각각 마이크가 구비되어 있다고 가정해보자. 상술한 가정에서, 윗면에 위치한 마이크와 설정된 거리 내의 제2 센서에서 물체를 감지하였다면, 윗면의 마이크는 윗면 주변의 음성을 수집할 수 있다. 즉, 적어도 둘 이상의 마이크 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는 음성을 수집하는 것을 주된 기능으로 할 수 있다. 상술한 예에서, 윗면에 위치한 마이크는 주변에서 발생하고 있는 음성을 수집하는 것을 주된 기능으로 할 수 있다.
이후, 전자 장치는 감지된 음성을 분석하여, 감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행할 수 있다(706). 보다 구체적으로, 본 발명에 따른 전자 장치는 사용자의 음성을 인식할 수 있는 것으로, 감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행할 수 있다. 종래에 사용자가 전자 장치에 음성을 인식시키기 위해서 음성 인식을 위한 애플리케이션을 선택하여 실행시켜야 했다. 즉, 종래의 전자 장치에서는 사용자로부터 음성 인식을 위한 애플리케이션의 실행을 요청받아, 해당 애플리케이션이 실행된 상태에서만 사용자로부터 발생한 음성을 인식할 수 있었다. 그러나, 본 발명에 따른 전자 장치에서는 별도의 애플리케이션이 실행되고 있지 않더라도, 제1 센서 및 제2 센서가 동작함에 따라 전자 장치에 구비된 적어도 둘 이상의 마이크 중 사용자의 음성이 가장 많이 수집되는 마이크에서 사용자의 음성을 수집할 수 있다. 따라서, 사용자는 추가적인 인터랙션이 없더라도 전자 장치에 설정된 음성을 입력하기만 하면, 전자 장치에서 사용자가 원하는 동작이 실행될 수 있는 장점이 있다.
감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행한 전자 장치는 적어도 둘 이상의 제2 센서 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서를 제외한 어느 하나의 제2 센서에서 물체를 감지하였는지 판단할 수 있다(707). 보다 구체적으로, 전자 장치는 사용자의 음성을 많이 수집할 수 있는 마이크인 메인 마이크를 고정하지 않고, 음성이 발생하는 사용자의 입 주변에 가장 가까운 마이크를 실시간으로 검색한다.
만약, 상술한 판단 과정(707)에서, 전자 장치가 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서를 제외한 어느 하나의 제2 센서에서 물체를 감지하였다고 판단되면, 전자 장치는 상술한 과정(704)을 반복한다. 본 발명에 따른 전자 장치에서는 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하여, 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크에서 음성을 수집할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 적어도 둘 이상의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크인 메인 마이크를 변경할 수 있는 장점이 있다.
만약, 상술한 판단 과정(707)에서, 전자 장치가 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서를 제외한 어느 하나의 제2 센서에서 물체를 감지하지 않았다고 판단되면 모든 순서를 종료한다.
도 8은 본 발명에 일 실시예에 따른 다른 마이크가 연결된 전자 장치의 동작 순서를 나타낸 순서도이다. 먼저, 도 8에 도시된 바와 같이, 전자 장치는 전자 장치에 구비된 적어도 둘 이상의 마이크 외에 다른 마이크가 연결되었음을 감지할 수 있다(801). 보다 구체적으로, 전자 장치는 전자 장치에서 발생하는 음성 및 음향을 이어폰 또는 헤드셋 등의 케이블을 통하여 이어폰 또는 헤드셋 등의 스피커로 전달하여야 하는 것을 확인할 수 있으며, 이어폰 또는 헤드셋 등의 마이크를 이용하여 통화시 발생하는 사용자의 음성을 수집할 수 있다는 것을 확인할 수 있다.
전자 장치에 구비된 적어도 둘 이상의 마이크 외에 다른 마이크가 연결되었음을 감지한 전자 장치는 다른 마이크에서 음성을 수집할 수 있다(802). 먼저, 이어폰 또는 헤드셋 등이 연결되어 있음을 확인한 전자 장치는 전자 장치의 좌측과 우측 외각에 각각 구비된 제1 센서에서 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 보다 구체적으로, 전자 장치는 그립 센서로 구성된 적어도 하나 이상의 제1 센서에서 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 만약, 전자 장치에서 설정된 값 이상의 전하 이동량을 감지하였다면, 전자 장치는 연결된 이어폰 또는 헤드셋에 구비된 마이크를 이용하여 주변에서 발생한 음성을 수집할 수 있다. 보다 구체적으로, 전자 장치는 이어폰 또는 헤드셋에 구비된 마이크를 이용하여 마이크 주변에서 발생한 사용자의 음성을 수집할 수 있다. 이와 동시에, 전자 장치는 전자 장치에 구비된 적어도 둘 이상의 두 개의 마이크를 동작시켜 각각의 마이크 주변에서 발생한 노이즈를 감쇄할 수 있다. 즉, 전자 장치는 주로 이어폰 또는 헤드셋에 구비된 마이크를 이용하여 마이크 주변에서 발생한 사용자의 음성을 수집하고, 주로 전자 장치에 구비된 적어도 둘 이상의 마이크를 이용하여 마이크들 주변에서 발생한 노이즈를 감쇄할 수 있다.
이후, 전자 장치는 설정된 영역에 위치한 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다(803). 보다 구체적으로, 전자 장치는 그립 센서로 구성된 적어도 둘 이상의 제1 센서에서 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지하였는지 판단할 수 있다. 예를 들면, 전자 장치가 사용자의 손에 의하여 파지된 경우, 전자 장치는 전자 장치의 외부에서 내부로 설정된 값 이상의 전하 이동량을 감지할 수 있다. 즉, 전도성이 있는 사람의 손 이외에 다른 물체에 의하여 제1 센서가 접속된 경우, 전자 장치는 전자 장치의 외부에서 내부로 전하 이동량을 감지할 수 없기 때문에, 전자 장치가 동작하지 않는다.
만약, 상술한 판단과정(803)에서, 전자 장치가 설정된 값 이상의 전하 이동량을 감지하였다고 판단되면, 전자 장치는 적어도 둘 이상의 제2 센서가 동작할 수 있다(804). 본 발명의 제2 센서는 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 물체가 위치하고 있음을 감지할 수 있는 센서로 정의될 수 있다. 보다 구체적으로, 제2 센서는 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 물체의 위치를 감지할 수 있는 근접 센서일 수 있다. 즉, 본 발명의 제2 센서는 적어도 둘 이상의 마이크와 같은 개수로 구비될 수 있는 것으로, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여, 설정된 거리 내에 위치한 물체를 감지할 수 있다. 예를 들면, 전자 장치의 상단에 위치한 제2 센서는 같은 상단에 위치한 마이크와 설정된 거리 내에 위치하여, 설정된 거리 내에 물체가 위치하고 있는지 감지할 수 있다.
이후, 전자 장치는 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치한 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단할 수 있다(805). 예를 들면, 제2 센서가 전자 장치의 윗면과 아랫면에 각각 구비되어 있다고 가정해 보자. 상술한 가정에서, 전자 장치는 제1 마이크와 설정된 거리 내에 위치한 제2 센서 및 제2 마이크와 설정된 거리 내에 위치한 제2 센서를 동작시켜, 각각의 마이크 주변에 물체가 위치하고 있는지 감지할 수 있다. 예를 들면, 사용자의 입 주변이 제1 마이크 주변에 위치하고 있는 경우, 전자 장치는 제1 마이크와 설정된 거리 내에 위치한 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지할 수 있다.
만약, 상술한 판단과정(805)에서, 전자 장치의 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 전자 장치는 적어도 둘 이상의 마이크 및 다른 마이크를 동작시킬 수 있다(806). 보다 구체적으로, 본 발명의 적어도 둘 이상의 마이크는 동작하고 있지 않다가 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면 모든 마이크가 동작할 수 있다.
적어도 둘 이상의 마이크 및 다른 마이크를 동작시킨 전자 장치는 적어도 둘 이상의 마이크 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크에서 음성을 수집할 수 있다(807). 본 발명의 마이크는 적어도 둘 이상이 구비될 수 있는데 각각 제2 센서와 설정된 거리 내에 위치하여 음성을 수집하는 것으로 정의될 수 있다. 보다 구체적으로, 본 발명의 마이크는 적어도 둘 이상의 제2 센서와 각각 설정된 거리 내에 위치할 수 있는데, 적어도 둘 이상 중 물체를 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는 주변 음성을 수집할 수 있다. 예를 들면, 전자 장치에 윗면과 아랫면에 각각 마이크가 구비되어 있다고 가정해보자. 상술한 가정에서, 윗면에 위치한 마이크와 설정된 거리 내의 제2 센서에서 물체를 감지하였다면, 윗면의 마이크는 윗면 주변의 음성을 수집할 수 있다. 즉, 적어도 둘 이상의 마이크 중 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는 음성을 수집하는 것을 주된 기능으로 할 수 있다. 상술한 예에서, 윗면에 위치한 마이크는 주변에서 발생하고 있는 음성을 수집하는 것을 주된 기능으로 할 수 있다.
이후, 전자 장치는 감지된 음성을 분석하여, 감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행할 수 있다(808). 보다 구체적으로, 본 발명에 따른 전자 장치는 사용자의 음성을 인식할 수 있는 것으로, 감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행할 수 있다. 종래에 사용자가 전자 장치에 음성을 인식시키기 위해서 음성 인식을 위한 애플리케이션을 선택하여 실행시켜야 했다. 즉, 종래의 전자 장치에서는 사용자로부터 음성 인식을 위한 애플리케이션의 실행을 요청받아, 해당 애플리케이션이 실행된 상태에서만 사용자로부터 발생한 음성을 인식할 수 있었다. 그러나, 본 발명에 따른 전자 장치에서는 별도의 애플리케이션이 실행되고 있지 않더라도, 제1 센서 및 제2 센서가 동작함에 따라 전자 장치에 구비된 적어도 둘 이상의 마이크 중 사용자의 음성이 가장 많이 수집되는 마이크에서 사용자의 음성을 수집할 수 있다. 따라서, 사용자는 추가적인 인터랙션이 없더라도 전자 장치에 설정된 음성을 입력하기만 하면, 전자 장치에서 사용자가 원하는 동작이 실행될 수 있는 장점이 있다.
감지된 음성에 해당하는 명령어에 따라 설정된 동작을 수행한 전자 장치는 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 물체를 감지하였는지 판단할 수 있다(809). 보다 구체적으로, 전자 장치는 사용자의 음성을 많이 수집할 수 있는 마이크인 메인 마이크를 고정하지 않고, 음성이 발생하는 사용자의 입 주변에 가장 가까운 마이크를 실시간으로 검색한다.
만약, 상술한 판단 과정(809)에서, 전자 장치에서 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서를 제외한 어느 하나의 제2 센서에서 물체를 감지하였다고 판단되면, 전자 장치는 상술한 과정(806)을 반복한다. 본 발명에 따른 전자 장치에서는 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하여, 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크에서 음성을 수집할 수 있다. 보다 구체적으로, 본 발명에 따른 전자 장치에서는 전자 장치에 구비된 적어도 둘 이상의 마이크 중 메인 마이크와 서브 마이크를 고정하지 않고, 사용자의 음성을 많이 수집할 수 있는 마이크인 메인 마이크를 변경할 수 있는 장점이 있다.
만약, 상술한 판단 과정(809)에서, 전자 장치에서 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 물체를 감지하지 않았다고 판단되면, 전자 장치는 다른 마이크에서 음성을 수집할 수 있다(810). 보다 구체적으로, 전자 장치는 이어폰 또는 헤드셋 등의 다른 마이크를 이용하여 주변에서 발생하는 음성을 수집할 수 있다.
도 9는 본 발명의 일 실시예에 따른 전자 장치의 구성을 도시한 블록도이다. 이러한 전자 장치(900)는, 휴대용 전자 장치(portable electronic device)일 수 있으며, 휴대용 단말기(portable terminal), 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant)와 같은 장치일 수 있다. 또한, 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 휴대용 전자 장치일 수도 있다.
이러한 전자 장치(900)는 메모리(910), 프로세서 유닛(processor unit)(920), 제1 무선통신 서브시스템(930), 제2 무선통신 서브시스템(931), 외부 포트(960), 오디오 서브시스템(950), 스피커(951), 마이크로폰(952), 입출력(IO, Input Output) 시스템(970), 터치스크린(980) 및 기타 입력 또는 제어 장치(990)를 포함한다. 메모리(910)와 외부 포트(960)는 다수 개 사용될 수 있다.
프로세서 유닛(920)은, 메모리 인터페이스(921), 하나 이상의 프로세서 (922) 및 주변장치 인터페이스(peripheral interface)(923)를 포함할 수 있다. 경우에 따라서는, 프로세서 유닛(920) 전체를 프로세서로 칭하기도 한다.
프로세서(922)는 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치(900)를 위한 여러 기능을 수행하며, 또한 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행한다. 또한, 이러한 통상적인 기능에 더하여, 프로세서(922)는 메모리(910)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할도 한다. 즉, 프로세서(922)는 메모리(910)에 저장된 소프트웨어 모듈들과 연동하여 본 발명의 실시 예의 방법을 수행한다.
프로세서(922)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성할 수도 있다. 또한, 서로 다른 기능을 수행하는 여러 개의 프로세서로 구성될 수도 있다. 주변 장치 인터페이스(923)는 전자 장치(1000)의 입출력 서브시스템(970) 및 여러 가지 주변 장치를 프로세서(922) 및 메모리(910)(메모리 인터페이스를 통하여)에 연결시킨다.
전자 장치(900)의 다양한 구성요소들은 하나 이상의 통신 버스(참조번호 미기재) 또는 스트림 선(참조번호 미기재)에 의해 결합될(coupled) 수 있다.
외부 포트(960)는, 휴대용 전자 장치(미도시)를 다른 전자 장치로 직접 연결되거나 네트워크(예컨대, 인터넷, 인트라넷, 무선 LAN 등)를 통하여 다른 전자 장치로 간접적으로 연결하는 데 사용된다. 외부 포트(960)는, 예를 들면, 이들에 한정되지는 않지만, USB(Universal serial Bus) 포트 또는 FIREWIRE 포트 등을 말한다.
움직임 센서(991), 제1 센서(994) 및 제1 광 센서(992)는 주변장치 인터페이스(923)에 결합되어 여러 가지 기능을 가능하게 할 수 있다. 예를 들어, 움직임 센서(991), 제1 센서(994) 및 제1 광 센서(992)가 주변장치 인터페이스(923)에 결합되어 각각 전자 장치의 움직임 감지, 전하 이동량 감지 및 외부로부터의 빛 감지를 가능하게 할 수 있다. 이외에도, 위치측정 시스템, 온도센서 또는 생체 센서 등과 같은 기타 센서들이 주변장치 인터페이스(923)에 연결되어 관련 기능들을 수행할 수 있다. 본 발명의 제1 센서(994)는 설정된 영역에 위치하여 설정된 값 이상의 전하 이동량을 감지하고, 딥 슬립 상태에도 동작한다. 본 발명의 움직임 센서(991)는 제1 센서(994)에서 설정된 값 이상의 전하 이동량을 감지하면, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여 설정된 거리 내에 물체가 위치하고 있음을 감지한다. 또한, 움직임 센서(991)는 적어도 둘 이상의 제1 센서(994) 중 적어도 하나의 제1 센서에서 상기 설정된 값 이상의 전하량을 감지하였다면 동작한다.
카메라 서브시스템(993)은 사진 및 비디오 클립 레코딩과 같은 카메라 기능을 수행할 수 있다.
광 센서(992)는 CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 디바이스를 사용할 수 있다.
하나 이상의 무선 통신 서브시스템(930, 931)을 통해 통신 기능이 수행된다. 무선 통신 서브시스템(930, 931)은 무선 주파수(radio frequency) 수신기 및 송수신기 및/또는 광(예컨대, 적외선) 수신기 및 송수신기를 포함할 수 있다. 제1 통신 서브시스템(930)과 제2 통신 서브 시스템(931)은 전자 장치(900)가 통신하는 통신 네트워크에 따라 구분할 수 있다. 예를 들어, 통신 네트워크는, 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WiMax 네트워크 또는/및 Bluetooth네트워크 등을 통해 동작하도록 설계되는 통신 서브시스템을 포함할 수 있다. 제1 무선 통신 서브시스템(930)과 제2 무선 통신 서브시스템(931)은 합하여 하나의 무선 통신 서브시스템으로 구성할 수도 있다.
오디오 서브시스템(950)이 스피커(951) 및 마이크로폰(952)에 결합되어 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림의 입력과 출력을 담당할 수 있다. 즉, 오디오 서브시스템(950)은 스피커(speaker)(951) 및 마이크로폰(952)을 통해 사용자와 소통한다(communicate). 오디오 서브시스템(950)은 프로세서 유닛(920)의 주변장치 인터페이스(923)를 통하여 데이터 스트림을 수신하고, 수신한 데이터 스트림을 전기 스트림으로 변환한다. 변환된 전기 스트림(electric signal)는 스피커(951)로 전달된다. 스피커(951)는 전기 스트림을 사람이 들을 수 있는 음파(sound wave)로 변환하여 출력한다. 마이크로폰 (952)은, 사람이나 기타 다른 소리원(sound source)들로부터 전달된 음파를 전기 스트림으로 변환한다. 본 발명의 마이크로폰(952)은 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치하여 음성을 수집한다. 또한, 마이크로폰(952)은, 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면 동작한다. 오디오 서브시스템(950)은 마이크로폰(952)으로부터 변환된 전기 스트림을 수신한다. 오디오 서브시스템(950)은 수신한 전기스트림을 오디오 데이터 스트림으로 변환하며, 변환된 오디오 데이터 스트림을 주변 인터페이스 (923)로 전송한다. 오디오 서브시스템(950)은 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)을 포함할 수 있다.
입출력(I/O, Input/Output) 서브시스템(970)은 터치 스크린 제어기(971) 및/또는 기타 입력 제어기(972)를 포함할 수 있다. 터치스크린 제어기(971)는 터치 스크린(980)에 결합될 수 있다. 터치 스크린(980) 및 터치 스크린 제어기(971)는, 이하에 한정되지는 않지만, 터치 스크린(980)과의 하나 이상의 접촉점을 결정하기 위한 용량성, 저항성, 적외선 및 표면 음향파 기술들뿐만 아니라 기타 근접 센서 배열 또는 기타 요소들을 포함하는 임의의 멀티 터치 감지 기술을 이용하여 접촉 및 움직임 또는 이들의 중단을 검출할 수 있다. 기타 입력 제어기(972)는 기타 입력/제어 장치들(990)에 결합될 수 있다. 기타 입력/제어 장치들(990)에 하나 이상의 버튼, 로커(rocker) 스위치, 섬 휠(thumb-wheel), 다이얼(dial), 스틱(stick), 및/또는 스타일러스와 같은 포인터 장치 등 일수 있다.
터치스크린(980)은 전자 장치(900)와 사용자 사이에 입력/출력 인터페이스를 제공한다. 즉, 터치스크린(980)은 사용자의 터치 입력을 전자 장치(900)에 전달한다. 또한 전자 장치(900)로부터의 출력을 사용자에게 보여주는 매개체이다. 즉, 터치스크린 (980)은 사용자에게 시각적인 출력을 보여준다. 이러한 시각적 출력(visual output)은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타난다.
터치스크린(980)은 여러 가지 디스플레이가 사용될 수 있다. 예를 들면, 이에 한정하지는 않지만, LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode) 또는 FLED(Flexible LED)를 사용할 수 있다.
메모리(910)는 메모리 인터페이스(921)에 결합될 수 있다. 메모리(910)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리(예컨대, NAND, NOR)를 포함할 수 있다.
메모리(910)는 소프트웨어를 저장한다. 소프트웨어 구성요소는 운영 체제(operating system) 모듈(911), 통신 모듈(912), 그래픽 모듈(913), 사용자 인터페이스 모듈(914) 및 MPEG 모듈(915), 카메라 모듈(916), 하나 이상의 애플리케이션 모듈(917) 등을 포함한다. 또한, 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다. 운영 체제 소프트웨어(911)[예를 들어, WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 또는 VxWorks와 같은 내장 운영 체제]는 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함한다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미한다. 이러한 운영 체제 소프트웨어는 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행한다.
통신 모듈(912)은, 무선통신 서브시스템(930, 931)이나 외부 포트(960)를 통해 컴퓨터, 서버 및/또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다.
그래픽 모듈(913)은 터치스크린(980) 상에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함한다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용된다. 본 발명에서 터치 스크린(980)은, 스마트 회전 기능의 설정 여부에 관한 메시지를 디스플레이하고, 메시지에 포함된 임의의 영역을 선택받는다.
사용자 인터페이스 모듈(914)은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함한다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함한다.
코덱(CODEC) 모듈(915)은 비디오 파일의 인코딩 및 디코딩 관련한 소프트웨어 구성요소를 포함할 수 있다. 코덱 모듈은 MPEG 모듈 및/또는 H204 모듈과 같은 비디오 스트림 모듈을 포함할 수 있다. 또한, 코덱 모듈은 AAA, AMR, WMA 등 여러 가지 오디오 파일용 코덱 모듈을 포함할 수 있다. 또한, 코덱 모듈(915)은 본 발명의 실시 방법에 대응하는 명령어 세트를 포함한다.
카메라 모듈(916)은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함한다.
애플리케이션 모듈(917)은 브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위짓(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함한다.
또한, 위에서 언급한, 그리고 이하에서 언급할, 본 발명에 따른 전자 장치(1000)의 다양한 기능들은 하나 이상의 스트림 프로세싱(processing) 및/또는 애플리케이션 특정 집적 회로(ASIC, Application Specific Integrated circuit)를 포함하는 하드웨어 및/또는 소프트웨어 및/또는 이들의 결합으로 실행될 수 있다.
도 10은 본 발명에 따른 음성 인식 오작동을 방지할 수 있는 전자 장치의 일 실시예를 나타낸 도면이다. 먼저, 도 10의(a)에 도시된 바와 같이, 본 발명에 따른 전자 장치는 터치 스크린에 터치 입력을 받는 동안에는 음성 인식을 위한 음성 수집을 중지할 수 있다. 보다 구체적으로, 전자 장치가 입력 수단으로부터 전자 장치의 터치 스크린을 통하여 소정의 정보를 터치 입력 받는 경우, 전자 장치는 전자 장치의 아래쪽에 위치한 근접센서(1001)가 입력 수단을 인식하여 근접센서(1001)로부터 설정된 거리 내에 위치한 마이크(1002)에서 음성 인식 과정이 이루어 질 수 있다. 예를 들면, 사용자로부터 터치 입력을 받는 동안 전자 장치는 사용자의 팔에 의하여 근접센서(1001)가 사용자의 팔을 인식하여 근접센서(1001)로부터 설정된 거리 내에 위치한 마이크(1002)에서 음성을 인식하는 오작동이 일어날 수 있다. 따라서, 본 발명에 따른 전자 장치에서는 전자 장치의 터치 스크린을 통하여 마지막 터치 입력을 받은 후, 설정된 시간이 경과한 후에만 음성을 인식할 수 있게 동작할 수 있다. 예를 들면, 전자 장치는 전자 장치의 터치 스크린을 통하여 사용자로부터 마지막 터치 입력을 받은 후, 설정된 시간인 2초가 경과한 후에만 음성을 인식할 수 있도록 동작할 수 있다.
도 10의(b)에 도시된 바와 같이, 본 발명에 따른 전자 장치는 터치 스크린에 호버링(hovering) 입력을 받는 동안에는 음성 인식을 위한 음성 수집을 중지할 수도 있다. 보다 구체적으로, 전자 장치가 입력 수단으로부터 전자 장치의 터치 스크린을 통하여 호버링 입력 받는 경우, 전자 장치는 전자 장치의 아래쪽에 위치한 근접센서(1003)가 입력 수단을 인식하여 근접센서(1003)로부터 설정된 거리 내에 위치한 마이크(1004)에서 음성 인식 과정이 이루어 질 수 있다. 예를 들면, 입력 수단으로부터 호버링 입력을 받는 동안 전자 장치는 사용자의 팔에 의하여 근접센서(1003)가 사용자의 팔을 인식하여 근접센서(1003)로부터 설정된 거리 내에 위치한 마이크(1004)에서 음성을 인식하는 오작동이 일어날 수 있다. 따라서, 본 발명에 따른 전자 장치에서는 전자 장치의 터치 스크린을 통하여 마지막 호버링 입력을 받은 후, 설정된 시간이 경과한 후에만 음성을 인식할 수 있게 동작할 수 있다. 예를 들면, 전자 장치는 전자 장치의 터치 스크린을 통하여 사용자로부터 마지막 호버링 입력을 받은 후, 설정된 시간인 2초가 경과한 후에만 음성을 인식할 수 있도록 동작할 수 있다.
도 10의(c)에 도시된 바와 같이, 본 발명에 따른 전자 장치는 가로 그립으로 사용 중인 경우, 음성 인식을 중지할 수도 있다. 보다 구체적으로, 전자 장치가 가로 그립으로 동작하고 있음을 감지한 경우, 전자 장치는 전자 장치의 위쪽 및 아래쪽에 위치한 근접센서(1005, 1007)가 물체를 감지하여 근접센서(1005, 1007)로부터 설정된 거리 내에 위치한 마이크(1006, 1008)에서 음성 인식 과정이 이루어 질 수 있다. 예를 들면, 전자 장치가 사용자에 의하여 가로로 그립되고 있는 경우, 전자 장치의 위쪽 및 아래쪽에 위치한 근접센서(1005, 1007)가 사용자의 손을 감지하여 근접센서(1005, 1007)로부터 설정된 거리 내에 위치한 마이크(1006, 1008)에서 음성을 인식하는 오작동이 일어날 수 있다. 따라서, 본 발명에 따른 전자 장치에서는 가로 그립을 감지한 경우, 음성 인식을 중지하여 오작동이 발생될 수 있는 문제점을 해결하였다.
분명히, 청구항들의 범위내에 있으면서 이러한 실시예들을 변형할 수 있는 많은 다양한 방식들이 있다. 다시 말하면, 이하 청구항들의 범위를 벗어남 없이 본 발명을 실시할 수 있는 많은 다른 방식들이 있을 수 있을 것이다.
101: 제1 센서 102: 제2 센서
103: 마이크 201: 제1 센서
202: 마이크 203: 마이크
301: 제1 센서 302: 마이크
303: 마이크 304: 마이크
401: 이어폰에 구비된 마이크 402: 제1 센서
403: 제2 센서 404: 마이크
501: 음성 인식 버튼 502: 차량에 구비된 마이크
503: 제1 센서 504: 제2 센서
505: 마이크 601: 헤드셋에 구비된 마이크
602: 제1 센서 603: 제2 센서
604: 마이크 900: 전자장치
910: 메모리 911: 운영체제 모듈
912: 통신모듈 913: 그래픽 모듈
914: 사용자 인터페이스 모듈 915: CODEC 모듈
916: 카메라 모듈 917: 애플리케이션
920: 프로세서 유닛 921: 메모리 인터페이스
922: 프로세서 923: 주변 장치 인터페이스
930: 제1 무선 통신 서브시스템 931: 제2 무선 통신 서브시스템
950: 오디오 서브 시스템 951: 스피커
952: 마이크로폰 960: 외부 포트
970: 입출력 시스템 971: 터치 스크린 제어기
972: 기타 입력 제어기 980: 터치 스크린
990: 기타 입력/제어 장치들 991: 움직임 센서
992: 제1 광 센서 993: 카메라 서브 시스템
994: 제1 센서 1001: 근접 센서
1002: 마이크 1003: 근접 센서
1004: 마이크 1005: 근접 센서
1006: 마이크 1007: 근접 센서
1008: 마이크

Claims (22)

  1. 전자 장치의 동작 방법에 있어서,
    설정된 영역에 위치한 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 설정된 값 이상의 전하 이동량을 감지하는 과정;
    상기 설정된 값 이상의 전하 이동량을 감지하여, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치한 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하는 과정; 및
    상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크에서 음성을 수집하는 과정을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 적어도 둘 이상의 제1 센서는,
    딥 슬립(deep sleep) 상태에도 동작하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 제1 센서는,
    그립 센서(grip sensor)인 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 제2 센서는,
    근접 센서(proximity sensor)인 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 상기 설정된 값 이상의 전하량을 감지하였다면, 상기 적어도 둘 이상의 제2 센서가 동작하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면, 상기 적어도 둘 이상의 마이크가 동작하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는,
    음성을 수집하는 것을 주된 기능으로 하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크를 제외한 나머지 적어도 하나의 마이크는,
    노이즈를 감쇄하는 것을 주된 기능으로 하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 감지된 음성을 분석하는 과정;
    상기 감지된 음성에 해당하는 명령어를 인식하는 과정; 및
    상기 인식된 명령어에 따라 설정된 동작을 수행하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면,
    상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 마이크에서 음성을 수집하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  12. 전자 장치에 있어서,
    설정된 영역에 위치하여 설정된 값 이상의 전하 이동량을 감지하는 적어도 둘 이상 중 어느 하나의 제1 센서;
    상기 제1 센서에서 상기 설정된 값 이상의 전하 이동량을 감지하면, 적어도 둘 이상의 마이크와 각각 설정된 거리 내에 위치하여 설정된 거리 내에 물체가 위치하고 있음을 감지하는 적어도 둘 이상 중 어느 하나의 제2 센서; 및
    상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치하여 음성을 수집하는 상기 적어도 둘 이상의 마이크 중 어느 하나의 마이크를 특징으로 하는 장치.
  13. 제12항에 있어서,
    상기 적어도 둘 이상의 제1 센서는,
    딥 슬립 상태에도 동작하는 것을 특징으로 하는 장치.
  14. 제12항에 있어서,
    상기 제1 센서는,
    그립 센서인 것을 특징으로 하는 장치.
  15. 제12항에 있어서,
    상기 제2 센서는,
    근접 센서인 것을 특징으로 하는 장치.
  16. 제12항에 있어서,
    상기 적어도 둘 이상의 제2 센서는,
    상기 적어도 둘 이상의 제1 센서 중 적어도 하나의 제1 센서에서 상기 설정된 값 이상의 전하량을 감지하였다면 동작하는 것을 특징으로 하는 장치.
  17. 제12에 있어서,
    상기 적어도 둘 이상의 마이크는,
    상기 적어도 둘 이상의 제2 센서 중 어느 하나의 제2 센서에서 설정된 거리 내에 물체가 위치하고 있음을 감지하였다면 동작하는 것을 특징으로 하는 장치.
  18. 제12에 있어서,
    상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크는,
    음성을 수집하는 것을 주된 기능으로 하는 것을 특징으로 하는 장치.
  19. 제12항에 있어서,
    상기 적어도 둘 이상의 마이크 중 상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치한 어느 하나의 마이크를 제외한 나머지 적어도 하나의 마이크는,
    노이즈를 감쇄하는 것을 주된 기능으로 하는 것을 특징으로 하는 장치.
  20. 제12항에 있어서,
    상기 감지된 음성을 분석하고, 상기 감지된 음성에 해당하는 명령어를 인식하며, 상기 인식된 명령어에 따라 설정된 동작을 수행하는 프로세서 유닛을 더 포함하는 것을 특징으로 하는 장치.
  21. 제12항에 있어서,
    설정된 거리 내에 물체가 위치하고 있음을 감지하였는지 판단하는 음성을 수집한 마이크와 설정된 거리 내에 위치한 제2 센서를 제외한 적어도 하나 이상의 제2 센서를 더 포함하는 것을 특징으로 하는 장치.
  22. 제21항에 있어서,
    상기 설정된 거리 내에 물체가 위치하고 있음을 감지한 제2 센서와 설정된 거리 내에 위치하여, 음성을 수집하는 마이크를 더 포함하는 것을 특징으로 하는 장치.
KR1020120121099A 2012-10-30 2012-10-30 음성을 인식하는 전자 장치 및 방법 KR101967917B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020120121099A KR101967917B1 (ko) 2012-10-30 2012-10-30 음성을 인식하는 전자 장치 및 방법
US13/962,174 US9223540B2 (en) 2012-10-30 2013-08-08 Electronic device and method for voice recognition upon charge transfer
AU2013213762A AU2013213762B2 (en) 2012-10-30 2013-08-09 Electronic device and method for recognizing voice
ES13180641T ES2765049T3 (es) 2012-10-30 2013-08-16 Dispositivo electrónico y procedimiento de reconocimiento de voz
EP13180641.6A EP2728840B1 (en) 2012-10-30 2013-08-16 Electronic device and method for recognizing voice
CN201310502756.1A CN103795850B (zh) 2012-10-30 2013-10-23 电子设备和语音识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120121099A KR101967917B1 (ko) 2012-10-30 2012-10-30 음성을 인식하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140054960A true KR20140054960A (ko) 2014-05-09
KR101967917B1 KR101967917B1 (ko) 2019-08-13

Family

ID=48986017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120121099A KR101967917B1 (ko) 2012-10-30 2012-10-30 음성을 인식하는 전자 장치 및 방법

Country Status (6)

Country Link
US (1) US9223540B2 (ko)
EP (1) EP2728840B1 (ko)
KR (1) KR101967917B1 (ko)
CN (1) CN103795850B (ko)
AU (1) AU2013213762B2 (ko)
ES (1) ES2765049T3 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059479A (ko) * 2014-09-26 2017-05-30 후아웨이 테크놀러지 컴퍼니 리미티드 애플리케이션 프로그램 제어 방법 및 장치, 그리고 전자 장치
CN111033612A (zh) * 2017-08-31 2020-04-17 三星电子株式会社 具有语音识别功能的家用电器
US10649599B2 (en) 2017-06-30 2020-05-12 Samsung Electronics Co., Ltd. Electronic device for detecting proximity of user and operation method thereof
US10963214B2 (en) 2016-08-26 2021-03-30 Huawei Technologies Co., Ltd. Audio output method, electronic device, and storage medium

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20140029931A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 스피커에서 출력되는 음성을 소멸시켜 에코 발생을 차단하는 전자 장치 및 방법
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN104639722B (zh) * 2013-11-07 2018-06-26 华为终端(东莞)有限公司 语音通话的建立方法和装置
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
CN105592198A (zh) * 2014-10-20 2016-05-18 中兴通讯股份有限公司 多mic终端及其mic设置方法和音质提升方法
KR101619260B1 (ko) * 2014-11-10 2016-05-10 현대자동차 주식회사 차량 내 음성인식 장치 및 방법
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) * 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
CN104898939B (zh) * 2015-04-07 2019-06-25 联想(北京)有限公司 信号处理方法以及电子设备
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
KR102386309B1 (ko) * 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
CA2990888A1 (en) 2015-06-30 2017-01-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a database
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102583500B1 (ko) * 2017-04-25 2023-09-27 엘지전자 주식회사 음료 공급 장치 및 그 제어 방법
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10535360B1 (en) * 2017-05-25 2020-01-14 Tp Lab, Inc. Phone stand using a plurality of directional speakers
KR102365649B1 (ko) * 2017-06-28 2022-02-22 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10811009B2 (en) * 2018-06-27 2020-10-20 International Business Machines Corporation Automatic skill routing in conversational computing frameworks
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN111312240A (zh) * 2020-02-10 2020-06-19 北京达佳互联信息技术有限公司 数据控制方法、装置、电子设备及存储介质
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112489672A (zh) * 2020-10-23 2021-03-12 盘正荣 一种虚拟隔音通信系统与方法
KR20220134308A (ko) * 2021-03-26 2022-10-05 삼성전자주식회사 음성 신호 처리를 위한 전자 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080242343A1 (en) * 2007-03-26 2008-10-02 Helio, Llc Modeless electronic systems, methods, and devices
JP2010081495A (ja) * 2008-09-29 2010-04-08 Kyocera Corp 携帯通信端末
KR20110008137A (ko) * 2008-04-25 2011-01-26 아이덴트 테크놀로지 에이지 접근 탐지를 위한 전극 시스템 및 전극 시스템을 구비하는 핸드-헬드 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000040570A (ko) 1998-12-18 2000-07-05 김영환 두 채널의 마이크를 이용한 차량 잡음 제거 장치 및 방법
SE9902229L (sv) * 1999-06-07 2001-02-05 Ericsson Telefon Ab L M Apparatus and method of controlling a voice controlled operation
KR20030010432A (ko) 2001-07-28 2003-02-05 주식회사 엑스텔테크놀러지 잡음환경에서의 음성인식장치
US7369997B2 (en) * 2001-08-01 2008-05-06 Microsoft Corporation Controlling speech recognition functionality in a computing device
US6661410B2 (en) * 2001-09-07 2003-12-09 Microsoft Corporation Capacitive sensing and data input device power management
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP4247002B2 (ja) * 2003-01-22 2009-04-02 富士通株式会社 マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
JP2008512888A (ja) 2004-09-07 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 改善した雑音抑圧を有する電話装置
US20060132447A1 (en) * 2004-12-16 2006-06-22 Conrad Richard H Method and apparatus for automatically transforming functions of computer keyboard keys and pointing devices by detection of hand location
US8189429B2 (en) 2008-09-30 2012-05-29 Apple Inc. Microphone proximity detection
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
KR101061443B1 (ko) 2009-07-13 2011-09-02 엘지전자 주식회사 전자 기기, 이동 단말기 및 이를 이용한 기능 수행 방법
US8452260B2 (en) * 2010-03-25 2013-05-28 Hewlett-Packard Development Company, L.P. Methods and apparatus for unlocking an electronic device
CN201667668U (zh) 2010-04-16 2010-12-08 北京景山创新通信技术有限公司 一种多方位操作的移动通信终端
US8300845B2 (en) * 2010-06-23 2012-10-30 Motorola Mobility Llc Electronic apparatus having microphones with controllable front-side gain and rear-side gain
KR101649991B1 (ko) * 2010-07-28 2016-08-31 삼성전자주식회사 휴대용 단말기에서 스퀴징에 따른 동작을 수행하기 위한 장치 및 방법
US8694522B1 (en) * 2012-03-28 2014-04-08 Amazon Technologies, Inc. Context dependent recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080242343A1 (en) * 2007-03-26 2008-10-02 Helio, Llc Modeless electronic systems, methods, and devices
KR20110008137A (ko) * 2008-04-25 2011-01-26 아이덴트 테크놀로지 에이지 접근 탐지를 위한 전극 시스템 및 전극 시스템을 구비하는 핸드-헬드 장치
JP2010081495A (ja) * 2008-09-29 2010-04-08 Kyocera Corp 携帯通信端末

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059479A (ko) * 2014-09-26 2017-05-30 후아웨이 테크놀러지 컴퍼니 리미티드 애플리케이션 프로그램 제어 방법 및 장치, 그리고 전자 장치
US10609196B2 (en) 2014-09-26 2020-03-31 Huawei Technologies Co., Ltd. Method and apparatus for controlling application program, and electronic device
US10931805B2 (en) 2014-09-26 2021-02-23 Huawei Technologies Co., Ltd. Method and apparatus for controlling application program, and electronic device
US10963214B2 (en) 2016-08-26 2021-03-30 Huawei Technologies Co., Ltd. Audio output method, electronic device, and storage medium
US11507340B2 (en) 2016-08-26 2022-11-22 Honor Device Co., Ltd. Audio output method, electronic device, and storage medium
US10649599B2 (en) 2017-06-30 2020-05-12 Samsung Electronics Co., Ltd. Electronic device for detecting proximity of user and operation method thereof
CN111033612A (zh) * 2017-08-31 2020-04-17 三星电子株式会社 具有语音识别功能的家用电器
CN111033612B (zh) * 2017-08-31 2023-12-08 三星电子株式会社 具有语音识别功能的家用电器

Also Published As

Publication number Publication date
US9223540B2 (en) 2015-12-29
AU2013213762B2 (en) 2018-11-08
CN103795850A (zh) 2014-05-14
EP2728840A2 (en) 2014-05-07
EP2728840A3 (en) 2017-11-01
AU2013213762A1 (en) 2014-05-15
CN103795850B (zh) 2016-08-17
ES2765049T3 (es) 2020-06-05
US20140122090A1 (en) 2014-05-01
EP2728840B1 (en) 2019-10-16
KR101967917B1 (ko) 2019-08-13

Similar Documents

Publication Publication Date Title
KR20140054960A (ko) 음성을 인식하는 전자 장치 및 방법
KR101968920B1 (ko) 음성신호의 세기를 감지하여 마이크를 선택하는 전자 장치 및 방법
US9671861B2 (en) Electronic device for measuring angle of face and rotating screen thereof and method thereof
AU2013257523B2 (en) Electronic device and method for driving camera module in sleep mode
KR102069863B1 (ko) 입력 수단의 결제 기능을 제어하는 전자 장치 및 방법
US9990902B2 (en) Electronic device for adjusting brightness of screen and method thereof
CN110134316A (zh) 模型训练方法、情绪识别方法及相关装置和设备
TWI520043B (zh) 消息查看方法、裝置和移動終端
US9943248B2 (en) Electronic device, control method, and control program
WO2016119580A1 (zh) 一种开启终端的语音输入功能的方法、装置和终端
CN103365551B (zh) 可应用于消息收发器应用的书签功能的方法及电子装置
US9836275B2 (en) User device having a voice recognition function and an operation method thereof
EP3416040A1 (en) Sound effect processing method and mobile terminal
KR20140064002A (ko) 설정된 디바이스의 위치정보를 디스플레이하는 전자 장치 및 방법
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
EP2811723B1 (en) Electronic device for detecting information of person on the other end of call and method thereof
KR20140025940A (ko) 터치 시간에 따라 컨텐츠의 페이지 수를 이동시키는 전자 장치 및 방법
CN104461366A (zh) 激活移动终端的操作状态的方法及装置
WO2015078349A1 (zh) 麦克风收音状态的切换方法和装置
KR102185204B1 (ko) 적외선을 이용한 센서 장치를 갖는 전자 장치 및 그 동작 방법
WO2020187112A1 (zh) 参数调节方法及终端设备
KR20140084816A (ko) 공간적 움직임을 반영하여 피사체의 초점을 맞추는 전자 장치 및 방법
CN110995932A (zh) 备忘录设置方法、装置、存储介质及电子设备
CN114143399A (zh) 终端通话灭屏方法、装置、存储介质及移动终端
CN109814993A (zh) 一种消息阅读配置方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant