KR20210074974A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20210074974A
KR20210074974A KR1020190179671A KR20190179671A KR20210074974A KR 20210074974 A KR20210074974 A KR 20210074974A KR 1020190179671 A KR1020190179671 A KR 1020190179671A KR 20190179671 A KR20190179671 A KR 20190179671A KR 20210074974 A KR20210074974 A KR 20210074974A
Authority
KR
South Korea
Prior art keywords
wake
sound signal
word
electronic device
voice recognition
Prior art date
Application number
KR1020190179671A
Other languages
English (en)
Inventor
진장호
윤현돈
김가을
이형선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2020/018077 priority Critical patent/WO2021118269A1/en
Priority to US17/121,196 priority patent/US11688396B2/en
Publication of KR20210074974A publication Critical patent/KR20210074974A/ko
Priority to US18/318,440 priority patent/US20230282213A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 개시의 전자 장치는 마이크를 통해 입력되는 제1 사운드 신호 및 스피커를 통해 출력되는 제2 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 바탕으로 음성 인식 모델을 활성화시킬지 여부를 결정할 수 있다.

Description

전자 장치 및 이의 제어 방법{Electronic device and Method for controlling the electronic device thereof}
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로서, 더욱 상세하게는 전자 장치에서 출력된 사운드 신호 및 마이크를 통해 입력된 사운드 신호를 바탕으로 음성 인식 모델을 활성화하는 전자 장치 및 이의 제어 방법에 관한 것이다.
기존의 음성 인식 장치는 마이크를 통해 입력된 음원을 이용하여 음성 인식 처리를 수행한다. 다만, 마이크에 입력되는 음원은 사용자 발화를 통해 입력된 음원 뿐만 아니라 음성 인식 장치의 스피커에서 출력되는 음원이 포함될 수 있다. 따라서, 기존에는 마이크에 입력된 사용자 발화를 통한 음원과 장치의 스피커에서 출력된 음원을 구분하기 위하여 AEC(Acoustic Echo Cancellation) 기술을 활용하였다.
AEC 기술은 마이크에 입력된 음원과 음성 인식 장치에서 출력된 음원을 주파수 영역으로 변환한 뒤에, 마이크에 입력된 음원의 신호 값에서 음성 인식 장치에서 출력된 음성의 신호 값을 빼서 사용자 발화를 통한 음성의 음원만을 추출하는 기술이다.
다만, AEC 기술의 경우, 음성 인식 장치에서 출력된 음성과 마이크에 입력된 음성이 시간적으로 동기화되어야 한다는 한계가 존재한다. 또한, AEC 기술을 활용하기 위해 각 음성을 동기하려면 계산량이 증가하므로 음성 인식 장치의 개발 및 제작 비용이 증가할 수 있다는 한계가 존재한다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 전자 장치에서 출력된 사운드 신호 및 마이크를 통해 입력된 사운드 신호를 분석하여 음성 인식 모델을 활성화할지 여부를 식별하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 전자 장치는 스피커, 마이크, 음성 인식 모델을 저장하는 메모리 및 프로세서를 포함하고, 상기 프로세서는, 상기 마이크를 통해 제1 사운드 신호가 입력되는 동안, 상기 스피커를 통해 출력되는 제2 사운드 신호를 웨이크 업 워드(wake-up word) 검출 모델에 입력하여 상기 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별하고, 상기 제2 사운드 신호에 상기 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 상기 마이크를 통해 입력된 상기 제1 사운드 신호를 상기 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다.
한편, 상술한 목적을 달성하기 위한 실시예에 따른 음성 인식 모델을 저장하는 메모리를 포함하는 전자 장치의 제어 방법은 마이크를 통해 제1 사운드 신호가 입력되는 동안, 스피커를 통해 출력되는 제2 사운드 신호를 웨이크 업 워드(wake-up word) 검출 모델에 입력하여 상기 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별하는 단계 및 상기 제2 사운드 신호에 상기 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 상기 마이크를 통해 입력된 상기 제1 사운드 신호를 상기 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있는지 여부를 식별하는 단계를 포함할 수 있다.
그리고, 상술한 목적을 달성하기 위한 실시예에 따른, 전자 장치는 스피커, 마이크, 적어도 하나의 음성 인식 모델을 저장하는 메모리 및 프로세서를 포함하고, 상기 프로세서는, 상기 마이크를 통해 입력된 제1 사운드 신호를 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하고, 상기 제1 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 상기 스피커를 통해 출력되는 제2 사운드 신호를 상기 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델에 입력하여 상기 제2 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다.
또한, 상술한 목적을 달성하기 위한 실시예에 따른, 적어도 하나의 음성 인식 모델을 저장하는 전자 장치의 제어 방법에 있어서, 마이크를 통해 입력된 제1 사운드 신호를 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계 및 상기 제1 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 스피커를 통해 출력되는 제2 사운드 신호를 상기 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델에 입력하여 상기 제2 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계를 포함할 수 있다.
상술한 본 개시의 다양한 실시예에 따른, 전자 장치는 마이크를 통해 입력된 사용자 음성의 신호 및 전자 장치에서 출력된 음성의 신호에 포함된 웨이크 업 워드를 구분함으로써, 사용자는 AEC 기술을 활용하지 않고도 효율적으로 음성 인식 기술을 활용할 수 있다.
도 1a 및 도 1b는 본 개시의 일 실시예에 따른, 전자 장치가 음성 인식 모델을 활성화시키는 방식을 설명하기 위한 도면,
도 2a는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블록도,
도 2b는 본 개시의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블록도,
도 3은 본 개시의 일 실시예에 따른, 전자 장치의 동작 방식을 설명하기 위한 순서도,
도 4는 본 개시의 일 실시예에 따른, 전자 장치의 또 다른 동작 방식을 설명하기 위한 순서도,
도 5는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 순서도,
도 6은 본 개시의 일 실시예에 따른, 전자 장치의 또 다른 제어 방법을 설명하기 위한 순서도이다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1a 및 도 1b는 본 개시의 일 실시예에 따른, 전자 장치(100)가 음성 인식 모델을 활성화하는 방식을 설명하기 위한 도면이다. 한편, 도 1a 및 도 1b에 도시된 바와 같이, 전자 장치(100)는 디스플레이 장치로 구현될 수 있으나 이는 일 실시예에 불과하며, 전자 장치(100)는 태블릿 PC, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 서버, 의료기기, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 또한, 본 개시의 다른 실시예에 따르면, 전자 장치(100)는 냉장고, 에어컨, 공기 청정기, 셋톱 박스, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM) 중 적어도 하나로 구현될 수 있다. 그리고, 도 1a 및 도 1b에 도시된 바와 같이, 마이크(120)는 전자 장치(100)를 제어하는 리모컨(200)에 포함된 구성으로 구현될 수 있으나 이는 일 실시예에 불과하며 전자 장치(100)에 내장될 수 있음은 물론이다.
전자 장치(100)는 스피커(110)를 통해 사운드 신호를 출력할 수 있으며, 출력된 사운드 신호는 리모컨(200)에 포함되어 있거나 전자 장치(100)에 내장되어 있는 마이크(120)에 입력될 수 있다. 한편, 마이크(120)에는 전자 장치(100)에서 출력된 사운드 신호뿐만 아니라, 마이크(120) 주변에서 발생된 각종 사운드 신호(예를 들어, 마이크(120) 주변에 위치한 사용자의 음성 등)가 포함된 제1 사운드 신호가 입력될 수 있다. 도 1a 및 도 1b에 도시된 바와 같이, 마이크(120)가 리모컨(200)에 포함되어 있는 경우, 마이크(120)에 입력된 제1 사운드 신호는 유/무선 인터페이스(예를 들어, Wi-Fi, 블루투스 모듈 등)를 통해 전자 장치(100) 내의 프로세서(140)에 입력될 수 있다.
한편, 본 개시의 또 다른 실시예로, 전자 장치(100)는 전자 장치(100)를 제어하는 어플리케이션을 실행하는 사용자 단말 장치로부터 제1 사운드 신호를 입력받을 수 있다. 구체적으로, 전자 장치(100)는 사용자 단말 장치와 Wi-Fi Direct 방식, 블루투스 등 다양한 통신 방식으로 통신 연결될 수 있다. 그리고, 전자 장치(100)를 제어하는 어플리케이션을 실행하는 동안 사용자 단말 장치가 포함하는 마이크를 통해 제1 사운드 신호를 입력받으면, 사용자 단말 장치는 전자 장치(100)에게 제1 사운드 신호를 전송할 수 있다. 즉, 전자 장치(100)는 내장되어 있는 마이크(120) 또는 리모컨(200)에 포함된 마이크(120)를 통해 제1 사운드 신호를 입력받는 경우 뿐만 아니라 전자 장치(100)를 제어할 수 있는 어플리케이션을 실행하는 사용자 단말 장치로부터 제1 사운드 신호를 입력받을 수 있다. 한편, 사용자 단말 장치는 스마트 폰, 태블릿 PC, 랩탑 등 다양한 전자 장치로 구현될 수 있다.
도 1a에 도시된 바와 같이, 전자 장치(100)는 웨이크 업 워드가 포함된 제2 사운드 신호(예를 들어, “하이 빅스비”)(10)를 스피커(110)를 통해 출력할 수 있다. 한편, 전자 장치(100)는 제2 사운드 신호(10)를 프로세서(140) 내의 레지스터 또는 휘발성 메모리 등 전자 장치(100) 내의 저장 구성에 저장할 수 있다. 그리고, 전자 장치(100)는 제2 사운드 신호(10)를 저장하는 동시 또는 임계 시간 내에 스피커(110)를 통해 출력할 수 있다. 즉, 전자 장치(100)는 스피커(110)를 통해 출력되는 제2 사운드 신호(10)를 레지스터 또는 휘발성 메모리 등에 저장하고, 리모컨(200)에 포함된 마이크(120)를 통해 입력된 제1 사운드 신호는 레지스터 또는 휘발성 메모리의 다른 영역에 저장함으로써, 제1 사운드 신호 및 제2 사운드 신호를 구분할 수 있다.
한편, 웨이크 업 워드(wake-up word)는 전자 장치(100)에 저장된 사용자 음성에 대한 응답을 제공할 수 있는 인공 지능 모델인 음성 인식 모델을 활성화시킬 수 있는 워드이며, 트리거 워드(trigger word) 또는 호출어 등으로도 표현될 수 있다. 웨이크 업 워드는 전자 장치(100)가 제작될 때 기정의된 워드 일 수 있으며 사용자에 의해 추가/변경/삭제 될 수 있음은 물론이다. 그리고, 음성 인식 모델이 활성화된다는 것은 비휘발성 메모리에 저장되어 있는 음성 인식 모델이 음성 인식 기능을 수행할 수 있도록 휘발성 메모리에 로딩(loading)되는 동작을 의미할 수 잇다.
한편, 마이크(120)를 통해 제1 사운드 신호가 입력되는 동안, 전자 장치(100)는 스피커(110)를 통해 출력되는 제2 사운드 신호(10)를 웨이크 업 워드 검출 모델에 입력하여 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다. 마이크(120)가 리모컨(200)에 포함되어 있는 경우, 마이크(120)에 입력된 제1 사운드 신호가 리모컨(200)의 통신 모듈을 통해 전자 장치(100)로 입력되는 동안 딜레이(delay)가 발생될 수 있다. 따라서, 일 실시예로, 전자 장치(100)는 딜레이가 발생되는 동안 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다. 또 다른 실시예로, 전자 장치(100)는 마이크(120)가 포함된 리모컨(200)으로부터 제1 사운드 신호가 입력되더라도 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있는지 여부를 식별한 뒤에 제1 사운드와 관련된 동작을 수행할 수 있다. 또 다른 실시예로, 전자 장치(100)는 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있는지 여부를 식별하는 동작을 시작하고 임계 시간 뒤에 제1 사운드와 관련된 동작을 수행할 수 있다.
한편, 전자 장치(100)에 저장된 웨이크 업 검출 모델은 키워드 스폿팅(keyword spotting) 기술 등을 이용하여 제1 및 제2 사운드 신호에 기정의된 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다.
도 1a에 도시된 바와 같이, 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있다고 식별되면, 전자 장치(100)는 음성 인식 모델을 활성화하지 않도록 제어할 수 있다. 구체적으로, 스피커(110)에서 출력된 사운드 신호에 포함된 웨이크 업 워드는 사용자로부터 음성 인식 모델을 활성화하기 위한 목적으로 발화된 웨이크 업 워드가 아닐 수 있다. 따라서, 스피커(110)를 통해 출력된 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있다고 식별되면, 전자 장치(100)는 제1 사운드 신호에 웨이크 업 워드가 포함되어 있더라도 음성 인식 모델을 활성화하지 않도록 제어할 수 있다.
일 실시예로, 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 전자 장치(100)는 마이크(120)를 통해 입력된 제1 사운드 신호를 웨이크 업 워드 검출 모델에 입력하여 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다. 또 다른 실시예로, 제2 사운드 신호(10)에 웨이크 업 워드가 포함되어 있는지 여부를 식별하는 동작을 시작하고 임계 시간 후, 전자 장치(100)는 제1 사운드 신호를 웨이크 업 검출 모델에 입력하여 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다. 이 때, 제2 사운드 신호(10)에 웨이크 업 워드가 포함된 것으로 식별하면, 전자 장치(100)는 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 식별하는 동작을 중지하고 음성 인식 모델을 활성화되지 않도록 제어할 수 있다.
그리고, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있다고 식별되면, 전자 장치(100)는 음성 인식 모델을 활성화시킬 수 있다. 즉, 제1 사운드 신호에 포함된 웨이크 업 워드는 전자 장치(100)의 스피커(110)를 통해 출력된 웨이크 업 워드가 아니며, 사용자로부터 음성 인식 모델을 활성화시킬 목적으로 발화된 웨이크 업 워드일 수 있다. 따라서, 도 1b에 도시된 바와 같이, 제2 사운드 신호(10)에는 웨이크 업 워드가 포함되어 있지 않지만, 제1 사운드 신호(20)에는 웨이크 업 워드가 포함되어 있는 경우, 전자 장치(100)는 음성 인식 모델을 활성화시킬 수 있다.
그리고, 도 1b에 도시된 바와 같이, 음성 인식 모델이 활성화된 경우, 전자 장치(100)는 음성 인식 모델이 활성화되었음을 나타내는 인디케이터(30) 또는 사용자에게 요청 사항을 문의하는 메시지(40) 등을 표시할 수 있다. 다만, 이는 일 실시예에 불과하며, 전자 장치(100)는 음성 인식 모델이 활성화되었음을 나타내는 다양한 인디케이터 또는 UI 등을 표시할 수 있다.
한편, 일 실시예로, 전자 장치(100)는 제1 사운드 신호를 입력할 웨이크 업 워드 검출 모델과 제2 사운드 신호를 입력할 웨이크 업 워드 검출 모델에 포함된 연산을 수행하기 위한 파라미터(parameter)가 서로 다르도록 제어할 수 있다. 마이크(120)를 통해 입력된 1 사운드 신호의 경우, 스피커(120)를 통해 출력되는 제2 사운드 신호에 비해 비교적 많은 양의 잡음에 따른 간섭 효과, 잔향 효과 등이 포함되어 있을 수 있다. 따라서, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별하는 경우, 전자 장치(100)는 잡음, 잔향 효과등을 제거하면서 웨이크 업 워드를 식별할 수 있도록 웨이크 업 워드 검출 모델의 파라미터를 변경할 수 있다. 다만, 이는 일 실시예에 불과하며, 제1 사운드 신호에 포함된 웨이크 업 워드를 검출하는 검출 모델과 제2 사운드 신호에 포함된 웨이크 업 워드를 검출하는 검출 모델은 별개의 모델로 구현될 수 있다.
그리고, 전자 장치(100)는 하나 이상의 음성 인식 모델을 저장할 수 있다. 음성 인식 모델이 하나 이상인 경우, 하나 이상의 음성 인식 모델 각각을 활성화시킬 수 있는 웨이크 업 워드 역시 다를 수 있다. 예를 들어, 제1 음성 인식 모델을 활성화시킬 수 있는 웨이크 업 워드가 도 1a 및 도 1b에 도시된 “하이 빅스비”라면, 제2 음성 인식 모델을 활성시킬 수 있는 웨이크 업 워드는 “헬로 무글”일 수 있다. 또한, 하나 이상의 음성 인식 모델에 대응되는 웨이크 업 워드를 식별할 수 있는 웨이크 업 검출 모델 다른 모델로 구현될 수 있다. 따라서, 복수의 음성 인식 모델이 저장된 경우, 전자 장치(100)는 제2 사운드 신호(10)를 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델 모두에 입력하여 제2 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다.
그리고, 제2 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드가 포함되어 있지 않은 것으로 식별되면, 전자 장치(100)는 제1 사운드 신호를 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델 모두에 입력하여 제1 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다. 제1 사운드 신호에 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 전자 장치(100)는 웨이크 업 워드에 대응되는 음성 인식 모델을 활성화시킬 수 있다. 한편, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 전자 장치(100)는 하나 이상의 음성 인식 모델을 모두 활성화되지 않도록 제어할 수 있다. 즉, 복수의 음성 인식 모델이 저장되어 있는 경우에도, 전자 장치(100)는 마이크(120)를 통해 입력된 웨이크 업 워드가 음성 인식 모델을 활성화시키기 위한 사용자 의도에 맞는 웨이크 업 워드인지 여부를 식별할 수 있다.
한편, 본 개시의 또 다른 실시예로, 전자 장치(100)는 스피커(110)를 통해 출력된 제2 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별하기 전에 마이크(120)를 통해 입력된 제1 사운드에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다.
상술한 바와 같이, 하나 이상의 음성 인식 모델이 저장되어 있는 경우, 전자 장치(100)는 하나 이상의 음성 인식 모델 각각을 활성화시킬 수 있는 웨이크 업 워드를 식별할 수 있는 웨이크 업 워드 검출 모델을 저장할 수 있다. 따라서, 전자 장치(100)는 마이크(120)를 통해 입력된 제1 사운드 신호(10)를 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 제1 사운드 신호에 하나 이상의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다. 즉, 전자 장치(100)는 제2 사운드 신호는 레지스터 또는 휘발성 메모리 등 저장 공간에 저장해두고 제1 사운드 신호(10)에 하나 이상의 음성 인식 모델에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 먼저 식별할 수 있다.
제1 사운드 신호에 웨이크 업 워드 중 하나가 포함되어 있는 것으로 식별되면, 전자 장치(100)는 스피커(110)를 통해 출력되는 제2 사운드 신호(10)를 제1 사운드 신호에 포함된 것으로 식별된 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델에 입력하여 제2 사운드 신호에 해당 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다. 그리고, 제2 사운드 신호에 웨이크 업 워드 중 하나가 포함되어 있다고 식별되면, 전자 장치(100)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다 즉, 전자 장치(100)는 제2 사운드 신호를 하나 이상의 음성 인식 모델에 대응되는 제2 웨이크 업 워드 검출 모델 모두에 입력하지 않고, 제1 사운드 음성 신호에 포함된 것으로 식별된 특정 웨이크 업 워드에 대응되는 하나의 제2 웨이크 업 워드 검출 모델에만 입력할 수 있다. 그리고, 제2 웨이크 업 워드 검출 모델에 특정 웨이크 업 워드가 포함된 것으로 식별되면, 스피커(110)를 통해 특정 웨이크 업 워드가 포함된 사운드 신호가 입력된 것이므로, 전자 장치(100)는 음성 인식 모델을 활성화하지 않도록 제어할 수 있다.
예를 들어, 제1 사운드 신호에 웨이크 업 워드 중 하나인 '하이 빅스비'가 포함되어 있는 것으로 식별된 경우, 전자 장치(100)는 적어도 하나의 제2 웨이크 업 워드 검출 모델 중 '하이 빅스비'를 식별 및 검출할 수 있는 제2 웨이크 업 워드 검출 모델에 제2 사운드 신호를 입력할 수 있다. 그리고, 해당 검출 모델을 통해 제2 사운드 신호에 '하이 빅스비'가 포함되어 있지 않다고 식별되면, 전자 장치(100)는 음성 인식 모델을 활성화할 수 있다.
한편, 제1 사운드 신호에 적어도 하나의 음성 인식 모델에 대응되는 웨이크 업 워드 중 하나가 포함되어 있지 않다고 식별되면, 전자 장치(100)는 음성 인식 모델을 활성화하지 않도록 제어할 수 있다. 즉, 마이크(120)를 통해 입력된 제1 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다는 것은 사용자가 웨이크 업 워드를 발화하지 않았음을 의미할 수 있으므로, 전자 장치(100)는 음성 인식 모델을 활성화하지 않을 수 있다.
도 2a는 본 개시의 일 실시예에 따른, 전자 장치(100)의 구성을 간략히 도시한 블록도이다. 도 2a에 도시된 바와 같이, 전자 장치(100)는 스피커(110), 마이크(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 다만, 도 2a에 도시된 구성은 본 개시의 실시예들을 구현하기 위한 예시도이며, 통상의 기술자에게 자명한 수준의 적절한 하드웨어 및 소프트웨어 구성들이 전자 장치(100)에 추가적으로 포함될 수 있다.
스피커(110)는 오디오 처리부에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 한편, 오디오를 출력하기 위한 구성은 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다. 그리고, 스피커(110)에서 출력될 제2 사운드 신호는 프로세서(140) 제어에 의해 레지스터 또는 휘발성 메모리 등에 저장되어 있을 수 있다.
마이크(120)는 전자 장치(100)의 주변 사운드 신호가 포함된 제1 사운드 신호를 입력받을 수 있는 구성이다. 일 실시예로, 마이크(120)는 전자 장치(100)를 제어할 수 있는 리모컨(200)에 포함되어 있을 수 있다. 이 때, 마이크(120)에 입력된 제1 사운드 신호는 유/무선 인터페이스(예를 들어, Wi-Fi, 블루투스 모듈 등)을 통해 프로세서(140)에 입력될 수 있다. 또 다른 실시예로, 마이크(120)는 전자 장치(100)에 내장되어 있을 수 있다.
메모리(130)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 특히, 메모리(130)는 비휘발성 메모리(예를 들어, RAM(Dynamic Random-Access Memory) 및 SRAM(Static RAM), 휘발성 메모리(플래시 메모리(Flash Memory), PROM(Programmable Read-Only Memory), MRAM(Magnetoresistive Random-Access Memory) 및 RRAM(Resistive RAM)), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다.
한편, 휘발성 메모리는 저장된 정보를 유지하기 위해서는 지속적인 전력 공급이 필요한 메모리를 말한다. 휘발성 메모리는 프로세서(140)와 연동될 수 있는 프로세서(140)와 별개의 구성 요소로 구현될 수 있으나 이는 일 실시예에 불과하며, 휘발성 메모리는 프로세서(140)의 일 구성요소로서 프로세서(140)에 포함된 형태로 구현될 수 있다. 그리고, 비휘발성 메모리는 전력 공급이 중단되더라도 저장된 정보를 유지할 수 있는 메모리를 말한다.
메모리(130)는 프로세서(140)에 의해 액세스되며, 프로세서(140)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(130), 프로세서(140) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 메모리(130)에는 디스플레이의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
특히, 메모리(130)는 사용자 음성에 대한 응답을 제공할 수 있는 인공지능 모델인 음성 인식 모델을 저장할 수 있다. 음성 인식 모델은 비휘발성 메모리에 저장되어 있다가 사용자가 발화한 웨이크 업 워드가 식별되면, 프로세서(140) 제어에 의해 휘발성 메모리에 로딩되어 활성화될 수 있다. 음성 인식 모델은 사용자 음성에 대응되는 텍스트를 출력하고, 출력한 텍스트의 의도를 파악할 수 있다.
그리고, 메모리(130)는 웨이크 업 워드 검출 모델을 저장할 수 있다. 비휘발성 메모리에 저장되어 있는 웨이크 업 워드 검출 모델은 전자 장치(100)의 전원이 온(on)되면 프로세서(140) 제어에 의해 휘발성 메모리에 로딩되어 활성화될 수 있다. 따라서, 전자 장치(100)의 전원이 온(on)되어 있는 경우, 웨이크 업 워드 검출 모델은 활성화되어 제1 사운드 신호 및 제2 사운드 신호에 포함된 웨이크 업 워드를 식별할 수 있다.
한편, 메모리(130)에는 복수의 음성 인식 모델이 저장될 수 있다. 그리고, 일 실시예로, 메모리(130)에는 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델이 저장되어 있을 수 있다. 또 다른 예로, 메모리(130)에는 복수의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델 및 제2 웨이크 업 워드 검출 모델이 저장될 수 있다. 제1 웨이크 업 워드 검출 모델은 마이크(120)를 통해 입력된 제1 사운드 신호에 포함된 웨이크 업 워드를 검출 및 식별하는 모델이고, 제2 웨이크 업 워드 검출 모델은 스피커(110)를 통해 출력된 제2 사운드 신호에 포함된 웨이크 업 워드를 검출 및 식별하는 모델이다.
프로세서(140)는 메모리(130)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 특히, 마이크(120)를 통해 제1 사운드 신호가 입력되는 동안, 프로세서(140)는 스피커(110)를 통해 출력되는 제2 사운드 신호를 웨이크 업 워드 검출 모델에 입력하여 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별할 수 있다.
제2 사운드 신호에 웨이크 업 워드가 포함되어 있다고 식별되면, 프로세서(140)는 제1 사운드 사운드 신호에 웨이크 업 워드가 포함되어 있더라도 음성 인식 모델을 활성화하지 않도록 제어할 수 있다. 즉, 스피커(110)를 통해 출력된 제1 사운드 신호에 포함된 웨이크 업 워드는 사용자가 음성 인식 모델을 활성화하기 위해 발화한 웨이크 업 워드가 아니므로, 프로세서(140)는 음성 인식 모델을 활성화하지 않도록 제어할 수 있다.
한편, 제2 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 프로세서(140)는 마이크(120)를 통해 입력된 제1 사운드 신호를 웨이크 업 검출 모델에 입력하여 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다. 일 실시예로, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있다고 식별되면, 프로세서(140)는 음성 인식 모델을 활성화할 수 있다. 한편, 일 실시예로, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 프로세서(140)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다.
그리고, 메모리(130)에 복수의 음성 인식 모델이 저장된 경우, 프로세서(140)는 제2 사운드 신호를 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델 모두에 입력하여 제2 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다.
제2 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 프로세서(140)는 제1 사운드 신호를 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델에 입력하여 제1 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다. 제1 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 프로세서(140)는 음성 인식 모델을 활성화할 수 있다. 또 다른 예로, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있지 않은 것으로 식별되면, 프로세서(140)는 음성 인식 모델을 활성화되지 않도록 제어할 수 있다.
한편, 제2 사운드 신호에 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있다고 식별되면, 프로세서(140)는 제1 사운드 신호에 복수의 음성 인식 모델에 대응되는 웨이크 업 워드 중 하나가 포함되어 있더라도 음성 인식 모델이 활성화되지 않도록 제어할 수 있다.
한편, 본 개시의 또 다른 실시예로, 프로세서(140)는 마이크(120)를 통해 입력된 제1 사운드 신호를 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 제1 사운드 신호에 적어도 하나의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다.
제1 사운드 신호에 적어도 하나의 음성 인식 모델에 대응되는 웨이크 업 워드 중 하나가 포함되어 있지 않다고 식별되면, 프로세서(140)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다. 즉, 마이크(120)를 통해 입력된 제1 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다는 것은 사용자가 음성 인식 모델을 활성화하기 위한 웨이크 업 워드를 발화하지 않았다는 것을 의미할 수 있으므로, 프로세서(140)는 음성 인식 모델을 활성화하지 않도록 제어할 수 있다.
한편, 제1 사운드 신호에 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 프로세서(140)는 스피커(110)를 통해 출력되는 제2 사운드 신호를 식별된 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델에 입력하여 제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다. 즉, 마이크(120)를 통해 입력된 제1 사운드 신호에 웨이크 업 워드가 포함된 경우는 스피커(110)를 통해 출력된 제2 사운드 신호에 웨이크 업 워드가 포함된 경우를 포함할 수 있으므로, 프로세서(140)는 제2 사운드 신호에도 식별된 웨이크 업 워드 중 하나가 포함되었는지 여부를 식별할 수 있다. 예를 들면, 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델을 통해 제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함되어 있다고 식별되면, 프로세서(140)는 음성 인식 모델을 활성화하지 않도록 제어할 수 있다. 또 다른 예로, 제2 사운드 신호에 웨이크 업 워드 중 하나가 포함되어 있지 않다고 식별되면, 프로세서(140)는 음성 인식 모델이 활성화되도록 제어할 수 있다.
그리고, 프로세서(140)는 디지털 신호를 처리하는 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(140)는 메모리(130)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다. 뿐만 아니라, 프로세서(140)는 인공지능 기능을 수행하기 위하여, 별도의 AI 전용 프로세서인 GPU(graphics-processing unit), NPU(Neural Processing Unit), VPU(Visual Processing UniT) 중 적어도 하나를 포함할 수 있다.
도 2b는 본 개시의 일 실시예에 따른, 전자 장치(100)의 구성을 상세히 도시한 블록도이다. 도 2b에 도시된 바와 같이, 전자 장치(100)는 스피커(110), 마이크(120), 메모리(130), 프로세서(140), 통신부(150), 디스플레이(160), 입력부(170), 및 센서(180) 및 입출력 인터페이스(190)를 포함할 수 있다. 한편, 스피커(110), 마이크(120), 메모리(130) 및 프로세서(140)는 도 2a를 참조하여 구체적으로 설명하였으므로 중복되는 설명은 생략하도록 한다.
통신부(150)는 회로를 포함하며 외부 장치와 통신을 수행할 수 있다. 이 때, 통신부(150)가 외부 장치와 통신 연결되는 것은 제3 기기(예로, 중기기, 허브, 액세스 포인트, 서버 또는 게이트 웨이 등)를 거쳐서 통신하는 것을 포함할 수 있다. 특히, 통신부(150)는 리모컨(200)으로부터 블루투스 모듈 등 각종 통신 모듈을 통하여 제2 사운드 신호를 수신하여 프로세서(140)에 입력 및 전송할 수 있다.
한편, 통신부(150)는 외부 장치와 통신을 수행하기 위해 다양한 통신 모듈을 포함할 수 있다. 일 예로, 통신부(150)는 무선 통신 모듈을 포함할 수 있으며, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), 5G(5th Generation), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신 모듈을 포함할 수 있다. 또 다른 예로, 무선 통신 모듈은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다.
디스플레이(160)는 프로세서(140) 제어에 따라 다양한 정보를 표시할 수 있다. 특히, 디스플레이(160)는 음성 인식 모델이 활성화되면 프로세서(140) 제어에 의해 음성 인식 모델이 활성화되었다는 인디케이터를 표시할 수 있다. 그리고, 디스플레이(160)는 프로세서(140) 제어에 의해 음성 인식 모델에 입력할 사용자 음성을 요구하는 메시지 또는 UI를 표시할 수 있다.
그리고, 디스플레이(160)는 터치 패널과 함께 터치 스크린으로 구현될 수 있다. 또한, 디스플레이(160)의 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon), QLED(Quantum dot Light-Emitting Diode) 및 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다.
입력부(170)는 전자 장치(100)를 제어하기 위한 사용자 입력을 수신할 수 있다. 특히, 입력부(170)는 사용자 손 또는 스타일러스 펜 등을 이용한 사용자 터치를 입력받기 위한 터치 패널, 사용자 조작을 입력받기 위한 버튼 등이 포함될 수 있다. 그 밖에, 입력부(170)는 다른 입력 장치(예로, 키보드, 마우스, 모션 입력부 등)로 구현될 수 있다.
센서(180)는 전자 장치(100) 주위의 환경 정보를 감지할 수 있는 센서(예로, 온도 센서, 습도 센서, 기압 센서 등), 사용자의 존재를 감지할 수 있는 센서(예로, 카메라, UWB 센서, IR 센서, 근접 센서, 광센서 등) 등을 포함할 수 있다. 그 밖에, 센서(180)는 전자 장치(100)의 외부를 촬영하기 위한 이미지 센서 등을 더 포함할 수 있다.
입출력 인터페이스(190)는 오디오 및 영상 신호 중 적어도 하나를 입출력 할 수 있다. 특히, 입출력 인터페이스(190)는 외부 장치로부터 컨텐츠 및 UI 중 적어도 하나를 포함하는 영상을 입력받을 수 있으며, 외부 장치로 제어 명령을 출력할 수 있다. 한편, 입출력 인터페이스(190)는 HDMI(High Definition Multimedia Interface) 일 수 있으나, 이는 일 실시예에 불과할 뿐, MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다. 구현 예에 따라, 입출력 인터페이스(190)는 오디오 신호만을 입출력하는 포트와 영상 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 영상 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다. 한편, 통신부(150)와 입출력 인터페이스(190)가 별개의 구성 요소로 도시되어 있으나 이는 일 실시예에 불과하며 입출력 인터페이스(190)는 통신부(150)에 포함된 형태로도 구현될 수 있다.
도 3은 본 개시의 실시예에 따른, 전자 장치(100)의 동작을 설명하기 위한 제1 순서도이다. 우선, 전자 장치(100)는 스피커(110)를 통해 제2 사운드 신호를 출력할 수 있다(S310). 전자 장치(100)는 오디오 처리부에 의해 디코딩, 증폭, 노이즈 필터링 같은 작업을 수행한 제2 사운드 신호를 스피커(110)를 통해 출력하고, 출력할 제2 사운드 신호는 레지스터 또는 메모리 등 저장 공간에 저장할 수 있다. 그리고, 마이크(110)를 통해 제1 사운드 신호가 입력되는 동안, 전자 장치(100)는 제2 사운드 신호를 웨이크 업 검출 모델에 입력하여 제2 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다(S320).
제2 사운드 신호에 웨이크 업 워드가 워드가 포함되어 있다고 식별되면, 전자 장치(100)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다(S320-Y). 한편, 제2 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 전자 장치(100)는 제1 사운드 신호를 웨이크 업 워드 검출 모델이 입력하여 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다(S320-N). 한편, 전자 장치(100)는 제1 사운드 신호를 입력할 웨이크 업 워드 검출 모델의 파라미터는 변경되도록 제어할 수 있다. 즉, 전자 장치(100)는 제1 사운드 신호를 입력할 웨이크 업 워드 검출 모델의 연산 파라미터는 잡음 필터링, 잔향 효과가 제거되도록 변경할 수 있다.
한편, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 전자 장치(100)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다(S320-Y). 그리고, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있다고 식별되면, 전자 장치(100)는 음성 인식 모델을 활성화할 수 있다(S330).
위 실시예의 경우, 마이크(120)를 통해 입력된 제1 사운드 신호가 유/무선 인터페이스를 통해 전자 장치(100)로 전송되는 딜레이 시간 동안, 전자 장치(100)는 제2 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별하고, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별하므로 후술할 제2 순서도에 따른 실시예에 비해 낭비되는 시간 없이 음성 인식 모델을 활성화시킬지 여부를 결정할 수 있다.
도 4는 본 개시의 일 실시예에 따른, 전자 장치(100)의 동작을 설명하기 위한 제2 순서도이다.
우선, 전자 장치(100)는 스피커(110)를 통해 출력될 제2 사운드 신호는 메모리 또는 레지스터 등에 저장할 수 있다(S410). 그리고, 전자 장치(100)는 마이크(120)를 통해 입력된 제1 사운드 신호를 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 제1 사운드 신호에 적어도 하나의 음성 인식 모델에 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다(S420).
제1 사운드 신호에 적어도 하나의 음성 인식 모델에 대응되는 웨이크 업 워드가 포함되어 있지 않은 경우, 전자 장치(100)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다(S420-N). 한편, 제1 사운드 신호에 적어도 하나의 음성 인식 모델에 대응되는 웨이크 업 워드 중 하나가 포함되어 있다고 식별되면, 전자 장치(100)는 제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다(S420-Y). 구체적으로, 전자 장치(100)는 하나 이상의 제2 웨이크 업 워드 검출 모델 중 식별된 웨이크 업 워드 중 하나에 대응되는 검출 모델에 제2 사운드 신호를 입력하여 제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다.
제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함되어 있는 것으로 식별되면, 전자 장치(100)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다(S420-N). 그리고, 제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함되어 있지 않은 것으로 식별되면, 전자 장치(100)는 음성 인식 모델을 활성화할 수 있다(S430).
위 실시예의 경우, 복수의 음성 인식 모델이 저장되어 있는 경우, 전자 장치(100)는 먼저 마이크(120)를 통해 입력된 제1 사운드 신호에 어떤 웨이크 업 워드가 포함되어 있는지 식별하고, 복수의 제2 웨이크 업 워드 검출 모델 중 식별된 웨이크 업 워드에 대응되는 검출 모델에만 제2 사운드 신호를 입력하여 사용자의 의도를 파악할 수 있다. 즉, 전자 장치(100)는 상술한 제1 순서도에 따른 실시예에 비해 프로세서(140) 및 메모리(130) 리소스(Resource)를 적게 사용할 수 있다.
도 5는 본 개시의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 제1 순서도이다.
우선, 마이크(120)를 통해 제1 사운드 신호가 입력되는 동안, 전자 장치(100)는 스피커(110)를 통해 출력되는 제2 사운드 신호를 웨이크 업 워드 검출 모델에 입력하여 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별할 수 있다(S510). 전자 장치(100)는 스피커(110)를 통해 출력될 제2 사운드 신호를 저장하며 제1 사운드 신호는 유/무선 인터페이스를 통해 입력되므로 제1 사운드 신호 및 제2 사운드 신호를 구분할 수 있다.
그리고, 제2 사운드 신호에 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 전자 장치(100)는 마이크(120)를 통해 입력된 제1 사운드 신호를 웨이크 업 워드 검출 모델에 입력하여 제1 사운드 신호에 웨이크 업 워드가 포함되어 있는지 여부를 식별할 수 있다(S520). 제1 사운드 신호에 웨이크 업 워드가 포함되어 있으면, 전자 장치(100)는 음성 인식 모델을 활성화시킬 수 있으나, 제1 사운드 신호에 웨이크 업 워드가 포함되어 있지 않으면, 전자 장치(100)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다.
도 6는 본 개시의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 제2 순서도이다.
전자 장치(100)는 마이크를 통해 입력된 제1 사운드 신호를 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 제1 사운드 신호에 적어도 하나의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다(S610). 그리고, 제1 사운드 신호에 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 전자 장치(100)는 스피커(110)를 통해 출력되는 제2 사운드 신호를 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델에 입력하여 제2 사운드 신호에 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별할 수 있다. 제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 전자 장치(100)는 음성 인식 모델이 활성화되지 않도록 제어할 수 있다. 그리고, 제2 사운드 신호에 식별된 웨이크 업 워드 중 하나가 포함되지 않은 것으로 식별되면, 전자 장치(100)는 음성 인식 모델이 활성화되도록 제어할 수 있다.
한편, 본 개시에 첨부된 도면은 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
한편, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다. 이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하도록 한다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
110: 스피커 120: 마이크
130: 메모리 140: 프로세서

Claims (16)

  1. 전자 장치에 있어서,
    스피커;
    마이크;
    음성 인식 모델을 저장하는 메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 마이크를 통해 제1 사운드 신호가 입력되는 동안, 상기 스피커를 통해 출력되는 제2 사운드 신호를 웨이크 업 워드(wake-up word) 검출 모델에 입력하여 상기 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별하고,
    상기 제2 사운드 신호에 상기 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 상기 마이크를 통해 입력된 상기 제1 사운드 신호를 상기 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있는지 여부를 식별하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있다고 식별되면, 상기 음성 인식 모델을 활성화하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 사운드 신호에 상기 웨이크 업 워드가 포함되어 있다고 식별되면, 상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있더라도 상기 음성 인식 모델을 활성화하지 않도록 제어하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 메모리에 복수의 음성 인식 모델이 저장된 경우, 상기 제2 사운드 신호를 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델에 입력하여 상기 제2 사운드 신호에 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 제2 사운드 신호에 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드가 포함되어 있지 않은 것으로 식별되면, 상기 제1 사운드 신호를 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 전자 장치.
  6. 전자 장치에 있어서,
    스피커;
    마이크;
    적어도 하나의 음성 인식 모델을 저장하는 메모리; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    상기 마이크를 통해 입력된 제1 사운드 신호를 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하고,
    상기 제1 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 상기 스피커를 통해 출력되는 제2 사운드 신호를 상기 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델에 입력하여 상기 제2 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델을 통해 상기 제2 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함되어 있다고 식별되면, 상기 음성 인식 모델이 활성화되지 않도록 제어하는 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 사운드 신호에 상기 적어도 하나의 음성 인식 모델에 대응되는 웨이크 업 워드 중 하나가 포함되어 있지 않다고 식별되면, 상기 음성 인식 모델을 활성화하지 않도록 제어하는 전자 장치.
  9. 음성 인식 모델을 저장하는 메모리를 포함하는 전자 장치의 제어 방법에 있어서,
    마이크를 통해 제1 사운드 신호가 입력되는 동안, 스피커를 통해 출력되는 제2 사운드 신호를 웨이크 업 워드(wake-up word) 검출 모델에 입력하여 상기 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별하는 단계; 및
    상기 제2 사운드 신호에 상기 웨이크 업 워드가 포함되어 있지 않다고 식별되면, 상기 마이크를 통해 입력된 상기 제1 사운드 신호를 상기 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있는지 여부를 식별하는 단계;를 포함하는 제어 방법.
  10. 제9항에 있어서,
    상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있는지 여부를 식별하는 단계는,
    상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있다고 식별되면, 상기 음성 인식 모델을 활성화하는 단계;를 포함하는 제어 방법.
  11. 제9항에 있어서,
    상기 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별하는 단계는,
    상기 제2 사운드 신호에 상기 웨이크 업 워드가 포함되어 있다고 식별되면, 상기 제1 사운드 신호에 상기 웨이크 업 워드가 포함되어 있더라도 상기 음성 인식 모델을 활성화하지 않도록 제어하는 단계;를 포함하는 제어 방법.
  12. 제9항에 있어서,
    상기 제2 사운드 신호에 웨이크 업 워드가 포함되었는지 여부를 식별하는 단계는,
    상기 메모리에 복수의 음성 인식 모델이 저장된 경우, 상기 제2 사운드 신호를 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델에 입력하여 상기 제2 사운드 신호에 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 제2 사운드 신호에 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계는,
    상기 제2 사운드 신호에 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드가 포함되어 있지 않은 것으로 식별되면, 상기 제1 사운드 신호를 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 복수의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계;를 포함하는 제어 방법.
  14. 적어도 하나의 음성 인식 모델을 저장하는 메모리를 포함하는 전자 장치의 제어 방법에 있어서,
    마이크를 통해 입력된 제1 사운드 신호를 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 제1 웨이크 업 워드 검출 모델에 입력하여 상기 제1 사운드 신호에 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계; 및
    상기 제1 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함된 것으로 식별되면, 스피커를 통해 출력되는 제2 사운드 신호를 상기 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델에 입력하여 상기 제2 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계;를 포함하는 제어 방법.
  15. 제14항에 있어서,
    상기 웨이크 업 워드 중 하나에 대응되는 제2 웨이크 업 워드 검출 모델을 통해 상기 제2 사운드 신호에 상기 웨이크 업 워드 중 하나가 포함되어 있다고 식별되면, 상기 음성 인식 모델이 활성화되지 않도록 제어하는 단계;를 더 포함하는 제어 방법.
  16. 제14항에 있어서,
    상기 제1 사운드 신호에 상기 적어도 하나의 음성 인식 모델 각각에 대응되는 웨이크 업 워드 중 하나가 포함되어 있는지 여부를 식별하는 단계는,
    상기 제1 사운드 신호에 상기 적어도 하나의 음성 인식 모델에 대응되는 웨이크 업 워드 중 하나가 포함되어 있지 않다고 식별되면, 상기 음성 인식 모델을 활성화하지 않도록 제어하는 단계;를 포함하는 제어 방법.
KR1020190179671A 2019-12-12 2019-12-31 전자 장치 및 이의 제어 방법 KR20210074974A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2020/018077 WO2021118269A1 (en) 2019-12-12 2020-12-10 Electronic device and method for controlling electronic device
US17/121,196 US11688396B2 (en) 2019-12-12 2020-12-14 Electronic device and method for controlling electronic device
US18/318,440 US20230282213A1 (en) 2019-12-12 2023-05-16 Electronic device and method for controlling electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962947225P 2019-12-12 2019-12-12
US62/947,225 2019-12-12

Publications (1)

Publication Number Publication Date
KR20210074974A true KR20210074974A (ko) 2021-06-22

Family

ID=76600727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179671A KR20210074974A (ko) 2019-12-12 2019-12-31 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR20210074974A (ko)

Similar Documents

Publication Publication Date Title
KR20210066647A (ko) 전자 장치 및 이의 제어 방법
US10872617B2 (en) User command processing method and system for adjusting output volume of sound to be output, on basis of input volume of received voice input
EP3642838B1 (en) Method for operating speech recognition service and electronic device and server for supporting the same
CN105793921A (zh) 基于部分热词发起动作
US20220130392A1 (en) Electronic device and control method thereof
US10996922B2 (en) Electronic apparatus for processing user utterance
KR20190109916A (ko) 전자 장치 및 상기 전자 장치로부터 수신된 데이터를 처리하는 서버
US11915700B2 (en) Device for processing user voice input
CN110945455B (zh) 处理用户话语以用于控制外部电子装置的电子装置及其控制方法
KR102345883B1 (ko) 그래픽 표시를 출력하는 전자 장치
US11710498B2 (en) Electronic device and control method therefor
US11417323B2 (en) Electronic apparatus and control method thereof
KR20200132673A (ko) 전자 장치 및 이의 제어 방법
US20200219504A1 (en) Display apparatus, display system having the same, and method thereof
US11688396B2 (en) Electronic device and method for controlling electronic device
KR20210074974A (ko) 전자 장치 및 이의 제어 방법
KR102223268B1 (ko) 사운드 기반의 메커니즘을 기반으로 스마트 표시 장치의 디스플레이를 비활성화 방법 및 시스템
KR20220053456A (ko) 전자 장치 및 이의 제어 방법
CN108449625B (zh) 视频截图方法、装置及终端
US10560939B2 (en) User terminal device and control method therefor
US20240161752A1 (en) Electronic apparatus and controlling method thereof
US20230245656A1 (en) Electronic apparatus and control method thereof
KR20230132263A (ko) 전자 장치 및 이의 제어 방법
EP4343758A1 (en) Electronic device and control method therefor
KR20230089783A (ko) 디스플레이 장치 및 그 제어 방법