KR20210056776A - Control method and electronic device of display type ai speaker - Google Patents

Control method and electronic device of display type ai speaker Download PDF

Info

Publication number
KR20210056776A
KR20210056776A KR1020190143652A KR20190143652A KR20210056776A KR 20210056776 A KR20210056776 A KR 20210056776A KR 1020190143652 A KR1020190143652 A KR 1020190143652A KR 20190143652 A KR20190143652 A KR 20190143652A KR 20210056776 A KR20210056776 A KR 20210056776A
Authority
KR
South Korea
Prior art keywords
speaker
mode
display
response
voice
Prior art date
Application number
KR1020190143652A
Other languages
Korean (ko)
Other versions
KR102661821B1 (en
Inventor
이동진
오정엽
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190143652A priority Critical patent/KR102661821B1/en
Priority claimed from KR1020190143652A external-priority patent/KR102661821B1/en
Priority to PCT/KR2020/011544 priority patent/WO2021096036A1/en
Publication of KR20210056776A publication Critical patent/KR20210056776A/en
Application granted granted Critical
Publication of KR102661821B1 publication Critical patent/KR102661821B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1066—Constructional aspects of the interconnection between earpiece and earpiece support
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Manufacturing & Machinery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An AI speaker device includes: a housing including a first surface forming a bottom surface of an AI speaker, a second surface adjacent to the first surface, and a third surface simultaneously adjacent to the first surface and the second surface; a display disposed on the second surface; at least one sensor; a microphone; a speaker; a memory in which instructions are stored; and a processor electrically connected to the display, the at least one sensor, the microphone, the speaker, and the memory, wherein the processor is configured to control the AI speaker in a first mode in response to the processor determining that a first surface of the AI speaker faces a first direction through the at least one sensor, and set, while operating in the first mode, to: acquire a first voice input for activating a voice recognition function by the microphone; activate the voice recognition function in response to the acquisition of the first voice input; output a result of processing through the voice recognition function corresponding to a second voice input that is subsequent to the first voice input by using at least one of the speaker and the display; and switch the AI speaker from the first mode to a second mode in response to the processor determining that a third surface of the AI speaker faces the first direction through the at least one sensor. Various other embodiments identified through the present disclosure are possible. Accordingly, functions of the AI speaker are rapidly and easily used through intuitive mode switching.

Description

디스플레이형 AI 스피커의 제어방법 및 그 장치 {CONTROL METHOD AND ELECTRONIC DEVICE OF DISPLAY TYPE AI SPEAKER}Control method and device of display type AI speaker {CONTROL METHOD AND ELECTRONIC DEVICE OF DISPLAY TYPE AI SPEAKER}

본 문서에서 개시되는 실시 예들은, 사용자에게 디스플레이형 AI 스피커의 빠른 실행 모드를 제공하기 위한 디스플레이형 AI 스피커의 제어방법 및 그 장치에 관한 것이다.Embodiments disclosed in this document relate to a method and apparatus for controlling a display type AI speaker for providing a user with a quick execution mode of the display type AI speaker.

AI 스피커 및 디스플레이형 AI 스피커 등, AI 기기의 확산으로 인하여, 사용자들이 AI 기기를 통해 서비스나 기능을 이용하는 경우가 늘어나고 있다. 디스플레이형 AI 스피커를 사용하는 경우, 사용자들은 주로 음성으로 기기에 명령을 입력한다. 이를 통해, 터치 입력 등의 조작을 하지 않고도 원거리에서 편리하게 AI 스피커를 이용할 수 있다.Due to the proliferation of AI devices such as AI speakers and display-type AI speakers, users are increasingly using services or functions through AI devices. When using a display-type AI speaker, users usually enter commands into the device by voice. Through this, it is possible to conveniently use the AI speaker from a distance without manipulating touch input or the like.

기존의 디스플레이형 AI 스피커를 사용하는 경우, 사용자들은 일상에서 빈번하게 사용하는 기능들을 사용할 때마다 동일한 명령을 반복적으로 말하는 과정이 필요했다. 따라서, 기존의 디스플레이형 AI 스피커의 사용자들은 반복적으로 동일한 명령을 입력해야 하는 불편함을 갖게 됐다. 또한, 기존의 디스플레이형 AI 스피커가 음성 명령 처리를 하는 경우, 사용자들은 음성 명령 수행에 필요한 정보들을 명시적으로 AI 스피커에 전달하거나 단축 명령어 등의 기능을 이용하여 음성 명령 수행에 필요한 정보들을 AI 스피커에 전달하여야 하는 불편함을 갖게 됐다.When using an existing display-type AI speaker, users need to repeatedly say the same command every time they use functions that are frequently used in daily life. Therefore, users of conventional display-type AI speakers have the inconvenience of having to repeatedly input the same command. In addition, when the existing display-type AI speaker processes voice commands, users can explicitly transfer information necessary for voice command execution to the AI speaker or use functions such as short commands to provide information necessary for voice command execution to the AI speaker. I had the discomfort that had to be communicated to.

본 문서에서 개시되는 다양한 실시 예들은 상술한 문제점들을 해결하기 위한 장치 및 방법 등을 제공한다.Various embodiments disclosed in this document provide an apparatus and a method for solving the above-described problems.

본 문서에 개시되는 일 실시 예에 따른 장치는, AI 스피커 장치에 있어서, 하우징, 상기 하우징은 상기 AI 스피커의 바닥 면(bottom surface)을 형성하는 제1 면, 상기 제1 면과 인접한 제2 면, 및 상기 제1 면과 상기 제2면에 동시에 인접하는 제3 면을 포함함; 상기 제2 면에 배치되는 디스플레이; 적어도 하나의 센서; 마이크; 스피커; 명령어들이 저장된 메모리; 및 상기 디스플레이, 상기 적어도 하나의 센서, 상기 마이크, 상기 스피커, 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는: 상기 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 상기 제1 면이 제1 방향을 향하는 것으로 판단하는 것에 응답하여, 상기 AI 스피커를 제1 모드로 제어하고, 상기 제1 모드로 동작하는 동안: 상기 마이크가 음성 인식 기능을 활성화하기 위한 제1 음성 입력을 획득하고, 제1 음성 입력 획득에 응답하여 상기 음성 인식 기능을 활성화하고, 상기 제1 음성 입력에 후속하는 제2 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하고, 상기 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 상기 제3 면이 상기 제1 방향을 향하는 것으로 판단하는 것에 응답하여, 상기 AI스피커를 상기 제1 모드에서 제2 모드로 전환하도록 설정되는, 장치이다.An apparatus according to an embodiment disclosed in this document is an AI speaker device, wherein the housing, the housing comprises a first surface forming a bottom surface of the AI speaker, and a second surface adjacent to the first surface. And a third surface adjacent to the first surface and the second surface at the same time; A display disposed on the second surface; At least one sensor; MIC; speaker; A memory in which instructions are stored; And a processor electrically connected to the display, the at least one sensor, the microphone, the speaker, and the memory, wherein the processor is configured to: In response to determining that it is facing this first direction, the AI speaker is controlled in a first mode, and while operating in the first mode: the microphone acquires a first voice input for activating a voice recognition function, and And activating the speech recognition function in response to acquiring the first speech input, and displaying a result of processing through the speech recognition function corresponding to a second speech input following the first speech input by displaying at least one of the speaker or the display. Output using the at least one sensor, and in response to the processor determining that the third side of the AI speaker faces the first direction, the AI speaker is switched from the first mode to the second mode. Is the device, which is set to switch to.

또한, 본 문서에 개시되는 일 실시 예에 따른 제어 방법은, AI 스피커의 제어 방법에 있어서, 상기 AI 스피커의 적어도 하나의 센서를 통해, 프로세서가 상기 AI 스피커의 하우징의 제1 면이 제1 방향을 향하는 것을 판단하는 동작, 상기 AI 스피커의 하우징은, 상기 AI 스피커의 바닥 면을 형성하는 상기 제1 면, 상기 제1 면과 인접하고 디스플레이가 배치되는 제2 면, 및 상기 제1 면과 상기 제2 면에 동시에 인접하는 제3 면을 포함함; 상기 판단에 응답하여, 상기 프로세서가 상기 AI 스피커를 제1 모드로 제어하는 동작; 상기 제1 모드로 동작하는 동안, 마이크가 상기 AI 스피커의 마이크가 음성 인식 기능을 활성화하기 위한 제1 음성 입력을 획득하는 동작; 상기 제1 음성 입력 획득에 응답하여 상기 프로세서가 상기 음성 인식 기능을 활성화하는 동작; 상기 제1 음성 입력에 후속하는 제2 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하는 동작; 상기 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 상기 제3 면이 상기 제1 방향을 향하는 것을 판단하는 것에 응답하여, 상기 프로세서는 상기 AI 스피커를 상기 제1 모드에서 제2 모드로 전환하도록 설정되는 방법이다. In addition, in the control method according to an embodiment disclosed in this document, in the method of controlling an AI speaker, through at least one sensor of the AI speaker, a processor is provided with a first surface of the housing of the AI speaker in a first direction. The operation of determining that the AI speaker faces, the first surface forming a bottom surface of the AI speaker, a second surface adjacent to the first surface and on which a display is disposed, and the first surface and the Including a third side simultaneously adjacent to the second side; In response to the determination, controlling, by the processor, the AI speaker in a first mode; An operation of obtaining, by a microphone, a first voice input for activating a voice recognition function by a microphone of the AI speaker while operating in the first mode; Activating, by the processor, the speech recognition function in response to obtaining the first speech input; Outputting a processing result through the speech recognition function corresponding to a second speech input following the first speech input using at least one of the speaker and the display; In response to the processor determining that the third side of the AI speaker faces the first direction through the at least one sensor, the processor switches the AI speaker from the first mode to the second mode. This is how it is set up to do.

또한, 본 문서에 개시되는 일 실시 예에 따른 기록 매체는, 컴퓨터 판독 가능한 명령어들을 저장하는 비 일시적 기록 매체에 있어서, 상기 명령어들은 상기 명령어들이 저장된 전자 장치의 적어도 하나의 프로세서에 의해 실행 시: AI 스피커의 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 하우징의 제1 면이 제1 방향을 향하는 것으로 판단 하는 동작, 상기 AI 스피커의 하우징은, 상기 AI 스피커의 바닥 면을 형성하는 상기 제1 면, 상기 제1 면과 인접하고 디스플레이가 배치되는 제2 면, 및 상기 제1 면과 상기 제2 면에 동시에 인접하는 제3 면을 포함함; 상기 판단에 응답하여, 상기 프로세서가 상기 AI 스피커를 제1 모드로 제어하는 동작; 상기 제1 모드로 동작하는 동안, 상기 AI 스피커의 마이크가 음성 인식 기능을 활성화하기 위한 제1 음성 입력을 획득하는 동작; 상기 제1 음성 입력 획득에 응답하여 상기 프로세서가 상기 음성 인식 기능을 활성화하는 동작; 상기 제1 음성 입력에 후속하는 제2 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하는 동작; 상기 적어도 하나의 센서가 상기 AI 스피커의 상기 제3 면이 상기 제1 방향을 향하는 것을 감지하는 것에 응답하여, 상기 프로세서는 상기 AI 스피커를 상기 제1 모드에서 제2 모드로 전환하도록 설정되는, 기록매체이다.In addition, a recording medium according to an embodiment disclosed in this document is a non-transitory recording medium that stores computer-readable instructions, wherein the instructions are executed by at least one processor of an electronic device in which the instructions are stored: AI Through at least one sensor of the speaker, the processor determines that the first surface of the housing of the AI speaker faces the first direction, and the housing of the AI speaker comprises the first surface forming the bottom surface of the AI speaker. A first surface, a second surface adjacent to the first surface and on which a display is disposed, and a third surface adjacent to the first surface and the second surface at the same time; In response to the determination, controlling, by the processor, the AI speaker in a first mode; Obtaining, by the microphone of the AI speaker, a first voice input for activating a voice recognition function while operating in the first mode; Activating, by the processor, the speech recognition function in response to obtaining the first speech input; Outputting a processing result through the speech recognition function corresponding to a second speech input following the first speech input using at least one of the speaker and the display; In response to the at least one sensor detecting that the third side of the AI speaker faces in the first direction, the processor is set to switch the AI speaker from the first mode to the second mode. It is a medium.

본 문서에 개시되는 다양한 실시 예에 따르면, 디스플레이형 AI 스피커를 사용하는 사용자들은 직관적인 모드 전환을 통해 빠르고 쉽게 일상에서 자주 사용하는 AI 스피커의 기능들을 사용할 수 있다.According to various embodiments disclosed in this document, users using display-type AI speakers can quickly and easily use functions of AI speakers that are frequently used in daily life through intuitive mode switching.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition to this, various effects that are directly or indirectly identified through this document can be provided.

도 1은 일 실시 예에 따른, 제1 형상을 갖는 디스플레이형 AI 스피커의 하우징을 도시한다.
도 2는 일 실시 예에 따른, 제2 형상을 갖는 디스플레이형 AI 스피커의 하우징을 도시한다.
도 3은 일 실시 예에 따른, 전자 장치(301)의 블록 구성도를 도시한다.
도 4는 일 실시 예에 따른, 제1 모드(101) 또는 제2 모드(102)에 따른 음성 명령 처리 방법에 관한 순서도를 도시한다.
도 5는 일 실시 예에 따른, 제1 모드(101)에서 제2 모드(102)로의 모드 전환에 관한 순서도를 도시한다.
도 6은 일 실시 예에 따른, 제1 모드(101)로 제어되는 AI 스피커의 음성 명령 처리의 예를 도시한다.
도 7은 일 실시 예에 따른, 제2 모드(102)로 제어되는 AI 스피커의 음성 명령 처리의 예를 도시한다.
도 8은 일 실시 예에 따른, 비활성화 모드(801)에서 제2 모드(102)로의 모드 전환에 관해 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.1 illustrates a housing of a display-type AI speaker having a first shape according to an exemplary embodiment.
2 illustrates a housing of a display-type AI speaker having a second shape according to an exemplary embodiment.
3 is a block diagram of an electronic device 301 according to an exemplary embodiment.
4 is a flowchart illustrating a method of processing a voice command according to the first mode 101 or the second mode 102 according to an exemplary embodiment.
5 is a flowchart illustrating a mode change from the first mode 101 to the second mode 102 according to an exemplary embodiment.
6 illustrates an example of voice command processing of an AI speaker controlled in the first mode 101 according to an embodiment.
7 illustrates an example of processing a voice command by an AI speaker controlled in the second mode 102 according to an embodiment.
8 is a diagram for mode switching from the inactive mode 801 to the second mode 102 according to an embodiment.
In connection with the description of the drawings, the same or similar reference numerals may be used for the same or similar components.

이하, 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 특정한 실시 형태를 한정하려는 것이 아니며, 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. Hereinafter, various embodiments will be described with reference to the accompanying drawings. However, this is not intended to limit specific embodiments, and should be understood to include various modifications, equivalents, and/or alternatives of the embodiments.

도 1은 일 실시 예에 따른, 제1 형상을 갖는 디스플레이형 AI 스피커의 하우징을 도시한다.1 illustrates a housing of a display-type AI speaker having a first shape according to an exemplary embodiment.

일 실시 예에 따르면, 전자 장치(100)(예: 디스플레이형 AI 스피커)의 하우징 형태는 육면체 모양의 하우징을 포함할 수 있다. 전자 장치(100)의 하우징은 AI 스피커의 바닥 면(bottom surface)을 형성하는 제1 면(103), 제1 면(103)과 인접한 제2 면(104), 및 제1 면(103)과 제2 면(104)에 동시에 인접하는 제3 면을 포함할 수 있다. According to an embodiment, a housing shape of the electronic device 100 (eg, a display type AI speaker) may include a hexahedral housing. The housing of the electronic device 100 includes a first surface 103 forming a bottom surface of the AI speaker, a second surface 104 adjacent to the first surface 103, and the first surface 103. It may include a third surface adjacent to the second surface 104 at the same time.

일 실시 예에 따르면, 전자 장치(100)의 바닥 면은 제1 면(103), 디스플레이(106)가 위치하는 전면 부는 제2 면(104), 측면 부는 제3 면에 각각 대응될 수 있다. 상기 측면 부는 상기 바닥 면과 상기 전면 부에 동시에 인접할 수 있다.According to an embodiment, a bottom surface of the electronic device 100 may correspond to a first surface 103, a front surface on which the display 106 is located may correspond to a second surface 104, and a side surface of the electronic device 100 may correspond to a third surface, respectively. The side portion may be adjacent to the bottom surface and the front portion at the same time.

다른 실시 예에 따르면, 상기 측면 부는 상기 바닥 면과 상기 전면 부에 동시에 인접하지 않을 수 있다. 연결 영역(연결 면)은 상기 측면 부와 상기 바닥 면 사이에 위치할 수 있다. 상기 연결 영역(연결 면)은 상기 측면 부와 상기 전면 부 사이에 위치할 수 있다. 예를 들어, 상기 측면 부와 상기 바닥 면 또는 상기 측면 부와 상기 전면 부 사이의 뾰족함을 방지하기 위해, 커팅된 형상의 연결 영역(연결 면)은 상기 측면 부와 상기 바닥 면 사이 또는 상기 측면 부와 상기 전면 부 사이에 위치할 수 있다. According to another embodiment, the side portion may not be adjacent to the bottom surface and the front portion at the same time. The connection area (connection surface) may be located between the side surface and the bottom surface. The connection area (connection surface) may be located between the side portion and the front portion. For example, in order to prevent sharpness between the side portion and the bottom surface or between the side portion and the front portion, a connection area (connection surface) having a cut shape may be formed between the side portion and the bottom surface or the side surface. It may be located between the part and the front part.

일 실시 예에 따르면, 측면 부는 왼쪽 측면 부 및 오른쪽 측면 부를 포함할 수 있다. 도 1의 전자 장치(100)에 따르면, 왼쪽 측면 부에 대응되는 제3 면은 미도시 되어있고, 오른쪽 측면 부에 대응되는 제3 면(105)은 도시되어 있다. 디스플레이(106)는 제2 면(104)의 적어도 일부 영역에 위치할 수 있다. 스피커(108) 또는 마이크(미도시)는 상기 하우징 면들 중 적어도 한 면에 위치할 수 있다. 전자 장치(301)의 각 모서리들은 각각의 면이 부드럽게 연결되도록 곡면을 형성할 수 있다.According to an embodiment, the side portion may include a left side portion and a right side portion. According to the electronic device 100 of FIG. 1, the third surface corresponding to the left side portion is not shown, and the third surface 105 corresponding to the right side portion is shown. The display 106 may be located on at least a portion of the second surface 104. The speaker 108 or the microphone (not shown) may be located on at least one of the housing surfaces. Each corner of the electronic device 301 may form a curved surface so that each surface is smoothly connected.

일 실시 예에 따르면, 상기 하우징의 제1 면(103)이 지면을 향하는 경우, 전자 장치(100)는 제1 모드(101)로 제어될 수 있다. 제1 모드(101)는 일반 사용 모드를 의미할 수 있다. 예를 들어, 전자 장치(100)의 육면체 모양의 하우징 중 길이가 긴 쪽의 면이 지면을 향하는 경우, 전자 장치(100)는 제1 모드(101)로 제어될 수 있다.According to an embodiment, when the first surface 103 of the housing faces the ground, the electronic device 100 may be controlled in the first mode 101. The first mode 101 may mean a general use mode. For example, when the longer side of the hexahedral housing of the electronic device 100 faces the ground, the electronic device 100 may be controlled in the first mode 101.

일 실시 예에 따르면, 지면에 지지되는 전자 장치(100)의 상기 하우징 면은 변경될 수 있다. 임의의 회전 방향은 지면에 지지되는 전자 장치(100)의 상기 하우징 면을 변경할 수 있다. 예를 들어, 사용자는 전자 장치(100)를 시계 방향으로 회전시켜, 지면에 지지되는 하우징 면을 왼쪽 측면 부에 대응되는 제3 면(미도시)으로 변경할 수 있다. 또는, 사용자는 전자 장치(100)를 반시계 방향으로 회전시켜, 지면에 지지되는 하우징 면을 오른쪽 측면 부에 대응되는 제 3면(105)으로 변경할 수 있다. 미도시된 왼쪽 측면 부에 대응되는 제3 면이 지면을 향하는 경우, 전자 장치(100)는 제2 모드(102)로 제어될 수 있다. 예를 들어, 전자 장치(100)의 육면체 모양의 하우징 중 길이가 짧은 쪽의 면이 상기 바닥 면을 향하는 상태인 경우, 전자 장치(100)는 제2 모드(102)로 제어될 수 있다. 도 1의 실시 예에서, 전자 장치(100)는 여섯 개의 면을 가지는 육면체 형상을 가지는 것으로 도시되었으나, 이에 한정되는 것은 아니다. 다양한 실시 예에 따르면, 전자 장치(100)는 바닥 면과 닿는 면에 따라서 2개 이상의 모드를 가질 수 있는 형상을 가지는 것으로 충분하다. 예시 적인 실시 예가 도 2를 참조하여 더 설명된다.According to an embodiment, the housing surface of the electronic device 100 supported on the ground may be changed. An arbitrary direction of rotation may change the surface of the housing of the electronic device 100 supported on the ground. For example, the user may rotate the electronic device 100 clockwise to change the housing surface supported on the ground to a third surface (not shown) corresponding to the left side. Alternatively, the user may rotate the electronic device 100 counterclockwise to change the housing surface supported on the ground to the third surface 105 corresponding to the right side. When the third surface corresponding to the left side, which is not shown, faces the ground, the electronic device 100 may be controlled in the second mode 102. For example, when the shorter side of the hexahedral housing of the electronic device 100 faces the bottom surface, the electronic device 100 may be controlled in the second mode 102. In the exemplary embodiment of FIG. 1, the electronic device 100 is illustrated to have a hexahedral shape having six surfaces, but is not limited thereto. According to various embodiments of the present disclosure, it is sufficient that the electronic device 100 has a shape capable of having two or more modes depending on a surface contacting a floor surface. An exemplary embodiment is further described with reference to FIG. 2.

도 2는 일 실시 예에 따른, 제2 형상을 갖는 디스플레이형 AI 스피커의 하우징을 도시한다.2 illustrates a housing of a display-type AI speaker having a second shape according to an exemplary embodiment.

일 실시 예에 따르면, 전자 장치(200)의 하우징 형태는 삼각 기둥 모양의 하우징을 포함할 수 있다. 전자 장치(200)의 하우징은 바닥 면에 대응되는 제 1면(201)과 제1 면(201)과 인접한 제2 면(202), 제1 면(201)과 제2 면(202)에 동시에 인접한 제3 면을 포함할 수 있다. According to an embodiment, the housing shape of the electronic device 200 may include a triangular columnar housing. The housing of the electronic device 200 is simultaneously on the first surface 201 corresponding to the bottom surface, the second surface 202 adjacent to the first surface 201, and the first surface 201 and the second surface 202. It may include an adjacent third side.

일 실시 예에 따르면, 전자 장치(200)의 바닥 면은 제1 면(201), 전면 부는 제2 면(202), 측면 부는 제3 면에 각각 대응될 수 있다. 상기 측면 부는 상기 바닥 면과 상기 전면 부에 동시에 인접할 수 있다. According to an embodiment, a bottom surface of the electronic device 200 may correspond to a first surface 201, a front surface of the second surface 202, and a side surface of the electronic device 200 may correspond to a third surface, respectively. The side portion may be adjacent to the bottom surface and the front portion at the same time.

다른 실시 예에 따르면, 상기 측면 부는 상기 바닥 면과 상기 전면 부에 동시에 인접하지 않을 수 있다. 연결 영역(연결 면)은 상기 측면 부와 상기 바닥 면 사이에 위치할 수 있다. 상기 연결 영역(연결 면)은 상기 측면 부와 상기 전면 부 사이에 위치할 수 있다. 예를 들어, 상기 측면 부와 상기 바닥 면 또는 상기 측면 부와 상기 전면 부 사이의 뾰족함을 방지하기 위해, 커팅된 형상의 연결 영역(연결 면)은 상기 측면 부와 상기 바닥 면 사이 또는 상기 측면 부와 상기 전면 부 사이에 위치할 수 있다. According to another embodiment, the side portion may not be adjacent to the bottom surface and the front portion at the same time. The connection area (connection surface) may be located between the side surface and the bottom surface. The connection area (connection surface) may be located between the side portion and the front portion. For example, in order to prevent sharpness between the side portion and the bottom surface or between the side portion and the front portion, a connection area (connection surface) having a cut shape may be formed between the side portion and the bottom surface or the side surface. It may be located between the part and the front part.

일 실시 예에 따르면, 측면 부는 왼쪽 측면 부와 오른쪽 측면 부를 포함할 수 있다. 도 2의 전자 장치(200)에 따르면, 왼쪽 측면 부에 대응되는 제3 면은 미도시 되어 있고, 오른쪽 측면 부에 대응되는 제3 면(203)은 도시되어 있다. 디스플레이(204)는 제2 면(202)의 적어도 일부 영역에 위치할 수 있다. 상기 삼각 기둥의 각 모서리들은 각각의 면이 부드럽게 연결되도록 곡면을 형성할 수 있다. 스피커(205) 및 마이크(미도시)는 상기 하우징 면들 중 적어도 한 면에 위치할 수 있다.According to an embodiment, the side portion may include a left side portion and a right side portion. According to the electronic device 200 of FIG. 2, the third surface corresponding to the left side portion is not shown, and the third surface 203 corresponding to the right side portion is shown. The display 204 may be located on at least a portion of the second surface 202. Each corner of the triangular pillar may form a curved surface so that each surface is smoothly connected. The speaker 205 and the microphone (not shown) may be located on at least one of the housing surfaces.

도 3은 일 실시 예에 따른, 전자 장치(301)의 블록 구성도를 도시한다.3 is a block diagram of an electronic device 301 according to an exemplary embodiment.

전자 장치(301)는 전자 장치(100, 200, 705)에 적용 가능하다. 전자 장치(301)는 프로세서(302), 디스플레이(303), 스피커(304), 메모리(305), 마이크(306), 센서 모듈(310)을 포함할 수 있다. 프로세서(302)는 디스플레이(303), 스피커(304), 메모리(305), 마이크(306), 센서 모듈(310)과 전기적으로 연결될 수 있다.The electronic device 301 is applicable to the electronic devices 100, 200, and 705. The electronic device 301 may include a processor 302, a display 303, a speaker 304, a memory 305, a microphone 306, and a sensor module 310. The processor 302 may be electrically connected to the display 303, the speaker 304, the memory 305, the microphone 306, and the sensor module 310.

프로세서(302)는 소프트웨어를 실행하여 프로세서(302)에 연결된 전자 장치(301)의 적어도 하나의 구성요소(예: 스피커(304) 또는 마이크(306) 또는 센서 모듈(310))를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(302)는 상기 적어도 하나의 구성요소로부터 수신된 명령 또는 데이터를 메모리(305)에 저장하고, 메모리(305)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(305)에 저장할 수 있다.The processor 302 may execute software to control at least one component of the electronic device 301 connected to the processor 302 (for example, a speaker 304 or a microphone 306 or a sensor module 310), and , Various data processing or operations can be performed. The processor 302 may store the command or data received from the at least one component in the memory 305, process the command or data stored in the memory 305, and store the result data in the memory 305. .

디스플레이(303)는 디스플레이(106, 204)에 적용 가능하다. 디스플레이(303)는 전자 장치(301)의 외부로 정보를 시각적으로 제공할 수 있다. 디스플레이(303)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. 디스플레이(303)는 전자 장치(301)의 구성요소(예: 프로세서(302))에 사용될 명령 또는 데이터를 수신하기 위한 터치 입력을 감지할 수 있다. 디스플레이(303)는 음성 입력에 대응되는 음성 인식 기능을 통한 처리 결과를 출력할 수 있다.The display 303 is applicable to the displays 106 and 204. The display 303 may visually provide information to the outside of the electronic device 301. The display 303 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. The display 303 may sense a touch input for receiving a command or data to be used in a component of the electronic device 301 (for example, the processor 302 ). The display 303 may output a processing result through a speech recognition function corresponding to the speech input.

스피커(304)는 스피커(108, 205)에 적용 가능하다. 스피커(304)는 음향 신호를 전자 장치(301)의 외부로 출력할 수 있다. 스피커(304)는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 스피커(304)는 음성 입력에 대응되는 음성 인식 기능을 통한 처리 결과를 출력할 수 있다.The speaker 304 is applicable to the speakers 108 and 205. The speaker 304 may output an acoustic signal to the outside of the electronic device 301. The speaker 304 may be used for general purposes such as multimedia playback or recording playback. The speaker 304 may output a processing result through a speech recognition function corresponding to the speech input.

메모리(305)는 전자 장치(301)의 적어도 하나의 구성요소(예: 프로세서(302) 또는 센서 모듈(310))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 상기 데이터는 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(305)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.The memory 305 may store various types of data used by at least one component of the electronic device 301 (eg, the processor 302 or the sensor module 310 ). The data may include input data or output data for software and commands related thereto. The memory 305 may include a volatile memory or a nonvolatile memory.

마이크(306)는 도 1 및 도 2의 마이크(미도시)에 적용 가능하다. 전자 장치(301)의 구성요소(예: 프로세서(302))에 사용될 명령 또는 데이터를 전자 장치(301)의 외부로부터 수신할 수 있다. 마이크(306)는 음성 명령 입력을 외부로부터 수신할 수 있다.The microphone 306 is applicable to the microphone (not shown) of FIGS. 1 and 2. Commands or data to be used for components of the electronic device 301 (for example, the processor 302) may be received from outside the electronic device 301. The microphone 306 may receive a voice command input from the outside.

센서 모듈(310)을 통해, 프로세서(302)는 전자 장치(301)의 작동 상태(예: 위치 변화 또는 회전 또는 진동)를 판단할 수 있다. 프로세서(302)는 상기 판단된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(310)은 자이로 센서(gyro sensor) 또는 압력 센서 또는 중력 센서 또는 가속도 센서 중 적어도 하나를 포함할 수 있다. 상기 자이로 센서는 전자 장치(301)의 기울기를 감지할 수 있다. 프로세서(302)는 상기 자이로 센서가 감지한 상기 기울기에 기초하여, 전자 장치(301)의 하우징 면들 중 임의의 면이 지면을 향하는지 판단할 수 있다. 프로세서(302)는 상기 자이로 센서가 감지한 상기 기울기에 기초하여, 지면에 지지되는 전자 장치(301)의 하우징 면이 제1 면(103)에서 제3 면(왼쪽 측면 부에 대응되는 제3 면(미도시) 또는 오른쪽 측면 부에 대응되는 제3 면(105))으로 변경되는 것을 판단할 수 있다. 상기 압력 센서는 전자 장치(301)의 하우징 면들 중 임의의 면이 지면으로부터 압력을 받는지 감지할 수 있다. 상기 압력 센서는 지면으로부터 압력을 받는 전자 장치(301)의 하우징 면이 제1 면(103)에서 제3 면으로 변경되는 것을 감지할 수 있다.Through the sensor module 310, the processor 302 may determine an operating state (eg, change in position or rotation or vibration) of the electronic device 301. The processor 302 may generate an electrical signal or data value corresponding to the determined state. The sensor module 310 may include at least one of a gyro sensor, a pressure sensor, a gravity sensor, or an acceleration sensor. The gyro sensor may detect a tilt of the electronic device 301. The processor 302 may determine whether any of the housing surfaces of the electronic device 301 faces the ground based on the slope detected by the gyro sensor. Processor 302 is based on the inclination detected by the gyro sensor, the housing surface of the electronic device 301 supported on the ground from the first surface 103 to the third surface (a third surface corresponding to the left side) It may be determined that it is changed to (not shown) or the third surface 105 corresponding to the right side portion. The pressure sensor may detect whether any of the housing surfaces of the electronic device 301 receives pressure from the ground. The pressure sensor may detect that the housing surface of the electronic device 301 receiving pressure from the ground is changed from the first surface 103 to the third surface.

도 4는 일 실시 예에 따른, 제1 모드(101) 또는 제2 모드(102)에 따른 음성 명령 처리 방법에 관한 순서도를 도시한다.4 is a flowchart illustrating a method of processing a voice command according to the first mode 101 or the second mode 102 according to an exemplary embodiment.

전자 장치(301)는 제 1 모드(101) 또는 제2 모드(102)로 제어될 수 있다. 제1 모드(101)는 전자 장치(301)의 일반 사용 모드를 의미할 수 있다. 상기 일반 사용 모드는 음성 인식 기능의 활성화를 위한 활성화 음성 입력 단계를 포함한 모드일 수 있다. 제2 모드(102)는 빠른 실행 모드를 의미할 수 있다. 상기 빠른 실행 모드는 음성 인식 기능의 활성화를 위한 활성화 음성 입력 단계를 생략한 모드일 수 있다. 전자 장치(301)가 제2 모드(102)로 제어되고 있는 동안, 전자 장치(301)는 자동으로 음성 인식 기능이 활성화된 상태일 수 있다.The electronic device 301 may be controlled in the first mode 101 or the second mode 102. The first mode 101 may mean a general use mode of the electronic device 301. The general use mode may be a mode including an activation voice input step for activating a voice recognition function. The second mode 102 may mean a fast execution mode. The quick execution mode may be a mode in which an activation voice input step for activating a voice recognition function is omitted. While the electronic device 301 is being controlled in the second mode 102, the electronic device 301 may be in a state in which the voice recognition function is automatically activated.

이하에서, 전자 장치(301)가 제1 모드(101)로 제어되는 동안, 음성 인식 처리에 관한 일련의 동작을 설명한다.Hereinafter, a series of operations related to speech recognition processing while the electronic device 301 is controlled in the first mode 101 will be described.

일 실시 예에 따르면, 동작 401에서, 상기 자이로 센서는 전자 장치(301)의 제1 기울기를 감지할 수 있다. 프로세서(302)는 상기 감지된 제1 기울기에 기초하여, 상기 바닥 면이 지면 방향에 대응되는 제1 방향을 향하는 것을 판단할 수 있다. 동작 403에서, 제1 면(103)이 상기 제1 방향을 향하는 경우, 전자 장치(301)는 제1 모드(101)로 제어될 수 있다. 동작 405에서, 전자 장치(301)가 제1 모드(101)로 제어되고 있는 동안, 마이크(306)는 음성 인식 기능 활성화를 위한 제1 음성 입력을 획득할 수 있다. 동작 407에서, 마이크(306)의 상기 제1 음성 입력 획득에 응답하여, 전자 장치(301)는 음성 인식 기능을 활성화할 수 있다. 동작 409에서, 전자 장치(301)의 음성 인식 기능이 활성화되고 있는 동안, 마이크(306)는 음성 명령어 입력에 대응되는 제2 음성 입력을 획득할 수 있다. 동작 411에서, 마이크(306)의 상기 제2 음성 입력 획득에 응답하여, 상기 제2 음성 입력에 대응하는 음성 인식 기능을 통한 처리 결과는 스피커(304) 또는 디스플레이(303) 중 적어도 하나를 통해 출력될 수 있다.According to an embodiment, in operation 401, the gyro sensor may detect the first slope of the electronic device 301. The processor 302 may determine that the floor surface faces in a first direction corresponding to the ground direction based on the sensed first inclination. In operation 403, when the first surface 103 faces the first direction, the electronic device 301 may be controlled in the first mode 101. In operation 405, while the electronic device 301 is being controlled in the first mode 101, the microphone 306 may acquire a first voice input for activating the voice recognition function. In operation 407, in response to obtaining the first voice input from the microphone 306, the electronic device 301 may activate a voice recognition function. In operation 409, while the voice recognition function of the electronic device 301 is being activated, the microphone 306 may acquire a second voice input corresponding to the voice command input. In operation 411, in response to acquiring the second voice input from the microphone 306, the processing result through the voice recognition function corresponding to the second voice input is output through at least one of the speaker 304 or the display 303 Can be.

이하에서, 전자 장치(301)가 제2 모드(102)로 제어되는 동안, 음성 인식 처리에 관한 일련의 동작을 설명한다.Hereinafter, a series of operations related to speech recognition processing while the electronic device 301 is controlled in the second mode 102 will be described.

일 실시 예에 따르면, 동작 401에서, 상기 자이로 센서는 전자 장치(301)의 제2 기울기를 감지할 수 있다. 프로세서(302)는 상기 감지된 제2 기울기에 기초하여, 상기 측면 부가 지면 방향에 대응되는 제1 방향을 향하는 것을 판단할 수 있다. 동작 413에서, 제1 면(103)이 상기 제1 방향을 향하지 않는 경우, 전자 장치(301)는 제2 모드(102)로 제어될 수 있다. 제1 면(103)이 상기 제1 방향을 향하지 않는 경우에는 제3 면(왼쪽 측면 부 또는 오른쪽 측면 부)이 상기 제1 방향을 향하는 경우가 포함될 수 있다. 이하에서, 제3 면(105)이 제1 면(103)을 향하는 경우를 상정하여 음성 인식 처리에 관한 일련의 동작을 설명한다. 동작 415에서, 전자 장치(301)가 제2 모드(102)로 제어되는 동안, 전자 장치(301)는 자동으로 음성 인식 기능을 활성화할 수 있다. 상기 자동으로 음성 인식 기능을 활성화하는 동작의 의미는 음성 인식 기능 활성화를 위한 별도의 활성화 음성 입력 동작의 생략을 의미할 수 있다. 동작 417에서, 마이크(306)는 상기 제1 음성을 제외한 제3 음성을 획득할 수 있다. 상기 제3 음성은 음성 명령어에 해당할 수 있다. 동작 419에서, 마이크(306)의 상기 제3 음성 입력 획득에 응답하여, 상기 제3 음성 입력에 대응하는 음성 인식 기능을 통한 처리 결과는 스피커(304) 또는 디스플레이(303) 중 적어도 하나를 통해 출력될 수 있다.According to an embodiment, in operation 401, the gyro sensor may detect a second slope of the electronic device 301. The processor 302 may determine that the side surface faces a first direction corresponding to the ground direction based on the sensed second inclination. In operation 413, when the first surface 103 does not face the first direction, the electronic device 301 may be controlled in the second mode 102. When the first surface 103 does not face the first direction, a case where the third surface (a left side portion or a right side portion) faces the first direction may be included. Hereinafter, a series of operations related to speech recognition processing will be described on the assumption that the third surface 105 faces the first surface 103. In operation 415, while the electronic device 301 is controlled in the second mode 102, the electronic device 301 may automatically activate the voice recognition function. The meaning of the operation of automatically activating the voice recognition function may mean omission of a separate activation voice input operation for activating the voice recognition function. In operation 417, the microphone 306 may acquire a third voice other than the first voice. The third voice may correspond to a voice command. In operation 419, in response to acquiring the third voice input from the microphone 306, the processing result through the voice recognition function corresponding to the third voice input is output through at least one of the speaker 304 or the display 303 Can be.

도 5는 일 실시 예에 따른, 제1 모드(101)에서 제2 모드(102)로의 모드 전환에 관한 순서도를 도시한다.5 is a flowchart illustrating a mode change from the first mode 101 to the second mode 102 according to an exemplary embodiment.

전자 장치(301)는 지면에 지지되는 하우징 면에 따라 음성 인식 처리모드를 제1 모드(101)에서 제2 모드(102)로 전환할 수 있다. 이하에서, 음성 인식 처리 모드의 전환에 관한 일련의 동작을 설명한다.The electronic device 301 may switch the voice recognition processing mode from the first mode 101 to the second mode 102 according to the surface of the housing supported on the ground. Hereinafter, a series of operations related to switching of the speech recognition processing mode will be described.

일 실시 예에 따르면, 동작 501에서, 전자 장치(301)의 상기 바닥 면에 대응되는 제1 면(103)이 지면 방향에 대응되는 상기 제1 방향을 향하는 경우, 전자 장치(301)는 제1 모드(101)로 제어될 수 있다. 동작 503에서, 상기 자이로 센서는 전자 장치(301)의 상기 제1 기울기를 감지할 수 있다. 프로세서(302)는 상기 감지된 제1 기울기에 기초하여, 제3 면이 지면에 대응되는 상기 제1 방향을 향하는 것을 판단할 수 있다. 프로세서(302)는 상기 자이로 센서가 감지한 기울기에 기초하여, 전자 장치(301)의 지면을 향하는 하우징 면이 제1 면(103)에서 제3 면(105)으로 변화하는 것을 판단할 수 있다. 상기 압력 센서는 전자 장치(301)의 하우징 면들 중 임의의 면이 지면으로부터 압력을 받는지 감지할 수 있다. 상기 압력 센서를 통해, 전자 장치(301)의 지면을 향하는 하우징 면이 제1 면(103)에서 제3 면(105)으로 변화되는 것을 감지할 수 있다. 동작 505에서, 프로세서(302)는 상기 자이로 센서가 감지한 기울기에 기초하여, 전자 장치(301)의 제3 면이 상기 제1 방향을 향하는지 여부를 판단할 수 있다. 예를 들어, 프로세서(302)는 상기 자이로 센서가 감지한 기울기에 기초하여, 전자 장치(301)의 왼쪽 측면 부에 대응되는 제3 면(미도시) 또는 오른쪽 측면 부에 대응되는 제3 면(105)이 지면에 대응되는 상기 제1 방향을 향하는지 판단할 수 있다. 제3 면이 상기 제1 방향을 향하지 않는 경우, 전자 장치(301)는 제1 모드(101)를 유지할 수 있다. 동작 507에서, 제3 면이 상기 제1 방향을 향하는 경우, 전자 장치(301)는 음성 인식 처리 모드를 제1 모드(101)에서 제2 모드(102)로 전환할 수 있다.According to an embodiment, in operation 501, when the first surface 103 corresponding to the bottom surface of the electronic device 301 faces the first direction corresponding to the ground direction, the electronic device 301 is It can be controlled by mode 101. In operation 503, the gyro sensor may detect the first tilt of the electronic device 301. The processor 302 may determine that the third surface faces the first direction corresponding to the ground based on the sensed first slope. The processor 302 may determine that the housing surface facing the ground surface of the electronic device 301 changes from the first surface 103 to the third surface 105 based on the inclination detected by the gyro sensor. The pressure sensor may detect whether any of the housing surfaces of the electronic device 301 receives pressure from the ground. Through the pressure sensor, it may be sensed that the housing surface of the electronic device 301 facing the ground is changed from the first surface 103 to the third surface 105. In operation 505, the processor 302 may determine whether the third surface of the electronic device 301 faces the first direction based on the inclination detected by the gyro sensor. For example, the processor 302 may be configured with a third surface (not shown) corresponding to the left side of the electronic device 301 or a third surface corresponding to the right side of the electronic device 301 based on the inclination detected by the gyro sensor. It may be determined whether 105) faces the first direction corresponding to the ground. When the third surface does not face the first direction, the electronic device 301 may maintain the first mode 101. In operation 507, when the third surface faces the first direction, the electronic device 301 may switch the voice recognition processing mode from the first mode 101 to the second mode 102.

도 6은 일 실시 예에 따른, 제1 모드(101)로 제어되는 AI 스피커의 음성 명령 처리의 예를 도시한다.6 illustrates an example of voice command processing of an AI speaker controlled in the first mode 101 according to an embodiment.

AI 스피커의 OS(operating system)는 삼성의 빅스비(bixby), 애플의 시리(siri) 등에 적용될 수 있다. 이하에서, 삼성의 빅스비를 통한 음성 인식 처리에 관한 동작들을 설명한다.The operating system (OS) of the AI speaker can be applied to Samsung's bixby and Apple's Siri. Hereinafter, operations related to voice recognition processing through Samsung's Bixby will be described.

일 실시 예에 따르면, 깨우기 동작(601)에서, 전자 장치(301)가 제1 모드(101)로 제어되고 있는 동안, 마이크(306)는 음성 인식 기능 활성화를 위한 깨우기 명령어(wake-up-word) 입력을 획득할 수 있다. 상기 깨우기 명령어는 상기 제1 음성에 대응될 수 있다. 예를 들어, 마이크(306)는 외부로부터 "Hi, Bixby"라는 깨우기 음성 입력을 획득할 수 있다. 말하기&ASR(auto speech recognition)동작(602)에서, 깨우기 명령어 입력을 획득한 전자 장치(301)는 음성 입력 대기 상태로 전환될 수 있다. 마이크(306)는 음성 명령어 입력을 획득할 수 있다. 상기 음성 명령어 입력은 상기 제2 음성 입력에 대응될 수 있다. 예를 들어, 마이크(306)는 외부로부터 "3분 타이머"라는 상기 음성 명령어 입력을 획득할 수 있다. 실행할 태스크(task)안내 동작(603)에서, 마이크(306)가 상기 음성 명령어 입력을 획득한 것에 응답하여, 상기 음성 명령어 입력에 대응되는 실행할 태스크(task) 안내 콘텐트는 스피커(304) 또는 디스플레이(303) 중 적어도 하나를 통해 출력될 수 있다. 예를 들어, 마이크(306)가 "3분 타이머"라는 상기 음성 명령어를 획득한 것에 응답하여, 디스플레이(303)는 "타이머를 시작할게요"라는 실행할 태스크 안내 콘텐트를 출력할 수 있다. 상기 "타이머를 시작할게요"라는 태스크 안내 콘텐트는 스피커를 통해 음성으로 출력할 수 있다. 상기 입력된 음성 명령어의 내용을 보다 정확하게 특정하기 위한 상세한 정보가 필요한 경우, 상기 상세한 정보에 관련된 콘텐트는 디스플레이(303) 또는 스피커(304) 중 적어도 하나를 통해 출력될 수 있다. 실행 동작(604)에서, 전자 장치(301)는 상기 음성 명령어에 대응되는 명령을 실행할 수 있다. 상기 명령 실행에 관련된 콘텐트는 디스플레이(303)를 통해 출력될 수 있다. 예를 들어, 상기 음성 명령어"3분 타이머"와 관련된 콘텐트인 전자 시계 콘텐트는 디스플레이(303)를 통해 출력될 수 있다.According to an embodiment, in the wake-up operation 601, while the electronic device 301 is controlled in the first mode 101, the microphone 306 is a wake-up-word for activating the voice recognition function. ) Input can be obtained. The wake up command may correspond to the first voice. For example, the microphone 306 may obtain a wake-up voice input “Hi, Bixby” from the outside. In the speech & auto speech recognition (ASR) operation 602, the electronic device 301 that has obtained the wake-up command input may be converted to a voice input standby state. The microphone 306 may acquire a voice command input. The voice command input may correspond to the second voice input. For example, the microphone 306 may obtain the voice command input “three minute timer” from the outside. In the task guiding operation 603 to be executed, in response to the microphone 306 acquiring the voice command input, the task guide content to be executed corresponding to the voice command input is a speaker 304 or a display ( 303). For example, in response to the microphone 306 obtaining the voice command “three minute timer”, the display 303 may output a task guide content to be executed “I will start the timer”. The task guide content "I'll start the timer" may be output as a voice through a speaker. When detailed information to more accurately specify the content of the input voice command is required, the content related to the detailed information may be output through at least one of the display 303 and the speaker 304. In the execution operation 604, the electronic device 301 may execute a command corresponding to the voice command. Content related to the execution of the command may be output through the display 303. For example, the electronic clock content, which is content related to the voice command "3 minute timer", may be output through the display 303.

도 7은 일 실시 예에 따른, 제2 모드(102)로 제어되는 AI 스피커의 음성 명령 처리의 예를 도시한다.7 illustrates an example of processing a voice command by an AI speaker controlled in the second mode 102 according to an embodiment.

일 실시 예에 따르면, 전자 장치(705)는 2D 형태로 전면 부만 도시되고 있다. 전자 장치(705)의 하우징 면들 중 짧은 면이 지면을 향하는 경우, 전자 장치(705)는 제2 모드(102)로 제어될 수 있다. 전자 장치(705)가 제2 모드(102)로 제어되고 있는 동안, 전자 장치(705)는 자동으로 음성 입력 대기 상태일 수 있다. 전자 장치(705)가 제2 모드(102)로 제어되고 있는 동안, 자동으로 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트는 디스플레이(303) 또는 스피커(304) 중 적어도 하나를 통해 출력될 수 있다. 디스플레이(303) 또는 마이크(306)는 상기 적어도 하나의 콘텐트 중 제1 콘텐트를 선택하는 터치 입력 또는 음성 입력을 획득할 수 있다. 상기 터치 입력 또는 상기 음성 입력에 대응하여, 전자 장치(301)는 상기 제1 콘텐트의 선택에 대응되는 명령을 실행할 수 있다. 예를 들어, 상기 적어도 하나의 콘텐트는 "날씨", "음악", "레피시"의 메뉴를 포함할 수 있다. 디스플레이(303) 또는 마이크(306)는 상기 제1 콘텐트에 대응되는 상기"날씨" 콘텐트를 선택하는 상기 터치 입력 또는 상기 음성 입력을 획득할 수 있다. 전자 장치(301)는 상기 터치 입력 또는 상기 음성 입력에 대응되는 "날씨"에 관련된 명령을 실행할 수 있다.According to an embodiment, only the front portion of the electronic device 705 is shown in a 2D form. When the shorter one of the housing surfaces of the electronic device 705 faces the ground, the electronic device 705 may be controlled in the second mode 102. While the electronic device 705 is being controlled in the second mode 102, the electronic device 705 may automatically be in a voice input standby state. While the electronic device 705 is controlled in the second mode 102, at least one content on which frequently used functions are automatically displayed may be output through at least one of the display 303 or the speaker 304. The display 303 or the microphone 306 may acquire a touch input or a voice input for selecting a first content from among the at least one content. In response to the touch input or the voice input, the electronic device 301 may execute a command corresponding to the selection of the first content. For example, the at least one content may include a menu of “weather”, “music”, and “recipe”. The display 303 or the microphone 306 may acquire the touch input or the voice input for selecting the “weather” content corresponding to the first content. The electronic device 301 may execute a command related to "weather" corresponding to the touch input or the voice input.

일 실시 예에 따르면, 전자 장치(301)는 상기 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트를 제외한 임의의 콘텐트에 관한 명령을 처리할 수 있다. 말하기 동작(701)에서, 마이크(306)는 음성 명령어 입력에 대응되는 명령 음성 입력을 획득할 수 있다. 예를 들어, 마이크(306)는 "3분"이라는 명령 음성 입력을 획득할 수 있다. 실행 동작(702)에서, 마이크(306)의 명령 음성 입력에 응답하여, 상기 명령 음성 입력과 관련된 콘텐트는 디스플레이(303) 또는 스피커(304) 중 적어도 하나를 통해 출력될 수 있다. 예를 들어, 상기 "3분" 이라는 상기 명령 음성 입력과 관련된 상기 콘텐트는 전자 시계 콘텐트 또는 모레 시계 오브젝트 중 적어도 하나 일 수 있다.According to an embodiment, the electronic device 301 may process a command related to arbitrary content except for at least one content on which the frequently used functions are displayed. In the speaking operation 701, the microphone 306 may acquire a command voice input corresponding to the voice command input. For example, the microphone 306 may acquire a command voice input of “3 minutes”. In the execution operation 702, in response to the command voice input from the microphone 306, content related to the command voice input may be output through at least one of the display 303 and the speaker 304. For example, the content related to the command voice input “3 minutes” may be at least one of an electronic watch content or a day after day watch object.

도 8은 일 실시 예에 따른, 비활성화 모드(801)에서 제2 모드(102)로의 모드 전환에 관해 도시한다.8 is a diagram for mode switching from the inactive mode 801 to the second mode 102 according to an embodiment.

일 실시 예에 따르면, 전자 장치(301)가 제2 모드(102)로 전환된 때로부터 상기 제3 음성 입력을 획득한 때까지 걸린 시간이 기준 시간 이상인 경우, 전자 장치(301)는 제2 모드(102)에서 비활성화 모드(801)로 전환될 수 있다. 상기 제3 음성 입력은 명령 실행을 위한 명령 음성 입력일 수 있다. 비활성화 모드(801)는 상기 음성 인식 기능이 비활성화된 상태를 의미할 수 있다. 전자 장치(301)가 비활성화 모드(801)로 전환된 것에 응답하여, 전자 장치(301)는 비활성화 모드(801)의 알림을 디스플레이(303) 또는 스피커(304) 중 적어도 하나를 통해 출력할 수 있다. 비활성화 모드(801)의 상기 알림은 디스플레이(303) 중 적어도 일부 영역에 디스플레이 될 수 있다. 비활성화 모드(801)의 상기 알림은 디스플레이(303) 중 적어도 일부 영역이 점멸하는 형태로 디스플레이 될 수 있다. 비활성화 모드(801)의 알림은 스피커(304)를 통해 출력될 수 있다. 예를 들어, 전자 장치(301)가 비활성화 모드(801)로 전환된 것에 응답하여, 디스플레이(303)는 off 상태가 될 수 있다. 또한, 전자 장치(301)가 비활성화 모드(801)로 전환된 것에 응답하여, "비활성화 모드입니다"의 음성(803)이 스피커(304)를 통해 출력될 수 있다.According to an embodiment, when the time taken from when the electronic device 301 is switched to the second mode 102 until the third voice input is acquired is equal to or greater than a reference time, the electronic device 301 is in the second mode. It may be switched from 102 to the deactivation mode 801. The third voice input may be a command voice input for executing a command. The deactivation mode 801 may mean a state in which the voice recognition function is deactivated. In response to the electronic device 301 being switched to the deactivation mode 801, the electronic device 301 may output a notification of the deactivation mode 801 through at least one of the display 303 or the speaker 304. . The notification in the deactivation mode 801 may be displayed on at least a partial area of the display 303. The notification in the deactivation mode 801 may be displayed in a form in which at least a portion of the display 303 flashes. The notification of the deactivation mode 801 may be output through the speaker 304. For example, in response to the electronic device 301 being switched to the inactive mode 801, the display 303 may be turned off. In addition, in response to the electronic device 301 being switched to the deactivation mode 801, a voice 803 of "It is in the deactivation mode" may be output through the speaker 304.

일 실시 예에 따르면, 마이크(306)는 전환 음성 입력을 획득할 수 있다. 상기 전환 음성의 획득에 응답하여, 전자 장치(301)의 음성 인식 모드는 비활성화 모드(801)에서 제2 모드(102)로 전환될 수 있다. 마이크(306)의 상기 전환 음성 입력 획득에 응답하여, 전자 장치(301)는 비활성화 모드(801)에서 제2 모드(102)로 전환될 수 있다. 전자 장치(301)가 비활성화 모드(801)에서 제2 모드(102)로 전환된 것에 응답하여, 디스플레이(303)는 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트를 디스플레이 할 수 있다.According to an embodiment, the microphone 306 may acquire a switched voice input. In response to the acquisition of the switched voice, the voice recognition mode of the electronic device 301 may be switched from the inactive mode 801 to the second mode 102. In response to obtaining the switched voice input from the microphone 306, the electronic device 301 may switch from the inactive mode 801 to the second mode 102. In response to the electronic device 301 switching from the deactivation mode 801 to the second mode 102, the display 303 may display at least one content on which frequently used functions are displayed.

일 실시 예에 따르면, 디스플레이(303)는 전환 터치 입력을 획득할 수 있다. 상기 전환 터치 입력에 응답하여, 전자 장치(301)의 음성 인식 모드는 비활성화 모드(801)에서 제2 모드(102)로 전환될 수 있다. 디스플레이(303)가 전환 터치 입력을 획득한 것에 응답하여, 전자 장치(301)는 비활성화 모드(801)에서 제2 모드(102)로 전환될 수 있다. 전자 장치(301)가 제2 모드(102)로 전환된 것에 응답하여, 디스플레이(303)는 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트를 디스플레이 할 수 있다.According to an embodiment, the display 303 may acquire a switching touch input. In response to the switching touch input, the voice recognition mode of the electronic device 301 may be switched from the inactive mode 801 to the second mode 102. In response to the display 303 obtaining the switching touch input, the electronic device 301 may be switched from the inactive mode 801 to the second mode 102. In response to the electronic device 301 switching to the second mode 102, the display 303 may display at least one content on which frequently used functions are displayed.

일 실시 예에 따르면, 전자 장치(301)가 비활성화 모드(801)로 제어되고 있는 동안, 프로세서(302)는 상기 자이로 센서가 감지한 기울기에 기초하여, 전자 장치(301)의 바닥 면에 대응되는 제1 면(103)이 지면에 대응되는 상기 제1 방향을 향하는 횟수가 기준 시간동안 기준 횟수 이상인지 판단할 수 있다. 예를 들어, 프로세서(302)는 상기 자이로 센서가 감지한 기울기에 기초하여, 전자 장치(301)가 사용자에 의해 흔들리는지 여부를 판단할 수 있다. 상기 판단에 응답하여, 전자 장치(301)는 비활성화 모드(801)에서 제2 모드(102)로 전환될 수 있다. 전자 장치(301)가 제2 모드(102)로 전환된 것에 응답하여, 디스플레이(303)는 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트를 디스플레이 할 수 있다.According to an embodiment, while the electronic device 301 is being controlled in the deactivation mode 801, the processor 302 corresponds to the bottom surface of the electronic device 301 based on the slope detected by the gyro sensor. It may be determined whether the number of times the first surface 103 faces the first direction corresponding to the ground is greater than or equal to the reference number during a reference time. For example, the processor 302 may determine whether the electronic device 301 is shaken by the user based on the inclination detected by the gyro sensor. In response to the determination, the electronic device 301 may switch from the inactive mode 801 to the second mode 102. In response to the electronic device 301 switching to the second mode 102, the display 303 may display at least one content on which frequently used functions are displayed.

Claims (20)

AI 스피커 장치에 있어서,
하우징, 상기 하우징은 상기 AI 스피커의 바닥 면(bottom surface)을 형성하는 제1 면, 상기 제1 면과 인접한 제2 면, 및 상기 제1 면과 상기 제2면에 동시에 인접하는 제3 면을 포함함;
상기 제2 면에 배치되는 디스플레이;
적어도 하나의 센서;
마이크;
스피커;
명령어들이 저장된 메모리; 및
상기 디스플레이, 상기 적어도 하나의 센서, 상기 마이크, 상기 스피커, 상기 메모리와 전기적으로 연결된 프로세서를 포함하고,
상기 프로세서는:
상기 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 상기 제1 면이 제1 방향을 향하는 것으로 판단하는 것에 응답하여, 상기 AI 스피커를 제1 모드로 제어하고, 상기 제1 모드로 동작하는 동안:
상기 마이크가 음성 인식 기능을 활성화하기 위한 제1 음성 입력을 획득하고,
제1 음성 입력 획득에 응답하여 상기 음성 인식 기능을 활성화하고,
상기 제1 음성 입력에 후속하는 제2 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하고,
상기 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 상기 제3 면이 상기 제1 방향을 향하는 것으로 판단하는 것에 응답하여, 상기 AI스피커를 상기 제1 모드에서 제2 모드로 전환하도록 설정되는, 장치.In the AI speaker device,
Housing, the housing has a first surface forming a bottom surface of the AI speaker, a second surface adjacent to the first surface, and a third surface simultaneously adjacent to the first surface and the second surface. Contains;
A display disposed on the second surface;
At least one sensor;
MIC;
speaker;
A memory in which instructions are stored; And
And a processor electrically connected to the display, the at least one sensor, the microphone, the speaker, and the memory,
The processor is:
In response to the processor determining that the first surface of the AI speaker faces a first direction through the at least one sensor, the AI speaker is controlled in a first mode, and the AI speaker is operated in the first mode. During:
The microphone acquires a first voice input for activating a voice recognition function,
Activating the speech recognition function in response to obtaining the first speech input,
Outputting a processing result through the speech recognition function corresponding to a second speech input following the first speech input using at least one of the speaker or the display,
In response to determining that the third side of the AI speaker faces the first direction through the at least one sensor, the AI speaker is set to switch from the first mode to the second mode. , Device. 청구항 1에 있어서,
상기 제2 모드로 동작하는 동안:
상기 제2 모드로 전환하는 것에 응답하여 자동으로 상기 음성 인식 기능을 활성화하고,
상기 마이크는 상기 제1 음성 입력을 제외한 제3 음성 입력을 획득하고,
상기 제3 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하도록 설정되는, 장치.The method according to claim 1,
While operating in the second mode:
Automatically activating the speech recognition function in response to switching to the second mode,
The microphone acquires a third voice input excluding the first voice input,
The apparatus, wherein the apparatus is configured to output a result of processing through the speech recognition function corresponding to the third speech input using at least one of the speaker and the display. 청구항 1에 있어서,
상기 적어도 하나의 센서는 자이로 센서 또는 압력 센서 중 적어도 하나인 것을 특징으로 하는 장치.The method according to claim 1,
The device according to claim 1, wherein the at least one sensor is at least one of a gyro sensor or a pressure sensor. 청구항 1에 있어서,
상기 제2 모드로 전환된 것에 응답하여, 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트가 상기 디스플레이 또는 상기 스피커 중 적어도 하나를 이용하여 출력되는 것을 특징으로 하는 장치.The method according to claim 1,
In response to switching to the second mode, at least one content on which frequently used functions are displayed is output using at least one of the display or the speaker. 청구항 4에 있어서,
상기 마이크가 상기 적어도 하나의 콘텐트 중 제1 콘텐트를 실행하기 위한 사용자 음성을 획득하는 것을 특징으로 하는 장치. The method of claim 4,
The apparatus, characterized in that the microphone acquires a user voice for executing the first content of the at least one content. 청구항 4에 있어서,
상기 디스플레이가 상기 적어도 하나의 콘텐트 중 제1 콘텐트를 실행하기 위한 사용자 입력을 감지하는 것을 특징으로 하는 장치.The method of claim 4,
And the display detects a user input for executing a first content of the at least one content. 청구항 4에 있어서,
상기 제2 모드로 전환된 때로부터 상기 제3 음성 입력을 획득한 때까지 걸린 시간이 제1 시간 이상인 경우, 상기 제2 모드가 비활성화 모드로 전환되는 것을 특징으로 하는 장치.The method of claim 4,
And the second mode is switched to a deactivation mode when the time taken from the transition to the second mode to the acquisition of the third voice input is greater than or equal to the first time. 청구항 7에 있어서,
상기 비활성화 모드로 전환된 것에 응답하여, 상기 비활성화 모드를 나타내는 알림이 상기 디스플레이 중 적어도 일부 영역에 디스플레이 되는 것을 특징으로 하는 장치.The method of claim 7,
In response to switching to the deactivation mode, a notification indicating the deactivation mode is displayed on at least a partial area of the display. 청구항 8에 있어서,
상기 비활성화 모드를 나타내는 알림은 상기 디스플레이 중 적어도 일부 영역이 점멸하는 것을 특징으로 하는 장치. The method of claim 8,
The notification indicating the deactivation mode is characterized in that at least a partial area of the display blinks. 청구항 7에 있어서,
상기 비활성화 모드로 전환된 것에 응답하여, 상기 비활성화 모드를 나타내는 알림이 스피커를 통해 출력되는 것을 특징으로 하는 장치.The method of claim 7,
In response to switching to the deactivation mode, a notification indicating the deactivation mode is output through a speaker. 청구항 7에 있어서,
상기 비활성화 모드로 동작하는 동안, 상기 제2 모드로 전환되기 위한 전환 음성을 획득하고,
상기 전환 음성 획득에 응답하여, 상기 비활성화 모드를 상기 제2 모드로 전환하고,
상기 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트가 상기 디스플레이 또는 상기 스피커 중 적어도 하나를 통해 출력되는 장치.The method of claim 7,
While operating in the deactivation mode, obtaining a switched voice for switching to the second mode,
In response to acquiring the switched voice, switching the deactivation mode to the second mode,
At least one content on which the frequently used functions are displayed is output through at least one of the display and the speaker. 청구항 7에 있어서,
상기 비활성화 모드로 동작하는 동안, 상기 제2 모드로 전환되기 위한 전환 터치를 획득하고,
상기 전환 터치 획득에 응답하여, 상기 비활성화 모드를 상기 제2 모드로 전환하고,
상기 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트가 상기 디스플레이 또는 상기 스피커를 중 적어도 하나를 통해 출력되는 장치. The method of claim 7,
While operating in the deactivation mode, obtaining a switching touch for switching to the second mode,
In response to acquiring the switching touch, switching the deactivation mode to the second mode,
At least one content on which the frequently used functions are displayed is output through at least one of the display or the speaker. 청구항 7에 있어서,
상기 비활성화 모드로 동작하는 동안, 상기 적어도 하나의 센서는 제2 시간 이내에 상기 제1 면이 상기 제1 방향을 향하는 횟수가 제1 횟수 이상인 것을 감지하고,
상기 감지에 응답하여, 상기 비활성화 모드를 상기 제2 모드로 전환하고,
상기 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트가 상기 디스플레이 또는 상기 스피커 중 적어도 하나를 통해 출력되는 장치.The method of claim 7,
While operating in the deactivation mode, the at least one sensor detects that the number of times the first surface faces the first direction is greater than or equal to a first number of times within a second time period,
In response to the detection, switching the deactivation mode to the second mode,
At least one content on which the frequently used functions are displayed is output through at least one of the display and the speaker. AI 스피커의 제어 방법에 있어서,
상기 AI 스피커의 적어도 하나의 센서를 통해, 프로세서가 상기 AI 스피커의 하우징의 제1 면이 제1 방향을 향하는 것을 판단하는 동작, 상기 AI 스피커의 하우징은, 상기 AI 스피커의 바닥 면을 형성하는 상기 제1 면, 상기 제1 면과 인접하고 디스플레이가 배치되는 제2 면, 및 상기 제1 면과 상기 제2 면에 동시에 인접하는 제3 면을 포함함;
상기 판단에 응답하여, 상기 프로세서가 상기 AI 스피커를 제1 모드로 제어하는 동작;
상기 제1 모드로 동작하는 동안, 마이크가 상기 AI 스피커의 마이크가 음성 인식 기능을 활성화하기 위한 제1 음성 입력을 획득하는 동작;
상기 제1 음성 입력 획득에 응답하여 상기 프로세서가 상기 음성 인식 기능을 활성화하는 동작;
상기 제1 음성 입력에 후속하는 제2 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하는 동작; 및
상기 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 상기 제3 면이 상기 제1 방향을 향하는 것을 판단하는 것에 응답하여, 상기 프로세서는 상기 AI 스피커를 상기 제1 모드에서 제2 모드로 전환하도록 설정되는 방법.In the AI speaker control method,
Through at least one sensor of the AI speaker, the processor determines that the first surface of the housing of the AI speaker faces in the first direction, and the housing of the AI speaker forms the bottom surface of the AI speaker. A first surface, a second surface adjacent to the first surface and on which a display is disposed, and a third surface adjacent to the first surface and the second surface at the same time;
In response to the determination, controlling, by the processor, the AI speaker in a first mode;
An operation of obtaining, by a microphone, a first voice input for activating a voice recognition function by a microphone of the AI speaker while operating in the first mode;
Activating, by the processor, the speech recognition function in response to obtaining the first speech input;
Outputting a processing result through the speech recognition function corresponding to a second speech input following the first speech input using at least one of the speaker and the display; And
In response to the processor determining that the third side of the AI speaker faces the first direction through the at least one sensor, the processor switches the AI speaker from the first mode to the second mode. How to be set up to do. 청구항 14에 있어서,
상기 제2 모드로 동작하는 동안, 상기 프로세서는 상기 제2 모드로 전환하는 것에 응답하여, 자동으로 상기 음성 인식 기능을 활성화하는 동작;
상기 마이크는 상기 제1 음성 입력을 제외한 제3 음성 입력을 획득하는 동작; 및
상기 제3 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하도록 설정되는 방법.The method of claim 14,
While operating in the second mode, the processor automatically activating the speech recognition function in response to switching to the second mode;
Obtaining, by the microphone, a third voice input other than the first voice input; And
A method configured to output a result of processing through the voice recognition function corresponding to the third voice input using at least one of the speaker and the display. 청구항 14에 있어서,
상기 제2 모드로 전환된 것에 응답하여, 자주 사용하는 기능들이 표시된 적어도 하나의 콘텐트가 상기 디스플레이 또는 상기 스피커 중 적어도 하나를 이용하여 출력되는 것을 특징으로 하는 방법.The method of claim 14,
In response to switching to the second mode, at least one content on which frequently used functions are displayed is output using at least one of the display or the speaker. 청구항 16에 있어서,
상기 마이크가 상기 적어도 하나의 콘텐트 중 제1 콘텐트를 실행하기 위한 사용자 음성을 획득하는 것을 특징으로 하는 방법. The method of claim 16,
The method, characterized in that the microphone acquires a user voice for executing the first content of the at least one content. 청구항 16에 있어서,
상기 디스플레이가 상기 적어도 하나의 콘텐트 중 제1 콘텐트를 실행하기 위한 사용자 입력을 감지하는 것을 특징으로 하는 방법.The method of claim 16,
Wherein the display detects a user input for executing a first content among the at least one content. 청구항 16에 있어서,
상기 제2 모드로 전환된 때로부터 상기 제3 음성 입력을 획득한 때까지 걸린 시간이 제1 시간 이상인 경우, 상기 제2 모드는 비활성화 모드로 전환되는 것을 특징으로 하는 방법.The method of claim 16,
When the time taken from the time the second mode is switched to the third voice input is more than the first time, the second mode is switched to the deactivation mode. 컴퓨터 판독 가능한 명령어들을 저장하는 비 일시적 기록 매체에 있어서, 상기 명령어들은 상기 명령어들이 저장된 전자 장치의 적어도 하나의 프로세서에 의해 실행 시:
AI 스피커의 적어도 하나의 센서를 통해, 상기 프로세서가 상기 AI 스피커의 하우징의 제1 면이 제1 방향을 향하는 것으로 판단 하는 동작, 상기 AI 스피커의 하우징은, 상기 AI 스피커의 바닥 면을 형성하는 상기 제1 면, 상기 제1 면과 인접하고 디스플레이가 배치되는 제2 면, 및 상기 제1 면과 상기 제2 면에 동시에 인접하는 제3 면을 포함함;
상기 판단에 응답하여, 상기 프로세서가 상기 AI 스피커를 제1 모드로 제어하는 동작;
상기 제1 모드로 동작하는 동안, 상기 AI 스피커의 마이크가 음성 인식 기능을 활성화하기 위한 제1 음성 입력을 획득하는 동작;
상기 제1 음성 입력 획득에 응답하여 상기 프로세서가 상기 음성 인식 기능을 활성화하는 동작;
상기 제1 음성 입력에 후속하는 제2 음성 입력에 대응하는 상기 음성 인식 기능을 통한 처리 결과를 상기 스피커 또는 상기 디스플레이 중 적어도 하나를 이용하여 출력하는 동작;
상기 적어도 하나의 센서가 상기 AI 스피커의 상기 제3 면이 상기 제1 방향을 향하는 것을 감지하는 것에 응답하여, 상기 AI 스피커를 상기 제1 모드에서 제2 모드로 전환하도록 설정되는, 기록매체.
A non-transitory recording medium storing computer-readable instructions, wherein the instructions are executed by at least one processor of an electronic device in which the instructions are stored:
Through at least one sensor of the AI speaker, the processor determines that the first surface of the housing of the AI speaker faces the first direction, and the housing of the AI speaker forms the bottom surface of the AI speaker. A first surface, a second surface adjacent to the first surface and on which a display is disposed, and a third surface adjacent to the first surface and the second surface at the same time;
In response to the determination, controlling, by the processor, the AI speaker in a first mode;
Obtaining, by the microphone of the AI speaker, a first voice input for activating a voice recognition function while operating in the first mode;
Activating, by the processor, the speech recognition function in response to obtaining the first speech input;
Outputting a processing result through the speech recognition function corresponding to a second speech input following the first speech input using at least one of the speaker and the display;
In response to the at least one sensor detecting that the third surface of the AI speaker faces in the first direction, the recording medium is set to switch the AI speaker from the first mode to the second mode.
KR1020190143652A 2019-11-11 2019-11-11 Control method and electronic device of display type ai speaker KR102661821B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190143652A KR102661821B1 (en) 2019-11-11 Control method and electronic device of display type ai speaker
PCT/KR2020/011544 WO2021096036A1 (en) 2019-11-11 2020-08-28 Control method and device for display-type ai speaker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190143652A KR102661821B1 (en) 2019-11-11 Control method and electronic device of display type ai speaker

Publications (2)

Publication Number Publication Date
KR20210056776A true KR20210056776A (en) 2021-05-20
KR102661821B1 KR102661821B1 (en) 2024-04-30

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230123236A (en) * 2022-02-16 2023-08-23 이화여자대학교 산학협력단 Stretchable display artificial intelligence speaker device equipped with celebrity npc and method for providing notification using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230123236A (en) * 2022-02-16 2023-08-23 이화여자대학교 산학협력단 Stretchable display artificial intelligence speaker device equipped with celebrity npc and method for providing notification using the same

Also Published As

Publication number Publication date
WO2021096036A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US20150301684A1 (en) Apparatus and method for inputting information
US9804765B2 (en) Controlling method of screen lock and electronic device supporting the same
EP2741180A1 (en) Information input unit, information input method, and computer program
KR20150021311A (en) Method and apparatus for saving battery of portable terminal
US20090322686A1 (en) Control And Navigation For A Device Implementing a Touch Screen
US20120033533A1 (en) Electronic device with alarm mode and alarm method thereof
KR20200100404A (en) Electronic device for adaptive power management
US9846529B2 (en) Method for processing information and electronic device
KR102580521B1 (en) Electronic apparatus and method of adjusting sound volume thereof
KR102105967B1 (en) Low power sensing device and method for displaying information
EP3418882A1 (en) Display apparatus having the ability of voice control and method of instructing voice control timing
CN106547450B (en) Display control method and device for application program
KR102661821B1 (en) Control method and electronic device of display type ai speaker
KR20210056776A (en) Control method and electronic device of display type ai speaker
JP6906289B2 (en) Control methods for input devices, in-vehicle devices, display systems and input devices
KR20200012542A (en) Method for controlling operation mode using electronic pen and electronic device thereof
KR20110049080A (en) Method for controlling operation according to physical contact and mobile device performing the same
US11589175B2 (en) Frustration-based diagnostics
US10666789B2 (en) Control method and device for sensors of mobile terminal, storage medium and mobile terminal
KR20210016875A (en) Method for operating based on touch input and electronic device thereof
KR20210045768A (en) Electronic device including power management integrated circuit and method for recovering abnormal state of the electronic device
KR102452540B1 (en) Vehicle terminal and method for controlling operation thereof
KR20110067755A (en) Method and apparatus for outputting audio signal in portable terminal
EP2362639B1 (en) Information processing apparatus and control method therefor
US11520427B2 (en) Touchscreen device and method and apparatus for performing operation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right