WO2020101389A1 - 음성 인식 기반 이미지를 표시하는 전자 장치 - Google Patents

음성 인식 기반 이미지를 표시하는 전자 장치 Download PDF

Info

Publication number
WO2020101389A1
WO2020101389A1 PCT/KR2019/015536 KR2019015536W WO2020101389A1 WO 2020101389 A1 WO2020101389 A1 WO 2020101389A1 KR 2019015536 W KR2019015536 W KR 2019015536W WO 2020101389 A1 WO2020101389 A1 WO 2020101389A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
voice input
word
processor
display
Prior art date
Application number
PCT/KR2019/015536
Other languages
English (en)
French (fr)
Inventor
손동일
나효석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/309,278 priority Critical patent/US20220013135A1/en
Publication of WO2020101389A1 publication Critical patent/WO2020101389A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/081—Search algorithms, e.g. Baum-Welch or Viterbi
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information

Definitions

  • the embodiments disclosed herein relate to speech recognition based user interaction technology.
  • An electronic device to which speech recognition technology is applied may recognize a user's voice input, confirm a user's request (intention) based on the voice input, and provide a verified function.
  • the electronic device may misinterpret the user's voice due to interference such as the distance between the electronic device and the user, the situation of the electronic device (eg, the microphone is blocked), the user's ignition situation (eg, food intake), or ambient noise. Can be. If the voice is misrecognized, the electronic device cannot properly perform the function requested by the user.
  • the electronic device may display text (results of converting recognized speech into text) corresponding to the recognized speech input during speech recognition through a display.
  • text may help the user to identify a speech recognition error of the electronic device and correct the speech recognition error while speaking.
  • a user may grasp a speech recognition error based on text. For example. When the distance between the user and the electronic device is long, the user may have difficulty in identifying text. Further, when the number of texts is large due to a long user speech, it may be more difficult for the user to recognize a speech recognition error from the displayed text. In addition, when multiple words (words having multiple meanings) are included in the text corresponding to the voice input, it may be difficult for the user to grasp the meaning identified by the electronic device from the displayed text.
  • Various embodiments disclosed in the present disclosure provide an electronic device displaying a voice recognition-based image capable of displaying an image corresponding to a word recognized in a voice recognition process.
  • An electronic device includes a microphone; display; A processor, wherein the processor receives a user's voice input through the microphone and, in response to the voice input, identifies a word having a plurality of meanings among one or more words recognized based on the voice input And, an image corresponding to a selected one of the plurality of meanings may be set to be displayed in relation to the word through the display.
  • an electronic device includes a microphone; display; A processor functionally connected to the microphone and the display; And a memory functionally connected to the processor, wherein the memory causes the processor to receive a user's voice input through the microphone, and a keyword word among one or more words recognized based on the received voice input. It may be configured to detect and display an image corresponding to the keyword word through the display in relation to the keyword word.
  • an image corresponding to a word recognized in a speech recognition process may be displayed.
  • various effects that can be directly or indirectly identified through this document may be provided.
  • FIG. 1 is a view for explaining a method for providing a function corresponding to a voice input according to an embodiment.
  • FIG. 2 is a block diagram of an electronic device according to an embodiment.
  • FIG. 3 shows an example of one image display UI screen corresponding to a keyword word having a plurality of meanings according to an embodiment.
  • FIG. 4 illustrates another example of one image display UI screen corresponding to a keyword word having a plurality of meanings according to an embodiment.
  • FIG. 5 illustrates an example of a plurality of image display UI screens corresponding to keyword words having a plurality of meanings according to an embodiment.
  • FIG. 6 illustrates a UI screen of a voice recognition error correction process based on an image corresponding to a keyword word having one meaning according to an embodiment.
  • FIG. 7 is an exemplary diagram of an electronic device that does not include a display according to an exemplary embodiment.
  • 8A and 8B illustrate a plurality of image display examples corresponding to a plurality of keyword words according to an embodiment.
  • FIG. 9 is a flowchart of a method for displaying an image based on speech recognition according to an embodiment.
  • FIG. 10 is a flowchart of an image-based voice recognition error verification method according to an embodiment.
  • FIG 11 shows another example of an image-based speech recognition error verification method according to an embodiment.
  • FIG. 12 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 13 is a block diagram illustrating an integrated intelligence system according to an embodiment.
  • FIG. 14 is a diagram illustrating a form in which relationship information between a concept and an action is stored in a database according to an embodiment.
  • 15 is a diagram for a user terminal displaying a screen for processing a voice input received through an intelligent app, according to an embodiment.
  • FIG. 1 is a view for explaining a method for providing a function corresponding to a voice input according to an embodiment.
  • the electronic device 20 may perform a command according to the user's intention based on the voice input. For example, when the electronic device 20 acquires a voice input, the electronic device 20 may convert the voice input into voice data (eg, pulse code modulation (PCM) data) and transmit the converted voice data to the intelligent server 10.
  • voice data eg, pulse code modulation (PCM) data
  • PCM pulse code modulation
  • the intelligent server 10 may convert the voice data into text data and determine a user's intention based on the converted text data.
  • the intelligent server 10 may determine a command (including one command or a plurality of commands) according to the determined user's intention, and transmit information related to execution of the determined command to the electronic device 20.
  • the information related to the execution of the command may include, for example, information of an application performing the determined command and function information performed by the application.
  • the electronic device 20 may perform a command corresponding to a user's voice input based on the information related to command execution.
  • the electronic device 20 may display a screen related to the command in the process of executing the command or upon completion of the execution of the command.
  • the screen associated with the command may be, for example, a screen provided from the intelligent server 10 or a screen generated by the electronic device 20 based on information related to the execution of the command.
  • the screen associated with the command may include, for example, at least one of a screen for guiding a process of executing a command or a screen for guiding a result of executing a command.
  • the electronic device 20 may display an image corresponding to at least some of the recognized words based on the voice input during speech recognition.
  • voice recognition for example, after starting a voice recognition service, a voice input is received, a word is recognized based on the voice input, a user's intention is determined based on the recognized word, and according to the user's intention And determining the order.
  • voice recognition for example, after starting a voice recognition service, it may be before executing a command according to a user's intention based on a voice input.
  • it may be prior to outputting a screen related to a user's intention based on a voice input after starting a speech recognition service.
  • the intelligent server 10 may be executed by the electronic device 10.
  • the electronic device 20 may convert the acquired voice input into voice data, convert voice data into text data, and transmit the converted text data to the intelligent server 10.
  • the electronic device 20 may perform all functions of the intelligent server 10. In this case, the intelligent server 10 may be omitted.
  • FIG. 2 is a block diagram of an electronic device according to an embodiment.
  • the electronic device 20 includes a microphone 210, an input circuit 220, a communication circuit 230, a display 240, a memory 250, and a processor 260. It can contain. In an embodiment, the electronic device 20 may omit some components or further include additional components.
  • the electronic device 20 is a device that does not include the display 240 (eg, an AI speaker), and may use the display 240 provided in an external electronic device (eg, a TV, a smartphone).
  • the electronic device 20 may further include an input circuit 220 that senses or receives a user's input.
  • the electronic device 20 may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance (eg, AI speaker). .
  • the microphone 210 may receive a voice input by a user's speech.
  • the microphone 210 may detect a voice input according to a user's speech, and generate a signal corresponding to the detected voice input.
  • the input circuit 220 may detect or receive a user input (eg, touch input).
  • the input circuit 220 may be, for example, a touch sensor combined with the display 240.
  • the input circuit 220 may further include a physical button at least partially exposed to the outside of the electronic device 20.
  • the communication circuit 230 may communicate with the intelligent server 10 through a designated communication channel.
  • the designated communication channel may be, for example, a wireless communication communication channel such as WiFi, 3G, 4G, or 5G.
  • the display 240 may display various contents (for example, text, images, videos, icons, and / or symbols, etc.).
  • the display 240 may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or an electronic paper display.
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • the memory 250 may store, for example, commands or data related to at least one other component of the electronic device 20.
  • the memory 250 may be volatile memory (eg, RAM, etc.), non-volatile memory (eg, ROM, flash memory, etc.) or a combination thereof.
  • the memory 250 causes the processor 260 to detect a keyword word among one or more words recognized based on a voice input received through the microphone 210 and corresponds to the keyword word Instructions set to display an image to be associated with the keyword word may be stored on the display 240.
  • the keyword word may include at least one of words having a plurality of meanings, words related to names of people or things (unique nouns, pronouns) or words related to actions.
  • the meaning of the word may be a unique meaning of the word, or may be a parameter (eg, input / output value) required to determine a command according to a user's intention based on the word.
  • the processor 260 may execute operations or data processing related to control and / or communication of at least one other component of the electronic device 20 using instructions stored in the memory 250.
  • the processor 260 may include, for example, a central processing unit (CPU), a graphics processing unit (GPU), a microprocessor, an application processor, an application specific integrated circuit (ASIC), or field programmable gate arrays (FPGA). )), And may have a plurality of cores.
  • the processor 260 confirms or inputs a voice input (hereinafter referred to as wake up utterance) requesting the start (start) of a service based on the voice input through the microphone 210, or input
  • a voice recognition function may be performed.
  • the processor 260 receives a voice input according to a user's speech through the microphone 210, recognizes one or more words based on the received voice input, and based on the recognized words
  • a command according to the determined user's intention may be performed.
  • the processor 260 may output a screen related to the command when the command is executed or when the command is completed.
  • the screen associated with the command may include, for example, at least one of a screen for guiding a process of executing a command or a screen for guiding a result of executing a command.
  • the processor 260 may receive a voice input through the microphone 210 and detect a keyword word among one or more words recognized based on the received voice input. For example, the processor 260 may detect a keyword word based on the voice input received during speech recognition.
  • the voice recognition for example, after starting a voice recognition service, a voice input is received, a word is recognized based on the voice input, a user's intention is determined based on the recognized word, and according to the user's intention And determining the order.
  • the voice recognition for example, after starting a voice recognition service, it may be before executing a command according to a user's intention based on a voice input.
  • it may be prior to outputting a screen according to a user's intention related to a user's intention based on a voice input after starting the voice recognition service.
  • the processor 260 may acquire an image corresponding to the keyword word, and display the obtained image through the display 240 in association with the keyword word have.
  • the image corresponding to the keyword word may be an image previously mapped to the keyword word.
  • the image corresponding to the keyword word may include an image pronounced of the keyword word by the user from the image corresponding to the keyword word.
  • the image corresponding to the keyword word may include an image representing the shape of a person or object.
  • the image corresponding to the keyword word may include a logo (eg, a company logo) or a symbol.
  • the image corresponding to the keyword word may include an image representing the action.
  • the processor 260 may acquire an image corresponding to a keyword word from the memory 250 or an external electronic device (eg, the intelligent server 10, portal server, social network server). For example, the processor 260 searches for an image corresponding to the keyword word from the memory 250 and, if the memory 250 has an image corresponding to the keyword word, retrieves the image corresponding to the keyword word from the memory 250. Can be obtained. If there is no image corresponding to the keyword word in the memory 250, the processor 260 may obtain it from the intelligent server 10.
  • an external electronic device eg, the intelligent server 10, portal server, social network server.
  • the processor 260 composes the words recognized according to the voice input into sentences, and when the corresponding words are displayed on the display 240, highlights the keyword words (for example, bold) to display the images corresponding to the keyword words can do. Additionally or alternatively, the processor 260 may display the keyword word in close proximity to the image corresponding to the keyword word (eg, the keyword word is located at the bottom of the image).
  • the processor 260 may select one of the plurality of meanings and display an image corresponding to the selected one. .
  • the processor 260 calculates a probability that the plurality of meanings are keyword words, selects the meaning having the highest probability, and selects the selected one Only one image corresponding to the meaning of can be displayed.
  • the processor 260 calculates a probability that each of the plurality of meanings is a meaning of a keyword word based on a history of using a plurality of meanings or a propensity information of a user, and the one with the highest probability among the plurality of meanings You can choose the meaning of.
  • the processor 260 calculates the highest probability of the most frequently used meaning among the multiple meanings based on the history in which the multiple meanings are used in the electronic device 20. Can be.
  • the processor 260 is based on the history in which the multiple meanings are used in the external electronic device 20, and among the multiple meanings, the most frequently used and most recently used. The highest probability can be calculated for the meaning.
  • the processor 260 may calculate a probability that each of a plurality of meanings is a meaning of a keyword word based on the preference information of the user, for example, preferences of a plurality of users who have the same or similar interests as the user.
  • the processor 260 when only the image corresponding to the selected meaning having the highest probability of being a keyword word is displayed, the processor 260 has a meaning different from the selected one meaning and a specified probability difference (eg, about 5%) or less. If present, it may be displayed by applying another effect (eg, border emphasis) to the image corresponding to one meaning selected to represent it. In one embodiment, the processor 260 may display an image corresponding to one meaning, along with an image corresponding to one meaning having the highest probability. In this case, the processor 260 may display the image corresponding to the meaning having the highest probability as a keyword word in the largest size, and display the image corresponding to the other meaning in a relatively small size.
  • a specified probability difference eg, about 5%
  • the processor 260 may display an image corresponding to one meaning, along with an image corresponding to one meaning having the highest probability. In this case, the processor 260 may display the image corresponding to the meaning having the highest probability as a keyword word in the largest size, and display the image corresponding to the other meaning
  • the processor 260 displays a plurality of images corresponding to the plurality of meanings, and the user inputs the displayed images (eg: Based on touch input), one of a plurality of meanings may be selected.
  • the processor 260 displays a plurality of images respectively corresponding to a plurality of meanings through the display 240 in relation to a keyword word, and a user's input among the plurality of images displayed through the display 240 As a result, one meaning corresponding to one selected image may be selected.
  • the processor 260 when the processor 260 displays a plurality of images respectively corresponding to a plurality of meanings, based on the probability that each of the plurality of meanings is a meaning of a keyword word, the plurality of images are separately displayed. Can be.
  • the processor 260 may display an image corresponding to the meaning having the highest probability of a keyword word in the largest size or by applying other effects (eg, border emphasis).
  • the processor 260 may detect a plurality of keyword words among recognized words based on voice input.
  • the plurality of keyword words may include at least one of a word having a meaning or a word having a plurality of meanings.
  • the processor 260 may sequentially display a plurality of images corresponding to the plurality of keyword words.
  • the plurality of images may be sequentially displayed, for example, it may be that a plurality of images are displayed on different screens.
  • the processor 260 may display a plurality of images corresponding to the plurality of keyword words on a screen in chronological order.
  • the processor 260 may list and display a plurality of images corresponding to keyword words detected based on the voice input after reception of the voice input is completed.
  • the plurality of images may be, for example, that a plurality of images are displayed on one screen.
  • a plurality of images may be displayed by being arranged according to a detection order of a plurality of keyword words.
  • the processor 260 may change the image corresponding to the keyword word based on the other voice input.
  • the other voice input is a voice input input within a designated time from the time the image is displayed in relation to the keyword word, and includes at least one of words, negative words, keyword words, or pronouns related to another meaning of the keyword word. Can be.
  • the processor 260 When the processor 260 recognizes a word related to another meaning that is not selected among a plurality of meanings based on the voice input within a designated time, it may determine that there is another voice input for the displayed image in relation to the keyword word. . Alternatively, the processor 260 may determine that there is another voice input when recognizing at least one word of a keyword word, a negative word, or a pronoun, along with a word related to another meaning not selected within a designated time. The processor 260 may display another image corresponding to another meaning selected based on the other voice input among the plurality of meanings in response to the other voice input, through the display 240 in relation to the keyword word.
  • the processor 260 may correct the meaning of the keyword word to another meaning selected based on the other voice input. Or, if there is another voice input to the displayed image in relation to the keyword word, the processor 260 corrects the keyword word from a sentence including the keyword word to a phase including the word related to the other meaning or Can be replaced. The processor 260 excludes the sentence including the keyword word recognized based on the voice input from the command determination target according to the user's intention, and based on the sentence containing the keyword word recognized based on the other voice input. Decision-making orders can be made.
  • the processor 260 may display an image corresponding to all keyword words detected based on the voice input.
  • the processor 260 may display a plurality of images respectively corresponding to the plurality of keyword words.
  • the processor 260 may display a plurality of images corresponding to a plurality of meanings, for a keyword word having a plurality of meanings among the plurality of keyword words.
  • the processor 260 may output an image corresponding to a keyword word until a screen related to a command corresponding to a voice input is output.
  • the processor 260 if there is a keyword word having a plurality of meanings among words recognized based on the voice input, the processor 260 performs voice input until at least one selected meaning for the keyword word is determined. You can delay decision making based on orders. For example, if the user's input or another voice input is not received for a specified time after the image corresponding to the selected one of the plurality of meanings is displayed, for example, the processor 260 determines that the keyword word is the selected one. Can be. In this case, the processor 260 may transmit information indicating that the meaning of the keyword word is determined to be one selected meaning to the intelligent server 10.
  • the processor 260 displays an image corresponding to a selected one of a plurality of meanings, and then receives a user input or another voice input for selecting another meaning not selected within a specified time.
  • the meaning of the keyword word may be determined as another meaning according to the user input or the other voice input.
  • the processor 260 may transmit information indicating that the meaning of the keyword word is determined to be another meaning to the intelligent server 10.
  • the processor 260 checks whether the intelligent server 10 has a word having a plurality of meanings among the recognized words, selects one of the plurality of meanings, and selects the meaning of the selected one.
  • a voice input or other voice input may be transmitted to the intelligent server 10 to provide a corresponding image to the electronic device 20.
  • the electronic device 20 displays an image corresponding to the selected one meaning, and the intelligent server (information indicating information about the user's input, another voice input, or a decision on one selected meaning within a specified time after the image is displayed) 10).
  • the processor 260 may detect a word having one meaning as a keyword word, and display an image corresponding to the keyword word in association with the keyword word.
  • the processor 260 may correct the detected keyword word based on the other voice input if another voice input is received within a designated time after the image is displayed in relation to the keyword word.
  • the processor 260 corrects the keyword word when the image is displayed in relation to the keyword word and recognizes an infinitive word and an alternative word that deny the keyword word in addition to the keyword word based on voice input within a designated time after the image is displayed. It can be confirmed that it is another voice input.
  • the processor 260 may correct the keyword word as a substitute word.
  • the electronic device 20 determines whether an error occurs in words recognized by the user based on the voice input by displaying an image corresponding to the keyword word, for a keyword word having at least a plurality of meanings. It can support for easy detection.
  • the electronic device 20 may support the user to easily correct an error in the speech recognition process based on the user's input or other speech input for the displayed image in relation to the recognized word. Can be.
  • the electronic device (eg, the electronic device 20 of FIG. 2) includes a microphone (eg, the microphone 210 of FIG. 2); A display (eg, the display 240 of FIG. 2) and a processor (eg, the processor 260 of FIG. 2), wherein the processor receives a user's voice input through the microphone and responds to the voice input
  • a word having a plurality of meanings among one or more words recognized based on the voice input is identified, and an image corresponding to a selected one of the plurality of meanings is associated with the word through the display.
  • An image may be set to be displayed in relation to the word through the display.
  • the processor may be configured to calculate a probability that each of the plurality of meanings will become a meaning according to the voice input, and to select the one meaning corresponding to the highest probability among the calculated probabilities.
  • the processor may be further configured to calculate probabilities for each of the plurality of meanings based on the history of the word used in the electronic device or the external electronic device.
  • the processor may be configured to determine that there is another voice input when a word related to another meaning not selected among the plurality of meanings is recognized based on the voice input within a designated time.
  • the processor may determine that there is another voice input when recognizing at least one word of a negative word or a pronoun in addition to the word related to the other meaning based on the voice input within the designated time.
  • the electronic device further includes an input circuit (eg, the input circuit 220 of FIG. 2), and when the processor identifies words having the plurality of meanings, a plurality of images respectively corresponding to the plurality of meanings It can be set to display the words related to the word through the display, and to display an image corresponding to the one meaning corresponding to one image selected through the input circuit among the plurality of images through the display. .
  • an input circuit eg, the input circuit 220 of FIG. 2
  • the processor identifies words having the plurality of meanings, a plurality of images respectively corresponding to the plurality of meanings It can be set to display the words related to the word through the display, and to display an image corresponding to the one meaning corresponding to one image selected through the input circuit among the plurality of images through the display.
  • the processor may be configured to determine the word as the selected one meaning when there is no other voice input to the displayed image in relation to the word.
  • the electronic device further includes a communication circuit for communicating with an external electronic device (for example, the communication circuit 230 of FIG. 2, and the processor further includes the other voice for the image displayed by the external electronic device in relation to the word)
  • the voice input and the other voice input may be transmitted to the external electronic device to determine whether there is an input and to determine the one of the plurality of meanings based on the other voice input.
  • an electronic device eg, the electronic device 20 of FIG. 2 includes a microphone (eg, the microphone 210 of FIG. 2)); a display (eg, the display 240 of FIG. 2); the microphone and the It may include a processor functionally connected to the display (eg, processor 260 of FIG. 2); and a memory functionally connected to the processor (eg, memory 250 of FIG. 2). Allows the user to receive a user's voice input through the microphone, detect a keyword word from one or more words recognized based on the received voice input, and relate the image corresponding to the keyword word to the keyword word It can be set to display through a display.
  • the instructions may be further configured to cause the processor to detect a word having a plurality of meanings among the recognized one or more words, a word related to a name, or a word related to an action as the keyword word.
  • the instructions allow the processor to display a plurality of images corresponding to the plurality of meanings when the keyword word is a word having a plurality of meanings, and select one image among the plurality of images The image corresponding to the selected one of the plurality of meanings may be further displayed on the display based on the input of.
  • the instructions are further set to cause the processor to calculate probabilities that each of the plurality of meanings is the meaning of the keyword word, and to display an image corresponding to the one meaning with the highest probability at the largest size. Can be.
  • the instructions cause the processor to calculate, respectively, probabilities that each of the plurality of meanings is the meaning of the keyword word, if the keyword word is a word having a plurality of meanings, and the highest among the calculated probabilities respectively. It may be further set to display one image corresponding to the one meaning having probability.
  • the instructions may be further configured to cause the processor to sequentially display the plurality of images corresponding to the plurality of keyword words when detecting a plurality of keyword words based on the received voice input.
  • the instructions may be further configured to cause the processor to list and display a plurality of images respectively corresponding to the plurality of keyword words when detecting a plurality of keyword words based on the received voice input.
  • the instructions may be further configured to cause the processor to correct the keyword word based on the other voice input if there is another voice input to the image displayed in association with the keyword word.
  • the instructions cause the processor to determine a command based on the voice input from which the sentence is excluded, except for a sentence including the keyword word, if there is another voice input to the image displayed in association with the keyword word. Can be further configured to.
  • the instructions may be set to cause the processor to determine that there is another voice input when a voice input including at least one of the keyword word, a negative word, or a pronoun is received within the designated time.
  • the instructions may cause the processor to determine a command according to a user's intention based on the voice input when the reception of the voice input ends, perform the determined command, and execute the command at the end of the execution or execution of the command.
  • the screen related to the command may be displayed through the display, and the image may be further displayed until the screen related to the command is displayed.
  • FIG. 3 shows an example of one image display UI screen corresponding to a keyword word having a plurality of meanings according to an embodiment.
  • the electronic device 20 may detect a word “stop” having a plurality of meanings as a keyword word when the user's voice input 310 receives “Play Stop Song”. For example, the electronic device 20 identifies a plurality of sound source information having the keyword word “stop” as the name, and the keyword word “stop” has a plurality of meanings, that is, a plurality of sound source information (eg, singer name). You can confirm that it is a word.
  • the electronic device 20 displays the image 351 corresponding to one sound source information “stop of singer A” selected from a plurality of sound source information in relation to the keyword word “stop” 240 (eg, FIG. 2).
  • the image 351 corresponding to the “stop of singer A” may be, for example, an album cover image of the stop of singer A.
  • the electronic device 20 may select one sound source information having a history used (eg, played or downloaded) in the electronic device 20 based on a plurality of sound source information.
  • the electronic device 20 When the electronic device 20 has a history in which two or more sound source information among a plurality of sound source information is used in the electronic device 20, among the two or more sound source information, sound source information having a high frequency of use or one sound source most recently used Sound source information corresponding to at least one of the information may be selected. If a plurality of sound source information has no history used in the electronic device 20 (eg, played or downloaded), the electronic device 20 may use the most recent frequency of use, for example, based on the history used in the external electronic device. One sound source information with a specified frequency or higher can be selected.
  • the electronic device 20 is based on user preference information, for example, a genre of a sound source having a history reproduced by the user. Based on this, one sound source can be selected.
  • the electronic device 20 After displaying the image 351, the electronic device 20 displays the infinitive word “no” and another unselected sound source (selected as described above) based on the second voice input 320 “no singer B” within a designated time. Word (singer B).
  • the processor 260 confirms that the second voice input 320 is another voice input for the image 351 displayed in relation to the keyword word “stop”, and is different based on the second voice input 320.
  • One meaning “stop of singer B” can be selected as the meaning of the keyword word.
  • the electronic device 20 in response to the second voice input 320, keywords another image 361 corresponding to the keyword word “stop”, for example, the image corresponding to “Singer B's stop”
  • the word “stop” may be displayed on the display 240.
  • the image 361 corresponding to the “stop of singer B” may be, for example, an album cover image of “stop of singer B”.
  • the electronic device 20 determines the user's intention to reproduce the sound source of “Singer B's stop”, determines a command to play the sound source of “Singer B's stop”, and performs the determined command. Depending on the "Singer B" stop can be played.
  • the electronic device 20 when the electronic device 20 identifies a word having a plurality of meanings among one or more words recognized based on the received voice input, the electronic device 20 corresponds to a selected one of the plurality of meanings By displaying an image, it is possible to easily check and correct errors in a speech recognition process.
  • FIG. 4 illustrates another example of one image display UI screen corresponding to a keyword word having a plurality of meanings according to an embodiment.
  • the electronic device 20 may detect the word “Jung Eun” having a plurality of meanings as a keyword word. .
  • the electronic device 20 identifies a plurality of contact information stored as the keyword word “Jung Eun” from the address book, and the keyword word “Jung Eun” receives a plurality of meanings, that is, a plurality of contact information (eg, a phone number). You can confirm that it is a word you have.
  • the electronic device 20 displays the image 451 corresponding to one contact information “Jung Eun 1” selected from a plurality of contact information including the keyword word “Jung Eun” in relation to the keyword word “Jung Eun”.
  • the image 451 corresponding to “Jung Eun 1” is a photographic image (eg, a social network) obtained from the electronic device 20 or an external electronic device (eg, a social network server) based on the contact information of Jung Eun 1 (Stored profile image).
  • the electronic device 20 may select contact information corresponding to at least one of the contact information having a high use frequency or one of the most recently used contact information among a plurality of contact information.
  • the electronic device 20 may display the image 451 and the contact information (010-XXXX-0001) of Jung Eun 1.
  • the electronic device 20 After displaying the image 451 corresponding to “Jung Eun 1”, the electronic device 20 based on the second voice input 420 “No my friend Kim Jong Eun” within a designated time, the infinitive word “No”, the keyword word “ You can recognize the words “My friend” and “Kim Jong-un” related to “Jung-eun” and another unselected contact information.
  • the electronic device 20 determines that the second voice input 420 is another voice input to the image 451 displayed in relation to the keyword word “Jung Eun”, and the keyword word “based on the second voice input 420.
  • the meaning of “Jung Eun” can be corrected with the contact information of Kim Jong Eun (Jung Eun 2) belonging to a friend group.
  • the electronic device 20 may display another image 461 selected based on the second voice input, for example, an image corresponding to contact information belonging to a group of friends in relation to the keyword word “Jung Eun”.
  • another image 461 selected based on the second voice input is obtained from the electronic device 20 or an external electronic device (for example, a profile image stored in a social network) based on the contact information of Kim Jong Eun belonging to a friend group. It may be a photographic image.
  • the electronic device 20 may display another image 461 and contact information (010-XXXX-0002) of Jung Eun 2.
  • the electronic device 20 when the electronic device 20 identifies a word having a plurality of meanings among one or more words recognized based on the received voice input, the electronic device 20 corresponds to a selected one of the plurality of meanings By displaying the image, it is possible to assist in intuitively confirming the occurrence of an error in the speech recognition process.
  • FIG. 5 illustrates an example of a plurality of image display UI screens corresponding to keyword words having a plurality of meanings according to an embodiment.
  • the electronic device 20 may include a plurality of words corresponding to a plurality of meanings for a word having a plurality of meanings among one or more words recognized based on the first voice input. Images can be displayed.
  • the electronic device 20 receives the first voice input 510, “Ask when A arrives,” the multi-word “A” having multiple meanings is detected as a keyword word, and the keyword word
  • the first image 511 and the second image 512 respectively corresponding to the first meaning of “A” (contact information of “A” 1) and the second meaning (contact information of “A” 2) can be displayed. have.
  • the electronic device 20 calculates a probability that each of a plurality of meanings is a meaning of a keyword word based on at least one of a history or user preference information in which a plurality of meanings are used, and the selected highest probability is selected.
  • the first image 511 corresponding to one meaning may be displayed in a larger size than the second image 512.
  • the electronic device 20 may receive the second voice input 520 “No my coworker A” within a designated time.
  • the electronic device 20 may recognize the other meanings “my” and coworkers ”of the infinitive word“ no ”, the keyword word“ A ”, and the keyword word“ A ”based on the second voice input.
  • the electronic device 20 may determine that the second voice input is another voice input to the first image 511 and the second image 512 displayed in relation to “A”.
  • the electronic device 20 may determine that the meaning of the keyword word “A” is the contact information of “A” 2 belonging to the group of business associates based on another voice input.
  • the electronic device 20 reduces the size of the first image 511 corresponding to the keyword word “A” based on the second voice input, which is another voice input, and increases the size of the second image 512. It can be displayed in increments. According to various embodiments of the present disclosure, the electronic device 20 may display only the second image 512 corresponding to the selected other meaning without displaying the first image 511 based on the other voice input.
  • the electronic device 20 corrects the keyword word A to the workmate A in the sentence “Ask A when it arrives” composed of words recognized based on the first voice input 510, and the “workplace. Ask a colleague A when they will arrive ”based on the sentence.
  • the command according to the user's intention may be, for example, a command for transmitting the text “When is it arriving” to “worker A”.
  • the electronic device 20 may select a second image 512 instead of receiving the second voice input 520 within a designated time after the screen 540 is displayed (eg, the second image ( 512), and may determine that the meaning of the keyword word “A” is the contact information of “A” 2 belonging to the group of work associates according to the corresponding user input.
  • FIG. 6 illustrates a UI screen of a voice recognition error correction process based on an image corresponding to a word having one meaning according to an embodiment.
  • the electronic device 20 converts the word “father” related to the name to “grandfather”.
  • the image 651 corresponding to the misrecognized and misrecognized keyword word “grandfather” may be displayed.
  • the electronic device 20 may display a photographic image of the grandfather of the user.
  • the electronic device 20 or an external electronic device eg, the intelligent server 10 (eg, FIG.
  • the grandfather image corresponding to the user's age may be selected from the images corresponding to the grandfather stored in the intelligent server 10.
  • the images corresponding to the grandfather stored in the intelligent server 10 may be selected by the speaker (user).
  • the electronic device 20 may select an image corresponding to the grandfather based on the age information of the speaker.
  • the electronic device 20 may receive the second voice input 620, which corrects the first voice input within a designated time after the image 651 is displayed, “no, please confirm when the father is coming, not the grandfather”.
  • the electronic device 20 recognizes the negative words “no” and “not” and the keyword words “grandfather” based on the second voice input 620 and the second voice input 620 is a keyword. It can be decided that it is another voice input to correct the meaning of the word “grandfather”.
  • the electronic device 20 may correct the keyword word grandfather displayed in relation to the image 651 as a father based on another voice input and display an image 661 corresponding to the father. Also, when the other voice input is confirmed, the electronic device 20 excludes the words recognized in the first voice input 610 from the command determination target, and the user's user based on the recognized words based on the second voice input. Decision-making orders can be made. For example, the electronic device 20 is based on the sentence “No, when not the grandfather, but when the father comes in,” according to another voice input, except for the sentence “When the grandfather comes today,” which includes the keyword word grandfather. Commands can be determined according to the user's intention.
  • FIG. 7 is an exemplary diagram of an electronic device that does not include a display according to an embodiment or another display is set as a display.
  • the electronic device 710 is a device including a microphone 210, a communication circuit 230, a memory 250 and a processor 260, and may be, for example, an AI speaker. If the electronic device 710 does not include a display, or the main display of the electronic device 710 is set as the display of the external display device 720, the processor 260 determines whether an image corresponding to the keyword word is determined. The electronic device 720 may transmit an image corresponding to the keyword word to the external electronic device 720 (eg, a smart phone) so that the electronic device 720 displays the image corresponding to the keyword word.
  • the external electronic device 720 eg, a smart phone
  • 8A and 8B illustrate a plurality of image display examples corresponding to a plurality of keyword words according to an embodiment.
  • the electronic device 20 (eg, the electronic device 20 of FIG. 2) recognizes one or more words recognized based on a voice input received through a microphone (eg, the microphone 210 of FIG. 2). Among them, a plurality of keyword words 851, 853, and 855 may be detected. In this case, the electronic device 20 sequentially lists a plurality of images 810, 820, 830, and 840 corresponding to the plurality of keyword words 851, 853, and 855 after the reception of the voice input is completed. Can be displayed on one screen. In this regard, if the voice input is not received for another designated time, the electronic device 20 may determine that the reception of the voice input is completed.
  • the electronic device 20 may display a sentence 850 composed of one or more words recognized based on a voice input under the plurality of images 810, 820, 830, and 840.
  • the electronic device 20 lists the plurality of images 810, 820, 830, and 840 in the order in which the keyword words are detected, and keyword words 851, 853, and 855 among the sentences 850 composed of the recognized words ) In bold type, keyword words 851, 853, and 855 may be displayed in association with a plurality of images 810, 820, 830, 840.
  • the electronic device 20 may display a plurality of images 810 and 820 for the keyword word “withdrawal 851” having a plurality of meanings.
  • the electronic device 20 checks an input (eg, a touch input) for selecting one of the plurality of images 810 and 820, and withdraws a keyword word from among the plurality of meanings based on the confirmed input 851 ).
  • the electronic device 20 performs a command to transmit the text “Buy Cherry Jubilee from Baskin Robbins” to the withdrawal according to the contact information 1 based on the determined meaning (eg, the contact information 1 corresponding to the image 810). Can be.
  • the electronic device 20 when the electronic device 20 detects a plurality of keyword words 851, 853, and 855 among one or more words recognized based on the received voice input, the detected plurality of keyword words ( A plurality of images 810, 820, 830, and 840 corresponding to 851, 853, and 855 may be sequentially displayed on a plurality of screens 861, 863, and 865.
  • the electronic device 20 may display images 810 and 820 corresponding to the first keyword word 851 'withdrawal' and the first keyword word 851 'withdrawal' from the first screen ( 861).
  • the electronic device 20 displays the images 830 corresponding to the second detected second keyword word 853 'Bethkin Robbins' and the second keyword word 853 'Bethkin Robbins' on the second screen 863. can do.
  • the electronic device 20 displays images 840 corresponding to the third detected third keyword word 855 'Cherry Jubilee' and the third keyword word 855 'Cherry Jubilee' on the third screen 865 can do.
  • FIG. 9 is a flowchart of a method for displaying an image based on speech recognition according to an embodiment.
  • the electronic device 20 may receive a user's voice input through the microphone 210.
  • the electronic device 20 may identify a word (keyword word) having a plurality of meanings among one or more words recognized based on the received voice input. For example, the electronic device 20 may convert the received voice input into text, and identify a word having a plurality of meanings among one or more words based on the converted text. In this process, the electronic device 20 may identify a word having a plurality of meanings among one or more words in cooperation with the intelligent server 10.
  • the electronic device 20 may display an image corresponding to a selected one of a plurality of meanings in relation to the word. For example, the electronic device 20 calculates the probability that each of the plurality of meanings is the meaning of the word, respectively, based on the history information or the tendency information of the user in which the plurality of meanings are used, and the meaning with the highest calculated probability Can be selected as the meaning of the word.
  • the electronic device 20 may acquire an image corresponding to the selected meaning from the memory 250 or an external electronic device (eg, the intelligent server 10, portal server, etc.), and display the obtained image in relation to the word have.
  • the electronic device 20 may display an image corresponding to the selected meaning in relation to the word before the screen related to the determined command according to the user's intention is output based on the voice input.
  • FIG. 10 is a flowchart of an image-based voice recognition error verification method according to an embodiment.
  • the electronic device 20 receives a user's voice input through the microphone 210 (eg, the microphone 210 of FIG. 2). I can receive it.
  • the electronic device 20 may identify a word (hereinafter referred to as a keyword word) having a plurality of meanings among one or more words recognized based on the received voice input. For example, the electronic device 20 may convert the received voice input into text, and identify a word having a plurality of meanings among one or more words based on the converted text. In this process, the electronic device 20 may identify a word having a plurality of meanings among one or more words in cooperation with the intelligent server 10.
  • a word hereinafter referred to as a keyword word
  • the electronic device 20 may display an image corresponding to a selected one of a plurality of meanings in relation to the keyword word. For example, the electronic device 20 calculates each probability that each of the plurality of meanings is the meaning of the keyword word based on the history information or the user's propensity information in which the plurality of meanings are used, and the meaning with the highest calculated probability Can be selected as the meaning of the keyword word.
  • the electronic device 20 acquires an image corresponding to one selected meaning from the memory 250 or an external electronic device (eg, the intelligent server 10, portal server, etc.), and displays the obtained image in relation to the word can do.
  • the electronic device 20 may check whether there is another voice input for the displayed image in relation to the keyword. For example, if the electronic device 20 recognizes a keyword word and a word related to one of a plurality of meanings based on the voice input received within a designated time after the image is displayed, the electronic device 20 has a different voice input. Can be confirmed.
  • the electronic device 20 displays another image corresponding to the other meaning selected based on the different voice input among the plurality of meanings of the keyword word, in association with the keyword word. Can be. For example, the electronic device 20 obtains another image corresponding to another meaning from the memory 250 or an external electronic device (eg, the intelligent server 10), and displays another image in relation to keyword words can do.
  • the electronic device 20 obtains another image corresponding to another meaning from the memory 250 or an external electronic device (eg, the intelligent server 10), and displays another image in relation to keyword words can do.
  • the electronic device 20 may display an image related to the keyword word in the voice recognition process, and thus assist the user to intuitively check and correct errors in the voice recognition process.
  • FIG 11 shows another example of an image-based speech recognition error verification method according to an embodiment.
  • the electronic device 20 receives a user's voice input through the microphone 210 (eg, the microphone 210 of FIG. 2). I can receive it.
  • the electronic device 20 may convert the received voice input into text, and identify a word having a plurality of meanings among one or more words based on the converted text.
  • the electronic device 20 may identify a word having a plurality of meanings among one or more words in cooperation with the intelligent server 10.
  • the electronic device 20 may detect a keyword word among the recognized one or more words based on the received voice input. For example, the electronic device 20 may detect a word having a plurality of meanings from among the recognized one or more words, a word related to a name, or a word related to an action as the keyword word.
  • the electronic device 20 may display an image corresponding to the keyword word through the display 240 in relation to the keyword word. For example, the electronic device 20 obtains another image corresponding to another meaning from the memory 250 or an external electronic device (eg, the intelligent server 10), and displays another image in relation to keyword words can do.
  • the electronic device 20 obtains another image corresponding to another meaning from the memory 250 or an external electronic device (eg, the intelligent server 10), and displays another image in relation to keyword words can do.
  • the electronic device 1201 is an electronic device 1202 through a first network 1298 (eg, a short-range wireless communication network). ), Or an electronic device 1204 or a server 1208 (eg, the intelligent server 10 of FIG. 1) through a second network 1299 (eg, a remote wireless communication network).
  • the electronic device 1201 may communicate with the electronic device 1204 through the server 1208.
  • the electronic device 1201 includes a processor 1220 (eg, the processor 260 in FIG.
  • the components may be omitted, or one or more other components may be added to the electronic device 1201.
  • the sensor module 1276 eg, fingerprint sensor, iris sensor, or illuminance sensor
  • the display device 1260 e.g., display 240 of FIG. 2
  • the sensor module 1276 e.g., fingerprint sensor, iris sensor, or illuminance sensor
  • the display device 1260 e.g., display 240
  • an input device 1250 Example: microphone 210 and input circuit 220 of FIG. 2, sound output device 1255, display device 1260 (e.g., display 240 of FIG. 2), audio module 1270, sensor module ( 1276), interface 1277, haptic module 1279, camera module 1280, power management module 1288, battery 1289, communication module 1290, subscriber identification module 1296, or antenna module 1297 ).
  • the components for example, the display device 1260 or the camera module 1280
  • the sensor module 1276 e.g, fingerprint sensor, iris sensor, or illuminance sensor
  • the processor 1220 executes software (eg, the program 1240) to execute at least one other component (eg, hardware or software component) of the electronic device 1201 connected to the processor 1220. It can be controlled and can perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 1220 may receive instructions or data received from other components (eg, the sensor module 1276 or the communication module 1290) in the volatile memory 1232. To be loaded, process instructions or data stored in the volatile memory 1232, and store the result data in the nonvolatile memory 1234.
  • software eg, the program 1240
  • the processor 1220 may receive instructions or data received from other components (eg, the sensor module 1276 or the communication module 1290) in the volatile memory 1232. To be loaded, process instructions or data stored in the volatile memory 1232, and store the result data in the nonvolatile memory 1234.
  • the processor 1220 includes a main processor 1221 (eg, a central processing unit or an application processor), and an auxiliary processor 1223 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, coprocessor 1223 may be configured to use less power than main processor 1221, or to be specialized for a given function. The coprocessor 1223 may be implemented separately from, or as part of, the main processor 1221.
  • main processor 1221 eg, a central processing unit or an application processor
  • auxiliary processor 1223 eg, a graphics processing unit, an image signal processor
  • coprocessor 1223 may be configured to use less power than main processor 1221, or to be specialized for a given function.
  • the coprocessor 1223 may be implemented separately from, or as part of, the main processor 1221.
  • the coprocessor 1223 may, for example, replace the main processor 1221 while the main processor 1221 is in an inactive (eg, sleep) state, or the main processor 1221 may be active (eg, execute an application) ) With the main processor 1221 while in the state, at least one of the components of the electronic device 1201 (for example, the display device 1260, the sensor module 1276, or the communication module 1290) It can control at least some of the functions or states associated with.
  • the coprocessor 1223 eg, image signal processor or communication processor
  • may be implemented as part of other functionally relevant components eg, camera module 1280 or communication module 1290). have.
  • the memory 1230 may store various data used by at least one component of the electronic device 1201 (for example, the processor 1220 or the sensor module 1276).
  • the data may include, for example, software (eg, the program 1240) and input data or output data for commands related thereto.
  • the memory 1230 may include a volatile memory 1232 or a nonvolatile memory 1234.
  • the program 1240 may be stored as software in the memory 1230, and may include, for example, an operating system 1242, middleware 1244, or an application 1246.
  • the input device 1250 may receive commands or data to be used for components (eg, the processor 1220) of the electronic device 1201 from outside (eg, a user) of the electronic device 1201.
  • the input device 1250 may include, for example, a microphone, mouse, keyboard, or digital pen (eg, a stylus pen).
  • the audio output device 1255 may output an audio signal to the outside of the electronic device 1201.
  • the audio output device 1255 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call.
  • the receiver may be implemented separately from, or as part of, the speaker.
  • the display device 1260 may visually provide information to the outside of the electronic device 1201 (for example, a user).
  • the display device 1260 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 1260 may include a touch circuitry configured to sense a touch, or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of the force generated by the touch. have.
  • the audio module 1270 may convert sound into an electrical signal, or vice versa. According to an embodiment, the audio module 1270 acquires sound through the input device 1250, or an external electronic device (eg, directly or wirelessly connected to the sound output device 1255) or the electronic device 1201 Sound may be output through the electronic device 1202 (eg, speakers or headphones).
  • the audio module 1270 acquires sound through the input device 1250, or an external electronic device (eg, directly or wirelessly connected to the sound output device 1255) or the electronic device 1201 Sound may be output through the electronic device 1202 (eg, speakers or headphones).
  • the sensor module 1276 detects an operating state (eg, power or temperature) of the electronic device 1201, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state can do.
  • the sensor module 1276 includes, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1277 may support one or more designated protocols that the electronic device 1201 can be used to connect directly or wirelessly with an external electronic device (eg, the electronic device 1202).
  • the interface 1277 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1278 may include a connector through which the electronic device 1201 is physically connected to an external electronic device (eg, the electronic device 1202).
  • the connection terminal 1278 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1279 may convert electrical signals into mechanical stimuli (eg, vibration or movement) or electrical stimuli that the user can perceive through tactile or motor sensations.
  • the haptic module 1279 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1280 may capture still images and videos. According to one embodiment, the camera module 1280 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1288 may manage power supplied to the electronic device 1201.
  • the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1289 may supply power to at least one component of the electronic device 1201.
  • the battery 1289 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1290 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1201 and an external electronic device (eg, the electronic device 1202, the electronic device 1204, or the server 1208). It can support establishing and performing communication through the established communication channel.
  • the communication module 1290 operates independently of the processor 1220 (eg, an application processor), and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 1290 may include a wireless communication module 1292 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1294 (eg : Local area network (LAN) communication module, or power line communication module.
  • the corresponding communication module among these communication modules includes a first network 1298 (eg, a short-range communication network such as Bluetooth, WiFi direct, or an infrastructure data association (IrDA)) or a second network 1299 (eg, a cellular network, the Internet, or It may communicate with external electronic devices through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a wireless communication module 1292 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 1294 eg : Local area network (LAN) communication module
  • the wireless communication module 1292 uses a subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1296 within a communication network such as the first network 1298 or the second network 1299.
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 1201 may be identified and authenticated.
  • the antenna module 1297 may transmit a signal or power to the outside (eg, an external electronic device) or receive it from the outside.
  • the antenna module may include a single antenna including a conductor formed on a substrate (eg, a PCB) or a radiator made of a conductive pattern.
  • the antenna module 1297 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network 1298 or the second network 1299, is transmitted from the plurality of antennas by, for example, the communication module 1290. Can be selected.
  • the signal or power may be transmitted or received between the communication module 1290 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 1297.
  • peripheral devices for example, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1201 and an external electronic device 1204 through the server 1208 connected to the second network 1299.
  • Each of the electronic devices 1202 and 1204 may be the same or a different type of device from the electronic device 1201.
  • all or some of the operations performed on the electronic device 1201 may be performed on one or more external devices of the external electronic devices 1202, 1204, or 1208.
  • the electronic device 1201 executes the function or service itself.
  • one or more external electronic devices may be requested to perform at least a portion of the function or the service.
  • the one or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and deliver the result of the execution to the electronic device 1201.
  • the electronic device 1201 may process the result, as it is or additionally, and provide it as at least part of a response to the request.
  • cloud computing distributed computing, or client-server computing technology This can be used.
  • FIG. 13 is a block diagram illustrating an integrated intelligence system according to an embodiment.
  • the integrated intelligent system 3000 includes a user terminal 1000 (eg, the electronic device 20 of FIG. 1), an intelligent server 2000 (eg, the intelligent server 10 of FIG. 1). ), And a service server 3000.
  • the user terminal 1000 may be a terminal device (or electronic device) that can be connected to the Internet, for example, a mobile phone, a smartphone, a personal digital assistant (PDA), a laptop computer, a TV, or a white appliance. It may be a wearable device, an HMD, or a smart speaker.
  • the user terminal 1000 includes a communication interface 1010 (eg, the communication circuit 230 of FIG. 2), a microphone 1020 (eg, the microphone 210 of FIG. 2), and a speaker 1030. ), Display 1040 (e.g., display 240 in FIG. 2), memory 1050 (e.g., memory 250 in FIG. 2), or processor 1060 (e.g., processor 260 in FIG. 2) It may include.
  • the components listed above may be operatively or electrically connected to each other.
  • the communication interface 1010 in one embodiment may be configured to be connected to an external device to transmit and receive data.
  • the microphone 1020 may receive sound (eg, user speech) and convert it into an electrical signal.
  • the speaker 1030 of one embodiment may output an electrical signal as sound (eg, voice).
  • the display 1040 of one embodiment may be configured to display an image or video.
  • the display 1040 of one embodiment may also display a graphical user interface (GUI) of an app (or application program) to be executed.
  • GUI graphical user interface
  • the memory 1050 of an embodiment may store a client module 1051, a software development kit (SDK) 1053, and a plurality of apps 1055.
  • the client module 1051 and the SDK 1053 may constitute a framework (or a solution program) for performing general-purpose functions. Further, the client module 1051 or the SDK 1053 may configure a framework for processing voice input.
  • the memory 1050 of one embodiment may be a program for performing the specified function of the plurality of apps 1055.
  • the plurality of apps 1055 may include a first app 1055_1 and a second app 1055_3.
  • each of the plurality of apps 1055 may include a plurality of operations for performing a designated function.
  • the apps may include an alarm app, a message app, and / or a schedule app.
  • the plurality of apps 1055 may be executed by the processor 1060 to sequentially execute at least some of the plurality of operations.
  • the processor 1060 of one embodiment may control the overall operation of the user terminal 1000.
  • the processor 1060 may be electrically connected to the communication interface 1010, the microphone 1020, the speaker 1030, and the display 1040 to perform a designated operation.
  • the processor 1060 of one embodiment may also execute a program stored in the memory 1050 to perform a designated function.
  • the processor 1060 may execute at least one of the client module 1051 or the SDK 1053 to perform the following operations for processing voice input.
  • the processor 1060 may control operations of the plurality of apps 1055 through, for example, the SDK 1053.
  • the following operations described as operations of the client module 1051 or the SDK 1053 may be operations performed by the processor 1060.
  • the client module 1051 of one embodiment may receive a voice input.
  • the client module 1051 may receive a voice signal corresponding to a user's speech detected through the microphone 1020.
  • the client module 1051 may transmit the received voice input to the intelligent server 2000.
  • the client module 1051 may transmit status information of the user terminal 1000 to the intelligent server 2000 together with the received voice input.
  • the status information may be, for example, execution status information of the app.
  • the client module 1051 of an embodiment may receive a result corresponding to the received voice input. For example, when the intelligent server 2000 can calculate a result corresponding to the received voice input, the client module 1051 may receive a result corresponding to the received voice input. The client module 1051 may display the received result on the display 1040.
  • the client module 1051 of an embodiment may receive a plan corresponding to the received voice input.
  • the client module 1051 may display the result of executing a plurality of operations of the app on the display 1040 according to the plan.
  • the client module 1051 may sequentially display, for example, execution results of a plurality of operations on a display.
  • the user terminal 1000 may display only some results (for example, results of the last operation) performed by a plurality of operations on the display.
  • the client module 1051 may receive a request for obtaining information necessary for calculating a result corresponding to a voice input from the intelligent server 2000. According to an embodiment, the client module 1051 may transmit the required information to the intelligent server 2000 in response to the request.
  • the client module 1051 of one embodiment may transmit information to the intelligent server 2000 as a result of executing a plurality of operations according to the plan.
  • the intelligent server 2000 may confirm that the received voice input is correctly processed using the result information.
  • the client module 1051 of an embodiment may include a speech recognition module. According to an embodiment, the client module 1051 may recognize a voice input performing a limited function through the voice recognition module. For example, the client module 1051 may perform an intelligent app for processing a voice input for performing an organic operation through a designated input (for example, wake up!).
  • the intelligent server 2000 may receive information related to user voice input from the user terminal 1000 through a communication network. According to an embodiment, the intelligent server 2000 may change data related to the received voice input into text data. According to an embodiment, the intelligent server 2000 may generate a plan for performing a task corresponding to a user voice input based on the text data.
  • the plan may be generated by an artificial intelligent (AI) system.
  • the artificial intelligence system may be a rule-based system, a neural network-based system (e.g., a feedforward neural network (FNN)), a recurrent neural network (RNN) ))). Or, it may be a combination of the above or another artificial intelligence system.
  • the plan may be selected from a predefined set of plans, or may be generated in real time in response to a user request. For example, the artificial intelligence system may select at least a plan from a plurality of predefined plans.
  • the intelligent server 2000 may transmit the result according to the generated plan to the user terminal 1000 or the generated plan to the user terminal 1000.
  • the user terminal 1000 may display the result according to the plan on the display.
  • the user terminal 1000 may display the result of executing the operation according to the plan on the display.
  • Intelligent server 2000 includes a front end (2010), a natural language platform (2020), a capsule database (capsule DB) 2030, an execution engine (execution engine) 2040, It may include an end user interface (end user interface) 2050, a management platform (management platform) 2060, a big data platform (big data platform) 2070, or an analysis platform (analytic platform) 2080.
  • end user interface end user interface
  • management platform management platform
  • big data platform big data platform
  • an analysis platform analytic platform
  • the front end 2010 of one embodiment may receive a voice input received from the user terminal 1000.
  • the front end 2010 may transmit a response corresponding to the voice input.
  • the natural language platform 2020 includes an automatic speech recognition module (ASR module) 2021, a natural language understanding module (NLU module) 2023, a planner module ( It may include a planner module (2025), a natural language generator module (NLG module) 2027 or a text to speech module (TTS module) 2029.
  • ASR module automatic speech recognition module
  • NLU module natural language understanding module
  • NTL module natural language generator module
  • TTS module text to speech module
  • the automatic speech recognition module 2021 may convert speech input received from the user terminal 1000 into text data.
  • the natural language understanding module 2023 may grasp a user's intention using text data of voice input.
  • the natural language understanding module 2023 may grasp a user's intention by performing a syntactic analysis or semantic analysis.
  • the natural language understanding module 2023 uses the morpheme or the linguistic feature of the phrase (eg, grammatical element) to grasp the meaning of the word extracted from the voice input, and matches the meaning of the identified word to the intention of the user Intent can be determined.
  • the planner module 2025 may generate a plan using intentions and parameters determined by the natural language understanding module 2023. According to an embodiment, the planner module 2025 may determine a plurality of domains required to perform a task based on the determined intention. The planner module 2025 may determine a plurality of operations included in each of the plurality of domains determined based on the intention. According to an embodiment, the planner module 2025 may determine a parameter required to execute the determined plurality of operations or a result value output by executing the plurality of operations. The parameter and the result value may be defined as a concept of a designated type (or class). Accordingly, the plan may include a plurality of operations determined by the user's intention, and a plurality of concepts.
  • the planner module 2025 may determine the relationship between the plurality of operations and the plurality of concepts in a stepwise (or hierarchical) manner. For example, the planner module 2025 may determine an execution order of a plurality of operations determined based on a user's intention based on a plurality of concepts. In other words, the planner module 2025 may determine an execution order of a plurality of operations based on parameters required for execution of the plurality of operations and a result output by the execution of the plurality of operations. Accordingly, the planner module 2025 may generate a plan including information related to a plurality of operations and a plurality of concepts (eg, ontology). The planner module 2025 may generate a plan using information stored in the capsule database 2030 in which a set of relations between concepts and actions is stored.
  • the natural language generation module 2027 may change the designated information in a text form.
  • the information changed in the text form may be in the form of natural language speech.
  • the text-to-speech module 2029 of one embodiment may change text-type information to voice-type information.
  • some or all of the functions of the natural language platform 2020 may be implemented in the user terminal 1000.
  • the capsule database 2030 may store information on a relationship between a plurality of concepts and operations corresponding to a plurality of domains.
  • the capsule may include a plurality of action objects (action objects or action information) and concept objects (concept objects or concept information) included in the plan.
  • the capsule database 2030 may store a plurality of capsules in the form of a concept action network (CAN).
  • the plurality of capsules may be stored in a function registry included in the capsule database 2030.
  • the capsule database 2030 may include a strategy registry in which strategy information necessary for determining a plan corresponding to voice input is stored.
  • the strategy information may include reference information for determining one plan when there are multiple plans corresponding to voice input.
  • the capsule database 2030 may include a follow up registry in which information of a subsequent operation for suggesting a subsequent operation to a user in a specified situation is stored.
  • the subsequent operation may include, for example, a subsequent utterance.
  • the capsule database 2030 may include a layout registry that stores layout information of information output through the user terminal 1000.
  • the capsule database 2030 may include a vocabulary registry in which vocabulary information included in capsule information is stored.
  • the capsule database 2030 may include a dialog registry in which dialogue (or interaction) information with a user is stored.
  • the capsule database 2030 may update an object stored through a developer tool.
  • the developer tool may include, for example, a function editor for updating a motion object or a concept object.
  • the developer tool may include a vocabulary editor for updating the vocabulary.
  • the developer tool may include a strategy editor for creating and registering a strategy for determining a plan.
  • the developer tool may include a dialog editor that creates a conversation with the user.
  • the developer tool may include a follow up editor capable of activating a follow-on goal and editing a follow-up utterance that provides hints.
  • the following targets may be determined based on currently set targets, user preferences, or environmental conditions.
  • the capsule database 2030 may be implemented in the user terminal 1000.
  • the execution engine 2040 may calculate a result using the generated plan.
  • the end user interface 2050 may transmit the calculated result to the user terminal 1000. Accordingly, the user terminal 1000 may receive the result and provide the received result to the user.
  • the management platform 2060 may manage information used in the intelligent server 2000.
  • the big data platform 2070 according to an embodiment may collect user data.
  • the analysis platform 2080 of an embodiment may manage quality of service (QoS) of the intelligent server 2000. For example, the analysis platform 2080 may manage the components and processing speed (or efficiency) of the intelligent server 2000.
  • QoS quality of service
  • the service server 3000 may provide a service (eg, food order or hotel reservation) designated to the user terminal 1000.
  • the service server 3000 may be a server operated by a third party.
  • the service server 3000 may provide the intelligent server 2000 with information for generating a plan corresponding to the received voice input.
  • the provided information may be stored in the capsule database 2030.
  • the service server 3000 may provide result information according to the plan to the intelligent server 2000.
  • the user terminal 1000 may provide various intelligent services to the user in response to a user input.
  • the user input may include, for example, input through a physical button, touch input, or voice input.
  • the user terminal 1000 may provide a voice recognition service through an intelligent app (or voice recognition app) stored therein.
  • the user terminal 1000 may recognize a user's utterance or voice input received through the microphone, and provide a service corresponding to the recognized voice input to the user. .
  • the user terminal 1000 may perform a designated operation alone or together with the intelligent server and / or service server based on the received voice input. For example, the user terminal 1000 may execute an app corresponding to the received voice input, and perform a designated operation through the executed app.
  • the user terminal 1000 when the user terminal 1000 provides a service together with the intelligent server 2000 and / or service server, the user terminal detects a user's speech using the microphone 1020, and the A signal (or voice data) corresponding to the sensed user speech may be generated. The user terminal may transmit the voice data to the intelligent server 2000 using the communication interface 1010.
  • the intelligent server 2000 is a response to a voice input received from the user terminal 1000, a plan for performing a task corresponding to the voice input, or performing an operation according to the plan Can produce results.
  • the plan may include, for example, a plurality of operations for performing a task corresponding to a user's voice input, and a plurality of concepts related to the plurality of operations.
  • the concept may be defined as a parameter input to the execution of the plurality of operations or a result value output by the execution of the plurality of operations.
  • the plan may include information related to a plurality of operations and a plurality of concepts.
  • the user terminal 1000 may receive the response using the communication interface 1010.
  • the user terminal 1000 outputs a voice signal generated inside the user terminal 1000 to the outside using the speaker 1030, or externally generates an image generated inside the user terminal 1000 using the display 1040. Can be output as
  • FIG. 14 is a diagram illustrating a form in which relationship information between a concept and an operation is stored in a database according to various embodiments.
  • the capsule database (eg, capsule database 2030) of the intelligent server 2000 may store capsules in the form of CAN (concept action network).
  • the capsule database may store an operation for processing a task corresponding to a user's voice input, and parameters required for the operation in a concept action network (CAN) form.
  • CAN concept action network
  • the capsule database may store a plurality of capsules (capsule (A) 4010, capsule (B) 4040) corresponding to each of a plurality of domains (eg, applications).
  • one capsule eg, capsule (A) 4010
  • one domain eg, location, application
  • at least one service provider eg, CP 1 4020 or CP 2 4030
  • one capsule may include at least one operation 4100 and at least one concept 4200 for performing a designated function.
  • the natural language platform 2020 may generate a plan for performing a task corresponding to the received voice input using the capsule stored in the capsule database.
  • the planner module 2025 of the natural language platform may generate a plan using capsules stored in the capsule database.
  • the plan 4070 is generated using the operations 4011 and 4013 and concepts 4012 and 4014 of the capsule A 4010 and the operations 4041 and concept 4042 of the capsule B 4004. can do.
  • 15 is a diagram illustrating a screen in which a user terminal processes voice input received through an intelligent app according to various embodiments of the present disclosure.
  • the user terminal 1000 may execute an intelligent app to process user input through the intelligent server 2000.
  • the user terminal 1000 when the user terminal 1000 recognizes a designated voice input (eg, wake up! Or receives an input through a hardware key (eg, a dedicated hardware key), processes the voice input.
  • a hardware key eg, a dedicated hardware key
  • the user terminal 1000 may, for example, execute an intelligent app while the schedule app is running.
  • the user terminal 1000 may display an object (eg, icon) 5110 corresponding to the intelligent app on the display 1040.
  • the user terminal 1000 may receive a voice input by user speech.
  • the user terminal 1000 may receive a voice input of "Please tell me about this week's schedule!.
  • the user terminal 1000 may display a user interface (UI) 5130 (eg, an input window) of an intelligent app in which text data of the received voice input is displayed on a display.
  • UI user interface
  • the user terminal 1000 may display a result corresponding to the received voice input on the display.
  • the user terminal 1000 may receive a plan corresponding to the received user input and display a 'this week' schedule 'on the display according to the plan.
  • An electronic device may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device e.g, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • any (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the term “functionally” or “communically”
  • any of the above components can be connected directly to the other components (eg, by wire), wirelessly, or through a third component.
  • module may include units implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof performing one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (eg, internal memory 1236 or external memory 1238) readable by a machine (eg, electronic device 1201). It may be implemented as software (eg, program 1240) including the.
  • a processor eg, processor 1220 of a device (eg, electronic device 1201) may call and execute at least one of one or more commands stored from a storage medium. This enables the device to be operated to perform at least one function according to the at least one command called.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic waves), and this term is used when data is stored semi-permanently in a storage medium. It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic waves
  • a method according to various embodiments disclosed in this document may be provided as being included in a computer program product.
  • Computer program products are products that can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or two user devices ( For example, it can be distributed directly (e.g., downloaded or uploaded) between smartphones).
  • a device such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted Or, one or more other actions can be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 일 실시예에 따른 전자 장치는, 마이크; 디스플레이; 프로세서를 포함하고, 상기 프로세서는, 상기 마이크를 통해 사용자의 음성 입력을 수신하고, 상기 음성 입력에 응답하여, 상기 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인하고, 상기 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 상기 단어와 관련하여 표시하도록 설정될 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시예가 가능하다.

Description

음성 인식 기반 이미지를 표시하는 전자 장치
본 문서에서 개시되는 실시예들은 음성 인식 기반의 사용자 인터렉션 기술과 관련된다.
전자 장치가 다기능화 및 고성능화됨에 따라 전자 장치에 음성 인식 기술이 적용되는 사례가 늘고 있다. 음성 인식 기술이 적용된 전자 장치는 사용자의 음성 입력을 인식하고 음성 입력에 기반하여 사용자의 요청(의도)을 확인하고, 확인된 기능을 제공할 수 있다.
그런데, 전자 장치는 전자 장치와 사용자 간의 거리, 전자 장치의 상황(예: 마이크 가려짐), 사용자의 발화 상황(예: 음식물 섭취), 또는 주변 소음과 같은 방해요소로 인해 사용자의 음성을 오인식 할 수 있다. 음성이 오인식 되면, 전자 장치는 사용자 요청된 기능을 제대로 수행할 수 없다.
이러한 문제를 방지하고자, 전자 장치는 음성 인식 도중에 인식된 음성 입력에 대응하는 텍스트(인식된 음성을 텍스트로 변환한 결과)를 디스플레이를 통해 표시할 수 있다. 이 같은 텍스트는 사용자가 발화하면서 전자 장치의 음성 인식 오류를 파악하고 음성 인식 오류를 정정하도록 도울 수 있다.
그런데, 사용자가 텍스트를 기반으로 음성 인식 오류를 파악하기는 어려움이 있을 수 있다. 예를 들어. 사용자와 전자 장치 간의 거리가 멀 경우에는 사용자는 텍스트를 식별하기 어려울 수 있다. 또한, 사용자 발화가 길어져 텍스트 수가 많을 경우에, 사용자가 표시된 텍스트로부터 음성 인식 오류를 파악하는 것은 더 어려울 수 있다. 뿐만 아니라, 음성 입력에 대응하는 텍스트에 다의어(복수의 의미들을 가지고 있는 단어)가 포함될 경우에, 사용자가 표시된 텍스트로부터 전자 장치에 의해 파악된 의미를 파악하기는 어려울 수 있다.
본 문서에 개시되는 다양한 실시예들은 음성 인식 과정에서 인식된 단어에 대응하는 이미지를 표시할 수 있는 음성 인식 기반 이미지를 표시하는 전자 장치를 제공한다.
본 문서에 개시되는 일 실시예에 따른 전자 장치는, 마이크; 디스플레이; 프로세서를 포함하고, 상기 프로세서는, 상기 마이크를 통해 사용자의 음성 입력을 수신하고, 상기 음성 입력에 응답하여, 상기 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인하고, 상기 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 상기 단어와 관련하여 표시하도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시예에 따른 전자 장치는, 마이크; 디스플레이; 상기 마이크 및 상기 디스플레이와 기능적으로 연결된 프로세서; 및 상기 프로세서와 기능적으로 연결된 메모리를 포함하고, 상기 메모리는, 상기 프로세서로 하여금, 상기 마이크를 통해 사용자의 음성 입력을 수신하고, 상기 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 키워드 단어를 검출하고, 상기 키워드 단어에 대응하는 이미지를 상기 키워드 단어와 관련하여 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
본 문서에 개시되는 실시예들에 따르면, 음성 인식 과정에서 인식된 단어에 대응하는 이미지를 표시할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 음성 입력에 대응하는 기능 제공 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 전자 장치의 구성도를 나타낸다.
도 3은 일 실시 예에 따른 복수의 의미들을 가지고 있는 키워드 단어에 대응하는 하나의 이미지 표시 UI 화면의 일 예를 나타낸다.
도 4는 일 실시 예에 따른 복수의 의미들을 가지고 있는 키워드 단어에 대응하는 하나의 이미지 표시 UI 화면의 다른 예를 나타낸다.
도 5는 일 실시 예에 따른 복수의 의미들을 가지고 있는 키워드 단어에 대응하는 복수의 이미지 표시 UI 화면의 일 예를 나타낸다.
도 6은 일 실시 예에 따른 하나의 의미를 갖는 키워드 단어에 대응하는 이미지에 기반한 음성 인식 오류 정정 과정의 UI 화면을 나타낸다.
도 7은 일 실시 예에 따른 디스플레이를 포함하지 않는 전자 장치의 예시도이다.
도 8a 및 8b는 일 실시 예에 따른 복수의 키워드 단어에 대응하는 복수의 이미지 표시 예를 나타낸다.
도 9는 일 실시 예에 따른 음성 인식 기반 이미지 표시 방법의 흐름도를 나타낸다.
도 10은 일 실시 예에 따른 이미지 기반 음성 인식 오류 검증 방법의 흐름도를 나타낸다.
도 11은 일 실시예에 따른 이미지 기반 음성 인식 오류 검증 방법의 다른 예를 나타낸다.
도 12은 다양한 실시예에 따른 네트워크 환경 내의 전자 장치의 블록도를 나타낸다.
도 13은 일 실시예에 따른 통합 지능 (integrated intelligence) 시스템을 나타낸 블록도이다.
도 14는 일 실시예에 따른, 컨셉과 액션의 관계 정보가 데이터베이스에 저장된 형태를 나타낸 도면이다.
도 15은 일 실시예에 따라, 지능형 앱을 통해 수신된 음성 입력을 처리하는 화면을 표시하는 사용자 단말을 도시하는 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 일 실시 예에 따른 음성 입력에 대응하는 기능 제공 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(20)는 마이크를 통해 사용자의 음성 입력(voice input)을 획득하면, 음성 입력에 기반하여 사용자의 의도에 따른 명령을 수행할 수 있다. 예를 들어, 전자 장치(20)는 음성 입력을 획득하면, 음성 입력을 음성 데이터(예: PCM(pulse code modulation) 데이터)로 변환하고, 변환된 음성 데이터를 지능형 서버(10)로 송신할 수 있다.
지능형 서버(10)는 음성 데이터를 수신하면, 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 기반으로 사용자의 의도를 결정할 수 있다. 지능형 서버(10)는 결정된 사용자의 의도에 따른 명령(하나의 명령 또는 복수의 명령들을 포함함)을 결정하고, 결정된 명령 수행과 관련된 정보를 전자 장치(20)로 송신할 수 있다. 상기 명령 수행과 관련된 정보는 예를 들면, 결정된 명령을 수행하는 어플리케이션의 정보 및 상기 어플리케이션이 수행하는 기능 정보를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(20)는 지능형 서버(10)로부터 명령 수행과 관련된 정보를 수신하면, 명령 수행과 관련된 정보에 기반하여 사용자의 음성 입력에 대응하는 명령을 수행할 수 있다. 전자 장치(20)는 명령의 수행 과정에서 또는 명령의 수행 완료 시에 명령과 관련된 화면을 표시할 수 있다. 상기 명령과 관련된 화면은 예를 들면, 지능형 서버(10)로부터 제공된 화면이거나, 전자 장치(20)가 명령 수행과 관련된 정보를 기반으로 생성한 화면일 수 있다. 상기 명령과 관련된 화면은 예를 들면, 명령의 수행 과정을 안내하는 화면 또는 명령의 수행 결과를 안내하는 화면 중 적어도 하나의 화면을 포함할 수 있다.
일 실시예에 따르면, 전자 장치(20)는 음성 인식 도중에 음성 입력에 기반하여 인식된 단어들 중 적어도 일부 단어에 대응하는 이미지를 표시할 수 있다. 상기 음성 인식 도중은 예를 들면, 음성 인식 서비스를 개시한 후 음성 입력을 수신하고, 음성 입력에 기반하여 단어를 인식하고, 인식된 단어에 기반하여 사용자의 의도를 결정하고, 사용자의 의도에 따른 명령을 결정하는 과정을 포함할 수 있다. 상기 음성 인식 도중은 다른 예를 들면, 음성 인식 서비스를 개시한 후 음성 입력에 기반하여 사용자의 의도에 따른 명령을 수행하기 이전일 수 있다. 상기 음성 인식 도중은 또 다른 예로, 음성 인식 서비스를 개시한 후 음성 입력에 기반하여 사용자의 의도와 관련된 화면을 출력하기 이전일 수 있다.
다양한 실시예에 따르면, 지능형 서버(10)의 적어도 일부 기능은 전자 장치(10)에 의해 실행될 수 있다. 예를 들어, 전자 장치(20)는 획득된 음성 입력을 음성 데이터로 변환한 후 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 지능형 서버(10)로 송신할 수 있다. 다른 예를 들어, 전자 장치(20)는 지능형 서버(10)의 모든 기능을 수행할 수 있다. 이 경우, 지능형 서버(10)는 생략될 수 있다.
도 2는 일 실시예에 따른 전자 장치의 구성도를 나타낸다.
도 2를 참조하면, 일 실시예에 따르면, 전자 장치(20)는 마이크(210), 입력 회로(220), 통신 회로(230), 디스플레이(240), 메모리(250) 및 프로세서(260)를 포함할 수 있다. 일 실시 예에서, 전자 장치(20)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 예를 들어, 전자 장치(20)는 디스플레이(240)를 포함하지 않는 장치이고(예: AI 스피커), 외부 전자 장치(예: TV, 스마트폰)에 구비된 디스플레이(240)를 이용할 수 있다. 다른 예를 들어, 전자 장치(20)는 사용자의 입력을 감지 또는 수신하는 입력 회로(220)를 더 포함할 수 있다. 일 실시 예에서, 전자 장치(20)의 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. 전자 장치(20)는 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치(예: AI 스피커)를 포함할 수 있다.
일 실시예에 따르면, 마이크(210)는 사용자 발화에 의한 음성 입력을 수신할 수 있다. 예를 들어, 마이크(210)는 사용자 발화에 따른 음성 입력을 감지하고, 감지된 음성 입력에 대응하는 신호를 생성할 수 있다.
일 실시예에 따르면, 입력 회로(220)는 사용자의 입력(예: 터치 입력)을 감지 또는 수신할 수 있다. 입력 회로(220)는 예를 들면, 디스플레이(240)와 결합된 터치 센서일 수 있다. 입력 회로(220)는 적어도 일부가 전자 장치(20)의 외부로 노출된 물리적 버튼을 더 포함할 수 있다.
일 실시예에 따르면, 통신 회로(230)는 지정된 통신 채널을 통해 지능형 서버(10)와 통신할 수 있다. 상기 지정된 통신 채널은 예를 들면, WiFi, 3G, 4G, 5G와 같은 무선 통신 방식의 통신 채널일 수 있다.
일 실시예에 따르면, 디스플레이(240)는, 예를 들면, 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)를 표시할 수 있다. 디스플레이(240)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다.
일 실시예에 따르면, 메모리(250)는 예를 들면, 전자 장치(20)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 메모리(250)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 일 실시예에 따르면, 메모리(250)는, 프로세서(260)로 하여금, 마이크(210)를 통해 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 키워드 단어를 검출하고, 상기 키워드 단어에 대응하는 이미지를 디스플레이(240)를 통해 상기 키워드 단어와 관련하여 표시하도록 설정된 인스트럭션들을 저장할 수 있다. 상기 키워드 단어는 복수의 의미들을 가지고 있는 단어, 사람이나 사물의 명칭(고유 명사, 대명사)에 관련된 단어 또는 행위에 관련된 단어 중 적어도 하나를 포함할 수 있다. 상기 단어가 가지고 있는 의미는 단어의 고유한 뜻일 수 있고, 단어에 기반하여 사용자의 의도에 따른 명령을 결정하는데 필요한 파라미터(예: 입출력 값)일 수 있다.
일 실시예에 따르면, 프로세서(260)는 메모리(250)에 저장된 인스트럭션들을 이용하여 전자 장치(20)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 프로세서(260)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다.
일 실시예에 따르면, 프로세서(260)는 마이크(210)를 통해 음성 입력에 기반한 서비스의 개시(시작)를 요청하는 음성 입력(이하, 웨이크업(wake up) 발화라 함)을 확인하거나, 입력 회로(220)를 통해 음성 입력에 기반한 서비스의 개시를 요청하는 사용자의 입력(예: 터치 입력)을 확인하면, 음성 인식 기능을 수행할 수 있다. 프로세서(260)는 음성 인식 기능을 수행할 때 마이크(210)를 통해 사용자의 발화에 따른 음성 입력을 수신하고, 수신된 음성 입력에 기반하여 하나 이상의 단어들을 인식하고, 인식된 단어들에 기반하여 결정된 사용자의 의도에 따른 명령을 수행할 수 있다. 프로세서(260)는 명령의 수행 과정 또는 명령의 수행 완료 시에 명령과 관련한 화면을 출력할 수 있다. 상기 명령과 관련된 화면은 예를 들면, 명령의 수행 과정을 안내하는 화면 또는 명령의 수행 결과를 안내하는 화면 중 적어도 하나의 화면을 포함할 수 있다.
일 실시예에 따르면, 프로세서(260)는 마이크(210)를 통해 음성 입력을 수신하고, 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 키워드 단어를 검출할 수 있다. 예를 들어, 프로세서(260)는 음성 인식 도중에 수신된 음성 입력에 기반하여 키워드 단어를 검출할 수 있다. 상기 음성 인식 도중은 예를 들면, 음성 인식 서비스를 개시한 후 음성 입력을 수신하고, 음성 입력에 기반하여 단어를 인식하고, 인식된 단어에 기반하여 사용자의 의도를 결정하고, 사용자의 의도에 따른 명령을 결정하는 과정을 포함할 수 있다. 상기 음성 인식 도중은 다른 예를 들면, 음성 인식 서비스를 개시한 후 음성 입력에 기반하여 사용자의 의도에 따른 명령을 수행하기 이전일 수 있다. 상기 음성 인식 도중은 또 다른 예로, 음성 인식 서비스를 개시한 후 음성 입력에 기반하여 사용자의 의도에 관련된 사용자의 의도에 따른 화면을 출력하기 이전일 수 있다.
일 실시예에 따르면, 프로세서(260)는 인식된 단어들 중 키워드 단어가 검출되면, 키워드 단어에 대응하는 이미지를 획득하고, 획득된 이미지를 키워드 단어와 관련하여 디스플레이(240)를 통해 표시할 수 있다. 상기 키워드 단어에 대응하는 이미지는 키워드 단어에 기 맵핑되어 있는 이미지일 수 있다. 상기 키워드 단어에 대응하는 이미지는 사용자가 키워드 단어에 대응하는 이미지로부터 키워드 단어를 연상시키는 이미지를 포함할 수 있다. 예를 들어, 키워드 단어가 형상이 있는 사람이나 사물의 명칭에 관련된 단어일 경우, 키워드 단어에 대응하는 이미지는 사람이나 사물의 형상을 표현하는 이미지를 포함할 수 있다. 다른 예를 들어, 키워드 단어가 형상이 없는 사물(예: 회사명)에 관련된 단어일 경우, 키워드 단어에 대응하는 이미지는 로고(예: 회사로고) 또는 기호를 포함할 수 있다. 또 다른 예로, 키워드 단어가 행위에 관련된 단어일 경우, 키워드 단어에 대응하는 이미지는 행위를 표현하는 이미지를 포함할 수 있다.
프로세서(260)는 메모리(250) 또는 외부 전자 장치(예: 지능형 서버(10), 포털 서버, 소셜 네트워크 서버)로부터 키워드 단어에 대응하는 이미지를 획득할 수 있다. 예를 들어, 프로세서(260)는 메모리(250)로부터 키워드 단어에 대응하는 이미지를 검색하고, 메모리(250)에 키워드 단어에 대응하는 이미지가 있으면, 메모리(250)로부터 키워드 단어에 대응하는 이미지를 획득할 수 있다. 프로세서(260)는 메모리(250)에 키워드 단어에 대응하는 이미지가 없으면, 지능형 서버(10)로부터 획득할 수 있다.
프로세서(260)는 음성 입력에 따라 인식된 단어들을 문장으로 구성하고 해당 문장을 디스플레이(240)에 표시할 때 키워드 단어를 강조(예: 굵은 글씨체)함에 따라 키워드 단어에 대응하는 이미지와 관련하여 표시할 수 있다. 추가적으로 또는 대체적으로, 프로세서(260)는 키워드 단어를 키워드 단어에 대응하는 이미지와 근접하여(예: 키워드 단어를 이미지의 하부에) 표시할 수 있다.
일 실시예에 따르면, 검출된 키워드 단어가 복수의 의미들을 가지고 있는 단어이면, 프로세서(260)는 복수의 의미들 중에서 하나의 의미를 선택하고, 선택된 하나의 의미에 대응하는 이미지를 표시할 수 있다.
한 실시예에 따르면, 검출된 키워드 단어가 복수의 의미들을 가지고 있는 단어이면, 프로세서(260)는 복수의 의미들이 키워드 단어일 확률을 산출하고, 산출된 확률이 가장 높은 의미를 선택하고, 선택된 하나의 의미에 대응하는 하나의 이미지만을 표시할 수 있다. 이와 관련하여, 프로세서(260)는 복수의 의미들이 사용된 이력 또는 사용자의 성향 정보에 기반하여 복수의 의미들 각각이 키워드 단어의 의미일 확률을 산출하고, 복수의 의미들 중 가장 확률이 높은 하나의 의미를 선택할 수 있다. 예를 들어, 프로세서(260)는 복수의 의미들이 전자 장치(20)에서 사용된 이력에 기반하여, 복수의 의미들 중에서 가장 사용빈도가 높고 가장 최근에 사용된 의미에 대하여 가장 높은 확률을 산출할 수 있다. 다른 예를 들어, 복수의 의미들이 전자 장치(20)에서 사용된 이력에 기반하여 복수의 의미들 각각이 키워드 단어일 확률들을 산출할 수 없을 경우(예: 복수의 의미들 중 어느 것도 전자 장치(20)에서 사용된 이력이 존재하지 않은 경우), 프로세서(260)는 복수의 의미들이 외부 전자 장치(20)에서 사용된 이력에 기반하여, 복수의 의미들 중에서 가장 사용빈도가 높고 가장 최근에 사용된 의미에 대하여 가장 높은 확률을 산출할 수 있다. 또 다른 예로, 프로세서(260)는 사용자의 성향 정보 예컨대, 사용자와 관심 분야가 동일 또는 유사한 복수의 사용자들의 선호도에 기반하여 복수의 의미들 각각이 키워드 단어의 의미일 확률을 산출할 수 있다.
한 실시예에서, 키워드 단어일 확률이 가장 높은 선택된 하나의 의미에 대응하는 이미지만을 표시할 때, 프로세서(260)는 선택된 하나의 의미와 지정된 확률 차이(예: 약 5%) 이하의 다른 의미가 존재하면, 이를 나타내도록 선택된 하나의 의미에 대응하는 이미지에 다른 효과(예: 테두리 강조)를 적용하여 표시할 수 있다. 한 실시예에서, 프로세서(260)는 가장 확률이 높은 하나의 의미에 대응하는 이미지와 함께, 다른 의미에 대응하는 이미지를 표시할 수 있다. 이 경우, 프로세서(260)는 키워드 단어일 확률이 가장 높은 의미에 대응하는 이미지를 가장 큰 크기로 표시하고, 다른 의미에 대응하는 이미지를 상대적으로 작은 크기로 표시할 수 있다. 한 실시예에 따르면, 검출된 키워드 단어가 복수의 의미들을 가지고 있는 단어이면, 프로세서(260)는 복수의 의미들에 대응하는 복수의 이미지들을 표시하고, 표시된 이미지들에 대한 사용자의 입력(예: 터치 입력)에 기반하여 복수의 의미들 중에서 하나의 의미를 선택할 수 있다. 예를 들어, 프로세서(260)는 복수의 의미들에 각기 대응하는 복수의 이미지들을 키워드 단어와 관련하여 디스플레이(240)를 통해 표시하고, 디스플레이(240)를 통해 표시된 복수의 이미지들 중 사용자의 입력으로 선택된 하나의 이미지에 대응하는 하나의 의미를 선택할 수 있다.
한 실시예에서, 프로세서(260)는 복수의 의미들에 각기 대응하는 복수의 이미지들을 표시할 때, 복수의 의미들 각각이 키워드 단어의 의미일 확률에 기반하여, 복수의 이미지들을 구분하여 표시할 수 있다. 예를 들어, 프로세서(260)는 키워드 단어일 확률이 가장 높은 의미에 대응하는 이미지를 가장 큰 크기로 표시하거나, 다른 효과(예: 테두리 강조)를 적용하여 표시할 수 있다.
일 실시예에 따르면, 프로세서(260)는 음성 입력에 기반하여 인식된 단어들 중에서 복수의 키워드 단어들을 검출할 수 있다. 상기 복수의 키워드 단어들은 하나의 의미를 가지고 있는 단어 또는 복수의 의미들을 가지고 있는 단어 중 적어도 하나를 포함할 수 있다. 프로세서(260)는 음성 입력에 기반하여 복수의 키워드 단어들을 검출하면, 복수의 키워드 단어들에 대응하는 복수의 이미지들을 순차적으로 표시할 수 있다. 상기 복수의 이미지들이 순차적으로 표시된다는 것은, 예를 들면, 복수의 이미지들이 각기 다른 화면으로 표시된다는 것일 수 있다. 또는, 프로세서(260)는 음성 입력에 기반하여 복수의 키워드 단어들을 검출하면, 한 화면에 복수의 키워드 단어들에 각기 대응하는 복수의 이미지들을 시간 순서대로 나열하여 표시할 수 있다. 예를 들어, 프로세서(260)는 음성 입력의 수신이 완료된 후 음성 입력에 기반하여 검출된 키워드 단어들에 대응하는 복수의 이미지들을 나열하여 표시할 수 있다. 상기 복수의 이미지들이 나열되어 표시된다는 것은, 예를 들면, 복수의 이미지들이 하나의 화면으로 표시된다는 것일 수 있다. 이 경우, 복수의 이미지들은 복수의 키워드 단어들의 검출 순서에 따라 나열되어 표시될 수 있다.
일 실시예에 따르면, 프로세서(260)는 키워드 단어와 관련하여 표시된 이미지에 대한 다른 음성 입력이 있으면, 다른 음성 입력에 기반하여 키워드 단어에 대응하는 이미지를 변경할 수 있다. 상기 다른 음성 입력은 키워드 단어와 관련하여 이미지가 표시된 시점으로부터 지정된 시간 내에 입력된 음성 입력으로서, 키워드 단어가 가지고 있는 다른 하나의 의미에 관련된 단어, 부정어 단어, 키워드 단어 또는 대명사 중 적어도 하나를 포함할 수 있다.
프로세서(260)는 지정된 시간 내에 음성 입력에 기반하여 복수의 의미들 중 선택되지 않은 다른 하나의 의미와 관련된 단어를 인식하면, 키워드 단어와 관련하여 표시된 이미지에 대한 다른 음성 입력이 있는 것으로 결정할 수 있다. 또는, 프로세서(260)는 지정된 시간 내에 선택되지 않은 다른 하나의 의미와 관련된 단어와 더불어, 키워드 단어, 부정어 또는 대명사 중 적어도 하나의 단어를 인식하면, 다른 음성 입력이 있는 것으로 결정할 수 있다. 프로세서(260)는 다른 음성 입력에 응답하여, 복수의 의미들 중 다른 음성 입력에 기반하여 선택된 다른 하나의 의미에 대응하는 다른 이미지를 디스플레이(240)를 통해 키워드 단어와 관련하여 표시할 수 있다.
일 실시예에 따르면, 프로세서(260)는 키워드 단어와 관련하여 표시된 이미지에 대한 다른 음성 입력이 있으면, 키워드 단어의 의미를 다른 음성 입력에 기반하여 선택된 다른 하나의 의미로 정정할 수 있다. 또는, 프로세서(260)는 키워드 단어와 관련하여 표시된 이미지에 대한 다른 음성 입력이 있으면, 키워드 단어를 포함하는 문장 중에서 키워드 단어를 상기 다른 하나의 의미와 관련된 단어를 포함하는 구(phase)로 정정 또는 치환할 수 있다. 프로세서(260)는 음성 입력에 기반하여 인식된 키워드 단어를 포함하는 문장을 사용자의 의도에 따른 명령 결정 대상에서 제외하고, 다른 음성 입력에 기반하여 인식된 키워드 단어를 포함하는 문장에 기반하여 사용자의 의도에 따른 명령을 결정할 수 있다.
일 실시예에 따르면, 프로세서(260)는 음성 수신이 완료된 후, 음성 입력에 기반하여 검출된 모든 키워드 단어에 대응하는 이미지를 표시할 수 있다. 음성 입력에 기반하여 복수의 키워드 단어들이 검출된 경우, 프로세서(260)는 복수의 키워드 단어들에 각기 대응하는 복수의 이미지들을 표시할 수 있다. 프로세서(260)는 복수의 키워드 단어들 중에서 복수의 의미들을 가지고 있는 키워드 단어에 대해서는 복수의 의미들에 각기 대응하는 복수의 이미지들을 표시할 수 있다. 프로세서(260)는 음성 입력에 대응하는 명령과 관련된 화면을 출력하기 전까지 키워드 단어에 대응하는 이미지를 출력할 수 있다.
일 실시예에 따르면, 프로세서(260)는 음성 입력에 기반하여 인식된 단어들 중 복수의 의미들에 가지고 있는 키워드 단어가 있으면, 적어도 해당 키워드 단어에 대한 선택된 하나의 의미가 결정될 때까지 음성 입력에 기반한 명령 결정을 지연할 수 있다. 예를 들어, 프로세서(260)는 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지가 표시된 후 지정된 시간 동안 사용자의 입력 또는 다른 음성 입력이 수신되지 않으면, 키워드 단어가 선택된 하나의 의미인 것으로 결정할 수 있다. 이 경우, 프로세서(260)는 지능형 서버(10)로 키워드 단어의 의미가 선택된 하나의 의미로 결정되었음을 알리는 정보를 송신할 수 있다. 다른 예를 들어, 프로세서(260)는 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지가 표시된 후 지정된 시간 내에 선택되지 않은 다른 하나의 의미를 선택하기 위한 사용자의 입력 또는 다른 음성 입력이 수신되면, 키워드 단어의 의미를 상기 사용자 입력 또는 상기 다른 음성 입력에 따른 다른 하나의 의미로 결정할 수 있다. 이 경우, 프로세서(260)는 지능형 서버(10)로 키워드 단어의 의미가 다른 하나의 의미로 결정되었음을 알리는 정보를 송신할 수 있다.
다양한 실시 예에 따르면, 상술된 프로세서(260)의 동작 중 적어도 일부는 지능형 서버(10)에 의하여 수행될 수 있다. 예를 들어, 프로세서(260)는 지능형 서버(10)가 인식된 단어들 중 복수의 의미들을 가지고 있는 단어가 있는지를 확인하고, 복수의 의미들 중 하나의 의미를 선택하고, 선택된 하나의 의미에 대응하는 이미지를 전자 장치(20)로 제공하도록 음성 입력 또는 다른 음성 입력을 지능형 서버(10)로 송신할 수 있다. 이 경우, 전자 장치(20)는 선택된 하나의 의미에 대응하는 이미지를 표시하고 상기 이미지가 표시된 후 지정된 시간 내에 사용자의 입력, 다른 음성 입력 또는 선택된 하나의 의미에 대한 결정을 알리는 정보를 지능형 서버(10)로 송신할 수 있다.
다양한 실시 예에 따르면, 프로세서(260)는 하나의 의미를 가지고 있는 단어를 키워드 단어로 검출하고, 키워드 단어에 대응하는 이미지를 키워드 단어와 관련하여 표시할 수 있다. 프로세서(260)는 키워드 단어와 관련하여 이미지가 표시된 후 지정된 시간 내에 다른 음성 입력이 수신되면, 다른 음성 입력에 기반하여 검출된 키워드 단어를 정정할 수 있다. 예를 들어, 프로세서(260)는 키워드 단어와 관련하여 이미지가 표시된 후 지정된 시간 내에 음성 입력에 기반하여 키워드 단어와 더불어, 키워드 단어를 부정하는 부정사 단어 및 대체 단어를 인식하면, 키워드 단어를 정정하기 위한 다른 음성 입력인 것으로 확인할 수 있다. 이 경우, 프로세서(260)는 키워드 단어를 대체 단어로 정정할 수 있다.
상술한 실시예에 따르면, 전자 장치(20)는 적어도 복수의 의미들을 가지고 있는 키워드 단어에 대하여, 키워드 단어에 대응하는 이미지를 표시함에 따라 사용자가 음성 입력에 기반하여 인식된 단어들의 오류 발생 여부를 용이하게 검출할 수 있도록 지원할 수 있다.
또한, 상술한 실시예에 따르면, 전자 장치(20)는 인식된 단어와 관련하여 표시된 이미지에 대한 사용자의 입력 또는 다른 음성 입력에 기반하여 사용자가 음성 인식 과정의 오류를 용이하게 정정할 수 있도록 지원할 수 있다.
일 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(20))는 마이크(예: 도 2의 마이크(210)); 디스플레이(예: 도 2의 디스플레이(240); 및 프로세서(예: 도 2의 프로세서(260))를 포함하고, 상기 프로세서는, 상기 마이크를 통해 사용자의 음성 입력을 수신하고, 상기 음성 입력에 응답하여, 상기 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인하고, 상기 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 상기 단어와 관련하여 표시하도록 설정될 수 있다.
상기 프로세서는, 상기 단어와 관련하여 표시된 상기 이미지에 대한 다른 음성 입력이 있으면, 상기 다른 음성 입력에 응답하여, 상기 복수의 의미들 중 상기 다른 음성 입력에 기반하여 선택된 다른 하나의 의미에 대응하는 다른 이미지를 상기 디스플레이를 통해 상기 단어와 관련하여 표시하도록 설정될 수 있다.
상기 프로세서는, 상기 복수의 의미들 각각이 상기 음성 입력에 따른 의미가 될 확률을 각기 산출하고, 상기 각기 산출된 확률들 중 가장 높은 확률에 대응하는 상기 하나의 의미를 선택하도록 설정될 수 있다.
상기 프로세서는, 상기 전자 장치 또는 외부 전자 장치에서 상기 단어가 사용된 이력에 기반하여 상기 복수의 의미들 각각에 대한 확률들을 산출하도록 더 설정될 수 있다.
상기 프로세서는, 지정된 시간 내에 상기 음성 입력에 기반하여 상기 복수의 의미들 중 선택되지 않은 다른 하나의 의미와 관련된 단어를 인식하면, 상기 다른 음성 입력이 있는 것으로 결정하도록 설정될 수 있다.
상기 프로세서는, 상기 지정된 시간 내에 상기 음성 입력에 기반하여 상기 다른 하나의 의미와 관련된 단어와 더불어, 부정어 또는 대명사 중 적어도 하나의 단어를 인식하면, 상기 다른 음성 입력이 있는 것으로 결정할 수 있다.
상기 전자 장치는 입력 회로(예: 도 2의 입력 회로(220)를 더 포함하고, 상기 프로세서는, 상기 복수의 의미들을 가지고 있는 단어들을 확인하면, 상기 복수의 의미들에 각기 대응하는 복수의 이미지들을 상기 디스플레이를 통해 상기 단어와 관련하여 표시하고, 상기 복수의 이미지들 중 상기 입력 회로를 통해 선택된 하나의 이미지에 대응하는 상기 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
상기 프로세서는, 상기 단어와 관련하여 표시된 상기 이미지에 대한 상기 다른 음성 입력이 없으면, 상기 단어를 상기 선택된 하나의 의미로 결정하도록 설정될 수 있다.
상기 전자 장치는 외부 전자 장치와 통신하는 통신 회로(예: 도 2의 통신 회로(230)를 더 포함하고, 상기 프로세서는, 상기 외부 전자 장치가 상기 단어와 관련하여 표시된 상기 이미지에 대한 상기 다른 음성 입력이 있는지를 결정하고, 상기 다른 음성 입력에 기반하여 상기 복수의 의미들 중 상기 하나의 의미를 결정하도록, 상기 음성 입력 및 상기 다른 음성 입력을 상기 외부 전자 장치로 송신할 수 있다.
일 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(20)는, 마이크(예: 도 2의 마이크(210)); 디스플레이(예: 도 2의 디스플레이(240); 상기 마이크 및 상기 디스플레이와 기능적으로 연결된 프로세서(예: 도 2의 프로세서(260)); 및 상기 프로세서와 기능적으로 연결된 메모리(예: 도 2의 메모리(250))를 포함할 수 있다. 상기 메모리는, 상기 프로세서로 하여금, 상기 마이크를 통해 사용자의 음성 입력을 수신하고, 상기 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 키워드 단어를 검출하고, 상기 키워드 단어에 대응하는 이미지를 상기 키워드 단어와 관련하여 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 인식된 하나 이상의 단어들 중 복수의 의미들을 가지는 단어, 명칭에 관련된 단어 또는 행위에 관련된 단어를 상기 키워드 단어로 검출하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 키워드 단어가 복수의 의미들을 가지고 있는 단어이면, 상기 복수의 의미들에 대응하는 복수의 이미지들이 표시하고, 상기 복수의 이미지들 중 하나의 이미지를 선택하는 사용자의 입력에 기반하여 상기 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 표시하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 복수의 의미들 각각이 상기 키워드 단어의 의미일 확률들을 산출하고, 가장 높은 확률을 갖는 상기 하나의 의미에 대응하는 이미지를 가장 큰 크기로 표시하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 키워드 단어가 복수의 의미들을 가지고 있는 단어이면, 상기 복수의 의미들 각각이 상기 키워드 단어의 의미일 확률들을 각기 산출하고, 상기 각기 산출된 확률들 중 가장 높은 확률을 갖는 상기 하나의 의미에 대응하는 하나의 이미지를 표시하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 수신된 음성 입력에 기반하여, 복수의 키워드 단어들을 검출하면, 상기 복수의 키워드 단어들에 대응하는 상기 복수의 이미지들을 순차적으로 표시하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 수신된 음성 입력에 기반하여 복수의 키워드 단어들을 검출하면, 상기 복수의 키워드 단어들에 각기 대응하는 복수의 이미지들을 나열하여 표시하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 키워드 단어와 관련하여 표시된 상기 이미지에 대한 다른 음성 입력이 있으면, 상기 다른 음성 입력에 기반하여 상기 키워드 단어를 정정하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 키워드 단어와 관련하여 표시된 상기 이미지에 대한 다른 음성 입력이 있으면, 상기 키워드 단어를 포함하는 문장을 제외하고, 상기 문장이 제외된 음성 입력에 기반하여 명령을 결정하도록 더 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 지정된 시간 내에 상기 키워드 단어, 부정어 또는 대명사 중 적어도 하나를 포함하는 음성 입력이 수신되면, 상기 다른 음성 입력이 있는 것으로 결정하도록 설정될 수 있다.
상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 음성 입력의 수신이 종료되면, 상기 음성 입력에 기반하여 사용자의 의도에 따른 명령을 결정하고, 결정된 명령을 수행하고 상기 명령의 수행 과정 또는 수행 종료 시에 상기 명령과 관련된 화면을 상기 디스플레이를 통해 표시하고, 상기 명령과 관련된 화면이 표시되기 전까지 상기 이미지를 표시하도록 더 설정될 수 있다.
도 3은 일 실시 예에 따른 복수의 의미들을 가지고 있는 키워드 단어에 대응하는 하나의 이미지 표시 UI 화면의 일 예를 나타낸다.
도 3을 참조하면, 전자 장치(20)는 사용자의 음성 입력(310) “정류장 노래 틀어줘”를 수신하면, 복수의 의미들을 가지고 있는 단어 “정류장”을 키워드 단어로 검출할 수 있다. 예를 들어, 전자 장치(20)는 키워드 단어 “정류장”을 명칭으로 하는 복수의 음원 정보를 확인하고, 키워드 단어 “정류장”이 복수의 의미 즉, 복수의 음원 정보(예: 가수 명칭)를 가지고 있는 단어임을 확인할 수 있다.
화면 350에서, 전자 장치(20)는 복수의 음원 정보 중에서 선택된 하나의 음원 정보 “가수 A의 정류장”에 대응하는 이미지(351)를 키워드 단어 “정류장”와 관련하여 디스플레이(240)(예: 도 2의 디스플레이(240))를 통해 표시할 수 있다. 상기 “가수 A의 정류장”에 대응하는 이미지(351)는 예를 들면, 가수 A의 정류장의 앨범 표지 이미지일 수 있다. 이와 관련하여, 전자 장치(20)는 복수의 음원 정보를 기반으로 전자 장치(20)에서 사용된(예: 재생된 또는 다운로드) 이력이 있는 하나의 음원 정보를 선택할 수 있다. 전자 장치(20)는 복수의 음원 정보 중 두 개 이상의 음원 정보가 전자 장치(20)에 사용된 이력이 있는 경우, 두 개의 이상의 음원 정보 중 사용빈도가 높은 음원 정보 또는 가장 최근 사용된 하나의 음원 정보 중 적어도 하나에 해당하는 음원 정보를 선택할 수 있다. 복수의 음원 정보가 전자 장치(20)에서 사용된(예: 재생된 또는 다운로드) 이력이 없는 경우, 전자 장치(20)는 외부 전자 장치에서 사용된 이력에 기반하여 예컨대, 가장 최근에 사용 빈도가 지정된 빈도 이상인 하나의 음원 정보를 선택할 수 있다. 또는, 복수의 음원 정보가 전자 장치(20)에서 사용된(예: 재생된 또는 다운로드) 이력이 없는 경우, 전자 장치(20)는 사용자 성향 정보 예컨대, 사용자가 재생한 이력이 있는 음원의 장르에 기반하여 하나의 음원을 선택할 수 있다.
전자 장치(20)는 이미지(351)을 표시한 후 지정된 시간 내에 제2 음성 입력(320) “아니 가수 B”에 기반하여 부정사 단어 “아니”와 선택되지 않은 다른 하나의 음원(상술된 '선택되지 않은 다른 하나의 의미에 대응됨)과 관련된 단어 “가수 B”를 인식할 수 있다. 이 경우, 프로세서(260)는 제2 음성 입력(320)이 키워드 단어 “정류장”과 관련하여 표시된 이미지(351)에 대한 다른 음성 입력인 것으로 확인하고, 제2 음성 입력(320)에 기반하여 다른 하나의 의미 “가수 B의 정류장”을 키워드 단어의 의미로 선택할 수 있다.
화면 360에서, 전자 장치(20)는 제2 음성 입력(320)에 응답하여, 키워드 단어 “정류장”에 대응하는 다른 이미지(361) 예를 들면, “가수 B의 정류장”에 대응하는 이미지를 키워드 단어 “정류장”과 관련하여 디스플레이(240)를 통해 표시할 수 있다. 상기 “가수 B의 정류장”에 대응하는 이미지(361)는 예를 들면, “가수 B의 정류장”의 앨범 표지 이미지일 수 있다.
일 실시예에 따르면, 전자 장치(20)는 “가수 B의 정류장” 의 음원 재생을 사용자의 의도로 결정하고, “가수 B의 정류장” 의 음원을 재생하기 위한 명령을 결정하고, 결정된 명령을 수행함에 따라 “가수 B”의 정류장을 재생할 수 있다.
상술한 실시 예에 따르면, 전자 장치(20)는 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인하면, 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 표시함에 따라, 음성 인식 과정의 오류를 용이하게 확인하고 정정하도록 지원할 수 있다.
도 4는 일 실시 예에 따른 복수의 의미들을 가지고 있는 키워드 단어에 대응하는 하나의 이미지 표시 UI 화면의 다른 예를 나타낸다.
도 4를 참조하면, 전자 장치(20)는 사용자의 음성 입력(410) “정은이한테 오늘 뭐했는지 물어봐 줘”를 수신하면, 복수의 의미들을 가지고 있는 단어 “정은”을 키워드 단어로 검출할 수 있다. 예를 들면, 전자 장치(20)는 주소록으로부터 키워드 단어 “정은”으로 저장된 복수의 연락처 정보를 확인하고, 키워드 단어 “정은”이 복수의 의미들 즉, 복수의 연락처 정보(예: 전화번호)를 가지고 있는 단어임을 확인할 수 있다.
화면 450에서, 전자 장치(20)는 키워드 단어 “정은”을 포함하는 복수의 연락처 정보 중에서 선택된 하나의 연락처 정보 “정은 1”에 대응하는 이미지(451)를 키워드 단어 “정은”과 관련하여 표시할 수 있다. 예를 들어, “정은 1”에 대응하는 이미지(451)는 정은 1의 연락처 정보를 기반으로 전자 장치(20) 또는 외부 전자 장치(예: 소셜 네트워크 서버)로부터 획득된 사진 이미지(예: 소셜 네트워크에 저장된 프로필 이미지)일 수 있다. 이와 관련하여, 전자 장치(20)는 복수의 연락처 정보 중에서 사용빈도가 높은 연락처 정보 또는 가장 최근 사용된 하나의 연락처 정보 중 적어도 하나에 해당하는 연락처 정보를 선택할 수 있다. 다양한 실시 예에 따르면, 전자 장치(20)는 이미지(451)와 정은 1의 연락처 정보(010-XXXX-0001)를 관련하여 표시할 수 있다.
전자 장치(20)는 “정은 1”에 대응하는 이미지(451)를 표시한 후 지정된 시간 내에 제2 음성 입력(420) “아니 내 친구 김정은”에 기반하여, 부정사 단어 “아니”, 키워드 단어 “정은”과 선택되지 않은 다른 하나의 연락처 정보와 관련된 단어 “내 친구” 및 “김정은”을 인식할 수 있다. 전자 장치(20)는 제2 음성 입력(420)이 키워드 단어 “정은”과 관련하여 표시된 이미지(451)에 대한 다른 음성 입력인 것으로 결정하고, 제2 음성 입력(420)에 기반하여 키워드 단어 “정은”의 의미를 친구 그룹에 속하는 김정은(정은 2)의 연락처 정보로 정정할 수 있다.
화면 460에서, 전자 장치(20)는 제2 음성 입력에 기반하여 선택된 다른 이미지(461) 예를 들면, 친구 그룹에 속하는 연락처 정보에 대응하는 이미지를 키워드 단어 “정은”과 관련하여 표시할 수 있다. 예를 들어, 제2 음성 입력에 기반하여 선택된 다른 이미지(461)는 친구 그룹에 속하는 김정은의 연락처 정보를 기반으로 전자 장치(20) 또는 외부 전자 장치(예: 소셜 네트워크에 저장된 프로필 이미지)로부터 획득된 사진 이미지일 수 있다. 다양한 실시 예에 따르면, 전자 장치(20)는 다른 이미지(461)와 정은 2의 연락처 정보(010-XXXX-0002)를 관련하여 표시할 수 있다.
상술한 실시 예에 따르면, 전자 장치(20)는 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인하면, 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 표시함에 따라, 음성 인식 과정의 오류 발생을 직관적으로 확인하도록 지원할 수 있다.
도 5는 일 실시 예에 따른 복수의 의미들을 가지고 있는 키워드 단어에 대응하는 복수의 이미지 표시 UI 화면의 일 예를 나타낸다.
도 5를 참조하면, 일 실시예에 따르면, 전자 장치(20)는 제1 음성 입력에 기반하여 인식된 하나 이상의 단어들 중에서 복수의 의미를 가지고 있는 단어에 대하여 복수의 의미들에 각기 대응하는 복수의 이미지들을 표시할 수 있다.
화면 540에서, 전자 장치(20)는 “A한테 언제쯤 도착하는지 물어봐 줘”라는 제1 음성 입력(510)을 수신하면, 복수의 의미들을 가지고 있는 다의어 “A”를 키워드 단어로 검출하고, 키워드 단어 “A”의 제1 의미(“A” 1의 연락처 정보) 및 제2 의미(“A” 2의 연락처 정보)에 각기 대응하는 제1 이미지(511) 및 제2 이미지(512)를 표시할 수 있다. 이와 관련하여, 전자 장치(20)는 복수의 의미들이 사용된 이력 또는 사용자 성향 정보 중 적어도 하나에 기반하여 복수의 의미들 각각이 키워드 단어의 의미일 확률을 산출하고, 산출된 확률이 가장 높은 선택된 하나의 의미에 대응하는 제1 이미지(511)를 제2 이미지(512)보다 큰 크기로 표시할 수 있다.
전자 장치(20)는 화면 540가 표시된 후 지정된 시간 내에 제2 음성 입력(520) “아니 내 직장 동료 A”를 수신할 수 있다. 전자 장치(20)는 제2 음성 입력에 기반하여 부정사 단어 ”아니”, 키워드 단어 ”A” 및 키워드 단어 “A”의 다른 하나의 의미 “내” 및 직장 동료”를 인식할 수 있다. 전자 장치(20)는 제2 음성 입력이 “A'와 관련하여 표시된 제1 이미지(511) 및 제2 이미지(512)에 대한 다른 음성 입력인 것으로 결정할 수 있다. 전자 장치(20)는 다른 음성 입력에 기반하여 키워드 단어 “A”의 의미를 직장동료 그룹에 속하는 “A” 2의 연락처 정보인 것으로 결정할 수 있다.
화면 550에서, 전자 장치(20)는 다른 음성 입력인 제2 음성 입력에 기반하여 키워드 단어 “A”에 대응하는 제1 이미지(511)의 크기를 축소하고, 제2 이미지(512)의 크기를 증가하여 표시할 수 있다. 다양한 실시 예에 따르면, 전자 장치(20)는 다른 음성 입력에 기반하여 제1 이미지(511)를 표시하지 않고 선택된 다른 하나의 의미에 대응하는 제2 이미지(512)만을 표시할 수 있다.
이후, 전자 장치(20)는 제1 음성 입력(510)에 기반하여 인식된 단어들로 구성된 문장 “A에게 언제쯤 도착하는지 물어봐 줘” 중에서 키워드 단어를 A를 직장동료 A로 정정함에 따라, “직장동료 A에게 언제쯤 도착하는지 물어봐 줘” 문장에 기반하여 사용자 의도에 따른 명령을 결정할 수 있다. 상기 사용자 의도에 따른 명령은 예를 들면, “직장동료 A”에게 “언제쯤 도착하니”라는 문자를 전송하기 위한 명령일 수 있다.
다양한 실시예에 따르면, 전자 장치(20)는 화면 540이 표시된 후 지정된 시간 내에 제2 음성 입력(520)을 수신하는 대신에 제2 이미지(512)를 선택하는 사용자 입력(예: 제2 이미지(512)에 대한 터치)를 확인하고, 해당 사용자 입력에 따라 키워드 단어 “A”의 의미가 직장동료 그룹에 속하는 “A” 2의 연락처 정보인 것으로 결정할 수 있다.
도 6은 일 실시 예에 따른 하나의 의미를 가지고 있는 단어에 대응하는 이미지에 기반한 음성 인식 오류 정정 과정의 UI 화면을 나타낸다.
도 6을 참조하면, 화면 650에서, 전자 장치(20)는 “오늘 아버지가 언제 들어오시는지”라는 제1 음성 입력(610)을 인식하는 과정에서 명칭에 관련된 단어 “아버지”를 “할아버지”로 오인식하고, 오인식된 키워드 단어 “할아버지”에 대응하는 이미지(651)를 표시할 수 있다. 예를 들어, 전자 장치(20)는 메모리(250)로부터 사용자의 “할아버지”의 사진 이미지를 획득 가능하면, 사용자의 할아버지 사진 이미지를 표시할 수 있다. 다른 예를 들어, 전자 장치(20)는 메모리(250)로부터 사용자의 할아버지 사진 이미지를 획득 불가한 경우, 전자 장치(20) 또는 외부 전자 장치(예: 지능형 서버(10)(예: 도 1의 지능형 서버(10))에 저장된 할아버지에 대응하는 이미지들 중에서 사용자의 나이에 대응하는 할아버지 이미지를 선택할 수 있다. 이와 관련하여, 지능형 서버(10)에 저장된 할아버지에 대응하는 이미지들은 발화자(사용자)의 나이 정보와 관련되어 저장되고, 전자 장치(20)는 발화자의 나이 정보에 기반하여 할아버지에 대응하는 이미지를 선택할 수 있다.
전자 장치(20)는 이미지(651)이 표시된 후 지정된 시간 내에 제1 음성 입력을 정정하는 제2 음성 입력(620)을 “아니 할아버지 말고 아버지 언제 오시는지 확인해줘”를 수신할 수 있다. 전자 장치(20)는 제2 음성 입력을 수신하면, 제2 음성 입력(620)에 기반하여 부정어 “아니”와 “말고”, 키워드 단어 “할아버지”를 인식하고 제2 음성 입력(620)이 키워드 단어 “할아버지”의 의미를 정정하기 위한 다른 음성 입력인 것으로 결정할 수 있다.
화면 660에서, 전자 장치(20)는 다른 음성 입력에 기반하여 이미지(651)에 관련하여 표시된 키워드 단어 할아버지를 아버지로 정정하고, 아버지에 대응하는 이미지(661)을 표시할 수 있다. 또한, 전자 장치(20)는 다른 음성 입력을 확인하면, 제1 음성 입력(610)에서 인식된 단어들을 명령 결정 대상에서 제외하고, 제2 음성 입력에 기반하여 인식된 단어들에 기반하여 사용자의 의도에 따른 명령을 결정할 수 있다. 예를 들어, 전자 장치(20)는 키워드 단어 할아버지를 포함하는 문장 “오늘 할아버지가 언제 오시는지”를 제외하고, 다른 음성 입력에 따른 문장 “아니 할아버지 말고 아버지가 언제 들어오는지 확인해줘”에 기반하여 사용자의 의도에 따른 명령을 결정할 수 있다.
도 7은 일 실시 예에 따른 디스플레이를 포함하지 않거나, 디스플레이로서 다른 디스플레이가 설정된 전자 장치의 예시도이다.
도 7을 참조하면, 전자 장치(710)는 마이크(210), 통신 회로(230), 메모리(250) 및 프로세서(260)를 포함하는 장치로서, 예컨대, AI 스피커일 수 있다. 전자 장치(710)가 디스플레이를 포함하지 않거나, 전자 장치(710)의 메인 디스플레이가 외부 디스플레이 장치(720)의 디스플레이로 설정된 경우,, 프로세서(260)는 키워드 단어에 대응하는 이미지가 결정되면, 외부 전자 장치(720)가 키워드 단어에 대응하는 이미지를 표시하도록 외부 전자 장치(720)(예: 스마트폰)로 키워드 단어에 대응하는 이미지를 송신할 수 있다.
도 8a 및 8b는 일 실시 예에 따른 복수의 키워드 단어에 대응하는 복수의 이미지 표시 예를 나타낸다.
도 8a를 참조하면, 전자 장치(20)(예: 도 2의 전자 장치(20))는 마이크(예: 도 2의 마이크(210))를 통해 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중에서 복수의 키워드 단어들(851, 853, 855)을 검출할 수 있다. 이 경우에, 전자 장치(20)은 음성 입력의 수신이 완료된 후에, 복수의 키워드 단어들(851, 853, 855)에 대응하는 복수의 이미지들(810, 820, 830, 840)을 순차적으로 나열하여 하나의 화면에 표시할 수 있다. 이와 관련하여, 전자 장치(20)는 음성 입력이 다른 지정된 시간 동안 수신되지 않으면, 음성 입력의 수신이 완료된 것으로 결정할 수 있다. 전자 장치(20)는 복수의 이미지들(810, 820, 830, 840)의 하부에 음성 입력에 기반하여 인식된 하나 이상의 단어들로 구성된 문장(850)을 표시할 수 있다. 전자 장치(20)는 상기 복수의 이미지들(810, 820, 830, 840)을 키워드 단어들을 검출한 순서대로 나열하고 인식된 단어들로 구성된 문장(850) 중 키워드 단어들(851, 853, 855)을 굵은 글씨체로 표시함에 따라, 키워드 단어들(851, 853, 855)과 복수의 이미지들(810, 820, 830, 840)을 관련하여 표시할 수 있다.
전자 장치(20)는 복수의 의미들을 가지고 있는 키워드 단어 “철수(851)” 에 대해서는 복수의 이미지들(810, 820)을 표시할 수 있다. 이 경우, 전자 장치(20)는 복수의 이미지들(810, 820) 중 하나를 선택하는 입력(예: 터치 입력)을 확인하고, 확인된 입력에 기반하여 복수의 의미들 중 키워드 단어 철수(851)의 의미를 결정할 수 있다. 전자 장치(20)는 결정된 의미(예: 이미지(810)에 대응하는 연락처 정보 1)에 기반하여 연락처 정보 1에 따른 철수에게 “베스킨라빈스에서 체리쥬빌레 사다줘”라는 문자를 전송하는 명령을 수행할 수 있다.
도 8b를 참조하면, 전자 장치(20)는 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중에서 복수의 키워드 단어들(851, 853, 855)를 검출하면, 검출된 복수의 키워드 단어들(851, 853, 855)에 대응하는 복수의 이미지들(810, 820, 830, 840)을 복수의 화면(861, 863, 865)으로 순차적으로 표시할 수 있다. 예를 들어, 전자 장치(20)는 가장 먼저 검출된 제1 키워드 단어(851) '철수'와 제1 키워드 단어(851) '철수'에 대응하는 이미지들(810, 820)을 제1 화면(861)으로 표시할 수 있다. 전자 장치(20)는 두 번째 검출된 제2 키워드 단어(853) '베스킨라빈스'와 제2 키워드 단어(853) '베스킨라빈스'에 대응하는 이미지들(830)을 제2 화면(863)으로 표시할 수 있다. 전자 장치(20)는 세 번째 검출된 제3 키워드 단어(855) '체리쥬빌레'와 제3 키워드 단어(855) '체리쥬빌레'에 대응하는 이미지들(840)을 제3 화면(865)으로 표시할 수 있다.
도 9는 일 실시 예에 따른 음성 인식 기반 이미지 표시 방법의 흐름도를 나타낸다.
도 9를 참조하면, 동작 910에서, 전자 장치(20) (예: 도 2의 전자 장치(20))는 마이크(210)를 통해 사용자의 음성 입력을 수신할 수 있다.
동작 920에서, 전자 장치(20)는 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어(키워드 단어)를 확인할 수 있다. 예를 들어, 전자 장치(20)는 수신된 음성 입력을 텍스트로 변환하고, 변환된 텍스트에 기반하여 하나 이상의 단어들 중에서 복수의 의미들을 가지고 있는 단어를 확인할 수 있다. 이 과정에서, 전자 장치(20)는 지능형 서버(10)와 협업하여 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인할 수 있다.
동작 930에서, 전자 장치(20)는 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 상기 단어와 관련하여 표시할 수 있다. 예를 들어, 전자 장치(20)는 복수의 의미들이 사용된 이력 정보 또는 사용자의 성향 정보에 기반하여 복수의 의미들 각각이 상기 단어의 의미일 확률을 각기 산출하고, 산출된 확률이 가장 높은 의미를 상기 단어의 의미로 선택할 수 있다. 전자 장치(20)는 선택된 의미에 대응하는 이미지를 메모리(250) 또는 외부 전자 장치(예: 지능형 서버(10), 포털 서버 등)로부터 획득하고, 획득된 이미지를 상기 단어와 관련하여 표시할 수 있다.
상술한 실시 예에서, 전자 장치(20)는 음성 입력에 기반하여 사용자 의도에 따른 결정된 명령에 관련된 화면이 출력되기 전에, 상기 선택된 의미에 대응하는 이미지를 상기 단어와 관련하여 표시할 수 있다.
도 10은 일 실시 예에 따른 이미지 기반 음성 인식 오류 검증 방법의 흐름도를 나타낸다.
도 10을 참조하면, 동작 1010에서, 전자 장치(20) (예: 도 2의 전자 장치(20))는 마이크(210)(예: 도 2의 마이크(210))를 통해 사용자의 음성 입력을 수신할 수 있다.
동작 1020에서, 전자 장치(20)는 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어(이하, 키워드 단어라 함)를 확인할 수 있다. 예를 들어, 전자 장치(20)는 수신된 음성 입력을 텍스트로 변환하고, 변환된 텍스트에 기반하여 하나 이상의 단어들 중에서 복수의 의미들을 가지고 있는 단어를 확인할 수 있다. 이 과정에서, 전자 장치(20)는 지능형 서버(10)와 협업하여 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인할 수 있다.
동작 1030에서, 전자 장치(20)는 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 키워드 단어와 관련하여 표시할 수 있다. 예를 들어, 전자 장치(20)는 복수의 의미들이 사용된 이력 정보 또는 사용자의 성향 정보에 기반하여 복수의 의미들 각각이 키워드 단어의 의미일 확률을 각기 산출하고, 산출된 확률이 가장 높은 의미를 키워드 단어의 의미로 선택할 수 있다. 전자 장치(20)는 선택된 하나의 의미에 대응하는 이미지를 메모리(250) 또는 외부 전자 장치(예: 지능형 서버(10), 포털 서버 등)로부터 획득하고, 획득된 이미지를 상기 단어와 관련하여 표시할 수 있다.
동작 1040에서, 전자 장치(20)는 키워드와 관련하여 표시된 이미지에 대한 다른 음성 입력이 있는지를 확인할 수 있다. 예를 들어, 전자 장치(20)는 상기 이미지가 표시된 후 지정된 시간 내에 수신된 음성 입력에 기반하여 키워드 단어 및 복수의 의미들 중 다른 하나의 의미와 관련된 단어를 인식하면, 다른 음성 입력이 있는 것으로 확인할 수 있다.
동작 1050에서, 전자 장치(20)는 다른 음성 입력이 있으면, 키워드 단어가 가지고 있는 복수의 의미들 중 다른 음성 입력에 기반하여 선택된 다른 하나의 의미에 대응하는 다른 이미지를 키워드 단어와 관련하여 표시할 수 있다. 예를 들어, 전자 장치(20)는 메모리(250) 또는 외부 전자 장치(예: 지능형 서버(10))로부터 다른 하나의 의미에 대응하는 다른 이미지를 획득하고, 다른 이미지를 키워드 단어와 관련하여 표시할 수 있다.
상술한 실시 예에 따르면, 전자 장치(20)는 음성 인식 과정에서 키워드 단어와 관련된 이미지를 표시할 수 있어, 사용자가 직관적으로 음성 인식 과정의 오류를 확인하고, 정정할 수 있도록 지원할 수 있다.
도 11은 일 실시예에 따른 이미지 기반 음성 인식 오류 검증 방법의 다른 예를 나타낸다.
도 11을 참조하면, 동작 1110에서, 전자 장치(20)(예: 도 2의 전자 장치(20))는 마이크(210)(예: 도 2의 마이크(210))를 통해 사용자의 음성 입력을 수신할 수 있다. 예를 들어, 전자 장치(20)는 수신된 음성 입력을 텍스트로 변환하고, 변환된 텍스트에 기반하여 하나 이상의 단어들 중에서 복수의 의미들을 가지고 있는 단어를 확인할 수 있다. 이 과정에서, 전자 장치(20)는 지능형 서버(10)와 협업하여 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인할 수 있다.
동작 1120에서, 전자 장치(20)는 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 키워드 단어를 검출할 수 있다. 예를 들어, 전자 장치(20)는 인식된 하나 이상의 단어들 중 복수의 의미들을 가지는 단어, 명칭에 관련된 단어 또는 행위에 관련된 단어를 상기 키워드 단어로 검출할 수 있다.
동작 1130에서, 전자 장치(20)는 키워드 단어에 대응하는 이미지를 키워드 단어와 관련하여 디스플레이(240)를 통해 표시할 수 있다. 예를 들어, 전자 장치(20)는 메모리(250) 또는 외부 전자 장치(예: 지능형 서버(10))로부터 다른 하나의 의미에 대응하는 다른 이미지를 획득하고, 다른 이미지를 키워드 단어와 관련하여 표시할 수 있다.
도 12은, 다양한 실시예들에 따른, 네트워크 환경(1200) 내의 음성 인식 기반의 이미지를 표시하는 전자 장치(1201)의 블럭도이다. 도 12을 참조하면, 네트워크 환경(1200)에서 전자 장치(1201)(예: 도 2의 전자 장치(20))는 제 1 네트워크(1298)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1202)와 통신하거나, 또는 제 2 네트워크(1299)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1204) 또는 서버(1208)(예: 도 1의 지능형 서버(10))와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1201)는 서버(1208)를 통하여 전자 장치(1204)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1201)는 프로세서(1220)(예: 도 2의 프로세서(260)), 메모리(1230)(예: 도 2의 메모리(250)), 입력 장치(1250)(예: 도 2의 마이크(210) 및 입력 회로(220)), 음향 출력 장치(1255), 표시 장치(1260)(예: 도 2의 디스플레이(240)), 오디오 모듈(1270), 센서 모듈(1276), 인터페이스(1277), 햅틱 모듈(1279), 카메라 모듈(1280), 전력 관리 모듈(1288), 배터리(1289), 통신 모듈(1290), 가입자 식별 모듈(1296), 또는 안테나 모듈(1297)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1201)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1260) 또는 카메라 모듈(1280))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1276)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1260)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1220)는, 예를 들면, 소프트웨어(예: 프로그램(1240))를 실행하여 프로세서(1220)에 연결된 전자 장치(1201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1220)는 다른 구성요소(예: 센서 모듈(1276) 또는 통신 모듈(1290))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1232)에 로드하고, 휘발성 메모리(1232)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1234)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1220)는 메인 프로세서(1221)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1223)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1223)은 메인 프로세서(1221)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1223)는 메인 프로세서(1221)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1223)는, 예를 들면, 메인 프로세서(1221)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1221)를 대신하여, 또는 메인 프로세서(1221)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1221)와 함께, 전자 장치(1201)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1260), 센서 모듈(1276), 또는 통신 모듈(1290))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1223)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1280) 또는 통신 모듈(1290))의 일부로서 구현될 수 있다.
메모리(1230)는, 전자 장치(1201)의 적어도 하나의 구성요소(예: 프로세서(1220) 또는 센서모듈(1276))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1240)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1230)는, 휘발성 메모리(1232) 또는 비휘발성 메모리(1234)를 포함할 수 있다.
프로그램(1240)은 메모리(1230)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1242), 미들 웨어(1244) 또는 어플리케이션(1246)을 포함할 수 있다.
입력 장치(1250)는, 전자 장치(1201)의 구성요소(예: 프로세서(1220))에 사용될 명령 또는 데이터를 전자 장치(1201)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1250)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1255)는 음향 신호를 전자 장치(1201)의 외부로 출력할 수 있다. 음향 출력 장치(1255)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1260)는 전자 장치(1201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1260)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(1260)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1270)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1270)은, 입력 장치(1250)를 통해 소리를 획득하거나, 음향 출력 장치(1255), 또는 전자 장치(1201)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1202)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1276)은 전자 장치(1201)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1276)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1277)는 전자 장치(1201)이 외부 전자 장치(예: 전자 장치(1202))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1277)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1278)는, 그를 통해서 전자 장치(1201)가 외부 전자 장치(예: 전자 장치(1202))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1278)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1279)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1279)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1280)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1280)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1288)은 전자 장치(1201)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1289)는 전자 장치(1201)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1289)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1290)은 전자 장치(1201)와 외부 전자 장치(예: 전자 장치(1202), 전자 장치(1204), 또는 서버(1208))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1290)은 프로세서(1220)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1290)은 무선 통신 모듈(1292)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1294)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1298)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1299)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1292)은 가입자 식별 모듈(1296)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1298) 또는 제 2 네트워크(1299)와 같은 통신 네트워크 내에서 전자 장치(1201)를 확인 및 인증할 수 있다.
안테나 모듈(1297)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1297)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1298) 또는 제 2 네트워크(1299)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1290)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1290)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1297)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1299)에 연결된 서버(1208)를 통해서 전자 장치(1201)와 외부의 전자 장치(1204)간에 송신 또는 수신될 수 있다. 전자 장치(1202, 1204) 각각은 전자 장치(1201)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1201)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1202, 1204, or 1208) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1201)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1201)로 전달할 수 있다. 전자 장치(1201)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 13은 일 실시예에 따른 통합 지능 (integrated intelligence) 시스템을 나타낸 블록도이다.
도 13을 참조하면, 일 실시예의 통합 지능화 시스템(3000)은 사용자 단말(1000)(예: 도 1의 전자 장치(20)), 지능형 서버(2000)(예: 도 1의 지능형 서버(10)), 및 서비스 서버(3000)를 포함할 수 있다.
일 실시 예의 사용자 단말(1000)은, 인터넷에 연결 가능한 단말 장치(또는, 전자 장치)일 수 있으며, 예를 들어, 휴대폰, 스마트폰, PDA(personal digital assistant), 노트북 컴퓨터, TV, 백색 가전, 웨어러블 장치, HMD, 또는 스마트 스피커일 수 있다.
도시된 실시 예에 따르면, 사용자 단말(1000)은 통신 인터페이스(1010)(예: 도 2의 통신 회로(230)), 마이크(1020)(예: 도 2의 마이크(210)), 스피커(1030), 디스플레이(1040)(예: 도 2의 디스플레이(240)), 메모리(1050)(예: 도 2의 메모리(250)), 또는 프로세서(1060)(예: 도 2의 프로세서(260))를 포함할 수 있다. 상기 열거된 구성요소들은 서로 작동적으로 또는 전기적으로 연결될 수 있다.
일 실시 예의 통신 인터페이스(1010)는 외부 장치와 연결되어 데이터를 송수신하도록 구성될 수 있다. 일 실시 예의 마이크(1020)는 소리(예: 사용자 발화)를 수신하여, 전기적 신호로 변환할 수 있다. 일 실시예의스피커(1030)는 전기적 신호를 소리(예: 음성)으로 출력할 수 있다. 일 실시 예의 디스플레이(1040)는 이미지 또는 비디오를 표시하도록 구성될 수 있다. 일 실시 예의 디스플레이(1040)는 또한 실행되는 앱(app)(또는, 어플리케이션 프로그램(application program))의 그래픽 사용자 인터페이스(graphic user interface)(GUI)를 표시할 수 있다.
일 실시 예의 메모리(1050)는 클라이언트 모듈(1051), SDK(software development kit)(1053), 및 복수의 앱들(1055)을 저장할 수 있다. 상기 클라이언트 모듈(1051), 및 SDK(1053)는 범용적인 기능을 수행하기 위한 프레임워크(framework)(또는, 솔루션 프로그램)를 구성할 수 있다. 또한, 클라이언트 모듈(1051) 또는 SDK(1053)는 음성 입력을 처리하기 위한 프레임워크를 구성할 수 있다.
일 실시 예의 메모리(1050)는 상기 복수의 앱들(1055)은 지정된 기능을 수행하기 위한 프로그램일 수 있다. 일 실시 예에 따르면, 복수의 앱(1055)은 제1 앱(1055_1), 제2 앱(1055_3) 을 포함할 수 있다. 일 실시 예에 따르면, 복수의 앱(1055) 각각은 지정된 기능을 수행하기 위한 복수의 동작들을 포함할 수 있다. 예를 들어, 상기 앱들은, 알람 앱, 메시지 앱, 및/또는 스케줄 앱을 포함할 수 있다. 일 실시 예에 따르면, 복수의 앱들(1055)은 프로세서(1060)에 의해 실행되어 상기 복수의 동작들 중 적어도 일부를 순차적으로 실행할 수 있다.
일 실시 예의 프로세서(1060)는 사용자 단말(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(1060)는 통신 인터페이스(1010), 마이크(1020), 스피커(1030), 및 디스플레이(1040)와 전기적으로 연결되어 연결되어 지정된 동작을 수행할 수 있다.
일 실시 예의 프로세서(1060)는 또한 상기 메모리(1050)에 저장된 프로그램을 실행시켜 지정된 기능을 수행할 수 있다. 예를 들어, 프로세서(1060)는 클라이언트 모듈(1051) 또는 SDK(1053) 중 적어도 하나를 실행하여, 음성 입력을 처리하기 위한 이하의 동작을 수행할 수 있다. 프로세서(1060)는, 예를 들어, SDK(1053)를 통해 복수의 앱(1055)의 동작을 제어할 수 있다. 클라이언트 모듈(1051) 또는 SDK(1053)의 동작으로 설명된 이하의 동작은 프로세서(1060)의 실행에 의한 동작일 수 있다.
일 실시 예의 클라이언트 모듈(1051)은 음성 입력을 수신할 수 있다. 예를 들어, 클라이언트 모듈(1051)은 마이크(1020)를 통해 감지된 사용자 발화에 대응되는 음성 신호를 수신할 수 있다. 상기 클라이언트 모듈(1051)은 수신된 음성 입력을 지능형 서버(2000)로 송신할 수 있다. 클라이언트 모듈(1051)은 수신된 음성 입력과 함께, 사용자 단말(1000)의 상태 정보를 지능형 서버(2000)로 송신할 수 있다. 상기 상태 정보는, 예를 들어, 앱의 실행 상태 정보일 수 있다.
일 실시 예의 클라이언트 모듈(1051)은 수신된 음성 입력에 대응되는 결과를 수신할 수 있다. 예를 들어, 클라이언트 모듈(1051)은 지능형 서버(2000)에서 상기 수신된 음성 입력에 대응되는 결과를 산출할 수 있는 경우, 수신된 음성 입력에 대응되는 결과를 수신할 수 있다. 클라이언트 모듈(1051)은 상기 수신된 결과를 디스플레이(1040)에 표시할 수 있다.
일 실시 예의 클라이언트 모듈(1051)은 수신된 음성 입력에 대응되는 플랜을 수신할 수 있다. 클라이언트 모듈(1051)은 플랜에 따라 앱의 복수의 동작을 실행한 결과를 디스플레이(1040)에 표시할 수 있다. 클라이언트 모듈(1051)은, 예를 들어, 복수의 동작의 실행 결과를 순차적으로 디스플레이에 표시할 수 있다. 사용자 단말(1000)은, 다른 예를 들어, 복수의 동작을 실행한 일부 결과(예: 마지막 동작의 결과)만을 디스플레이에 표시할 수 있다.
일 실시 예에 따르면, 클라이언트 모듈(1051)은 지능형 서버(2000)로부터 음성 입력에 대응되는 결과를 산출하기 위해 필요한 정보를 획득하기 위한 요청을 수신할 수 있다. 일 실시 예에 따르면, 클라이언트 모듈(1051)은 상기 요청에 대응하여 상기 필요한 정보를 지능형 서버(2000)로 송신할 수 있다.
일 실시 예의 클라이언트 모듈(1051)은 플랜에 따라 복수의 동작을 실행한 결과 정보를 지능형 서버(2000)로 송신할 수 있다. 지능형 서버(2000)는 상기 결과 정보를 이용하여 수신된 음성 입력이 올바르게 처리된 것을 확인할 수 있다.
일 실시 예의 클라이언트 모듈(1051)은 음성 인식 모듈을 포함할 수 있다. 일 실시 예에 따르면, 클라이언트 모듈(1051)은 상기 음성 인식 모듈을 통해 제한된 기능을 수행하는 음성 입력을 인식할 수 있다. 예를 들어, 클라이언트 모듈(1051)은 지정된 입력(예: 웨이크 업!)을 통해 유기적인 동작을 수행하기 위한 음성 입력을 처리하기 위한 지능형 앱을 수행할 수 있다.
일 실시 예의 지능형 서버(2000)는 통신 망을 통해 사용자 단말(1000)로부터 사용자 음성 입력과 관련된 정보를 수신할 수 있다. 일 실시 예에 따르면, 지능형 서버(2000)는 수신된 음성 입력과 관련된 데이터를 텍스트 데이터(text data)로 변경할 수 있다. 일 실시 예에 따르면, 지능형 서버(2000)는 상기 텍스트 데이터에 기초하여 사용자 음성 입력과 대응되는 태스크(task)를 수행하기 위한 플랜(plan)을 생성할 수 있다
일 실시 예에 따르면, 플랜은 인공 지능(artificial intelligent)(AI) 시스템에 의해 생성될 수 있다. 인공지능 시스템은 룰 베이스 시스템(rule-based system) 일 수도 있고, 신경망 베이스 시스템(neual network-based system)(예: 피드포워드 신경망(feedforward neural network(FNN)), 순환 신경망(recurrent neural network(RNN))) 일 수도 있다. 또는, 전술한 것의 조합 또는 이와 다른 인공지능 시스템일 수도 있다. 일 실시 예에 따르면, 플랜은 미리 정의된 플랜의 집합에서 선택될 수 있거나, 사용자 요청에 응답하여 실시간으로 생성될 수 있다. 예를 들어, 인공지능 시스템은 미리 정의 된 복수의 플랜 중 적어도 플랜을 선택할 수 있다.
일 실시 예의 지능형 서버(2000)는 생성된 플랜에 따른 결과를 사용자 단말(1000)로 송신하거나, 생성된 플랜을 사용자 단말(1000)로 송신할 수 있다. 일 실시 예에 따르면, 사용자 단말(1000)은 플랜에 따른 결과를 디스플레이에 표시할 수 있다. 일 실시 예에 따르면, 사용자 단말(1000)은 플랜에 따른 동작을 실행한 결과를 디스플레이에 표시할 수 있다.
일 실시 예의 지능형 서버(2000)는 프론트 엔드(front end)(2010), 자연어 플랫폼(natual language platform)(2020), 캡슐 데이터베이스(capsule DB)(2030), 실행 엔진(execution engine)(2040), 엔드 유저 인터페이스(end user interface)(2050), 매니지먼트 플랫폼(management platform)(2060), 빅 데이터 플랫폼(big data platform)(2070), 또는 분석 플랫폼(analytic platform)(2080)을 포함할 수 있다.
일 실시 예의 프론트 엔드(2010)는 사용자 단말(1000)로부터 수신된 음성 입력을 수신할 수 있다. 프론트 엔드(2010)는 상기 음성 입력에 대응되는 응답을 송신할 수 있다.
일 실시 예에 따르면, 자연어 플랫폼(2020)은 자동 음성 인식 모듈(automatic speech recognition module)(ASR module)(2021), 자연어 이해 모듈(natural language understanding module)(NLU module)(2023), 플래너 모듈(planner module)(2025), 자연어 생성 모듈(natural language generator module)(NLG module)(2027)또는 텍스트 음성 변환 모듈(text to speech module)(TTS module)(2029)를 포함할 수 있다.
일 실시 예의 자동 음성 인식 모듈(2021)은 사용자 단말(1000)로부터 수신된 음성 입력을 텍스트 데이터로 변환할 수 있다. 일 실시 예의 자연어 이해 모듈(2023)은 음성 입력의 텍스트 데이터를 이용하여 사용자의 의도를 파악할 수 있다. 예를 들어, 자연어 이해 모듈(2023)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자의 의도를 파악할 수 있다. 일 실시 예의 자연어 이해 모듈(2023)은 형태소 또는 구의 언어적 특징(예: 문법적 요소)을 이용하여 음성 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 의도에 매칭시켜 사용자의 의도를 결정할 수 있다.
일 실시 예의 플래너 모듈(2025)은 자연어 이해 모듈(2023)에서 결정된 의도 및 파라미터를 이용하여 플랜을 생성할 수 있다. 일 실시 예에 따르면, 플래너 모듈(2025)은 상기 결정된 의도에 기초하여 태스크를 수행하기 위해 필요한 복수의 도메인을 결정할 수 있다. 플래너 모듈(2025)은 상기 의도에 기초하여 결정된 복수의 도메인 각각에 포함된 복수의 동작을 결정할 수 있다. 일 실시 예에 따르면, 플래너 모듈(2025)은 상기 결정된 복수의 동작을 실행하는데 필요한 파라미터나, 상기 복수의 동작의 실행에 의해 출력되는 결과 값을 결정할 수 있다. 상기 파라미터, 및 상기 결과 값은 지정된 형식(또는, 클래스)의 컨셉으로 정의될 수 있다. 이에 따라, 플랜은 사용자의 의도에 의해 결정된 복수의 동작, 및 복수의 컨셉을 포함할 수 있다. 상기 플래너 모듈(2025)은 상기 복수의 동작, 및 상기 복수의 컨셉 사이의 관계를 단계적(또는, 계층적)으로 결정할 수 있다. 예를 들어, 플래너 모듈(2025)은 복수의 컨셉에 기초하여 사용자의 의도에 기초하여 결정된 복수의 동작의 실행 순서를 결정할 수 있다. 다시 말해, 플래너 모듈(2025)은 복수의 동작의 실행에 필요한 파라미터, 및 복수의 동작의 실행에 의해 출력되는 결과에 기초하여, 복수의 동작의 실행 순서를 결정할 수 있다. 이에 따라, 플래너 모듈(2025)는 복수의 동작, 및 복수의 컨셉 사이의 연관 정보(예: 온톨로지(ontology))가 포함된 플랜를 생성할 수 있다. 상기 플래너 모듈(2025)은 컨셉과 동작의 관계들의 집합이 저장된 캡슐 데이터베이스(2030)에 저장된 정보를 이용하여 플랜을 생성할 수 있다.
일 실시 예의 자연어 생성 모듈(2027)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 일 실시 예의 텍스트 음성 변환 모듈(2029)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다.
일 실시 예에 따르면, 자연어 플랫폼(2020)의 기능의 일부 기능 또는 전체 기능은 사용자 단말(1000)에서도 구현가능 할 수 있다.
상기 캡슐 데이터베이스(2030)는 복수의 도메인에 대응되는 복수의 컨셉과 동작들의 관계에 대한 정보를 저장할 수 있다. 일 실시예에 따른 캡슐은 플랜에 포함된 복수의 동작 오브젝트(action object 또는, 동작 정보) 및 컨셉 오브젝트(concept object 또는 컨셉 정보)를 포함할 수 있다. 일 실시 예에 따르면, 캡슐 데이터베이스(2030)는 CAN(concept action network)의 형태로 복수의 캡슐을 저장할 수 있다. 일 실시 예에 따르면, 복수의 캡슐은 캡슐 데이터베이스(2030)에 포함된 기능 저장소(function registry)에 저장될 수 있다.
상기 캡슐 데이터베이스(2030)는 음성 입력에 대응되는 플랜을 결정할 때 필요한 전략 정보가 저장된 전략 레지스트리(strategy registry)를 포함할 수 있다. 상기 전략 정보는 음성 입력에 대응되는 복수의 플랜이 있는 경우, 하나의 플랜을 결정하기 위한 기준 정보를 포함할 수 있다. 일 실시 예에 따르면, 캡슐 데이터베이스(2030)는 지정된 상황에서 사용자에게 후속 동작을 제안하기 위한 후속 동작의 정보가 저장된 후속 동작 레지스트리(follow up registry)를 포함할 수 있다. 상기 후속 동작은, 예를 들어, 후속 발화를 포함할 수 있다. 일 실시 예에 따르면, 캡슐 데이터베이스(2030)는 사용자 단말(1000)을 통해 출력되는 정보의 레이아웃(layout) 정보를 저장하는 레이아웃 레지스트리(layout registry)를 포함할 수 있다. 일 실시 예에 따르면, 캡슐 데이터베이스(2030)는 캡슐 정보에 포함된 어휘(vocabulary) 정보가 저장된 어휘 레지스트리(vocabulary registry)를 포함할 수 있다. 일 실시 예에 따르면, 캡슐 데이터베이스(2030)는 사용자와의 대화(dialog)(또는, 인터렉션(interaction)) 정보가 저장된 대화 레지스트리(dialog registry)를 포함할 수 있다. 상기 캡슐 데이터베이스(2030)는 개발자 툴(developer tool)을 통해 저장된 오브젝트를 업데이트(update)할 수 있다. 상기 개발자 툴은, 예를 들어, 동작 오브젝트 또는 컨셉 오브젝트를 업데이트하기 위한 기능 에디터(function editor)를 포함할 수 있다. 상기 개발자 툴은 어휘를 업데이트하기 위한 어휘 에디터(vocabulary editor)를 포함할 수 있다. 상기 개발자 툴은 플랜을 결정하는 전략을 생성 및 등록 하는 전략 에디터(strategy editor)를 포함할 수 있다. 상기 개발자 툴은 사용자와의 대화를 생성하는 대화 에디터(dialog editor)를 포함할 수 있다. 상기 개발자 툴은 후속 목표를 활성화하고, 힌트를 제공하는 후속 발화를 편집할 수 있는 후속 동작 에디터(follow up editor)를 포함할 수 있다. 상기 후속 목표는 현재 설정된 목표, 사용자의 선호도 또는 환경 조건에 기초하여 결정될 수 있다. 일 실시 예에서는 캡슐 데이터베이스(2030) 은 사용자 단말(1000) 내에도 구현이 가능할 수 있다.
일 실시 예의 실행 엔진(2040)은 상기 생성된 플랜을 이용하여 결과를 산출할 수 있다. 엔드 유저 인터페이스(2050)는 산출된 결과를 사용자 단말(1000)로 송신할 수 있다. 이에 따라, 사용자 단말(1000)은 상기 결과를 수신하고, 상기 수신된 결과를 사용자에게 제공할 수 있다. 일 실시 예의 매니지먼트 플랫폼(2060)은 지능형 서버(2000)에서 이용되는 정보를 관리할 수 있다. 일 실시 예의 빅 데이터 플랫폼(2070)은 사용자의 데이터를 수집할 수 있다. 일 실시 예의 분석 플랫폼(2080)을 지능형 서버(2000)의 QoS(quality of service)를 관리할 수 있다. 예를 들어, 분석 플랫폼(2080)은 지능형 서버(2000)의 구성 요소 및 처리 속도(또는, 효율성)를 관리할 수 있다.
일 실시 예의 서비스 서버(3000)는 사용자 단말(1000)에 지정된 서비스(예: 음식 주문 또는 호텔 예약)를 제공할 수 있다. 일 실시 예에 따르면, 서비스 서버(3000)는 제3 자에 의해 운영되는 서버일 수 있다. 일 실시 예의 서비스 서버(3000)는 수신된 음성 입력에 대응되는 플랜을 생성하기 위한 정보를 지능형 서버(2000)에 제공할 수 있다. 상기 제공된 정보는 캡슐 데이터베이스(2030)에 저장될 수 있다. 또한, 서비스 서버(3000)는 플랜에 따른 결과 정보를 지능형 서버(2000)에 제공할 수 있다.
위에 기술된 통합 지능 시스템(3000)에서, 상기 사용자 단말(1000)은, 사용자 입력에 응답하여 사용자에게 다양한 인텔리전트 서비스를 제공할 수 있다. 상기 사용자 입력은, 예를 들어, 물리적 버튼을 통한 입력, 터치 입력 또는 음성 입력을 포함할 수 있다.
일 실시 예에서, 상기 사용자 단말(1000)은 내부에 저장된 지능형 앱(또는, 음성 인식 앱)을 통해 음성 인식 서비스를 제공할 수 있다. 이 경우, 예를 들어, 사용자 단말(1000)은 상기 마이크를 통해 수신된 사용자 발화(utterance) 또는 음성 입력(voice input)를 인식하고, 인식된 음성 입력에 대응되는 서비스를 사용자에게 제공할 수 있다.
일 실시 예에서, 사용자 단말(1000)은 수신된 음성 입력에 기초하여, 단독으로 또는 상기 지능형 서버 및/또는 서비스 서버와 함께 지정된 동작을 수행할 수 있다. 예를 들어, 사용자 단말(1000)은 수신된 음성 입력에 대응되는 앱을 실행시키고, 실행된 앱을 통해 지정된 동작을 수행할 수 있다.
일 실시 예에서, 사용자 단말(1000)이 지능형 서버(2000) 및/또는 서비스 서버와 함께 서비스를 제공하는 경우에는, 상기 사용자 단말은, 상기 마이크(1020)를 이용하여 사용자 발화를 감지하고, 상기 감지된 사용자 발화에 대응되는 신호(또는, 음성 데이터)를 생성할 수 있다. 상기 사용자 단말은, 상기 음성 데이터를 통신 인터페이스(1010)를 이용하여 지능형 서버(2000)로 송신할 수 있다.
일 실시 예에 따른 지능형 서버(2000)는 사용자 단말(1000)로부터 수신된 음성 입력에 대한 응답으로써, 음성 입력에 대응되는 태스크(task)를 수행하기 위한 플랜, 또는 상기 플랜에 따라 동작을 수행한 결과를 생성할 수 있다. 상기 플랜은, 예를 들어, 사용자의 음성 입력에 대응되는 태스크(task)를 수행하기 위한 복수의 동작, 및 상기 복수의 동작과 관련된 복수의 컨셉을 포함할 수 있다. 상기 컨셉은 상기 복수의 동작의 실행에 입력되는 파라미터나, 복수의 동작의 실행에 의해 출력되는 결과 값을 정의한 것일 수 있다. 상기 플랜은 복수의 동작, 및 복수의 컨셉 사이의 연관 정보를 포함할 수 있다.
일 실시 예의 사용자 단말(1000)은, 통신 인터페이스(1010)를 이용하여 상기 응답을 수신할 수 있다. 사용자 단말(1000)은 상기 스피커(1030)를 이용하여 사용자 단말(1000) 내부에서 생성된 음성 신호를 외부로 출력하거나, 디스플레이(1040)를 이용하여 사용자 단말(1000) 내부에서 생성된 이미지를 외부로 출력할 수 있다.
도 14는 다양한 실시 예에 따른, 컨셉과 동작의 관계 정보가 데이터베이스에 저장된 형태를 나타낸 도면이다.
상기 지능형 서버(2000)의 캡슐 데이터베이스(예: 캡슐 데이터베이스(2030))는 CAN (concept action network) 형태로 캡슐을 저장할 수 있다. 상기 캡슐 데이터베이스는 사용자의 음성 입력에 대응되는 태스크를 처리하기 위한 동작, 및 상기 동작을 위해 필요한 파라미터를 CAN(concept action network) 형태로 저장될 수 있다.
상기 캡슐 데이터베이스는 복수의 도메인(예: 어플리케이션) 각각에 대응되는 복수의 캡슐(capsule(A)(4010), capsule(B)(4040))을 저장할 수 있다. 일 실시 예에 따르면, 하나의 캡슐(예: capsule(A)(4010))은 하나의 도메인(예: 위치(geo), 어플리케이션)에 대응될 수 있다. 또한, 하나의 캡슐에는 캡슐과 관련된 도메인에 대한 기능을 수행하기 위한 적어도 하나의 서비스 제공자(예: CP 1(4020) 또는 CP 2 (4030))가 대응될 수 있다. 일 실시 예에 따르면, 하나의 캡슐은 지정된 기능을 수행하기 위한 적어도 하나 이상의 동작(4100) 및 적어도 하나 이상의 컨셉(4200)을 포함할 수 있다.
상기, 자연어 플랫폼(2020)은 캡슐 데이터베이스에 저장된 캡슐을 이용하여 수신된 음성 입력에 대응하는 태스크를 수행하기 위한 플랜을 생성할 수 있다. 예를 들어, 자연어 플랫폼의 플래너 모듈(2025)은 캡슐 데이터베이스에 저장된 캡슐을 이용하여 플랜을 생성할 수 있다. 예를 들어, 캡슐 A (4010) 의 동작들(4011,4013) 과 컨셉들(4012,4014) 및 캡슐 B(4004)의 동작(4041) 과 컨셉(4042) 를 이용하여 플랜(4070)을 생성할 수 있다.
도 15는 다양한 실시 예에 따른 사용자 단말이 지능형 앱을 통해 수신된 음성 입력을 처리하는 화면을 나타낸 도면이다.
사용자 단말(1000)은 지능형 서버(2000)를 통해 사용자 입력을 처리하기 위해 지능형 앱을 실행할 수 있다.
일 실시 예에 따르면, 5100 화면에서, 사용자 단말(1000)은 지정된 음성 입력(예: 웨이크 업!)를 인식하거나 하드웨어 키(예: 전용 하드웨어 키)를 통한 입력을 수신하면, 음성 입력을 처리하기 위한 지능형 앱을 실행할 수 있다. 사용자 단말(1000)은, 예를 들어, 스케줄 앱을 실행한 상태에서 지능형 앱을 실행할 수 있다. 일 실시 예에 따르면, 사용자 단말(1000)은 지능형 앱에 대응되는 오브젝트(예: 아이콘)(5110)를 디스플레이(1040)에 표시할 수 있다. 일 실시 예에 따르면, 사용자 단말(1000)은 사용자 발화에 의한 음성 입력을 수신할 수 있다. 예를 들어, 사용자 단말(1000)은 "이번주 일정 알려줘!"라는 음성 입력을 수신할 수 있다. 일 실시 예에 따르면, 사용자 단말(1000)은 수신된 음성 입력의 텍스트 데이터가 표시된 지능형 앱의 UI(user interface)(5130)(예: 입력창)를 디스플레이에 표시할 수 있다.
일 실시 예에 따르면, 5200 화면에서, 사용자 단말(1000)은 수신된 음성 입력에 대응되는 결과를 디스플레이에 표시할 수 있다. 예를 들어, 사용자 단말(1000)은 수신된 사용자 입력에 대응되는 플랜을 수신하고, 플랜에 따라 '이번주 일정'을 디스플레이에 표시할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1201)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1236) 또는 외장 메모리(1238))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1240))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1201))의 프로세서(예: 프로세서(1220))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    마이크;
    디스플레이; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 마이크를 통해 사용자의 음성 입력을 수신하고,
    상기 음성 입력에 응답하여, 상기 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 복수의 의미들을 가지고 있는 단어를 확인하고,
    상기 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 상기 단어와 관련하여 표시하도록 설정된 전자 장치.
  2. 청구항 1에 있어서, 상기 프로세서는,
    상기 단어와 관련하여 표시된 상기 이미지에 대한 다른 음성 입력이 있으면, 상기 다른 음성 입력에 응답하여, 상기 복수의 의미들 중 상기 다른 음성 입력에 기반하여 선택된 다른 하나의 의미에 대응하는 다른 이미지를 상기 디스플레이를 통해 상기 단어와 관련하여 표시하도록 설정된 전자 장치.
  3. 청구항 2에 있어서, 상기 프로세서는,
    상기 복수의 의미들 각각이 상기 음성 입력에 따른 의미가 될 확률을 각기 산출하고,
    상기 각기 산출된 확률들 중 가장 높은 확률에 대응하는 상기 하나의 의미를 선택하도록 설정된 전자 장치.
  4. 청구항 3에 있어서, 상기 프로세서는,
    상기 전자 장치 또는 외부 전자 장치에서 상기 단어가 사용된 이력에 기반하여 상기 복수의 의미들 각각에 대한 확률들을 산출하도록 더 설정된 전자 장치.
  5. 청구항 2에 있어서, 상기 프로세서는,
    지정된 시간 내에 상기 음성 입력에 기반하여 상기 복수의 의미들 중 선택되지 않은 다른 하나의 의미와 관련된 단어를 인식하면, 상기 다른 음성 입력이 있는 것으로 결정하도록 설정된 전자 장치.
  6. 청구항 5에 있어서, 상기 프로세서는,
    상기 지정된 시간 내에 상기 음성 입력에 기반하여 상기 다른 하나의 의미와 관련된 단어와 더불어, 부정어 또는 대명사 중 적어도 하나의 단어를 인식하면, 상기 다른 음성 입력이 있는 것으로 결정하도록 설정된 전자 장치.
  7. 청구항 1에 있어서,
    입력 회로를 더 포함하고,
    상기 프로세서는,
    상기 복수의 의미들을 가지고 있는 단어들을 확인하면, 상기 복수의 의미들에 각기 대응하는 복수의 이미지들을 상기 디스플레이를 통해 상기 단어와 관련하여 표시하고,
    상기 복수의 이미지들 중 상기 입력 회로를 통해 선택된 하나의 이미지에 대응하는 상기 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
  8. 청구항 2에 있어서, 상기 프로세서는,
    상기 단어와 관련하여 표시된 상기 이미지에 대한 상기 다른 음성 입력이 없으면, 상기 단어를 상기 선택된 하나의 의미로 결정하도록 설정된 전자 장치.
  9. 청구항 8에 있어서,
    외부 전자 장치와 통신하는 통신 회로를 더 포함하고,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 단어와 관련하여 표시된 상기 이미지에 대한 상기 다른 음성 입력이 있는지를 결정하고, 상기 다른 음성 입력에 기반하여 상기 복수의 의미들 중 상기 하나의 의미를 결정하도록, 상기 음성 입력 및 상기 다른 음성 입력을 상기 외부 전자 장치로 송신하도록 설정된 전자 장치.
  10. 전자 장치에 있어서,
    마이크;
    디스플레이;
    상기 마이크 및 상기 디스플레이와 기능적으로 연결된 프로세서; 및
    상기 프로세서와 기능적으로 연결된 메모리를 포함하고,
    상기 메모리는, 상기 프로세서로 하여금,
    상기 마이크를 통해 사용자의 음성 입력을 수신하고,
    상기 수신된 음성 입력에 기반하여 인식된 하나 이상의 단어들 중 키워드 단어를 검출하고,
    상기 키워드 단어에 대응하는 이미지를 상기 키워드 단어와 관련하여 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
  11. 청구항 10에 있어서, 상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 키워드 단어가 복수의 의미들을 가지고 있는 단어이면, 상기 복수의 의미들에 대응하는 복수의 이미지들이 표시하고,
    상기 복수의 의미들 각각이 상기 키워드 단어의 의미일 확률들을 산출하고,
    상기 복수의 이미지들 중에서 가장 높은 확률을 갖는 상기 하나의 의미에 대응하는 이미지를 가장 큰 크기로 표시하며,
    상기 복수의 이미지들 중 하나의 이미지를 선택하는 사용자의 입력에 기반하여 상기 복수의 의미들 중 선택된 하나의 의미에 대응하는 이미지를 상기 디스플레이를 통해 표시하도록 더 설정된 전자 장치.
  12. 청구항 10에 있어서, 상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 키워드 단어와 관련하여 표시된 상기 이미지에 대한 다른 음성 입력이 있으면, 상기 다른 음성 입력에 기반하여 상기 키워드 단어를 정정하도록 더 설정된 전자 장치.
  13. 청구항 10에 있어서, 상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 키워드 단어와 관련하여 표시된 상기 이미지에 대한 다른 음성 입력이 있으면, 상기 키워드 단어를 포함하는 문장을 제외하고,
    상기 문장이 제외된 음성 입력에 기반하여 명령을 결정하도록 더 설정된 전자 장치.
  14. 청구항 12 또는 청구항 13 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 지정된 시간 내에 상기 키워드 단어, 부정어 또는 대명사 중 적어도 하나를 포함하는 음성 입력이 수신되면, 상기 다른 음성 입력이 있는 것으로 결정하도록 설정된 전자 장치.
  15. 청구항 10에 있어서, 상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 음성 입력의 수신이 종료되면, 상기 음성 입력에 기반하여 사용자의 의도에 따른 명령을 결정하고, 결정된 명령을 수행하고
    상기 명령의 수행 과정 또는 수행 종료 시에 상기 명령과 관련된 화면을 상기 디스플레이를 통해 표시하고,
    상기 명령과 관련된 화면이 표시되기 전까지 상기 이미지를 표시하도록 더 설정된 전자 장치.
PCT/KR2019/015536 2018-11-16 2019-11-14 음성 인식 기반 이미지를 표시하는 전자 장치 WO2020101389A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/309,278 US20220013135A1 (en) 2018-11-16 2019-11-14 Electronic device for displaying voice recognition-based image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180141830A KR20200057426A (ko) 2018-11-16 2018-11-16 음성 인식 기반 이미지를 표시하는 전자 장치
KR10-2018-0141830 2018-11-16

Publications (1)

Publication Number Publication Date
WO2020101389A1 true WO2020101389A1 (ko) 2020-05-22

Family

ID=70731267

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015536 WO2020101389A1 (ko) 2018-11-16 2019-11-14 음성 인식 기반 이미지를 표시하는 전자 장치

Country Status (3)

Country Link
US (1) US20220013135A1 (ko)
KR (1) KR20200057426A (ko)
WO (1) WO2020101389A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481236B1 (ko) * 2020-07-06 2022-12-23 부산대학교 산학협력단 진료용 그림 편집 시스템 및 이를 이용한 진료용 그림 편집 방법
KR20220127600A (ko) * 2021-03-11 2022-09-20 삼성전자주식회사 다이얼로그 텍스트에 시각적 효과를 적용하는 전자 장치 및 이의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296333A (ja) * 2002-04-04 2003-10-17 Canon Inc 画像表示システム、その制御方法および該制御方法を実現するためのプログラム
JP2011070267A (ja) * 2009-09-24 2011-04-07 Casio Computer Co Ltd 画像表示装置及び方法並びにプログラム
KR20120135855A (ko) * 2011-06-07 2012-12-17 삼성전자주식회사 디스플레이 장치 및 이의 하이퍼링크 실행 방법 및 음성 인식 방법
US20170116990A1 (en) * 2013-07-31 2017-04-27 Google Inc. Visual confirmation for a recognized voice-initiated action
KR20180022184A (ko) * 2016-08-23 2018-03-06 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090150158A1 (en) * 2007-12-06 2009-06-11 Becker Craig H Portable Networked Picting Device
JP4873018B2 (ja) * 2009-01-09 2012-02-08 ソニー株式会社 データ処理装置、データ処理方法、及び、プログラム
US8712780B2 (en) * 2010-12-08 2014-04-29 Invention Labs Engineering Products Pvt. Ltd. Systems and methods for picture based communication
US9304683B2 (en) * 2012-10-10 2016-04-05 Microsoft Technology Licensing, Llc Arced or slanted soft input panels
JP2015036886A (ja) * 2013-08-13 2015-02-23 ソニー株式会社 情報処理装置、記憶媒体、および方法
US20150142434A1 (en) * 2013-11-20 2015-05-21 David Wittich Illustrated Story Creation System and Device
US9953637B1 (en) * 2014-03-25 2018-04-24 Amazon Technologies, Inc. Speech processing using skip lists
EP3333671B1 (en) * 2015-08-05 2020-12-30 Seiko Epson Corporation Mental image playback device
US10891969B2 (en) * 2018-10-19 2021-01-12 Microsoft Technology Licensing, Llc Transforming audio content into images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296333A (ja) * 2002-04-04 2003-10-17 Canon Inc 画像表示システム、その制御方法および該制御方法を実現するためのプログラム
JP2011070267A (ja) * 2009-09-24 2011-04-07 Casio Computer Co Ltd 画像表示装置及び方法並びにプログラム
KR20120135855A (ko) * 2011-06-07 2012-12-17 삼성전자주식회사 디스플레이 장치 및 이의 하이퍼링크 실행 방법 및 음성 인식 방법
US20170116990A1 (en) * 2013-07-31 2017-04-27 Google Inc. Visual confirmation for a recognized voice-initiated action
KR20180022184A (ko) * 2016-08-23 2018-03-06 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
US20220013135A1 (en) 2022-01-13
KR20200057426A (ko) 2020-05-26

Similar Documents

Publication Publication Date Title
WO2020045927A1 (en) Electronic device and method for generating short cut of quick command
WO2019156314A1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
WO2021075736A1 (en) Electronic device and method for sharing voice command thereof
WO2020122677A1 (en) Method of performing function of electronic device and electronic device using same
WO2019190097A1 (ko) 챗봇을 이용한 서비스 제공 방법 및 그 장치
WO2020040595A1 (ko) 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법
WO2020032563A1 (en) System for processing user voice utterance and method for operating same
WO2019203418A1 (ko) 음성 인식을 수행하는 전자 장치 및 전자 장치의 동작 방법
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
WO2020050475A1 (ko) 전자 장치 및 단축 명령어에 대응하는 태스크 수행 방법
WO2020080635A1 (ko) 동작 상태에 기반하여 선택한 마이크를 이용하여 음성 인식을 수행하는 전자 장치 및 그의 동작 방법
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2018203620A1 (ko) 사용자 발화를 처리하는 전자
WO2020091248A1 (ko) 음성 명령에 응답하여 컨텐츠를 표시하기 위한 방법 및 그 전자 장치
WO2019190062A1 (en) Electronic device for processing user voice input
WO2020101389A1 (ko) 음성 인식 기반 이미지를 표시하는 전자 장치
WO2021101276A1 (en) Electronic device for providing intelligent assistance service and operating method thereof
WO2020180008A1 (en) Method for processing plans having multiple end points and electronic device applying the same method
WO2020209661A1 (en) Electronic device for generating natural language response and method thereof
WO2020180000A1 (ko) 음성 인식 모델에서 사용되는 언어를 확장시키는 방법 및 음성 인식 모델을 포함하는 전자 장치
WO2020076086A1 (en) System for processing user utterance and operating method thereof
WO2020166809A1 (en) Speech recognition function-equipped electronic device and operation-related notification method thereof
WO2020080771A1 (ko) 변형 발화 텍스트를 제공하는 전자 장치 및 그것의 동작 방법
WO2022139420A1 (ko) 전자 장치 및 그의 연속성을 가지는 사용자 입력에 대한 실행 정보를 공유하는 방법
WO2022191395A1 (ko) 사용자 명령을 처리하는 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19884118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19884118

Country of ref document: EP

Kind code of ref document: A1