KR20210029754A - Voice recognition system, voice recognition server and control method of display apparatus - Google Patents

Voice recognition system, voice recognition server and control method of display apparatus Download PDF

Info

Publication number
KR20210029754A
KR20210029754A KR1020210030116A KR20210030116A KR20210029754A KR 20210029754 A KR20210029754 A KR 20210029754A KR 1020210030116 A KR1020210030116 A KR 1020210030116A KR 20210030116 A KR20210030116 A KR 20210030116A KR 20210029754 A KR20210029754 A KR 20210029754A
Authority
KR
South Korea
Prior art keywords
user
use state
voice recognition
voice command
display device
Prior art date
Application number
KR1020210030116A
Other languages
Korean (ko)
Other versions
KR102460927B1 (en
Inventor
심정민
김도완
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130136983A external-priority patent/KR102227599B1/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210030116A priority Critical patent/KR102460927B1/en
Publication of KR20210029754A publication Critical patent/KR20210029754A/en
Application granted granted Critical
Publication of KR102460927B1 publication Critical patent/KR102460927B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to an electronic device performing an identified action by identifying whether a use state of an electronic device is any one of a plurality of use states including watching a TV channel, searching the Internet, selecting a TV menu, and executing content and identifying an operation corresponding to the use state among a plurality of different operations, which can be provided by a voice command of a user. The plurality of different operations includes changing TV channels, searching the Internet, selecting a TV menu, and executing content.

Description

음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법 {VOICE RECOGNITION SYSTEM, VOICE RECOGNITION SERVER AND CONTROL METHOD OF DISPLAY APPARATUS}Voice recognition system, voice recognition server and control method of display device {VOICE RECOGNITION SYSTEM, VOICE RECOGNITION SERVER AND CONTROL METHOD OF DISPLAY APPARATUS}

본 발명은 음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법에 관한 것으로서, 보다 상세하게는 디스플레이장치에 대한 사용자의 현재 사용 상태 분석에 의한 음성인식 기능 수행을 제공하는 음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법에 관한 것이다.The present invention relates to a voice recognition system, a voice recognition server, and a control method of a display device, and more particularly, a voice recognition system providing a voice recognition function by analyzing a user's current use state of a display device, a voice recognition server And a control method of a display device.

음성인식 기술은 사용자 등이 입력하는 음성을 집음하여 획득한 음성신호를 소정 언어에 대응되는 신호로 인식하는 기술로 다양한 분야에 활용될 수 있다. 특히, TV, 휴대폰 등의 전자기기에 있어, 기존의 리모콘을 이용한 입력방식에서 벗어나 마이크를 통한 음성인식으로 장치를 컨트롤하는 기능들이 추가되고 있다. 예를 들어, TV의 채널 조정을 '채널 올려'와 같은 특정 단어를 음성으로 입력하고, TV 내의 음성인식엔진을 통해 사용자의 음성신호를 인식하여 채널 조정을 수행할 수 있다. The voice recognition technology is a technology for recognizing a voice signal obtained by collecting a voice input by a user or the like as a signal corresponding to a predetermined language, and can be used in various fields. In particular, in electronic devices such as TVs and mobile phones, functions to control devices by voice recognition through a microphone are added, away from the conventional input method using a remote control. For example, a specific word such as'channel up' may be input to adjust the channel of the TV, and the channel may be adjusted by recognizing a user's voice signal through a voice recognition engine in the TV.

이와 같이, 사용자의 발화에 의한 음성인식 기능을 수행함에 있어, 사용자의 발화와 기능 수행이 일대일로 매칭되는 경우는 문제가 없지만, 발화에 대응하는 기능이 두 가지 이상일 경우 임의 지정으로 기능이 실행되는 경우 사용자는 의도하지 않은 작동으로 인해 불편함을 느낄 수 있다.In this way, in performing the voice recognition function by the user's utterance, there is no problem in the case where the user's utterance and the function performance are matched one-to-one, but if there are two or more functions corresponding to the utterance, the function is executed by arbitrary designation. In this case, the user may feel uncomfortable due to unintended operation.

따라서, 본 발명의 목적은, 디스플레이장치에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 이용하여 사용자의 의도에 맞는 음성인식 기능을 수행할 수 있도록 신뢰성과 편리함을 제공하는 음성인식 시스템, 음성인식 서버 및 디스플레이장치의 제어방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide reliability and convenience so that a voice recognition function suitable for the user's intention can be performed by using at least one of a user's current state of use of a display device and a function currently being executed in the display device. It is to provide a voice recognition system, a voice recognition server, and a control method of a display device.

상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어서, 사용자의 음성명령을 수신하는 단계와; 디스플레이장치에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 결정하는 단계와; 결정된 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 이용하여 수신된 음성명령에 대응하는 동작을 결정하는 단계와; 결정된 동작을 수행하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서 달성될 수 있다.The above object is, according to the present invention, a method for controlling a display device, comprising the steps of: receiving a user's voice command; Determining at least one of a user's current use state of the display device and a function currently being executed in the display device; Determining an operation corresponding to the received voice command by using at least one of the determined current use state of the user and a function currently being executed in the display device; This can be achieved by a method of controlling a display device including performing the determined operation.

여기서, 상기 동작을 결정하는 단계는, 상기 수신한 음성명령에 대해 수행된 음성인식의 결과에 대응하는 복수의 동작 중에서, 상기 사용자의 현대 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응하는 동작을 결정하는 단계를 포함할 수 있다.Here, the step of determining the operation may include at least one of a current state of use of the user and a function currently being executed in the display device among a plurality of operations corresponding to a result of speech recognition performed on the received voice command. It may include determining an operation corresponding to.

또한, 상기 동작을 결정하는 단계는, 상기 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나와 상기 음성명령을 음성인식에 이용하여 적어도 하나의 동작을 결정하는 단계를 포함할 수 있다.In addition, the step of determining the operation may include determining at least one operation by using at least one of a current use state of the user and a function currently being executed in the display device, and the voice command for voice recognition. I can.

또한, 상기 동작을 결정하는 단계는, 상기 디스플레이장치가 제공할 수 있는 복수의 서비스 중 상기 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스를 결정하는 단계와; 상기 결정된 서비스에 대응되는 상기 적어도 하나의 동작을 결정하는 단계를 포함할 수 있다.In addition, the determining of the operation may include determining a service corresponding to at least one of a current usage state of the user and a function currently being executed in the display device among a plurality of services that can be provided by the display device; and ; It may include determining the at least one operation corresponding to the determined service.

여기서, 상기 서비스를 결정하는 단계는, 상기 사용자의 현재 사용 상태가 채널선택, 대화, 메뉴선택, 검색요청 중 적어도 하나를 포함하는 복수의 사용 상태 중 어느 것인지를 결정하여, 대응하는 상기 서비스를 결정하는 단계를 포함할 수 있다.Here, the determining of the service includes determining which of a plurality of use states including at least one of a channel selection, a conversation, a menu selection, and a search request as the current state of use of the user, and the corresponding service is determined. It may include the step of.

또한, 상기 동작을 결정하는 단계는, 수행된 음성인식 결과에 대응하는 복수의 동작 중에서, 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스와의 유사도에 기초하여 적어도 하나의 동작을 결정하는 단계를 포함할 수 있다.In addition, the step of determining the operation may be based on a similarity between a user's current use state and a service corresponding to at least one of a function currently being executed in the display device, among a plurality of operations corresponding to the performed voice recognition result. Thus, it may include determining at least one operation.

여기서, 상기 동작을 수행하는 단계는, 상기 수행된 동작에 대해 사용자가 소정의 음성명령을 내리는 경우, 상기 음성인식 결과에 대응하는 복수의 동작에 대한 사용자 선택창을 표시하는 단계를 포함할 수 있다.Here, the performing of the operation may include displaying a user selection window for a plurality of operations corresponding to the voice recognition result when the user gives a predetermined voice command to the performed operation. .

여기서, 상기 수신한 사용자의 음성명령과 상기 음성명령에 대응하여 수행된 동작에 대한 정보를 저장하는 단계를 더 포함하고, 상기 동작을 수행하는 단계는, 상기 수신한 사용자의 음성명령이 상기 저장되어 있는 음성명령이면, 대응하여 저장된 상기 동작에 대한 정보에 기초하여 동작을 수행하는 단계를 포함할 수 있다.Here, the step of storing the received voice command of the user and information on the operation performed in response to the voice command, the step of performing the operation, the received voice command of the user is stored If there is a voice command, it may include performing an operation based on the corresponding stored information on the operation.

여기서, 상기 수신한 음성명령에 대해 음성인식을 수행하는 단계를 더 포함할 수 있다.Here, it may further include performing voice recognition on the received voice command.

또한, 상기 수신한 음성명령에 대해 음성인식을 수행하도록 외부장치로 요청하는 단계와, 상기 외부장치로부터 상기 수행된 음성인식의 결과를 수신하는 단계를 더 포함할 수 있다.In addition, the method may further include requesting an external device to perform voice recognition on the received voice command, and receiving a result of the performed voice recognition from the external device.

상기 목적은, 본 발명에 따라, 음성인식 시스템에 있어서, 사용자의 음성명령을 수신하는 음성수신부와; 디스플레이장치에 대한 사용자의 현재 사용 상태 및 디스플레이 장치에서 현재 실행되고 있는 기능 중 적어도 하나를 결정하고, 결정된 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 이용하여 수신된 음성명령에 대응하는 동작을 결정하고, 결정된 동작을 수행하도록 제어하는 제어부를 포함하는 음성인식 시스템에 의해서도 달성될 수 있다.According to the present invention, there is provided a voice recognition system comprising: a voice receiver for receiving a voice command from a user; Determines at least one of a user's current use state of the display device and a function currently being executed on the display device, and voice received using at least one of the determined current use state of the user and a function currently being executed on the display device It can also be achieved by a voice recognition system including a control unit that determines an operation corresponding to a command and controls to perform the determined operation.

여기서, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 수신한 음성명령에 대해 수행된 음성인식의 결과에 대응하는 복수의 동작 중에서, 상기 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응하는 동작을 결정할 수 있다.Here, in determining the operation, the control unit includes, among a plurality of operations corresponding to a result of speech recognition performed on the received voice command, a current state of use of the user and a function currently being executed on the display device. An operation corresponding to at least one of them may be determined.

또한, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나와 상기 음성명령을 음성인식에 이용하여 적어도 하나의 동작을 결정할 수 있다.Further, in determining the operation, the controller may determine at least one operation by using at least one of a current use state of the user, a function currently being executed in the display device, and the voice command for voice recognition. .

또한, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 디스플레이장치가 제공할 수 있는 복수의 서비스 중 상기 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스를 결정하고, 상기 결정된 서비스에 대응되는 상기 적어도 하나의 동작을 결정할 수 있다.In determining the operation, the control unit determines a service corresponding to at least one of a current use state of the user and a function currently being executed in the display device among a plurality of services that can be provided by the display device. And, the at least one operation corresponding to the determined service may be determined.

또한, 상기 제어부는, 상기 서비스를 결정함에 있어, 상기 사용자의 현재 사용 상태가 채널선택, 대화, 메뉴선택, 검색요청 중 적어도 하나를 포함하는 복수의 사용 상태 중 어느 것인지를 결정하여, 대응하는 상기 서비스를 결정할 수 있다.In addition, in determining the service, the control unit determines which of a plurality of use states including at least one of a channel selection, a conversation, a menu selection, and a search request as the current use state of the user, and the corresponding You can decide on the service.

또한, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 수행된 음성인식 결과에 대응하는 복수의 동작 중에서, 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스와의 유사도에 기초하여 적어도 하나의 동작을 결정할 수 있다.Further, in determining the operation, the control unit includes a service corresponding to at least one of a user's current use state and a function currently being executed in the display device, among a plurality of operations corresponding to the performed voice recognition result. At least one operation may be determined based on the similarity of.

또한, 영상을 표시하는 디스플레이부를 더 포함하고, 상기 제어부는, 상기 동작을 수행함에 있어, 상기 수행된 동작에 대해 사용자가 소정의 음성명령을 내리는 경우, 상기 음성인식 결과에 대응하는 복수의 동작에 대한 사용자 선택창을 표시하도록 상기 디스플레이부를 제어할 수 있다.In addition, it further includes a display unit for displaying an image, the control unit, in performing the operation, when a user gives a predetermined voice command to the performed operation, a plurality of operations corresponding to the voice recognition result The display unit may be controlled to display a user selection window for.

여기서, 상기 수신한 사용자의 음성명령과 상기 음성명령에 대응하여 수행된 동작에 대한 정보를 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 동작을 수행함에 있어, 상기 수신한 사용자의 음성명령이 상기 저장부에 저장되어 있는 음성명령이면, 대응하여 저장된 상기 동작에 대한 정보에 기초하여 동작을 수행하도록 제어할 수 있다.Herein, the received voice command of the user and a storage unit for storing information on an operation performed in response to the voice command, the control unit, in performing the operation, the received voice command of the user If the voice command is stored in the storage unit, it is possible to control the operation to be performed based on the corresponding stored information on the operation.

상기 목적은, 본 발명에 따라, 음성인식 서버에 있어서, 디스플레이장치와 연결하는 통신부와; 디스플레이장치로부터 사용자의 음성명령을 수신하고, 디스플레이장치에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나와 수신된 음성명령에 대응하는 동작을 결정하고, 결정된 동작을 디스플레이장치로 전달하도록 통신부를 제어하는 제어부를 포함하는 음성인식 서버에 의해서도 달성될 수 있다.According to the present invention, there is provided a voice recognition server, comprising: a communication unit connected to a display device; Receives a user's voice command from the display device, determines at least one of the user's current use state of the display device and a function currently being executed on the display device, and an operation corresponding to the received voice command, and displays the determined operation It can also be achieved by a voice recognition server comprising a control unit for controlling the communication unit to be transmitted to.

여기서, 상기 제어부는 상기 동작을 결정함에 있어, 상기 수신한 음성명령에 대해 수행된 음성인식의 결과에 대응하는 복수의 동작 중에서, 상기 디스플레이장치에 대한 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응하는 동작을 결정할 수 있다.Here, in determining the operation, the controller is a user's current use state of the display device and a current execution of the display device from among a plurality of operations corresponding to the result of speech recognition performed on the received voice command. An operation corresponding to at least one of the functions being performed may be determined.

또한, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 디스플레이장치에 대한 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나와 상기 음성명령을 음성인식에 이용하여 적어도 하나의 동작을 결정할 수 있다.In addition, in determining the operation, the control unit uses at least one of a user's current use state of the display device, a function currently being executed in the display device, and at least one operation by using the voice command for voice recognition. Can be determined.

또한, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 디스플레이장치가 제공할 수 있는 복수의 서비스 중 상기 디스플레이장치에 대한 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스를 결정하고, 상기 결정된 서비스에 대응되는 상기 적어도 하나의 동작을 결정할 수 있다.In addition, in determining the operation, the control unit corresponds to at least one of a user's current use state of the display device and a function currently being executed in the display device among a plurality of services that can be provided by the display device. A service to be performed may be determined, and the at least one operation corresponding to the determined service may be determined.

또한, 상기 제어부는, 상기 서비스를 결정함에 있어, 상기 디스플레이장치에 대한 사용자의 현재 사용 상태가 채널선택, 대화, 메뉴선택, 검색요청 중 적어도 하나를 포함하는 복수의 사용 상태 중 어느 것인지를 결정하여, 대응하는 상기 서비스를 결정할 수 있다.In addition, in determining the service, the controller determines which of a plurality of use states including at least one of a channel selection, a conversation, a menu selection, and a search request is the user's current use state for the display device. , It is possible to determine the corresponding service.

또한, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 수신한 음성명령에 대해 수행된 음성인식 결과에 대응하는 복수의 동작 중에서, 상기 디스플레이장치에 대한 사용자의 현재 사용 상태 및 상기 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스와의 유사도에 기초하여 적어도 하나의 동작을 결정할 수 있다.In addition, in determining the operation, the control unit, among a plurality of operations corresponding to the voice recognition result performed on the received voice command, the user's current use state of the display device and the current execution on the display device. At least one operation may be determined based on a degree of similarity with a service corresponding to at least one of the functions being performed.

여기서, 상기 수신한 사용자의 음성명령과 상기 음성명령에 대응하여 결정된 동작에 대한 정보를 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 동작을 결정함에 있어, 상기 수신한 사용자의 음성명령이 상기 저장부에 저장되어 있는 음성명령이면, 대응하여 저장된 상기 동작에 대한 정보에 기초하여 동작을 결정하도록 제어할 수 있다.Herein, the received voice command of the user and a storage unit for storing information on an operation determined in response to the voice command, the control unit, in determining the operation, the received voice command of the user is If the voice command is stored in the storage unit, the operation may be controlled to be determined based on the corresponding stored information on the operation.

상기한 바와 같이, 본 발명에 의하면, 디스플레이장치에 대한 사용자의 현재 사용 상태 분석에 의해 사용자의 의도에 맞는 음성인식 기능을 수행할 수 있도록 신뢰성과 편리함을 제공할 수 있다.As described above, according to the present invention, it is possible to provide reliability and convenience so that a voice recognition function suitable for the user's intention can be performed by analyzing the user's current use state of the display device.

도 1은 본 발명의 일실시예에 따른 음성인식 시스템의 구성을 도시한 블록도이다.
도 2 및 3은 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 음성인식 시스템의 사용자 발화에 대한 음성인식 기능 수행 과정을 도시한 것이다.
도 5 내지 9는 본 발명의 일실시예에 따른 음성인식 시스템의 동작의 예를 도시한 것이다.
도 10은 본 발명의 일실시예에 따른 음성인식 서버의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a voice recognition system according to an embodiment of the present invention.
2 and 3 are flowcharts illustrating a method of controlling a display device according to an embodiment of the present invention.
4 is a diagram illustrating a process of performing a voice recognition function for a user's speech in a voice recognition system according to an embodiment of the present invention.
5 to 9 illustrate examples of operations of the voice recognition system according to an embodiment of the present invention.
10 is a block diagram showing the configuration of a voice recognition server according to an embodiment of the present invention.

이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. The present invention may be implemented in various different forms and is not limited to the embodiments described herein. In order to clearly describe the present invention, parts irrelevant to the description have been omitted, and the same reference numerals are attached to the same or similar components throughout the specification.

이하에서는, 먼저 도 1을 통해 본 발명에 따른 음성인식 시스템에 포함된 각 구성요소의 특징에 대해 구체적으로 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 음성인식 시스템의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 음성인식 시스템(1)은 디스플레이장치(100) 및 음성인식 서버(300)를 포함하여 구현될 수 있고, 다른 예로 디스플레이장치(100)만을 포함하여 구현될 수 있다.In the following, first, characteristics of each component included in the voice recognition system according to the present invention will be described in detail with reference to FIG. 1. 1 is a block diagram showing the configuration of a voice recognition system according to an embodiment of the present invention. As shown in FIG. 1, the voice recognition system 1 may be implemented including the display device 100 and the voice recognition server 300, and may be implemented including only the display device 100 as another example.

디스플레이장치(100)는 신호수신부(110), 영상처리부(120), 음성수신부(130), 제어부(140), 디스플레이부(150)를 포함하고, 일실시예에 있어 음성인식부(135), 통신부(170), 저장부(160) 중 적어도 하나를 더 포함할 수 있다. 디스플레이장치(100)는 예컨대 TV로 구현될 수 있으며, 음성인식 서버(300)와 통신부(170)를 통해 연결될 수 있다. The display apparatus 100 includes a signal receiving unit 110, an image processing unit 120, a voice receiving unit 130, a control unit 140, and a display unit 150, and in one embodiment, the voice recognition unit 135, At least one of the communication unit 170 and the storage unit 160 may be further included. The display device 100 may be implemented as a TV, for example, and may be connected to the voice recognition server 300 and the communication unit 170.

신호수신부(110)는 적어도 하나의 채널의 영상신호를 수신한다. 신호수신부(110)는 수신하는 영상신호의 규격 및 디스플레이장치(100)의 구현 형태에 따라 다양한 형식으로 마련될 수 있는데, 예를 들어, 방송국으로부터 송출되는 RF(Radio Frequency) 방송신호를 수신하는 튜너로 구현될 수 있다. 또한 DVD나 PC등의 주변영상기기와 연결되어 영상신호를 수신하는 형태로 구현될 수 있다.The signal receiver 110 receives an image signal of at least one channel. The signal receiver 110 may be provided in various formats according to the standard of the image signal to be received and the implementation form of the display device 100, for example, a tuner that receives a radio frequency (RF) broadcast signal transmitted from a broadcasting station. Can be implemented as In addition, it can be implemented in the form of receiving an image signal by being connected to a peripheral image device such as a DVD or a PC.

영상처리부(120)는 수신된 영상신호를 기 설정된 영상처리 프로세스에 따라 처리한다. 영상처리부(120)에서 수행하는 영상처리 프로세스의 예로써, 디코딩(decoding), 디인터레이싱(de-interlacing), 스케일링(scaling), 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등이 있으며, 그 종류는 한정되지 않는다. 영상처리부(120)는 이러한 여러 기능을 통합시킨 SOC(System-On-Chip) 또는 각 프로세스를 독자적으로 수행할 수 있는 개별 구성들이 장착된 영상처리보드로 구현될 수 있다.The image processing unit 120 processes the received image signal according to a preset image processing process. Examples of the image processing process performed by the image processing unit 120 include decoding, de-interlacing, scaling, noise reduction, detail enhancement, and the like, Its kind is not limited. The image processing unit 120 may be implemented as a system-on-chip (SOC) in which these functions are integrated, or an image processing board equipped with individual components capable of independently performing each process.

디스플레이부(150)는 영상처리부(120)로부터 출력되는 영상신호에 기초하여 영상을 표시한다. 디스플레이부(150)의 구현 방식은 한정되지 않는 바, 디스플레이부(150)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다.The display unit 150 displays an image based on an image signal output from the image processing unit 120. The implementation method of the display unit 150 is not limited, and the display unit 150 includes various types such as a plasma display panel (PDP), a liquid crystal display (LCD), organic light emitting diodes (OLED), and a flexible display. It can be implemented in a form.

음성수신부(130)는 사용자의 음성명령을 수신한다. 음성수신부(130)는 사용자의 음성명령을 하나의 음성신호로서 수신하며, 수신되는 음성신호는 음성인식의 대상이 되는 사용자의 음성 이외에 다양한 노이즈를 포함할 수 있으므로, 주파수 분석 등의 전처리 과정을 통해 사용자의 음성 성분을 추출하고, 추출된 음성 성분에 대해 음성인식 처리를 수행할 수 있도록 구현된다.The voice receiver 130 receives a user's voice command. The voice receiving unit 130 receives a user's voice command as a single voice signal, and the received voice signal may include various noises other than the voice of the user, which is the target of voice recognition, so through a preprocessing process such as frequency analysis. It is implemented to extract the user's speech component and perform speech recognition processing on the extracted speech component.

제어부(140)는 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 결정한다. 예를 들면, 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능은 TV채널 시청 상태이거나 인터넷 검색, TV 메뉴 선택, 컨텐츠 실행 상태 등일 수 있다. 제어부(140)는 결정된 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 이용하여 수신된 음성명령에 대응하는 동작을 결정하고, 상기 결정된 동작을 수행하도록 제어한다.The controller 140 determines at least one of a user's current use state of the display device 100 and a function currently being executed in the display device. For example, a user's current use state and a function currently being executed in the display device may be a TV channel viewing state, an Internet search, a TV menu selection, a content execution state, and the like. The controller 140 determines an operation corresponding to the received voice command by using at least one of the determined current use state of the user and a function currently being executed in the display device, and controls to perform the determined operation.

제어부(140)는 음성수신부(130)에서 수신한 음성명령에 대해 수행된 음성인식의 결과에 대응하는 복수의 동작 중에서, 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응하는 동작을 결정하고, 결정된 동작을 수행하도록 제어할 수 있다. 이 때, 음성인식의 결과에 대응하는 동작의 예로서, TV채널 이동, 인터넷 검색결과 표시, TV메뉴 실행, 영화나 동영상, 음악파일 등의 컨텐츠 실행 등을 포함할 수 있다. The control unit 140 corresponds to at least one of a user's current use state and a function currently being executed on the display device among a plurality of operations corresponding to a result of speech recognition performed on a voice command received by the voice receiver 130. The operation to be performed may be determined, and the determined operation may be controlled to be performed. In this case, as an example of an operation corresponding to the result of voice recognition, it may include moving a TV channel, displaying an Internet search result, executing a TV menu, executing a content such as a movie, moving picture, or music file.

또한 제어부(140)는 동작을 결정함에 있어, 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나와 음성명령을 음성인식에 이용하여 적어도 하나의 동작을 결정할 수 있다.Also, in determining an operation, the controller 140 may determine at least one operation by using at least one of a user's current use state, a function currently being executed in the display device, and a voice command for voice recognition.

구체적으로, 제어부(140)는, 도 4에 도시된 바와 같이, 동작을 결정함에 있어, 디스플레이장치(100)가 제공할 수 있는 복수의 서비스 중 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스를 결정하고, 결정된 서비스에 대응되는 적어도 하나의 동작을 결정할 수 있다. 복수의 서비스는 TV 등의 방송채널 제공, 영화나 비디오, 음악파일 등의 컨텐츠 제공, 인터넷, 홈쇼핑, 양방향 VOD 서비스 등 디스플레이장치에서 구현될 수 있는 다양한 서비스를 포함한다. 또한, 서비스를 결정함에 있어, 제어부(140)는 사용자의 현재 사용 상태가 채널선택, 대화, 메뉴선택, 검색요청 중 적어도 하나를 포함하는 복수의 사용 상태 중 어느 것인지를 결정하여, 대응하는 서비스를 결정할 수 있다. 예를 들어, 사용자가 TV 뉴스를 시청하면서 화상채팅을 하고 있는 상태라면, 사용자의 현재 사용상태는 '채널선택' 혹은 '대화'로 결정될 수 있다. 이 때 사용자의 발화내용이 '배고프다', '피자주문', 등과 같다면, 사용자의 현재 상태는 '채널선택' 보다는 '대화'인 것으로 간주되어 대응하는 서비스로서 사용자의 발화내용에 기반한 '주문 서비스'가 결정될 수 있다. Specifically, as shown in FIG. 4, in determining an operation, the control unit 140 displays a user's current usage state and currently executing on the display device among a plurality of services that can be provided by the display device 100. A service corresponding to at least one of the functions may be determined, and at least one operation corresponding to the determined service may be determined. The plurality of services includes various services that can be implemented in a display device, such as providing broadcasting channels such as TV, providing contents such as movies, videos, and music files, and providing Internet, home shopping, and interactive VOD services. In addition, in determining the service, the control unit 140 determines which of a plurality of use states including at least one of channel selection, conversation, menu selection, and search request, as the current state of use of the user, and selects a corresponding service. You can decide. For example, if the user is watching TV news and is in video chat, the user's current use state may be determined as'channel selection' or'conversation'. At this time, if the user's utterance content is the same as'hungry','pizza order', etc., the current state of the user is considered to be'conversation' rather than'channel selection', and the corresponding service is a'order service based on the user's speech content. 'Can be determined.

또한, 제어부(140)는 동작을 결정함에 있어, 수행된 음성인식 결과에 대응하는 복수의 동작 중에서, 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스와의 유사도에 기초하여 적어도 하나의 동작을 결정할 수 있다. 하나의 실시예로서, 사용자의 현재 사용 상태에 대응되는 서비스가 '방송채널 제공'이라면, 이와 관련된 'TV방송 실행', '케이블 방송 실행', '인터넷 상의 VOD 실행' 등의 복수의 동작들 중 '방송채널 제공' 서비스와 가장 유사도가 높은 'TV방송 실행'을 대응하는 동작으로 결정할 수 있다.In addition, in determining the operation, the controller 140 has a similarity with a service corresponding to at least one of a user's current use state and a function currently being executed on the display device among a plurality of operations corresponding to the performed voice recognition result. At least one operation may be determined based on. As an embodiment, if the service corresponding to the user's current usage status is'providing a broadcasting channel', among a plurality of operations such as'TV broadcasting execution','cable broadcasting execution', and'VOD execution on the Internet' The'TV broadcast execution' having the highest similarity to the'providing broadcast channel' service may be determined as a corresponding action.

이상에서, 사용자의 음성명령과 사용자의 현재 사용상태의 분류, 현재 사용상태에 대응되는 서비스 분류, 그리고 서비스에 대응되는 동작의 분류에 관한 정보들은 저장부(160)에 서로 대응되게 데이터로서 저장되어 관리될 수 있다.In the above, information on the user's voice command, the classification of the user's current use state, the service classification corresponding to the current use state, and the classification of the operation corresponding to the service are stored as data corresponding to each other in the storage unit 160. Can be managed.

한편, 제어부(140)는 동작을 수행함에 있어, 수행된 동작에 대해 사용자가 소정의 음성명령을 내리는 경우, 음성인식 결과에 대응하는 복수의 동작에 대한 사용자 선택창(미도시)을 표시하도록 디스플레이부(150)를 제어할 수 있다. 즉, 사용자의 음성명령에 대해 수행된 동작이 사용자가 원하는 동작이 아닌 경우, 사용자는 '취소' 또는 '다른 화면'과 같은 소정의 음성명령을 내릴 수 있고, 이에 의해, 디스플레이부(150)는 음성인식 결과에 대응하는 복수의 동작들을 유사도에 기초한 우선순위에 따라 소정의 갯수 만큼 표시하여 선택할 수 있도록 하는 사용자 선택창을 표시할 수 있다.Meanwhile, in performing an operation, when the user gives a predetermined voice command to the performed operation, the controller 140 displays a user selection window (not shown) for a plurality of operations corresponding to the voice recognition result. The unit 150 can be controlled. That is, if the operation performed on the user's voice command is not the operation desired by the user, the user can issue a predetermined voice command such as'cancel' or'other screen', whereby the display unit 150 A user selection window for displaying and selecting a plurality of operations corresponding to the speech recognition result as many as a predetermined number according to a priority based on a degree of similarity may be displayed.

다른 실시예로서, 제어부(140)는 수신한 사용자의 음성명령과 음성명령에 대응하여 수행된 동작에 대한 정보를 저장하는 저장부(160)를 더 포함할 수 있고, 이러한 경우 제어부(140)는 수신한 사용자의 음성명령이 저장부(160)에 저장되어 있는 음성명령이면, 대응하여 저장된 동작에 대한 정보에 기초하여 동작을 수행하도록 제어할 수 있다. 예를 들면, 과거에 사용자의 'SBS'와 같은 음성명령에 대해 'SBS 뉴스채널 실행'의 동작이 수행되고, 이에 대한 정보가 저장부(160)에 저장되어 있다면, 저장된 이후의 어느 시점에 다시 사용자의 'SBS' 음성명령이 수신되는 경우 디스플레이장치(100)는 음성인식 결과에 대응하는 동작을 결정하는 과정을 생략하고, 저장부(160)로부터 'SBS' 음성명령에 대응되는 동작 정보를 수신하여 바로 동작을 수행하도록 구현될 수 있다.As another embodiment, the control unit 140 may further include a storage unit 160 for storing information on a received voice command and an operation performed in response to the voice command. In this case, the control unit 140 If the received user's voice command is a voice command stored in the storage unit 160, the operation may be controlled to be performed based on information on the corresponding stored operation. For example, if the operation of'SBS news channel execution' is performed for a voice command such as'SBS' of the user in the past, and information about this is stored in the storage unit 160, at some point after the storage When a user's'SBS' voice command is received, the display apparatus 100 skips the process of determining an operation corresponding to the voice recognition result, and receives operation information corresponding to the'SBS' voice command from the storage unit 160. Thus, it can be implemented to perform the operation immediately.

디스플레이장치(100)는 음성수신부(130)에서 수신한 음성명령에 대해 음성인식을 수행하는 음성인식부(135)를 더 포함할 수 있다. 음성인식부(135)는 음성수신부(130)로부터 수신한 음성명령에 대해 음성인식을 수행한다. 음성인식부(135)는 디스플레이장치(100) 내부에 마련되는 임베디드형 엔진의 형태로 구현될 수 있으며, 다른 실시예로서 별도의 음성인식 서버(300)로 구현되거나, 제어부(140)와 함께 하나의 프로세서로 구현될 수 있다.The display apparatus 100 may further include a voice recognition unit 135 that performs voice recognition on a voice command received by the voice receiver 130. The voice recognition unit 135 performs voice recognition on the voice command received from the voice receiver 130. The voice recognition unit 135 may be implemented in the form of an embedded engine provided inside the display device 100, and is implemented as a separate voice recognition server 300 or one together with the control unit 140 as another embodiment. It can be implemented with a processor of.

음성인식부(135)는 디스플레이장치(100)를 제어하기 위한 사용자의 음성입력에 대해 정해진 특정한 어휘를 인식할 수 있다. 예를 들어, 사용자가 '채널 올려', '전원 오프', '음소거' 등의 음성신호를 입력하는 경우에, 음성인식부(135)는 음성신호를 인식하여 저장된 언어리스트에 포함된 기 설정된 언어 중 어느 하나로 인식되는 경우, 인식된 언어 데이터를 출력할 수 있다. 이러한 임베디드형 엔진은 작은 용량의 메모리 만으로 구현이 가능하고, 속도 면에 있어서 우월하다. The voice recognition unit 135 may recognize a specific vocabulary determined for a user's voice input for controlling the display apparatus 100. For example, when a user inputs a voice signal such as'channel up','power off', and'mute', the voice recognition unit 135 recognizes the voice signal and selects a preset language included in the stored language list. When recognized as any one of them, the recognized language data may be output. These embedded engines can be implemented with only a small amount of memory and are superior in terms of speed.

다른 실시예로서, 디스플레이장치(100)는 음성수신부(130)에서 수신한 음성명령에 대해 음성인식을 수행하기 위해 별도의 음성인식 서버(300)와 연결될 수 있다. 여기서 음성인식 서버(300)로 마련되는 경우, 디스플레이장치(100)는 음성수신부(130)에서 수신한 음성명령에 해당하는 음성신호를 통신부(170)를 통해 음성인식 서버(300)로 전달하고, 음성인식 결과를 음성인식 서버(300)로부터 수신할 수 있다. 이러한 경우, 임베디드형 엔진으로 구현되는 경우와 달리, 다양한 어휘 또는 연속어의 인식이 가능할 수 있다. 예를 들어, 검색창에 특정 검색어를 입력하는 것, SNS 등의 어플리케이션을 통해 문장을 입력하는 것 등은 많은 어휘의 인식이 요구되므로, 임베디드형 엔진을 통해서는 실현이 쉽지 않지만, 음성인식 서버(300)를 통해 음성인식이 수행되는 경우에는 실현이 가능하다. As another embodiment, the display apparatus 100 may be connected to a separate voice recognition server 300 in order to perform voice recognition on a voice command received by the voice receiver 130. Here, when provided as the voice recognition server 300, the display device 100 transmits a voice signal corresponding to the voice command received from the voice receiving unit 130 to the voice recognition server 300 through the communication unit 170, The voice recognition result may be received from the voice recognition server 300. In this case, unlike the case implemented with an embedded engine, various vocabulary or continuous words may be recognized. For example, entering a specific search word in the search box, entering a sentence through an application such as SNS, etc., requires recognition of a lot of vocabulary, so it is not easy to realize through an embedded engine, but a voice recognition server ( 300) can be realized when voice recognition is performed.

또 다른 실시예로서, 음성인식부(135)는 제어부(140)와 함께 하나의 프로세서로 구현될 수 있으며, 이러한 경우 음성인식부(135)는 별도로 마련되지 않고(미도시) 제어부(140)에 포함되어 구현될 수 있다.As another embodiment, the voice recognition unit 135 may be implemented as a single processor together with the control unit 140, and in this case, the voice recognition unit 135 is not separately provided (not shown) and the control unit 140 It can be included and implemented.

이하에서는, 도 2 및 3을 통해 본 발명에 따른 디스플레이장치의 제어방법의 특징에 대해 구체적으로 설명하기로 하며, 필요에 따라 도 4 내지9를 참고하여 설명하기로 한다. 도 2는 본 발명의 일실시예에 따른 디스플레이장치의 제어방법을 도시한 흐름도이다. 도 2에 도시된 바와 같이, 동작 S110에서, 디스플레이장치(100)는 사용자의 음성명령을 수신한다. 다음으로, 동작 S130에서, 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 결정한다. 다음으로, 동작 S140에서, 결정된 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 이용하여 수신된 음성명령에 대응하는 동작을 결정하고, S150에서, 결정된 동작을 수행한다.Hereinafter, features of the method for controlling a display device according to the present invention will be described in detail with reference to FIGS. 2 and 3, and will be described with reference to FIGS. 4 to 9 as necessary. 2 is a flowchart illustrating a method of controlling a display device according to an embodiment of the present invention. 2, in operation S110, the display apparatus 100 receives a user's voice command. Next, in operation S130, at least one of a user's current use state of the display apparatus 100 and a function currently being executed in the display apparatus is determined. Next, in operation S140, an operation corresponding to the received voice command is determined using at least one of the determined current use state of the user and a function currently being executed in the display device, and in operation S150, the determined operation is performed.

여기서 동작 S140은 수신한 음성명령에 대해 수행된 음성인식의 결과에 대응하는 복수의 동작 중에서, 사용자의 현재 사용상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응하는 동작을 결정하는 동작을 포함할 수 있다. 또한, 동작 S140에 있어, 수신한 음성명령에 대한 음성인식은, 디스플레이장치에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 결정하는 동작 S130 이전에 수행되거나, 혹은 동작 S130 이후에 수행될 수 있다. 동작 S140은 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나와 음성명령을 음성인식에 이용하여 적어도 하나의 동작을 결정하는 동작을 포함할 수 있다.Here, the operation S140 is an operation of determining an operation corresponding to at least one of a user's current use state and a function currently being executed on the display device from among a plurality of operations corresponding to the result of speech recognition performed on the received voice command. Can include. In addition, in operation S140, voice recognition for the received voice command is performed prior to operation S130 of determining at least one of a user's current use state of the display device and a function currently being executed on the display device, or It may be performed after S130. Operation S140 may include determining at least one operation by using at least one of a user's current use state and a function currently being executed in the display device and a voice command for voice recognition.

구체적인 예를 들어 설명하면, 도 5에 도시된 바와 같이, 사용자가 KBS 뉴스채널을 시청중인 상태에서 사용자가 'MBC'라고 발화하는 경우 디스플레이장치(100)는 사용자의 현재 사용 상태를 '뉴스채널 시청'으로 결정하고, 사용자의 'MBC' 발화에 대한 음성인식 결과에 대응하는 동작으로서 MBC 뉴스채널을 보여주도록 구현될 수 있다. 또 다른 예로서, 도 6에 도시된 바와 같이, 사용자가 인터넷을 사용중인 상태에서 사용자가 'MBC'라고 발화하는 경우 디스플레이장치(100)는 사용자의 현재 사용 상태를 '인터넷 검색'으로 결정하고, 사용자의 'MBC' 발화에 대한 음성인식 결과에 대응하는 동작으로서 MBC 홈페이지를 보여주도록 구현될 수 있다. 또한 도 7의 예에서, 사용자가 영화를 보고 있는 상태에서 사용자가 '해운대'라고 발화하는 경우 디스플레이장치(100)는 사용자의 현재 사용 상태를 '컨텐츠 실행'으로 결정하고, 사용자의 '해운대' 발화에 대한 음성인식 결과에 대응하는 동작으로서 영화 '해운대' 컨텐츠를 실행하도록 구현될 수 있다. 도 8의 예에서는, 사용자가 인터넷을 사용중인 상태에서 사용자가 '해운대'라고 발화하는 경우 디스플레이장치(100)는 사용자의 현재 사용 상태를 '인터넷 검색'으로 결정하고, 사용자의 '해운대' 발화에 대한 음성인식 결과에 대응하는 동작으로서 해운대문화관광 홈페이지를 보여주도록 구현될 수 있다.For a specific example, as shown in FIG. 5, when the user utters'MBC' while the user is watching a KBS news channel, the display device 100 displays the user's current usage status as'viewing the news channel. It may be implemented to show the MBC news channel as an operation corresponding to the voice recognition result of the user's speech of the'MBC' and'MBC'. As another example, as shown in FIG. 6, when the user utters'MBC' while the user is using the Internet, the display device 100 determines the user's current usage status as'Internet search', As an operation corresponding to the voice recognition result of the user's utterance of'MBC', it can be implemented to show the MBC homepage. In addition, in the example of FIG. 7, when the user utters'Haeundae' while the user is watching a movie, the display device 100 determines the user's current use state as'content execution', and the user's'Haeundae' utterance As an operation corresponding to the result of speech recognition for, it may be implemented to execute the content of the movie'Haeundae'. In the example of FIG. 8, when the user utters'Haeundae' while the user is using the Internet, the display device 100 determines the user's current use state as'Internet Search', and responds to the user's utterance of'Haeundae'. It can be implemented to show the Haeundae Cultural Tourism website as an action corresponding to the result of voice recognition for Korea.

또 다른 예로서, 도 9에 도시된 바와 같이, 사용자가 디스플레이장치(100)의 메뉴를 선택중인 상태에서 사용자가 '예약'이라고 발화하는 경우 디스플레이장치(100)는 사용자의 현재 사용 상태를 '메뉴 선택'으로 결정하고, 사용자의 '예약' 발화에 대한 음성인식 결과에 대응하는 동작으로서 예약메뉴를 자동으로 실행하도록 구현될 수 있다.As another example, as shown in FIG. 9, when the user utters'reservation' while the user is selecting a menu of the display device 100, the display device 100 indicates the current use state of the user as a'menu. It may be implemented to automatically execute the reservation menu as an operation that determines'select' and corresponds to the voice recognition result of the user's'reservation' utterance.

도 3는 도 2에서 설명한 동작의 구성을 좀 더 구체적으로 보여주는 디스플레이장치의 제어방법을 도시한 흐름도이다. 도 3에 도시된 바와 같이, 동작 S110에서, 사용자의 음성명령을 수신하고, 동작 S130에서, 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나를 결정한다. 다음으로, 동작 S143에서, 디스플레이장치(100)가 제공할 수 있는 복수의 서비스 중 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스를 결정하고, 이 때 동작 S143은 사용자의 현재 사용 상태가 채널선택, 대화, 메뉴선택, 검색요청 중 적어도 하나를 포함하는 복수의 사용 상태 중 어느 것인지를 결정하여, 대응하는 서비스를 결정하는 동작을 포함할 수 있다. 다음으로, 동작 S145에서, 수신한 음성명령에 대해 수행된 음성인식의 결과에 대응하는 복수의 동작 중에서, 결정된 서비스에 대응되는 적어도 하나의 동작을 결정하고, 이 때 동작 S145는 수행된 음성인식 결과에 대응하는 복수의 동작 중에서, 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스와의 유사도에 기초하여 적어도 하나의 동작을 결정하는 동작을 포함할 수 있다. 동작 S145에서, 수신한 음성명령에 대한 음성인식은, 디스플레이장치에 대한 사용자의 현재 사용 상태 및 디스플레이장치에서 현재 실행되고 있는 가능 중 적어도 하나를 결정하는 동작 S130 이전에 수행되거나, 혹은 동작 S130 이후에 수행되도록 할 수 있다. 마지막으로, 동작 S150에서, 결정된 동작을 수행한다. 여기서 동작 S150은 수행된 동작에 대해 사용자가 소정의 음성명령을 내리는 경우, 음성인식 결과에 대응하는 복수의 동작에 대한 사용자 선택창을 표시하는 동작을 포함할 수 있다.FIG. 3 is a flowchart illustrating a method of controlling the display device showing the configuration of the operation described in FIG. 2 in more detail. As shown in FIG. 3, in operation S110, a user's voice command is received, and in operation S130, at least one of a user's current use state of the display apparatus 100 and a function currently being executed in the display apparatus is determined. do. Next, in operation S143, a service corresponding to at least one of a current usage state of a user and a function currently being executed in the display apparatus is determined among a plurality of services that can be provided by the display apparatus 100, and at this time, operation S143 May include an operation of determining which of a plurality of use states including at least one of a channel selection, a conversation, a menu selection, and a search request, and determining a corresponding service. Next, in operation S145, at least one operation corresponding to the determined service is determined from among a plurality of operations corresponding to the result of speech recognition performed on the received voice command, and at this time, operation S145 is the result of the performed speech recognition. Among the plurality of operations corresponding to, may include determining at least one operation based on a similarity between a user's current use state and a service corresponding to at least one of a function currently being executed in the display device. In operation S145, the voice recognition for the received voice command is performed before operation S130, or after operation S130, which determines at least one of a user's current use state of the display device and a possible currently being executed on the display device. Can be done. Finally, in operation S150, the determined operation is performed. Here, operation S150 may include an operation of displaying a user selection window for a plurality of operations corresponding to the voice recognition result when the user gives a predetermined voice command to the performed operation.

한편, 수신한 사용자의 음성명령과 음성명령에 대응하여 수행된 동작에 대한 정보를 저장하는 동작을 더 포함하도록 구현될 수 있는데, 이러한 경우 결정된 동작을 수행하는 동작 S150은, 수신한 사용자의 음성명령이 저장되어 있는 음성명령이면, 대응하여 저장된 동작에 대한 정보에 기초하여 동작을 수행하는 동작을 포함할 수 있다.On the other hand, it may be implemented to further include an operation of storing information on an operation performed in response to the received user's voice command and the voice command. In this case, the operation S150 for performing the determined operation is the received user's voice command. The stored voice command may include an operation of performing an operation based on information on the corresponding stored operation.

이하에서는, 도 10을 통해 본 발명에 따른 음성인식 서버의 각 구성요소의 특징에 대해 구체적으로 설명하기로 한다. 도 10은 본 발명의 일실시예에 따른 음성인식 서버의 구성을 도시한 블록도이다. 도 10에 도시된 바와 같이, 음성인식 서버(300)는 제어부(340) 및 통신부(370)를 포함하고, 디스플레이장치(100)와 연결되어 음성인식 시스템(1)으로 구현될 수 있다. 다른 실시예로서, 음성인식 서버(300)는 음성인식부(335) 혹은 저장부(360)를 더 포함할 수도 있다. 음성인식 서버(300)에 있어, 통신부(370)는 디스플레이장치(100)와 통신한다. 제어부(340)는 디스플레이장치(100)로부터 사용자의 음성명령을 수신하고, 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 디스플레이장치(100)에서 현재 실행되고 있는 기능 중 적어도 하나와 수신된 음성명령에 대응하는 동작을 결정한다. 제어부(340)는 결정된 동작을 디스플레이장치(100)로 전달하도록 상기 통신부(370)를 제어한다.Hereinafter, characteristics of each component of the voice recognition server according to the present invention will be described in detail with reference to FIG. 10. 10 is a block diagram showing the configuration of a voice recognition server according to an embodiment of the present invention. As shown in FIG. 10, the voice recognition server 300 includes a control unit 340 and a communication unit 370, and may be implemented as a voice recognition system 1 by being connected to the display device 100. As another embodiment, the voice recognition server 300 may further include a voice recognition unit 335 or a storage unit 360. In the voice recognition server 300, the communication unit 370 communicates with the display device 100. The control unit 340 receives a user's voice command from the display device 100, and at least one of a user's current use state of the display device 100 and a function currently being executed in the display device 100, and the received voice. Determine the action corresponding to the command. The controller 340 controls the communication unit 370 to transmit the determined operation to the display apparatus 100.

제어부(340)는, 수신한 음성명령에 대해 수행된 음성인식의 결과에 대응하는 복수의 동작 중에서, 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 디스플레이장치(100)에서 현재 실행되고 있는 기능 중 적어도 하나에 대응하는 동작을 결정할 수 있다. 또한, 제어부(340)는, 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 디스플레이장치(100)에서 현재 실행되고 있는 기능 중 적어도 하나와 음성명령을 음성인식에 이용하여 적어도 하나의 동작을 결정할 수 있다.The control unit 340 includes, among a plurality of operations corresponding to a result of speech recognition performed on the received voice command, a user's current use state of the display device 100 and a function currently being executed in the display device 100. An operation corresponding to at least one of them may be determined. In addition, the controller 340 determines at least one operation by using at least one of a user's current use state of the display device 100 and a function currently being executed in the display device 100 and a voice command for voice recognition. I can.

제어부(340)는, 디스플레이장치(100)가 제공할 수 있는 복수의 서비스 중 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 디스플레이장치(100)에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스를 결정하고, 결정된 서비스에 대응되는 적어도 하나의 동작을 결정할 수 있다. 이 때, 제어부(340)는 디스플레이장치(100)에 대한 사용자의 현재 사용 상태가 채널선택, 대화, 메뉴선택, 검색요청 중 적어도 하나를 포함하는 복수의 사용 상태 중 어느 것인지를 결정하여, 대응하는 상기 서비스를 결정할 수 있다. 또한 제어부(340)는, 수신한 음성명령에 대해 수행된 음성인식 결과에 대응하는 복수의 동작 중에서, 상기 디스플레이장치(100)에 대한 사용자의 현재 사용 상태 및 상기 디스플레이장치(100)에서 현재 실행되고 있는 기능 중 적어도 하나에 대응되는 서비스와의 유사도에 기초하여 적어도 하나의 동작을 결정할 수 있다.The controller 340 is configured to correspond to at least one of a user's current use state of the display device 100 and a function currently being executed in the display device 100 among a plurality of services that can be provided by the display device 100. A service may be determined, and at least one operation corresponding to the determined service may be determined. At this time, the controller 340 determines which of a plurality of use states including at least one of channel selection, conversation, menu selection, and search request is the user's current use state for the display apparatus 100, and The service can be determined. In addition, the control unit 340, among a plurality of operations corresponding to the voice recognition result performed on the received voice command, the user's current use state of the display device 100 and is currently being executed in the display device 100 At least one operation may be determined based on a degree of similarity with a service corresponding to at least one of the available functions.

음성인식 서버(300)는 수신한 사용자의 음성명령과 상기 음성명령에 대응하여 결정된 동작에 대한 정보를 저장하는 저장부(360)를 더 포함할 수 있고, 이 때 제어부(340)는 수신한 사용자의 음성명령이 저장부(360)에 저장되어 있는 음성명령이면, 대응하여 저장된 동작에 대한 정보에 기초하여 동작을 결정하도록 제어할 수 있다. 음성인식 서버(300)는 수신한 음성명령에 대해 음성인식을 수행하는 음성인식부(335)를 더 포함할 수 있는데, 일실시예로서 음성인식 시스템(1)은 디스플레이장치(100)에서 수신한 사용자의 음성명령에 대해 음성인식을 수행하는 것을 음성인식 서버(300)의 음성인식부(335)에서 구현되도록 할 수 있고, 다른 실시예로서 음성인식 시스템(1)은 수신한 사용자의 음성명령 중 일부에 대해 디스플레이 장치(100)에서 음성인식 기능을 수행하고, 다른 일부에 대해서는 음성인식 서버(300)의 음성인식부(335)에서 음성인식 기능을 수행하도록 구현될 수도 있다.The voice recognition server 300 may further include a storage unit 360 for storing information on a received user's voice command and an operation determined in response to the voice command, and at this time, the control unit 340 If the voice command of is a voice command stored in the storage unit 360, control may be performed to determine the operation based on information on the corresponding stored operation. The voice recognition server 300 may further include a voice recognition unit 335 that performs voice recognition on the received voice command. Voice recognition for the user's voice command can be implemented in the voice recognition unit 335 of the voice recognition server 300, and as another embodiment, the voice recognition system 1 is among the received user's voice commands. For some, the display apparatus 100 may perform a voice recognition function, and for others, the voice recognition unit 335 of the voice recognition server 300 may perform a voice recognition function.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.As described above, the present invention has been described in detail through preferred embodiments, but the present invention is not limited thereto, and may be variously implemented within the scope of the claims.

1 : 음성인식 시스템
100 : 디스플레이 장치
110 : 신호수신부
120 : 영상처리부
130 : 음성수신부
135 : 음성인식부
140 : 제어부
150 : 디스플레이부
160 : 저장부
170 : 통신부
300 : 음성인식 서버
335 : 음성인식부
340 : 제어부
360 : 저장부
370 : 통신부1: Voice recognition system
100: display device
110: signal receiver
120: image processing unit
130: voice receiver
135: voice recognition unit
140: control unit
150: display unit
160: storage unit
170: communication department
300: voice recognition server
335: voice recognition unit
340: control unit
360: storage
370: Communication Department

Claims (12)

전자장치에 있어서,
사용자의 음성명령을 수신하는 음성수신부; 및
상기 전자장치의 사용 상태가 TV 채널의 시청, 인터넷 검색, TV 메뉴의 선택 및 컨텐츠 실행을 포함하는 복수의 사용 상태 중 어느 하나인지를 식별하고,
상기 사용자의 음성명령으로 제공 가능한 복수의 서로 다른 동작 중, 상기 식별된 사용 상태에 대응하는 동작을 식별하고,
상기 식별된 동작을 수행하는 프로세서를 포함하며,
상기 복수의 서로 다른 동작은 상기 TV 채널의 변경, 상기 인터넷 검색, 상기 TV 메뉴의 선택 및 상기 컨텐츠 실행을 포함하는 전자장치.In the electronic device,
A voice receiver for receiving a user's voice command; And
Identifying whether the use state of the electronic device is one of a plurality of use states including watching a TV channel, searching the Internet, selecting a TV menu, and executing a content,
Among a plurality of different operations that can be provided by the user's voice command, an operation corresponding to the identified use state is identified,
And a processor that performs the identified operation,
The plurality of different operations include changing the TV channel, searching the Internet, selecting the TV menu, and executing the content. 제1 항에 있어서,
상기 프로세서는,
상기 복수의 사용 상태 중 상기 식별된 사용 상태와 유사한 사용 상태를 식별하고,
상기 복수의 서로 다른 동작 중 상기 식별된 사용 상태 유사한 사용 상태에 대응하는 동작을 식별하는 전자장치.The method of claim 1,
The processor,
Identifying a use state similar to the identified use state among the plurality of use states,
An electronic device that identifies an operation corresponding to the identified use state or similar use state among the plurality of different operations. 제1 항에 있어서,
디스플레이를 더 포함하고,
상기 프로세서는,
상기 식별된 동작에 대응하는 제1 메뉴 아이템을 포함하는 사용자 인터페이스를 표시하도록 상기 디스플레이를 제어하고,
상기 제1 메뉴 아이템에 대한 사용자 입력에 기초하여 상기 식별된 동작을 수행하는 전자장치. The method of claim 1,
Further comprising a display,
The processor,
Controlling the display to display a user interface including a first menu item corresponding to the identified action,
An electronic device that performs the identified operation based on a user input for the first menu item. 제3 항에 있어서,
상기 프로세서는, 상기 수행되는 동작을 중단하기 위한 제2 메뉴 아이템을 포함하는 상기 사용자 인터페이스를 표시하도록 상기 디스플레이를 제어하는 전자장치. The method of claim 3,
The processor controls the display to display the user interface including a second menu item for stopping the performed operation. 제1 항에 있어서,
저장부를 더 포함하고,
상기 프로세서는,
상기 수행되는 동작에 관한 정보를 상기 저장부에 저장하고,
상기 사용자의 음성명령과 동일한 제2 음성명령이 수신되면, 상기 저장된 정보에 기초하여 상기 동작을 수행하는 전자장치. The method of claim 1,
Further comprising a storage unit,
The processor,
Storing information on the performed operation in the storage unit,
When a second voice command identical to the user's voice command is received, the electronic device performs the operation based on the stored information. 제1 항에 있어서,
제1 사용 상태에 대응하는 제1 동작은, 상기 제1 사용 상태와 다른 제2 사용 상태에 대응하는 제2 동작과 다른 전자장치. The method of claim 1,
The first operation corresponding to the first use state is different from the second operation corresponding to a second use state different from the first use state. 전자장치의 제어방법에 있어서,
음성명령을 수신하는 단계;
상기 전자장치의 사용 상태가 TV 채널의 시청, 인터넷 검색, TV 메뉴의 선택 및 컨텐츠 실행을 포함하는 복수의 사용 상태 중 어느 하나인지를 식별하는 단계;
상기 사용자의 음성명령으로 제공 가능한 복수의 서로 다른 동작 중, 상기 식별된 사용 상태에 대응하는 동작을 식별하는 단계; 및
상기 식별된 동작을 수행하는 단계를 포함하며,
상기 복수의 서로 다른 동작은 상기 TV 채널의 변경, 상기 인터넷 검색, 상기 TV 메뉴의 선택 및 상기 컨텐츠 실행을 포함하는 전자장치의 제어방법.In the control method of an electronic device,
Receiving a voice command;
Identifying whether the use state of the electronic device is one of a plurality of use states including watching a TV channel, searching the Internet, selecting a TV menu, and executing a content;
Identifying an operation corresponding to the identified use state among a plurality of different operations that can be provided by the user's voice command; And
Performing the identified action,
The plurality of different operations include changing the TV channel, searching the Internet, selecting the TV menu, and executing the content. 제7 항에 있어서,
상기 복수의 사용 상태 중 어느 하나인지를 식별하는 단계는, 상기 복수의 사용 상태 중 상기 식별된 사용 상태와 유사한 사용 상태를 식별하는 단계를 포함하고,
상기 동작을 식별하는 단계는, 상기 복수의 서로 다른 동작 중 상기 식별된 사용 상태 유사한 사용 상태에 대응하는 동작을 식별하는 단계를 포함하는 전자장치의 제어방법.The method of claim 7,
The step of identifying any one of the plurality of use states includes identifying a use state similar to the identified use state among the plurality of use states,
The step of identifying the operation includes identifying an operation corresponding to the identified use state or similar use state among the plurality of different operations. 제7 항에 있어서,
상기 식별된 동작에 대응하는 제1 메뉴 아이템을 포함하는 사용자 인터페이스를 표시하는 단계를 더 포함하고,
상기 식별된 동작을 수행하는 단계는, 상기 제1 메뉴 아이템에 대한 사용자 입력에 기초하여 상기 식별된 동작을 수행하는 단계를 포함하는 전자장치의 제어방법.The method of claim 7,
Further comprising displaying a user interface including a first menu item corresponding to the identified action,
The performing of the identified operation includes performing the identified operation based on a user input for the first menu item. 제9 항에 있어서,
상기 수행되는 동작을 중단하기 위한 제2 메뉴 아이템을 포함하는 상기 사용자 인터페이스를 표시하는 단계를 더 포함하는 전자장치의 제어방법. The method of claim 9,
And displaying the user interface including a second menu item for stopping the performed operation. 제7 항에 있어서,
상기 수행되는 동작에 관한 정보를 저장하는 단계를 더 포함하고,
상기 식별된 동작을 수행하는 단계는, 상기 사용자의 음성명령과 동일한 제2 음성명령이 수신되면, 상기 저장된 정보에 기초하여 상기 동작을 수행하는 단계를 포함하는 전자장치의 제어방법. The method of claim 7,
Further comprising the step of storing information on the performed operation,
The performing of the identified operation includes performing the operation based on the stored information when a second voice command identical to the user's voice command is received. 제7 항에 있어서,
제1 사용 상태에 대응하는 제1 동작은, 상기 제1 사용 상태와 다른 제2 사용 상태에 대응하는 제2 동작과 다른 전자장치의 제어방법.The method of claim 7,
The first operation corresponding to the first use state is different from the second operation corresponding to a second use state different from the first use state.
KR1020210030116A 2013-11-12 2021-03-08 Voice recognition system, voice recognition server and control method of display apparatus KR102460927B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210030116A KR102460927B1 (en) 2013-11-12 2021-03-08 Voice recognition system, voice recognition server and control method of display apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130136983A KR102227599B1 (en) 2013-11-12 2013-11-12 Voice recognition system, voice recognition server and control method of display apparatus
KR1020210030116A KR102460927B1 (en) 2013-11-12 2021-03-08 Voice recognition system, voice recognition server and control method of display apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130136983A Division KR102227599B1 (en) 2013-11-12 2013-11-12 Voice recognition system, voice recognition server and control method of display apparatus

Publications (2)

Publication Number Publication Date
KR20210029754A true KR20210029754A (en) 2021-03-16
KR102460927B1 KR102460927B1 (en) 2022-10-31

Family

ID=83802831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210030116A KR102460927B1 (en) 2013-11-12 2021-03-08 Voice recognition system, voice recognition server and control method of display apparatus

Country Status (1)

Country Link
KR (1) KR102460927B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102369021B1 (en) 2021-06-28 2022-03-02 주식회사 세찬아이앤씨 Voice recognition control system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020088693A (en) * 2001-05-19 2002-11-29 홍승철 settop-box for internetTV added speak recognition function
US20080103780A1 (en) * 2006-10-31 2008-05-01 Dacosta Behram Mario Speech recognition for internet video search and navigation
KR20090093571A (en) * 2008-02-29 2009-09-02 한국과학기술원 Apparatus for searching the internet while watching TV and method threrefor
KR20120083025A (en) * 2011-01-17 2012-07-25 엘지전자 주식회사 Multimedia device for providing voice recognition service by using at least two of database and the method for controlling the same
KR20130068303A (en) * 2011-12-15 2013-06-26 포항공과대학교 산학협력단 Apparatus for performing voice command, mobile terminal having the same and method for performing voice command
KR101309794B1 (en) * 2012-06-27 2013-09-23 삼성전자주식회사 Display apparatus, method for controlling the display apparatus and interactive system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020088693A (en) * 2001-05-19 2002-11-29 홍승철 settop-box for internetTV added speak recognition function
US20080103780A1 (en) * 2006-10-31 2008-05-01 Dacosta Behram Mario Speech recognition for internet video search and navigation
KR20090093571A (en) * 2008-02-29 2009-09-02 한국과학기술원 Apparatus for searching the internet while watching TV and method threrefor
KR20120083025A (en) * 2011-01-17 2012-07-25 엘지전자 주식회사 Multimedia device for providing voice recognition service by using at least two of database and the method for controlling the same
KR20130068303A (en) * 2011-12-15 2013-06-26 포항공과대학교 산학협력단 Apparatus for performing voice command, mobile terminal having the same and method for performing voice command
KR101309794B1 (en) * 2012-06-27 2013-09-23 삼성전자주식회사 Display apparatus, method for controlling the display apparatus and interactive system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102369021B1 (en) 2021-06-28 2022-03-02 주식회사 세찬아이앤씨 Voice recognition control system

Also Published As

Publication number Publication date
KR102460927B1 (en) 2022-10-31

Similar Documents

Publication Publication Date Title
KR102227599B1 (en) Voice recognition system, voice recognition server and control method of display apparatus
US11854570B2 (en) Electronic device providing response to voice input, and method and computer readable medium thereof
RU2677396C2 (en) Display apparatus, voice acquiring apparatus and voice recognition method thereof
US9219949B2 (en) Display apparatus, interactive server, and method for providing response information
EP2806422B1 (en) Voice recognition apparatus, voice recognition server and voice recognition guide method
US20140195244A1 (en) Display apparatus and method of controlling display apparatus
US20130041665A1 (en) Electronic Device and Method of Controlling the Same
EP4235365A2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US20130169524A1 (en) Electronic apparatus and method for controlling the same
US20150194167A1 (en) Display apparatus which operates in response to voice commands and control method thereof
WO2015146017A1 (en) Speech retrieval device, speech retrieval method, and display device
KR102499124B1 (en) Display apparatus and controlling method thereof
EP3011751B1 (en) Server, control method thereof, image processing apparatus, and control method thereof
JP2014532933A (en) Electronic device and control method thereof
EP2675180A2 (en) Server and method of controlling the same.
KR102269848B1 (en) Video display device and remote speech recognition improvement method thereof
KR20160039830A (en) multimedia apparatus and method for providing voice guide thereof
US10701302B2 (en) Image display apparatus and operation method thereof
KR20160084059A (en) Display device for arranging categories using voice recognition searching results, and method thereof
KR102460927B1 (en) Voice recognition system, voice recognition server and control method of display apparatus
US10382826B2 (en) Image display apparatus and operating method thereof
CN111225261B (en) Multimedia device for processing voice command and control method thereof
US11169774B2 (en) Electronic apparatus and control method thereof
WO2020137607A1 (en) Display control device for selecting item on basis of speech
US9866912B2 (en) Method, apparatus, and system for implementing a natural user interface

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant