KR20190088945A - 전자장치, 서버 및 그 제어방법 - Google Patents

전자장치, 서버 및 그 제어방법 Download PDF

Info

Publication number
KR20190088945A
KR20190088945A KR1020190087446A KR20190087446A KR20190088945A KR 20190088945 A KR20190088945 A KR 20190088945A KR 1020190087446 A KR1020190087446 A KR 1020190087446A KR 20190087446 A KR20190087446 A KR 20190087446A KR 20190088945 A KR20190088945 A KR 20190088945A
Authority
KR
South Korea
Prior art keywords
command
voice recognition
voice
user
recognition command
Prior art date
Application number
KR1020190087446A
Other languages
English (en)
Other versions
KR102169520B1 (ko
Inventor
김도완
권오윤
차태환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190088945A publication Critical patent/KR20190088945A/ko
Application granted granted Critical
Publication of KR102169520B1 publication Critical patent/KR102169520B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H04N5/4403—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

본 발명은 전자장치, 서버 및 그 제어방법에 관한 것으로서, 전자장치는, 영상신호를 처리하는 영상처리부와; 상기 영상신호에 기초하여 영상을 표시하는 디스플레이부와; 사용자의 음성명령을 수신하는 명령수신부와; 제1서버와 통신하는 통신부와; 저장부와; 상기 제1서버로부터 소정 회수 이상 성공적으로 인식된 적어도 하나의 사용자의 음성인식명령과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 수신하여 상기 저장부에 저장되도록 하고, 사용자의 음성명령이 입력되면, 해당 음성명령이 상기 음성인식명령 리스트에 포함된 상기 음성인식명령에 대응하는지 여부를 확인하여, 대응하는 경우 상기 음성인식명령의 제어명령정보에 기초하여 상기 영상처리부가 동작하도록 하고, 대응하지 않는 경우 해당 음성명령을 상기 제1서버에 전송하여 상기 제1서버로부터 대응하는 제어명령정보를 수신하고, 수신된 상기 제어명령정보에 기초하여 상기 영상처리부가 동작하도록 제어하는 제어부를 포함한다.

Description

전자장치, 서버 및 그 제어방법{ELECTRONIC DEVICE, SERVER AND CONTROL METHODS THEREOF}
본 발명은, 전자장치, 서버 및 그 제어방법에 관한 것으로서, 서버를 이용하여 사용자의 명령을 인식 및 동작하는 전자장치, 서버 및 그 제어방법에 관한 것이다.
TV, 셋탑박스, DVD플레이어, 에어컨, 냉장고, 컴퓨터 등의 전자장치는 사용자의 명령에 따라 동작하는데, 최근 제품이 발전하고 기능이 다양해지면서 기존의 리모컨을 이용한 입력방식을 벗어나, 예컨대 마이크를 통한 음성인식 등과 같이 다양한 방식의 명령에 따라 전자장치가 제어되고 있다. 가령, TV와 같은 전자장치의 경우, 사용자가 "볼륨 20으로 변경해 줘"라고 얘기하면, 해당 음성신호를 받아서 음성인식 기술을 이용하여 해석한 후, TV의 볼륨을 20으로 변경하는 하는 식이다.
전자장치는 사용자의 명령을 제대로 해석하기 위하여는 명령을 인식할 수 있는 구성이 필요한데, 전자장치의 자체 구성으로 명령을 정확하게 인식하는 데에는 한계가 있을 수도 있으므로, 이 경우에는, 예컨대 네트워크를 통한 외부의 서버를 이용하는 방법이 있다. 구체적으로, 음성 인식의 경우, 전자장치는 사용자의 음성 명령의 내용을 서버로 보내서, 서버에 구비된 음성 인식 구성을 이용하여 당해 음성 명령에 관한 사용자의 의도를 분석하여 판단한다. 서버는 당해 음성 명령에 관한 사용자의 의도를 분석한 결과를 전자장치로 보내고, 전자장치는 그 분석 결과를 이용하여 해당 명령에 대응하는 기능을 수행할 수 있다.
그런데, 종래 기술에 의한 전자장치는, 전자장치가 스스로 사용자의 명령을 파악할 수 없는 경우에는, 전자장치가 반드시 서버와 통신을 수행하여 그 분석 결과를 받아 와야 한다. 따라서, 전자장치가 사용자의 명령에 있어서의 의도를 인식하여 그 결과에 따라 동작을 수행하는 데에는, 전자장치와, 서버 간의 네트워크를 이용한 통신 시간이 소요될 수 밖에 없다. 이러한 사용자의 명령에 관한 분석 결과를 얻기 위한 통신 시간은 네트워크의 상태나, 통신 횟수 등의 여건에 따라 달라질 수는 있겠지만, 근본적으로, 이러한 통신 시간은, 사용자의 명령을 인식하여 동작을 실행하는 데까지 걸리는 시간을 늦추게 된다는 문제가 있다.
따라서 본 발명의 목적은, 사용자의 명령을 인식하여 동작을 실행하는 데까지 걸리는 시간을 최대한 단축시킬 수 있는 전자장치, 서버 및 그 제어방법을 제공하는 것이다.
본 발명의 상기 목적은, 디스플레이장치에 있어서, 영상신호를 처리하는 영상처리부와; 상기 영상신호에 기초하여 영상을 표시하는 디스플레이부와; 사용자의 음성명령을 수신하는 명령수신부와; 제1서버와 통신하는 통신부와; 저장부와; 상기 제1서버로부터 소정 회수 이상 성공적으로 인식된 적어도 하나의 사용자의 음성인식명령과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 수신하여 상기 저장부에 저장되도록 하고, 사용자의 음성명령이 입력되면, 해당 음성명령이 상기 음성인식명령 리스트에 포함된 상기 음성인식명령에 대응하는지 여부를 확인하여, 대응하는 경우 상기 음성인식명령의 제어명령정보에 기초하여 상기 영상처리부가 동작하도록 하고, 대응하지 않는 경우 해당 음성명령을 상기 제1서버에 전송하여 상기 제1서버로부터 대응하는 제어명령정보를 수신하고, 수신된 상기 제어명령정보에 기초하여 상기 영상처리부가 동작하도록 제어하는 제어부를 포함하는 디스플레이장치에 의해서 달성될 수 있다.
상기 제어부는, 상기 음성명령과, 상기 음성인식명령 리스트의 음성인식명령과의 관련도에 기초하여 상호 대응하는지 여부를 판단할 수 있다.
상기 제어부는, 상기 제1서버로 상기 음성명령을 전송한 후 소정시간 이상 경과하면, 상기 음성인식명령 리스트의 음성인식명령에 기초하여 상기 영상처리부가 동작하도록 제어할 수 있다.
*상기 제어부는, 상기 음성인식명령 리스트의 음성인식명령의 내용을 사용자에게 미리 통지하고, 사용자의 의사에 따라 해당 음성인식명령에 기초하여 동작할 것인지 여부를 결정할 수 있다.
상기 제어부는 성공적으로 인식된 사용자의 음성인식명령과, 대응하는 제어명령정보를 상기 제1서버에 전송할 수 있다.
상기 제어부는 상기 사용자의 음성명령을 제2서버에 전송하고, 상기 제2서버로부터 상기 음성명령을 변환한 텍스트를 수신하여, 상기 수신된 텍스트를 이용하여 상기 수신된 음성명령이 상기 음성인식명령 리스트에 포함된 음성인식명령에 대응하는지 여부를 확인할 수 있다.
상기 제어부는 사용자 별로 발화된 음성명령을 상기 저장부에 저장하고, 상기 저장된 음성명령의 리스트를 UI형태로 표시할 수 있다.
상기 제어부는 사용자의 지시에 따라 상기 음성명령에 대응하는 식별기호를 등록하고, 상기 사용자가 상기 등록된 식별기호를 발화하면, 해당 음성명령이 수신된 것으로 판단할 수 있다.
상기 제어부는 사용자가 상기 리스트 상에서 어느 하나의 음성명령이 배열된 위치를 발화하면, 해당 음성명령이 수신된 것으로 판단할 수 있다.
본 발명의 상기 목적은, 디스플레이장치의 제어방법에 있어서, 제1서버로부터 소정 회수 이상 성공적으로 인식된 사용자의 음성인식명령과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 수신하는 단계와; 상기 수신된 음성인식명령 리스트를 상기 디스플레이장치에 저장하는 단계와; 사용자의 음성명령을 수신하는 단계와; 상기 수신된 음성명령이 상기 음성인식명령 리스트에 포함된 상기 음성인식명령에 대응하는지 여부를 확인하는 단계와; 대응하는 경우, 상기 음성인식명령의 제어명령정보에 따라 동작하는 단계와; 대응하지 않는 경우, 해당 음성명령을 상기 제1서버에 전송하여 상기 제1서버로부터 대응하는 제어명령정보를 수신하고, 수신된 상기 제어명령정보에 따라 동작하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
상기 대응하는지 여부를 확인하는 단계는, 상기 음성명령과, 상기 음성인식명령 리스트의 음성인식명령과의 관련도에 기초하여 상호 대응하는지 여부를 판단하는 단계를 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 제1서버로 상기 음성명령을 전송한 후 소정시간 이상 경과하면, 상기 음성인식명령 리스트의 음성인식명령에 기초하여 동작하는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 음성인식명령 리스트의 음성인식명령의 내용을 사용자에게 미리 통지하고, 사용자의 의사에 따라 해당 음성인식명령에 기초하여 동작할 것인지 여부를 결정하는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 성공적으로 인식된 사용자의 음성인식명령과, 대응하는 상기 제어명령정보를 상기 제1서버에 전송하는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 사용자의 음성명령을 제2서버에 전송하는 단계와; 상기 제2서버로부터 상기 음성명령을 변환한 텍스트를 수신하는 단계를 더 포함하고, 상기 대응하는지 여부를 확인하는 단계는, 상기 수신된 텍스트를 이용하여 상기 수신된 음성명령이 상기 음성인식명령 리스트에 포함된 음성인식명령에 대응하는지 여부를 확인하는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 사용자 별로 발화된 음성명령을 상기 디스플레이장치에 저장하는 단계와; 상기 저장된 음성명령의 리스트를 UI형태로 표시하는 단계를 더 포함할 수 있다.
디스플레이장치의 제어방법은, 사용자의 지시에 따라 상기 음성명령에 대응하는 식별기호를 등록하는 단계를 더 포함하고, 상기 음성명령을 수신하는 단계는, 상기 사용자가 상기 등록된 식별기호를 발화하면, 대응하는 상기 음성명령이 수신된 것으로 판단하는 단계를 포함할 수 있다.
상기 음성명령을 수신하는 단계는, 상기 사용자가 상기 리스트 상에서 어느 하나의 음성명령이 배열된 위치를 발화하면, 대응하는 상기 음성명령이 수신된 것으로 판단하는 단계를 포함할 수 있다.
본 발명의 상기 목적은, 디스플레이장치에 대한 사용자의 음성명령을 분석하는 서버에 있어서, 복수의 디스플레이장치와 통신을 수행하는 통신부와; 사용자의 음성명령에 관한 정보를 저장하는 저장부와; 상기 복수의 디스플레이장치로부터 사용자의 음성명령에 대한 분석요청이 수신되면, 해당 음성명령에 대응하는 제어명령정보를 상기 디스플레이장치에 전송하며, 상기 복수의 디스플레이장치로부터 수집되어 소정 회수 이상 성공적으로 인식된 사용자의 음성인식명령과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 상기 저장부에 저장하고, 상기 저장된 음성인식명령 리스트를 상기 디스플레이장치에 전송되도록 제어를 수행하는 제어부를 포함하는 서버에 의해서도 달성될 수 있다.
상기 제어부는, 상기 디스플레이장치로부터 성공적으로 인식된 사용자의 음성인식명령과, 대응하는 제어명령정보가 수신되도록 하고, 상기 수신된 사용자의 음성인식명령과, 대응하는 상기 제어명령정보에 기초하여 상기 음성인식명령 리스트를 마련할 수 있다.
본 발명의 상기 목적은, 디스플레이장치에 대한 사용자의 음성명령을 분석하는 서버의 제어방법에 있어서, 상기 복수의 디스플레이장치로부터 사용자의 음성명령에 대한 분석요청을 수신하는 단계와; 해당 음성명령에 대응하는 제어명령정보를 상기 디스플레이장치에 전송하는 단계와; 상기 복수의 디스플레이장치로부터 수집되어 소정 회수 이상 성공적으로 인식된 상기 사용자의 음성인식명령과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 음성인식명령 리스트를 상기 저장부에 저장하는 단계와; 상기 저장된 음성인식명령 리스트를 상기 디스플레이장치에 전송하는 단계를 포함하는 서버의 제어방법에 의해서도 달성될 수 있다.
서버의 제어방법은, 상기 디스플레이장치로부터 성공적으로 인식된 사용자의 음성인식명령과, 대응하는 제어명령정보를 수신하는 단계를 더 포함하고, 상기 저장하는 단계는, 상기 수신된 사용자의 음성인식명령과, 대응하는 상기 제어명령정보에 기초하여 상기 음성인식명령 리스트를 마련하는 단계를 포함할 수 있다.
상기한 바와 같이, 본 발명에 의하면, 서버를 이용하여 사용자의 명령을 인식하는 방식에 있어서, 사용자의 명령을 인식하여 동작을 실행하는 데까지 걸리는 시간을 최대한 단축시킬 수 있다.
도 1은 본 발명의 일실시예에 의한 전자장치 및 분석서버를 도시한 블록도이며,
도 2는 본 발명의 일실시예에 의한 전자장치의 구성을 도시한 블록도이며,
도 3은 본 발명의 일실시예에 의한 분석서버의 구성을 도시하는 블록도이며,
도 4는 본 발명의 일실시예에 의한 전자장치의 동작을 도시한 흐름도이며,
도 5는 본 발명의 일실시예에 의한 음성인식명령 리스트의 구성의 일례를 도시하며,
도 6은 본 발명의 일실시예에 의한 전자장치의 분석 가능 여부 판단 동작을 도시하는 흐름도이며,
도 7은 본 발명의 일실시예에 의한 전자장치의 동작의 다른 예를 도시하는 흐름도이며,
도 8은 본 발명의 일실시예에 의한 전자장치의 동작의 또 다른 예를 도시하는 흐름도이며,
도 9는 본 발명의 일실시예에 의한 전자장치와, 분석서버의 구성의 일예를 도시하며,
도 10은 본 발명의 일실시예에 의한 서버의 동작을 도시한 흐름도이며,
도 11은 본 발명의 일실시예에 의한 서버의 동작을 도시한 흐름도이며,
도 12는 본 발명의 일실시예에 의한 전자장치, 분석서버 및 STT서버를 도시한 블록도이며,
도 13 및 14는 본 발명의 일실시예에 의한 사용자 별 저장된 음성명령의 리스트를 나타내는 UI의 일례이다.
이하, 본 발명의 일실시예에 관하여 상세히 설명한다. 도 1은 본 발명의 일실시예에 의한 전자장치 및 분석서버를 도시한 블록도이다. 본 발명의 일실시예에 의한 전자장치(1)와, 분석서버(2)는 네트워크(3)를 통하여 상호 연결된다. 전자장치(1)는 사용자의 명령에 따라 동작하는 기기로서, 예컨대, TV, 셋탑박스, DVD플레이어, 에어컨, 냉장고, 컴퓨터, 휴대전화, 스마트폰, 스마트패드 등의 가전기기 혹은 개인단말기는 물론, 프린터, 복사기 등의 사무기기 등 전기/전자회로에 기반하여 동작하는 기기를 모두 포함한다.
본 실시예의 사용자의 명령은, 사용자의 행위 등에 의해 전자장치(1)가 소정 동작을 수행할 것을 결정할 수 있도록 하는 정보를 포함한다. 또한, 본 실시예의 사용자의 명령은, 전자장치(1)와, 분석서버(2)가 그 명령을 파악하기 위하여 명령에 대한 분석을 수행한다. 예컨대, 사용자의 명령은, 사용자의 음성, 제스처, 특정의 외관 등을 포함한다. 이하, 사용자의 명령은 음성명령인 것으로 하고, 전자장치(1)는 TV와 같은 디스플레이장치인 것을 예를 들어 설명한다.
본 실시예의 네트워크(3)는 전자장치(1)와, 분석서버(2)가 사용자의 음성명령에 관한 정보를 주고 받기 위하여 통신을 수행하는데 이용되는 장치나, 인프라를 포함하며, 유선 및/또는 무선의 네트워크일 수 있다.
분석서버(2)는 네트워크(3)에 연결되어 클라이언트인 전자장치(1)에 대하여 사용자의 음성명령에 관한 서비스, 즉, 사용자의 음성명령을 분석하고, 그 결과를 전자장치(1)에 제공한다. 본 발명의 일실시예에 의한 분석서버(2)는 소정 회수 이상 성공적으로 인식된 사용자의 음성명령(이하, '음성인식명령'이라 함)과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 전자장치(1)에 전송한다. 제어명령정보는 음성인식명령을 통하여 사용자가 의도하는 대로 전자장치(1)가 동작하도록 하는 전자장치(1)의 제어를 위한 정보이다. 전자장치(1)는 분석서버(2)로부터 수신한 음성인식명령 리스트에 기초하여 사용자의 음성명령을 파악한다. 사용자의 음성명령이 입력되면, 전자장치(1)는 사용자의 음성명령이 수신한 음성인식명령 리스트에 포함된 음성인식명령에 대응하는지 여부를 확인하고, 대응하면 음성인식명령의 제어명령정보에 따라 동작하고, 그렇지 않으면 사용자의 음성명령을 분석서버(2)로 전달한다. 분석서버(2)는 전자장치(1)로부터 수신한 사용자의 음성명령을 분석하고, 그 대응하는 제어명령정보를 전자장치(1)로 전송한다. 전자장치(1)는 분석서버(2)로부터 수신한 제어명령정보에 따라 동작한다.
이와 같이, 본 발명의 일실시예에 의하면, 전자장치(1)는 모든 사용자의 음성명령을 분석서버(2)로 전송하는 것이라 아니라, 분석서버(2)로부터 미리 수신한 음성인식명령 리스트를 우선적으로 이용하여 사용자의 음성명령을 파악하고, 보유하고 있는 음성인식명령 리스트로 파악되기 어려운 경우에만 분석서버(2)로부터의 음성인식명령을 이용하여 사용자의 음성명령을 파악한다. 따라서, 전자장치(1)와, 분석서버(2) 간의 통신 시간을 최소화시킬 수 있으며, 이에 의해, 사용자의 음성명령을 인식하여 동작을 실행하는 데까지 걸리는 시간을 최대한 단축시킬 수 있다.
도 2는 본 발명의 일실시예에 의한 전자장치(1)의 구성을 도시한 블록도이다. 전자장치(1)는 동작수행부(11), 명령수신부(12), 통신부(13) 및 제어부(14)를 포함할 수 있다. 전자장치(1)는 저장부(15)를 더 포함할 수 있다. 동작수행부(11)는 전자장치(1)의 고유의 동작을 수행한다. 예컨대, 전자장치(1)가 TV와 같은 디스플레이장치인 경우, 동작수행부(11)는, 신호수신부(111), 영상처리부(112) 및 디스플레이부(113)를 포함할 수 있다. 다만, 동작수행부(11)는 전자장치(1)가 구현된 제품에 고유한 기능에 대응하는 것으로서, 도 2에 도시된 예에 한정되지 않는다.
신호수신부(111)는 방송신호 송신장치(도시안됨)로부터 송출되는 방송신호에 포함된 영상신호를 수신하거나, DVD플레이어, BD플레이어 등의 영상기기로부터 영상신호를 수신하거나, PC로부터 영상신호를 수신하거나, 스마트폰, 스마트패드 등의 모바일기기로부터 영상신호를 수신하거나, 인터넷 등의 네트워크를 통해 영상신호를 수신하거나, USB저장매체와 같은 저장매체에 저장된 영상컨텐츠를 영상신호로서 입력할 수 있다.
영상처리부(112)는 신호수신부(111)에 의해 수신된 영상신호를 처리하여 영상이 표시될 수 있도록 한다. 영상처리부(112)는 디코딩, 이미지 인핸싱, 스케일링 등을 포함할 수 있다. 디스플레이부(113)는 영상처리부(112)에 의해 처리된 영상신호에 기초하여 영상을 표시한다. 디스플레이부(113)가 영상을 표시하는 방식에는 제한이 없으며, LCD, PDP, OLED 등을 포함한다.
명령수신부(12)는 사용자의 음성명령을 수신한다. 명령수신부(12)는, 예컨대, 사용자의 음성명령을 수신하는 제1명령수신부(121)를 포함할 수 있다. 제1명령수신부(121)는 수신되는 사용자의 음성명령을 음성신호로 변환하는 마이크를 포함할 수 있다. 명령수신부(12)는, 사용자의 조작명령을 수신하는 제2명령수신부(122)를 더 포함할 수 있다. 제2명령수신부(122)는 리모컨(도시 안됨)으로부터 사용자의 조작명령에 대응하는 키입력정보를 포함하는 리모컨신호를 수신하는 리모컨신호수신부로 구현되거나, 전자장치(1)에 마련되어 사용자의 조작에 대응하여 키입력정보를 생성하는 조작패널로 구현될 수 있다.
통신부(13)는 네트워크(3)를 통하여 분석서버(2)와의 통신을 수행한다. 통신부(13)는 제어부(14)의 제어에 따라 사용자의 음성명령 및 그 분석결과에 관한 정보를 분석서버(2)와 주고 받는다.
제어부(14)는 사용자의 음성명령에 따라 동작수행부(11)가 동작을 수행하도록 제어한다. 제어부(14)는 통신부(13)를 통해 분석서버(2)로부터 음성인식명령 리스트가 수신되면, 수신된 음성인식명령 리스트(151)를 저장부(15)에 저장한다. 제어부(14)는 명령수신부(12)를 통해 사용자의 음성명령이 수신되면, 사용자의 음성명령이 저장된 음성인식명령 리스트(151)에 포함된 음성인식명령에 대응하는지를 확인하고, 대응하면 저장된 음성인식명령 리스트(151)의 음성인식명령에 대응하는 제어명령정보에 따라 동작하도록 동작수행부(11)를 제어한다. 한편, 제어부(14)는 사용자의 음성명령이 저장된 음성인식명령 리스트(151)에 포함된 음성인식명령에 대응하지 않으면, 사용자의 음성명령이 분석서버(2)에 전송되도록 통신부(13)를 제어하고, 분석서버(2)로부터 해당 음성명령에 대응하는 제어명령정보가 수신되면, 수신된 제어명령정보에 따라 동작하도록 동작수행부(11)를 제어한다.
제어부(14)는 CPU를 포함하며, 제어프로그램을 실행하여 동작할 수 있다. 제어부(14)는 제어프로그램을 저장하기 위한 플래시메모리 등의 비휘발성의 메모리와, CPU가 신속히 액세스할 수 있도록 저장된 제어프로그램의 적어도 일부를 로딩하는 DDR과 같은 휘발성의 메모리를 더 포함할 수 있다. 제어부(14)의 제어프로그램은 동작수행부(11)의 동작을 제어하기 위한 내용으로 프로그램된다.
도 3은 본 발명의 일실시예에 의한 분석서버(2)의 구성을 도시하는 블록도이다. 분석서버(2)는 통신부(21), 제어부(22) 및 저장부(231)를 포함한다. 통신부(21)는 네트워크(3)를 통해 전자장치(1)의 통신부(13)와 통신을 수행한다. 제어부(22)는 분석서버(2)의 동작을 제어한다. 저장부(23)는 비휘발성의 메모리로서 사용자의 음성명령에 대응하는 음성인식명령 리스트를 저장한다. 제어부(22)는 저장부(23)에 저장된 음성인식명령 리스트가 전자장치(1)에 전송되도록 통신부(21)를 제어한다. 제어부(22)는 통신부(13)를 통하여 전자장치(1)로부터 사용자의 음성명령과, 그 분석 요청이 수신되면, 수신된 사용자의 음성명령을 분석한다. 제어부(22)는 해당 사용자의 음성명령의 분석결과가 전자장치(1)에 전송되도록 통신부(21)를 제어한다.
도 4는 본 발명의 일실시예에 의한 전자장치(1)의 동작을 도시한 흐름도이다. 먼저, 동작 S41에서, 전자장치(1)는 분석서버(2)로부터 음성인식명령 리스트를 수신한다. 수신된 음성인식명령 리스트(151)는 저장부(15)에 저장될 수 있다. 도 5는 본 발명의 일실시예에 의한 음성인식명령 리스트(151)의 구성의 일례를 도시한다. 음성인식명령 리스트(151)는 복수의 음성인식명령('음성인식명령1', '음성인식명령2', '음성인식명령3', ...)과, 이들에 각각 대응하는 복수의 제어명령정보('제어명령정보1', '제어명령정보2', '제어명령정보3', ...)를 포함할 수 있다. 복수의 음성인식명령은, 예컨대, '전원 켜', '전원 꺼', '볼륨 올려' 등의 명령일 수 있다. 복수의 제어명령정보는 복수의 음성인식명령 각각에 대응하여 전자장치(1)가 수행하도록 되어 있는 동작 내지는 기능에 관한 장치 고유의 제어정보를 포함할 수 있다.
전자장치(1)는 전자장치(1)의 전원이 켜지는 경우에 분석서버(2)에 음성인식명령 리스트의 전송을 요청할 수 있다. 분석서버(2)는 전자장치(1)로부터 음성인식명령 리스트의 전송의 요청이 있으면, 음성인식명령 리스트를 전자장치(1)에 전송해 줄 수 있다. 전자장치(1)는 분석서버(2)로부터 수신한 음성인식명령 리스트를 저장부(15)에 저장할 수 있다. 전자장치(1)는 저장부(15)에 이미 수신하여 저장된 음성인식명령 리스트(151)이 존재하는 경우에, 저장된 음성인식명령 리스트(151)과, 현재 분석서버(2)로부터 수신한 음성인식명령 리스트를 비교하여, 수신한 음성인식명령 리스트에 기초하여 저장된 음성인식명령 리스트(151)을 업데이트할 수도 있다.
다시 도 4를 참조하면, 동작 S42에서, 전자장치(1)는 사용자의 음성명령을 수신한다. 다음으로, 동작 S43에서, 전자장치(1)는 수신된 사용자의 음성명령이 기 수신된 음성인식명령 리스트에 포함된 음성인식명령에 대응하는지 여부를 확인한다. 도 6은 본 발명의 일실시예에 따라, 기 수신된 음성인식명령 리스트에 포함된 음성인식명령에 음성명령이 대응하는지 여부를 판단하는 동작을 도시하는 흐름도이다.
먼저, 동작 S61에서, 전자장치(1)는 사용자의 음성명령을 수신한다. 다음으로, 동작 S62에서, 전자장치(1)는 수신된 음성명령과 음성인식명령 리스트의 음성인식명령과의 관련도를 판단한다. 본 실시예에서의 관련도는, 예컨대, 수신된 음성명령이 음성인식명령 리스트에 포함된 대응하는 음성인식명령과 얼마나 유사한지에 의해 결정될 수 있다. 이를테면, 사용자가 '전원 꺼'라고 명령한 경우에, 음성인식명령 리스트에 이와 실질적으로 동일한 '전원 꺼'의 음성인식명령이 포함되어 있다면, 해당 음성명령과, 대응하는 음성인식명령 리스트의 음성인식명령과의 관련도는 가장 높은 것으로 판단될 수 있다. 다른 예로서, 사용자가 '볼륨 크게'라고 명령한 경우에, 음성인식명령 리스트에는 '볼륨 올려'라는 음성명령이 존재한다면, 양자는 그 의미에 있어서 유사성이 높은 경우라고 할 수 있다. 이 경우, 전자장치(1)는 해당 음성명령과, 대응하는 음성인식명령 리스트의 음성인식명령과의 관련도가 소정치 이상인 경우로 판단할 수 있다. 또 다른 예로서, 사용자가 '화면 밝게'라고 명령한 경우에, 음성인식명령 리스트에는 그와 유사한 음성인식명령이 존재하지 아니한 것으로 확인되면, 해당 음성명령과, 대응하는 음성인식명령 리스트의 음성인식명령과의 관련도가 소정치 미만인 경우로 판단할 수 있다.
다시 도 6을 참조하면, 동작 S63에서, 기 수신된 음성인식명령 리스트에 음성명령과의 관련도가 소정치 이상인 음성인식명령이 존재하는 것으로 판단되면, 동작 S64에서, 전자장치(1)는 해당 음성명령이 기 수신된 음성인식명령 리스트에 포함된 음성인식명령과 대응하는 것으로 판단한다. 반면, 동작 S63에서, 기 수신된 음성인식명령 리스트에 음성명령과의 관련도가 소정치 이상인 음성인식명령이 존재하지 아니한 것으로 판단되면, 동작 S64에서, 전자장치(1)는 해당 음성명령이 기 수신된 음성인식명령 리스트에 포함된 음성인식명령과 대응하지 아니한 것으로 판단한다.
다시 도 4를 참조하면, 만일, 동작 S44에서, 사용자의 음성명령이 기 수신된 음성인식명령 리스트에 포함된 음성인식명령에 대응하는 것으로 판단되면, 동작 S45에서, 전자장치(1)는 음성인식명령 리스트의 음성인식명령에 대응하는 제어명령정보에 따라 동작한다. 예컨대, 전자장치(1)는 사용자의 '전원 꺼', '볼륨 크게' 등의 음성명령에 대응하여, 음성인식명령 리스트에 포함된 '전원 꺼', '볼륨 올려' 등의 음성인식명령에 대응하는 제어명령정보를 참조하여 해당 동작을 수행한다.
한편, 동작 S46에서, 사용자의 음성명령이 기 수신된 음성인식명령 리스트에 포함된 음성인식명령과 대응하지 않는 것으로 판단되면, 동작 S46에서, 전자장치(1)는 해당 사용자의 음성명령을 분석서버(2)로 전송한다. 예컨대, 전자장치(1)는 사용자의 '화면 밝게'의 음성명령이 음성인식명령 리스트에 의해 분석 가능하지 않으면, '화면 밝게'의 음성명령의 정보를 분석서버(2)로 전송한다. 다음으로, 동작 S47에서, 전자장치(1)는 분석서버(2)로부터 해당 음성명령에 대응하는 제어명령정보를 수신한다. 예컨대, 전자장치(1)는 '화면 밝게'의 음성명령의 분석결과로서 해당 음성명령에 대응하는 제어명령정보를 수신한다. 다음으로, 동작 S47에서, 전자장치(1)는 수신한 제어명령정보에 따라 동작한다.
도 12는 본 발명의 일실시예에 의한 STT(Speech-To-Text)서버의 일례를 도시한다. 전자장치(1)는 사용자의 음성명령, 사용자가 발화한 음성의 정보를 텍스트의 형태로 처리할 수 있다. 예컨대, 전자장치(1)는 수신된 사용자의 음성명령을 STT서버(4)로 전송한다. STT서버(4)는 전자장치(1)로부터 수신된 사용자의 음성명령을 대응하는 텍스트로 변환하는 STT변환부(41)를 포함한다. STT서버(4)는 사용자의 음성명령을 변환한 텍스트를 전자장치(1)로 전송한다. 전자장치(1)는 STT서버(4)로부터 수신된 텍스트를 이용하여 사용자의 음성명령이 저장된 음성인식명령 리스트에 포함된 음성인식명령과 대응하는지 여부를 판단할 수 있다. 또한, 전자장치(1)는 STT서버(4)로부터 수신된 텍스트를 서버(1)로 전송하여 사용자의 음성명령에 대한 분석을 요청할 수 있다.
도 7은 본 발명의 일실시예에 의한 전자장치(1)의 동작의 다른 예를 도시하는 흐름도이다. 본 실시예에서는, 사용자의 음성명령이 기 수신된 음성인식명령 리스트에 포함된 음성명령정보와 대응하지 않는 것으로 판단되는 경우를 들어 설명한다. 먼저, 동작 S71에서, 전자장치(1)는 사용자의 음성명령을 분석서버(2)로 전송한다. 다음으로, 동작 S72에서, 전자장치(1)는 분석서버(2)로부터 사용자의 음성명령에 대응하는 제어명령정보가 수신되었는지 여부를 확인한다. 만일, 분석서버(2)로부터 사용자의 음성명령에 대응하는 제어명령정보가 수신되었으면, 동작 S73에서, 전자장치(1)는 분석서버(2)로부터 수신된 제어명령정보에 따라 동작한다. 한편, 분석서버(2)로부터 사용자의 음성명령에 대응하는 제어명령정보가 아직 수신되지 아니하였으면, 동작 S74에서, 전자장치(1)는 분석서버(2)로 사용자의 음성명령을 전송한 후 소정 시간이 경과하였는지 여부를 확인한다. 만일, 아직 소정 시간이 경과하지 않았으면, 동작 S72가 다시 수행된다. 반면, 소정 시간이 경과하였으면, 동작 S74에서, 전자장치(1)는 기 수신된 음성인식명령 리스트의 음성인식명령에 기초하여 동작한다.
예컨대, 사용자가 '화면 줄여'라고 명령한 경우, 전자장치(1)는 음성인식명령 리스트에 '화면 작게'라는 음성명령은 있으나, 그 관련도가 소정 미만이라고 판단하여 분석서버(2)에 그 분석결과를 요청할 수 있다. 그러나, 통신 여건 등의 문제로 분석서버(2)로부터 분석결과를 수신하는데 시간이 많이 걸리는 경우, 사용자로 하여금 동작이 될 때까지 계속 기다리게 하는 것은 곤란하다. 이 경우, 전자장치(1)는 분석서버(2)에 분석결과를 요청한지 소정 시간이 경과한 경우에, 그 관련도가 소정 미만이라고 판단된 음성인식명령을 이용하여 신속히 동작할 수 있도록 한다. 예컨대, 전자장치(1)는 사용자의 '화면 줄여'의 음성명령에 대응하여 음성인식명령 리스트의 '화면 작게'에 대응하는 음성인식명령에 따라 동작한다. 만일, 해당 음성명령과 관련도가 있는 음성인식명령이 여러 개인 경우, 전자장치(1)는 복수의 음성인식명령 중 관련도가 가장 높은 어느 하나를 우선적으로 선택하여 동작할 수 있다. 따라서, 본 실시예에서는, 사용자가 동작을 기다리는 시간을 최소화시킬 수 있으므로, 사용자의 편의가 더욱 향상된다.
추가적인 실시예로서, 관련도가 낮은 음성인식명령을 이용하는 경우 사용자의 의도와 맞지 않을 수도 있으므로, 이러한 잘못된 동작을 방지할 필요가 있다. 도 8은 본 발명의 일실시예에 의한 전자장치(1)의 동작의 또 다른 예를 도시하는 흐름도이다. 본 실시예에서는, 도 7의 실시예에서, 분석서버(2)에 음성인식명령을 요청한지 소정 시간이 경과하였고, 음성명령과의 관련도가 어느 정도 있다고 판단된 음성인식명령이 존재하는 경우를 들어 설명한다. 먼저, 동작 S81에서, 전자장치(1)는 해당 음성명령과의 관련도가 어느 정도 있다고 판단된 음성인식명령에 따라 동작하기 전에 미리, 해당 음성인식명령의 내용을 사용자에게 통지한다. 구체적으로, 전자장치(1)는 현재의 사용자의 음성명령이 관련도가 어느 정도 있다고 판단된 음성인식명령에 해당하는지를 사용자에게 문의하여 확인하도록 하는 메시지를 디스플레이부(113)에 표시할 수 있다. 예컨대, 사용자가 '화면 줄여'라는 음성명령을 한 경우에, 음성인식명령 리스트에 포함된 '화면 작게'의 음성인식명령이 사용자의 의도에 해당하는지를 묻는 메시지를 예로 들 수 있다. 다음으로, 동작 S82에서, 전자장치(1)는 제2명령수신부(122) 등을 통하여 해당 음성인식명령에 대한 사용자의 의사를 수신한다. 만일, 동작 S83에서, 사용자가 음성인식명령에 동의한 것으로 판단되면, 동작 S84에서, 전자장치(1)는 해당 음성인식명령에 따라 동작한다. 반면, 동작 S84에서, 사용자가 음성인식명령에 동의하지 않은 것으로 판단되면, 전자장치(1)는 해당 음성인식명령에 따라 동작하지 않는다. 따라서, 본 실시예에 의하면, 사용자의 의사에 보다 가깝도록 동작하여, 사용자의 편의를 더욱 향상시킬 수 있다.
다른 실시예로서, 사용자의 음성명령에 대응한다고 판단되는 음성인식명령 리스트에 포함된 음성인식명령이 없는 경우, 전자장치(1)는 음성인식명령 리스트에 포함된 복수의 음성인식명령을 표시하고, 사용자로 하여금 복수의 음성인식명령 중에서 사용자의 음성명령의 의도에 맞는 어느 하나를 선택하도록 할 수도 있다. 복수의 음성인식명령 중에서 사용자가 어느 하나를 선택하면, 전자장치(1)는 선택된 음성인식명령에 대응하는 제어명령정보에 기초하여 동작되도록 제어한다.
전자장치(1)는 저장된 음성인식명령 리스트에 사용자의 음성명령에 대응하는 음성인식명령이 포함되어 있지 않다고 판단된 상황에서, 사용자의 의사에 의해 사용자의 음성명령과, 어느 음성인식명령이 대응되는 것으로 확인된 경우, 즉, 사용자의 음성명령이 성공적으로 인식된 경우, 해당 음성명령을 새로운 음성인식명령으로 대응하는 제어명령정보를 함께 음성인식명령 리스트에 추가하여 저장한다. 이 경우, 전자장치(1)는 새로운 음성인식명령과, 대응하는 제어명령정보를 분석서버(2)에 전송하여, 분석서버(2)가 음성인식명령 리스트를 업데이트할 수 있도록 한다.
도 13은 본 발명의 일실시예에 의한 저장된 음성명령의 리스트를 보여주는 UI의 일례를 도시한다. 전자장치(1)는 사용자가 발화한 음성명령을 저장해 두고, 사용자의 요청이 있으면, 저장된 음성명령의 리스트를 UI(131)의 형태로 표시할 수 있다. 도 13에 도시된 바와 같이, UI(131)를 통해 표시되는 저장된 음성명령의 리스트는 사용자가 기 발화하였던 음성명령들(132)을 보여준다. 전자장치(1)는 사용자 별로 발화된 음성명령을 저장하고, 사용자 별로(부호 133 참조) 기 저장된 음성명령들(132)을 보여줄 수 있다. 이에 따라, 사용자는 UI(131)를 통하여 이전에 자신이 발화하였던 음성명령을 알기 쉽게 볼 수 있어서 음성명령을 발화하는데 편의성이 향상된다.
선택적인 실시예로서, 전자장치(1)는 사용자로 하여금 음성명령 별로 대응하는 식별기호를 등록하도록 하고, 나중에 사용자가 등록된 식별기호를 발화하면, 대응하는 음성명령이 수신된 것으로 판단할 수 있다. 저장된 음성명령의 리스트의 UI(131)는 각 음성명령에 대응하는 식별기호(134)를 더 표시할 수 있다. 예컨대, '내일 날씨 알려 줘'와 같은 음성명령에 대하여, 식별기호 '1'을 등록해 두면, 사용자는 식별기호 '1'을 발화하기만 하여도, 전자장치(1)는 이에 대응하는 '내일 날씨 알려 줘'의 음성명령이 발화된 것으로 판단한다. 이에 따라, 사용자는 길거나, 복잡한 문장과 같은 음성명령을 간단한 식별기호로 대체하여 명령할 수 있게 되므로, 사용자의 편의성이 더욱 향상된다. 전자장치(1)는 사용자의 지시에 따라 UI(131)의 리스트에서 어느 음성명령을 삭제하거나, 새로운 음성명령을 추가할 수 있다.
다른 실시예로서, 전자장치(1)는 전자장치(1)는 사용자가 음성명령의 리스트의 UI(131) 상에서 어느 하나의 음성명령이 배열된 위치를 발화하는 경우, 해당 음성명령이 수신될 것으로 판단할 수 있다. 예컨대, 리스트의 UI(131)가 표시된 상태에서 사용자가 '첫 번째'라고 발화하면, 전자장치(1)는 리스트의 UI(131)에서 첫 번째로 위치한 '내일 날씨 알려 줘'의 음성명령이 발화된 것으로 판단할 수 있다.
또한, 전자장치(1)는 사용자의 지시에 따라 저장된 음성명령의 리스트의 UI(131) 상의 음성명령의 순서를 편집할 수 있다. 도 14는 UI(131) 상의 음성명령의 순서를 편집하는 상황을 도시한다. 예컨대, 도 14에 도시된 바와 같이, 전자장치(1)는 사용자의 지시에 따라 '%%% 나오는 거 틀어 줘'의 명령과, '$$$ 뉴스 녹화해 줘'의 명령의 순서를 서로 바꿀 수 있다. 이 경우, 대응하는 식별기호는 그대로 유지될 수도 있고, 혹은 두 명령 간 식별기호가 서로 바뀔 수도 있다.
도 9는 본 발명의 일실시예에 의한 전자장치(1)와, 분석서버(2a)의 구성의 일예를 도시한다. 본 실시예의 분석서버(2a)와 관련하여, 도 1 내지 8을 참조하여 설명한 분석서버(2)와 동일 내지 유사한 구성에 대한 설명은 생략한다. 본 실시예의 분석서버(2a)는 복수의 전자장치(1)와 통신을 수행한다. 분석서버(2a)는 복수의 전자장치(1) 각각으로부터 사용자의 음성명령에 대한 분석 요청이 있으면, 이에 대응하여 음성명령의 분석을 수행하고, 그 분석결과를 해당 전자장치(1)에 전송한다. 또한, 분석서버(2a)는 복수의 전자장치(1)로부터 수신되는 사용자의 음성명령을 수집하고, 이에 기초하여 음성인식명령 리스트를 마련하며, 마련된 음성인식명령 리스트를 복수의 전자장치(1)에 제공한다.
도 10은 본 발명의 일실시예에 의한 분석서버(2a)의 동작을 도시한 흐름도이다. 먼저, 동작 S101에서, 분석서버(2a)는 전자장치(1)로부터 사용자의 음성명령에 대한 분석 요청을 수신한다. 다음으로, 동작 S102에서, 분석서버(2a)는 해당 음성명령에 대한 분석을 수행하고, 이에 대응하는 분석결과인 대응하는 제어명령정보를 요청한 전자장치(1)에 전송한다. 다음으로, 동작 S103에서, 분석서버(2a)는 복수의 전자장치(1)로부터 수집된 사용자의 음성명령과, 그 분석결과에 기초하여 음성인식명령 리스트를 마련하고, 마련된 음성인식명령 리스트를 저장부(23)에 저장한다. 또한, 분석서버(2a)는 복수의 전자장치(1)로부터 지속적으로 수집되는 사용자의 음성명령과, 그 분석결과에 기초하여 저장부(23)에 저장된 음성인식명령 리스트(251)을 업데이트할 수 있다. 다음으로, 동작 S103에서, 분석서버(2a)는 저장부(23)에 저장된 음성인식명령 리스트(231)을 복수의 전자장치(1)에 전송한다.
선택적인 실시예로서, 전자장치(1)는 도 8을 참조하여 설명한 경우와 같이, 사용자의 음성명령과 관련도가 낮게 판단된 음성인식명령 리스트의 음성인식명령이지만, 사용자가 동작을 허락한(성공적으로 인식된) 음성인식명령이 있는 경우에, 해당 음성인식명령과, 대응하는 제어명령정보를 분석서버(2a)에 전송할 수 있다. 또는, 전자장치(1)는 새로운 음성명령이 성공적으로 인식된 경우, 해당 음성인식명령과, 대응하는 제어명령정보를 분석서버(2a)에 전송할 수 있다. 이 경우, 분석서버(2a)는 수신된 음성인식명령과, 대응하는 제어명령정보를 음성인식명령 리스트의 생성에 반영할 수 있다.
도 11은 본 발명의 일실시예에 의한 분석서버(2a)의 동작을 도시한 흐름도이다. 먼저, 동작 S101에서, 분석서버(2a)는 복수의 전자장치(1)로부터 수집된 사용자의 음성인식명령에 대하여 성공적으로 인식된 회수를 판단한다. 즉, 분석서버(2a)는 복수의 전자장치(1)로부터 수집된 사용자의 음성인식명령들 중에서 어느 것이 자주 성공적으로 인식되는지를 판단한다. 다음으로, 동작 S102에서, 분석서버(2a)는 수집된 어느 사용자의 음성인식명령의 성공 회수가 소정치 이상인지 여부를 판단한다. 만일, 해당 음성인식명령의 성공 회수가 소정치 이상인 경우라면, 동작 S103에서, 분석서버(2a)는 해당 음성인식명령과, 그 제어명령정보를 음성인식명령 리스트에 추가할 수 있다. 한편, 해당 음성명령의 성공회수가 소정치 미만인 경우라면, 분석서버(2a)는 해당 음성인식명령과, 그 제어명령정보를 음성인식명령 리스트에 추가하지 않는다. 따라서, 본 실시예에 의하면, 성공 회수가 소정치 이상인 음성인식명령만으로 음성인식명령 리스트를 마련함으로써, 음성인식명령 리스트의 전송 시간과, 전자장치(1)가 음성인식명령 리스트의 처리에 들이는 동작을 최소화할 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
1: 전자장치
2: 분석서버
4: STT서버
11: 동작수행부
12: 명령수신부
13: 통신부
14: 제어부
15: 저장부

Claims (18)

  1. 디스플레이장치에 있어서,
    영상을 표시할 수 있는 디스플레이부와;
    사용자의 음성명령을 수신할 수 있는 명령수신부와;
    서버와 통신할 수 있는 통신부와;
    저장부와;
    소정 회수 이상 성공적으로 인식된 사용자의 복수의 음성인식명령과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 상기 저장부에 저장되도록 하고,
    사용자의 음성명령이 수신되면, 상기 음성명령이 상기 저장된 음성인식명령 리스트에 포함된 상기 음성인식명령에 대응하는지 여부를 확인하고,
    대응하는 경우 상기 음성인식명령의 제어명령정보에 기초하여 동작을 수행하고,
    대응하지 않는 경우, 상기 저장된 음성인식명령 리스트에 포함된 복수의 음성인식명령을 상기 디스플레이부에 표시하고,
    상기 표시된 복수의 음성인식명령 중 어느 하나가 사용자에 의해 선택되면, 상기 선택된 음성인식명령에 대응하는 제어명령정보에 기초하여 동작을 수행하는
    프로세서를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 음성명령과, 상기 음성인식명령 리스트의 음성인식명령과의 관련도에 기초하여 상호 대응하는지 여부를 판단하는 디스플레이장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 음성인식명령 리스트를 상기 서버로부터 수신하는 디스플레이장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 음성인식명령 리스트의 음성인식명령의 내용을 사용자에게 미리 통지하고, 사용자의 의사에 따라 해당 음성인식명령에 기초하여 동작할 것인지 여부를 결정하는 디스플레이장치.
  5. 제1항에 있어서,
    상기 프로세서는 성공적으로 인식된 사용자의 음성인식명령과, 대응하는 제어명령정보를 상기 서버에 전송하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 프로세서는 상기 사용자의 음성명령을 제2서버에 전송하고, 상기 제2서버로부터 상기 음성명령을 변환한 텍스트를 수신하여, 상기 수신된 텍스트를 이용하여 상기 수신된 음성명령이 상기 음성인식명령 리스트에 포함된 음성인식명령에 대응하는지 여부를 확인하는 디스플레이장치.
  7. 제1항에 있어서,
    상기 프로세서는, 상기 음성인식명령 별로 대응하는 식별기호를 등록시켜 상기 저장부에 저장하고, 사용자가 상기 등록된 식별기호를 발화하면, 대응하는 음성인식명령이 선택된 것으로 판단하는 디스플레이장치.
  8. 제1항에 있어서,
    상기 프로세서는, 사용자가 상기 표시된 복수의 음성인식명령 중에서 어느 하나의 음성인식명령이 배열된 위치를 발화하는 경우, 해당 음성인식명령이 선택된 것으로 판단하는 디스플레이장치.
  9. 제1항에 있어서,
    상기 프로세서는, 사용자의 명령에 따라 상기 표시된 복수의 음성인식명령이 배열되는 순서를 편집하는 디스플레이장치.
  10. 디스플레이장치의 제어방법에 있어서,
    소정 회수 이상 성공적으로 인식된 사용자의 복수의 음성인식명령과, 이에 대응하는 제어명령정보를 포함하는 음성인식명령 리스트를 상기 디스플레이장치에 저장하는 단계와;
    사용자의 음성명령이 수신되면, 상기 음성명령이 상기 저장된 음성인식명령 리스트에 포함된 상기 음성인식명령에 대응하는지 여부를 확인하는 단계와;
    대응하는 경우 상기 음성인식명령의 제어명령정보에 기초하여 동작을 수행하는 단계와;
    대응하지 않는 경우, 상기 저장된 음성인식명령 리스트에 포함된 복수의 음성인식명령을 상기 디스플레이부에 표시하는 단계를 포함하며,
    상기 표시된 복수의 음성인식명령 중 어느 하나가 사용자에 의해 선택되면, 상기 선택된 음성인식명령에 대응하는 제어명령정보에 기초하여 동작을 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  11. 제10항에 있어서,
    상기 대응하는지 여부를 확인하는 단계는, 상기 음성명령과, 상기 음성인식명령 리스트의 음성인식명령과의 관련도에 기초하여 상호 대응하는지 여부를 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  12. 제10항에 있어서,
    상기 음성인식명령 리스트를 서버로부터 수신하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  13. 제10항에 있어서,
    상기 음성인식명령 리스트의 음성인식명령의 내용을 사용자에게 미리 통지하고, 사용자의 의사에 따라 해당 음성인식명령에 기초하여 동작할 것인지 여부를 결정하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  14. 제10항에 있어서,
    성공적으로 인식된 사용자의 음성인식명령과, 대응하는 제어명령정보를 서버에 전송하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  15. 제10항에 있어서,
    상기 사용자의 음성명령을 제2서버에 전송하는 단계와;
    상기 제2서버로부터 상기 음성명령을 변환한 텍스트를 수신하는 단계를 더 포함하고,
    상기 대응하는지 여부를 확인하는 단계는, 상기 수신된 텍스트를 이용하여 상기 수신된 음성명령이 상기 음성인식명령 리스트에 포함된 음성인식명령에 대응하는지 여부를 확인하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  16. 제10항에 있어서,
    상기 음성인식명령 별로 대응하는 식별기호를 등록시켜 상기 디스플레이장치에 저장하는 단계와;
    사용자가 상기 등록된 식별기호를 발화하면, 대응하는 음성인식명령이 선택된 것으로 판단하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  17. 제10항에 있어서,
    사용자가 상기 표시된 복수의 음성인식명령 중에서 어느 하나의 음성인식명령이 배열된 위치를 발화하는 경우, 해당 음성인식명령이 선택된 것으로 판단하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  18. 제10항에 있어서,
    사용자의 명령에 따라 상기 표시된 복수의 음성인식명령이 배열되는 순서를 편집하는 단계를 더 포함하는 디스플레이장치의 제어방법.
KR1020190087446A 2012-09-28 2019-07-19 전자장치, 서버 및 그 제어방법 KR102169520B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120109453 2012-09-28
KR20120109453 2012-09-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130072275A Division KR20140042641A (ko) 2012-09-28 2013-06-24 전자장치, 서버 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20190088945A true KR20190088945A (ko) 2019-07-29
KR102169520B1 KR102169520B1 (ko) 2020-10-23

Family

ID=49857999

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020120117193A KR101330671B1 (ko) 2012-09-28 2012-10-22 전자장치, 서버 및 그 제어방법
KR1020130072303A KR102004872B1 (ko) 2012-09-28 2013-06-24 전자장치, 서버 및 그 제어방법
KR1020130072275A KR20140042641A (ko) 2012-09-28 2013-06-24 전자장치, 서버 및 그 제어방법
KR1020190087446A KR102169520B1 (ko) 2012-09-28 2019-07-19 전자장치, 서버 및 그 제어방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020120117193A KR101330671B1 (ko) 2012-09-28 2012-10-22 전자장치, 서버 및 그 제어방법
KR1020130072303A KR102004872B1 (ko) 2012-09-28 2013-06-24 전자장치, 서버 및 그 제어방법
KR1020130072275A KR20140042641A (ko) 2012-09-28 2013-06-24 전자장치, 서버 및 그 제어방법

Country Status (10)

Country Link
US (4) US9582245B2 (ko)
EP (3) EP4050599A1 (ko)
JP (2) JP2014071449A (ko)
KR (4) KR101330671B1 (ko)
CN (2) CN103714816A (ko)
AU (1) AU2012261531A1 (ko)
BR (1) BR102013002468B1 (ko)
FR (1) FR2996343B3 (ko)
RU (1) RU2627117C2 (ko)
WO (1) WO2014051207A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021101276A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. Electronic device for providing intelligent assistance service and operating method thereof
KR20210094756A (ko) * 2020-01-22 2021-07-30 주식회사 엘지유플러스 셋탑 단말 및 이의 동작 방법

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20130125067A (ko) * 2012-05-08 2013-11-18 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US10157618B2 (en) 2013-05-02 2018-12-18 Xappmedia, Inc. Device, system, method, and computer-readable medium for providing interactive advertising
US9747899B2 (en) 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
CN104517606A (zh) * 2013-09-30 2015-04-15 腾讯科技（深圳）有限公司 语音识别测试方法及装置
KR102246893B1 (ko) * 2013-12-11 2021-04-30 삼성전자주식회사 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법
US9767803B1 (en) * 2013-12-16 2017-09-19 Aftershock Services, Inc. Dynamically selecting speech functionality on client devices
US9674306B2 (en) * 2013-12-20 2017-06-06 The Directv Group, Inc. Method and system for communicating from a client device to a server device in a centralized content distribution system
CN105023575B (zh) * 2014-04-30 2019-09-17 中兴通讯股份有限公司 语音识别方法、装置和系统
US9973787B2 (en) * 2014-05-01 2018-05-15 Sony Corporation Communication device and communication method
CN103985160B (zh) * 2014-05-12 2017-01-18 深圳市威富多媒体有限公司 一种基于计算机及语音控制的车牌管理方法及装置
JP6440513B2 (ja) * 2014-05-13 2018-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声認識機能を用いた情報提供方法および機器の制御方法
KR102225404B1 (ko) 2014-05-23 2021-03-09 삼성전자주식회사 디바이스 정보를 이용하는 음성인식 방법 및 장치
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9589567B2 (en) 2014-06-11 2017-03-07 Honeywell International Inc. Plant control system using voice as a control mechanism
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN105448293B (zh) * 2014-08-27 2019-03-12 北京羽扇智信息科技有限公司 语音监听及处理方法和设备
KR102304052B1 (ko) * 2014-09-05 2021-09-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20160056548A (ko) * 2014-11-12 2016-05-20 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR101642918B1 (ko) * 2015-08-03 2016-07-27 서치콘주식회사 코드네임 프로토콜을 이용한 네트워크 접속 제어 방법, 이를 수행하는 네트워크 접속 제어 서버 및 이를 저장하는 기록매체
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9978366B2 (en) 2015-10-09 2018-05-22 Xappmedia, Inc. Event-based speech interactive media player
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
FR3045909B1 (fr) * 2015-12-17 2017-12-29 Delta Dore Procede et dispositif d'analyse et de repartition de commandes vocales
CN105578240A (zh) * 2015-12-23 2016-05-11 广州视源电子科技股份有限公司 电视终端交互方法和系统
CN105719650A (zh) * 2016-01-30 2016-06-29 深圳市尔木科技有限责任公司 一种语音识别的方法及系统
US9898250B1 (en) * 2016-02-12 2018-02-20 Amazon Technologies, Inc. Controlling distributed audio outputs to enable voice output
US9858927B2 (en) * 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
CN105913839A (zh) * 2016-05-30 2016-08-31 合肥华凌股份有限公司 一种智能冰箱、服务器及语音控制系统和方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10271093B1 (en) * 2016-06-27 2019-04-23 Amazon Technologies, Inc. Systems and methods for routing content to an associated output device
KR20180043627A (ko) * 2016-10-20 2018-04-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치를 제어하는 방법
CN108010522A (zh) 2016-11-02 2018-05-08 松下电器（美国）知识产权公司 信息处理方法以及记录介质
CN108010523B (zh) * 2016-11-02 2023-05-09 松下电器（美国）知识产权公司 信息处理方法以及记录介质
JP6908461B2 (ja) * 2016-11-02 2021-07-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法及びプログラム
US10937421B2 (en) * 2016-12-23 2021-03-02 Spectrum Brands, Inc. Electronic faucet with smart features
WO2018119230A1 (en) * 2016-12-23 2018-06-28 Spectrum Brands, Inc. Electronic faucet with smart features
CN107086037A (zh) * 2017-03-17 2017-08-22 上海庆科信息技术有限公司 一种嵌入式设备的语音交互方法、装置及嵌入式设备
CN107135443B (zh) * 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
KR20180118461A (ko) * 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US10475454B2 (en) * 2017-09-18 2019-11-12 Motorola Mobility Llc Directional display and audio broadcast
CN109559759B (zh) * 2017-09-27 2021-10-08 华硕电脑股份有限公司 具备增量注册单元的电子设备及其方法
KR102417524B1 (ko) * 2017-10-13 2022-07-07 현대자동차주식회사 음성 인식 기반의 자동차 제어 방법
FR3073067B1 (fr) * 2017-10-27 2020-11-13 Deepor Procede de pilotage d'une salle notamment operatoire d'un plateau medico-technique
KR102480728B1 (ko) * 2017-11-10 2022-12-23 삼성전자주식회사 전자장치 및 그 제어방법
KR102517219B1 (ko) * 2017-11-23 2023-04-03 삼성전자주식회사 전자장치 및 그 제어방법
KR102528466B1 (ko) 2017-12-19 2023-05-03 삼성전자주식회사 복수 화자의 음성 신호 처리 방법 및 그에 따른 전자 장치
WO2019135433A1 (ko) * 2018-01-08 2019-07-11 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
KR102488001B1 (ko) * 2018-01-22 2023-01-13 삼성전자주식회사 오디오 신호를 이용하여 사용자를 인증하는 전자 장치 및 그 방법
WO2019161207A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree
US11308312B2 (en) 2018-02-15 2022-04-19 DMAI, Inc. System and method for reconstructing unoccupied 3D space
CN112204654A (zh) * 2018-02-15 2021-01-08 得麦股份有限公司 用于基于预测的先发式对话内容生成的系统和方法
JP7003720B2 (ja) * 2018-02-19 2022-01-21 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
KR102576388B1 (ko) 2018-02-21 2023-09-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20190102509A (ko) * 2018-02-26 2019-09-04 삼성전자주식회사 음성 명령을 수행하는 방법 및 시스템
KR102533443B1 (ko) * 2018-05-04 2023-05-17 삼성전자 주식회사 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
KR102458336B1 (ko) 2018-05-18 2022-10-25 삼성전자주식회사 공기 조화 장치 및 이의 제어 방법
KR20190134107A (ko) * 2018-05-24 2019-12-04 삼성전자주식회사 사용자의 음성을 처리하는 전자 장치를 포함하는 시스템 및 전자 장치의 음성 인식 제어 방법
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10891958B2 (en) * 2018-06-27 2021-01-12 Google Llc Rendering responses to a spoken utterance of a user utilizing a local text-response map
CN108510990A (zh) * 2018-07-04 2018-09-07 百度在线网络技术（北京）有限公司 语音识别方法、装置、用户设备及存储介质
KR102527107B1 (ko) 2018-08-08 2023-05-02 삼성전자주식회사 음성에 기반하여 기능을 실행하기 위한 방법 및 이를 지원하는 사용자 전자 장치
KR102563314B1 (ko) * 2018-08-30 2023-08-04 삼성전자주식회사 전자 장치 및 단축 명령어의 바로가기 생성 방법
CN110910869B (zh) * 2018-09-14 2022-02-18 成都启英泰伦科技有限公司 一种语音识别方法和设备
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
KR20200042627A (ko) 2018-10-16 2020-04-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109448709A (zh) * 2018-10-16 2019-03-08 华为技术有限公司 一种终端投屏的控制方法和终端
KR102651413B1 (ko) * 2018-10-17 2024-03-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200043075A (ko) 2018-10-17 2020-04-27 삼성전자주식회사 전자 장치 및 그 제어방법, 전자 장치의 음향 출력 제어 시스템
CN109408024A (zh) * 2018-10-18 2019-03-01 珠海格力电器股份有限公司 信息交互方法及装置、存储介质、处理器
US10885912B2 (en) * 2018-11-13 2021-01-05 Motorola Solutions, Inc. Methods and systems for providing a corrected voice command
CN109493851A (zh) * 2018-11-20 2019-03-19 新视家科技(北京)有限公司 一种语音控制方法、相关装置及存储介质
CN111312234A (zh) * 2018-12-11 2020-06-19 青岛海尔洗衣机有限公司 语音控制方法、云端处理器及终端设备
CN111312253A (zh) * 2018-12-11 2020-06-19 青岛海尔洗衣机有限公司 语音控制方法、云端服务器及终端设备
CN109495360A (zh) * 2018-12-18 2019-03-19 深圳国美云智科技有限公司 一种智能家居物联平台、离线语音控制方法及系统
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN111754996A (zh) * 2019-03-29 2020-10-09 阿里巴巴集团控股有限公司 基于语音模拟遥控器的控制方法、装置及电子设备
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
JP2021004980A (ja) * 2019-06-26 2021-01-14 株式会社アール・イー・ハヤシ 生活支援マルチリモコン及び生活支援マルチリモコンシステム
CN112147903A (zh) * 2019-06-26 2020-12-29 百度在线网络技术（北京）有限公司 一种设备的控制方法、装置及计算机可读存储介质
WO2021002611A1 (en) 2019-07-03 2021-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
EP3970139A1 (en) 2019-10-15 2022-03-23 Google LLC Detection and/or enrollment of hot commands to trigger responsive action by automated assistant
CN110992955A (zh) * 2019-12-25 2020-04-10 苏州思必驰信息科技有限公司 一种智能设备的语音操作方法、装置、设备及存储介质
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112002316A (zh) * 2020-07-30 2020-11-27 珠海格力电器股份有限公司 一种电器控制方法、装置、存储介质及终端
JP7459760B2 (ja) 2020-10-27 2024-04-02 セイコーエプソン株式会社 表示システムの制御方法、表示システム
CN113411722A (zh) * 2021-06-04 2021-09-17 深圳市右转智能科技有限责任公司 一种智能背景音乐系统
CN113593555A (zh) * 2021-07-23 2021-11-02 北京百度网讯科技有限公司 通过语音方式控制程序的方法、设备及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033901A (ja) * 2005-07-27 2007-02-08 Nec Corp 音声認識システム、音声認識方法、および音声認識用プログラム
KR20120020853A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2012133243A (ja) * 2010-12-22 2012-07-12 Toshiba Corp 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL119948A (en) 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
US6188985B1 (en) * 1997-01-06 2001-02-13 Texas Instruments Incorporated Wireless voice-activated device for control of a processor-based host system
JPH10326176A (ja) 1997-05-23 1998-12-08 Oki Hokuriku Syst Kaihatsu:Kk 音声対話制御方法
EP0911808B1 (en) 1997-10-23 2002-05-08 Sony International (Europe) GmbH Speech interface in a home network environment
JP2000075887A (ja) * 1998-08-31 2000-03-14 Sony Corp パターン認識装置、方法及びシステム
JP2000085641A (ja) 1998-09-16 2000-03-28 Kubota Corp クローラ走行装置
FR2783625B1 (fr) * 1998-09-21 2000-10-13 Thomson Multimedia Sa Systeme comprenant un appareil telecommande et un dispositif de telecommande vocale de l'appareil
US7003463B1 (en) 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
WO2000058942A2 (en) 1999-03-26 2000-10-05 Koninklijke Philips Electronics N.V. Client-server speech recognition
JP3873513B2 (ja) 1999-03-29 2007-01-24 ソニー株式会社 情報記録装置
US6408272B1 (en) * 1999-04-12 2002-06-18 General Magic, Inc. Distributed voice user interface
US7330815B1 (en) * 1999-10-04 2008-02-12 Globalenglish Corporation Method and system for network-based speech recognition
US7006973B1 (en) 2000-01-31 2006-02-28 Intel Corporation Providing information in response to spoken requests
AU2001272009A1 (en) 2000-06-16 2001-12-24 Healthetech, Inc. Speech recognition capability for a personal digital assistant
US7085716B1 (en) 2000-10-26 2006-08-01 Nuance Communications, Inc. Speech recognition using word-in-phrase command
US20020095294A1 (en) 2001-01-12 2002-07-18 Rick Korfin Voice user interface for controlling a consumer media data storage and playback device
JP3919210B2 (ja) 2001-02-15 2007-05-23 アルパイン株式会社 音声入力案内方法及び装置
WO2004023455A2 (en) 2002-09-06 2004-03-18 Voice Signal Technologies, Inc. Methods, systems, and programming for performing speech recognition
JP2003114698A (ja) * 2001-10-03 2003-04-18 Denso Corp コマンド受付装置及びプログラム
JP2003131682A (ja) 2001-10-24 2003-05-09 Victor Co Of Japan Ltd 音声コマンドによる機器コントロールシステム
US20030120493A1 (en) 2001-12-21 2003-06-26 Gupta Sunil K. Method and system for updating and customizing recognition vocabulary
US9374451B2 (en) 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
JP2003295893A (ja) 2002-04-01 2003-10-15 Omron Corp 音声認識システム、装置、音声認識方法、音声認識プログラム及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
US20040006477A1 (en) 2002-07-05 2004-01-08 Craner Michael L. Voice-controllable communication gateway for controlling multiple electronic and information appliances
CN1639768B (zh) * 2002-08-01 2010-05-26 艾利森电话股份有限公司 自动语音识别方法及装置
CN1864204A (zh) * 2002-09-06 2006-11-15 语音信号技术有限公司 用来完成语音识别的方法、系统和程序
JP2004110613A (ja) 2002-09-20 2004-04-08 Toshiba Corp 制御装置、制御プログラム、対象装置及び制御システム
US6889188B2 (en) 2002-11-22 2005-05-03 Intel Corporation Methods and apparatus for controlling an electronic device
EP1606898A1 (en) 2003-03-17 2005-12-21 Philips Intellectual Property & Standards GmbH Method for remote control of an audio device
JP2005148151A (ja) * 2003-11-11 2005-06-09 Mitsubishi Electric Corp 音声操作装置
KR20050060910A (ko) * 2003-12-17 2005-06-22 현대자동차주식회사 차량의 음성 명령 인식 방법 및 장치
JP2005249829A (ja) * 2004-03-01 2005-09-15 Advanced Media Inc 音声認識を行うコンピュータネットワークシステム
US20060041926A1 (en) 2004-04-30 2006-02-23 Vulcan Inc. Voice control of multimedia content
JP4554285B2 (ja) 2004-06-18 2010-09-29 トヨタ自動車株式会社 音声認識システム、音声認識方法、及び音声認識プログラム
TWI334703B (en) 2004-09-02 2010-12-11 Inventec Multimedia & Telecom Voice-activated remote control system
US7283850B2 (en) 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US8942985B2 (en) 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
KR100639931B1 (ko) 2004-11-24 2006-11-01 한국전자통신연구원 대화형 음성인식 시스템의 인식오류 수정장치 및 그 방법
US7529677B1 (en) 2005-01-21 2009-05-05 Itt Manufacturing Enterprises, Inc. Methods and apparatus for remotely processing locally generated commands to control a local device
KR100725719B1 (ko) 2005-02-04 2007-06-08 주식회사 유진로봇 음성과 태스크 오브젝트 기반의 대화시스템
JP4574390B2 (ja) 2005-02-22 2010-11-04 キヤノン株式会社 音声認識方法
US20060235701A1 (en) 2005-04-13 2006-10-19 Cane David A Activity-based control of a set of electronic devices
JP2007052397A (ja) * 2005-07-21 2007-03-01 Denso Corp 操作装置
JP2007226388A (ja) * 2006-02-22 2007-09-06 Konica Minolta Medical & Graphic Inc コマンド入力装置及びプログラム
US20070276651A1 (en) * 2006-05-23 2007-11-29 Motorola, Inc. Grammar adaptation through cooperative client and server based speech recognition
US8635243B2 (en) 2007-03-07 2014-01-21 Research In Motion Limited Sending a communications header with voice recording to send metadata for use in speech recognition, formatting, and search mobile search application
US8150699B2 (en) 2007-05-17 2012-04-03 Redstart Systems, Inc. Systems and methods of a structured grammar for a speech recognition command system
US9794348B2 (en) * 2007-06-04 2017-10-17 Todd R. Smith Using voice commands from a mobile device to remotely access and control a computer
US20090018830A1 (en) 2007-07-11 2009-01-15 Vandinburg Gmbh Speech control of computing devices
US8438024B2 (en) 2007-10-05 2013-05-07 International Business Machines Corporation Indexing method for quick search of voice recognition results
WO2009147927A1 (ja) * 2008-06-06 2009-12-10 株式会社レイトロン 音声認識装置、音声認識方法および電子機器
WO2010018796A1 (ja) * 2008-08-11 2010-02-18 旭化成株式会社 例外語辞書作成装置、例外語辞書作成方法及びそのプログラム、並びに、音声認識装置及び音声認識方法
US20100131280A1 (en) 2008-11-25 2010-05-27 General Electric Company Voice recognition system for medical devices
KR101513635B1 (ko) * 2008-12-05 2015-04-22 엘지전자 주식회사 단말기 및 그 제어 방법
US8224644B2 (en) * 2008-12-18 2012-07-17 Microsoft Corporation Utterance processing for network-based speech recognition utilizing a client-side cache
JP5437095B2 (ja) 2009-05-19 2014-03-12 東芝機械株式会社 敷ブロックの配置方法、敷ブロック移動用工具、および、その工具を備えた工作機械
US11012732B2 (en) 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
US20110099507A1 (en) 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
US20110184740A1 (en) 2010-01-26 2011-07-28 Google Inc. Integration of Embedded and Network Speech Recognizers
CN103038818B (zh) 2010-06-24 2016-10-12 本田技研工业株式会社 在车载语音识别系统与车外语音识别系统之间的通信系统和方法
US20120078635A1 (en) 2010-09-24 2012-03-29 Apple Inc. Voice control system
JP2012088370A (ja) 2010-10-15 2012-05-10 Denso Corp 音声認識システム、音声認識端末、およびセンター
KR101789619B1 (ko) 2010-11-22 2017-10-25 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
US8914287B2 (en) 2010-12-31 2014-12-16 Echostar Technologies L.L.C. Remote control audio link
US20120170572A1 (en) 2011-01-03 2012-07-05 Samsung Electronics Co., Ltd. Method for Enhancing Phone Conversations
KR20120080069A (ko) 2011-01-06 2012-07-16 삼성전자주식회사 디스플레이 장치 및 그 음성 제어 방법
US10049669B2 (en) * 2011-01-07 2018-08-14 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
JP5606951B2 (ja) 2011-02-15 2014-10-15 アルパイン株式会社 音声認識システムおよびこれを用いた検索システム
KR101390823B1 (ko) 2011-04-14 2014-05-09 삼성중공업 주식회사 선박용 열교환기
JP5916054B2 (ja) * 2011-06-22 2016-05-11 クラリオン株式会社 音声データ中継装置、端末装置、音声データ中継方法、および音声認識システム
US9009041B2 (en) * 2011-07-26 2015-04-14 Nuance Communications, Inc. Systems and methods for improving the accuracy of a transcription using auxiliary data such as personal data
US8972263B2 (en) * 2011-11-18 2015-03-03 Soundhound, Inc. System and method for performing dual mode speech recognition
US9153229B2 (en) * 2011-11-21 2015-10-06 Robert Bosch Gmbh Methods and systems for adapting grammars in hybrid speech recognition engines for enhancing local SR performance
US8825020B2 (en) 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9031848B2 (en) 2012-08-16 2015-05-12 Nuance Communications, Inc. User interface for searching a bundled service content data source

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033901A (ja) * 2005-07-27 2007-02-08 Nec Corp 音声認識システム、音声認識方法、および音声認識用プログラム
KR20120020853A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2012133243A (ja) * 2010-12-22 2012-07-12 Toshiba Corp 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021101276A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. Electronic device for providing intelligent assistance service and operating method thereof
US11557285B2 (en) 2019-11-19 2023-01-17 Samsung Electronics Co., Ltd. Electronic device for providing intelligent assistance service and operating method thereof
KR20210094756A (ko) * 2020-01-22 2021-07-30 주식회사 엘지유플러스 셋탑 단말 및 이의 동작 방법

Also Published As

Publication number Publication date
JP2014071457A (ja) 2014-04-21
US10120645B2 (en) 2018-11-06
RU2015111180A (ru) 2016-10-20
EP2713366B1 (en) 2016-08-10
FR2996343A3 (fr) 2014-04-04
EP2713366A1 (en) 2014-04-02
US20140092007A1 (en) 2014-04-03
US20190026075A1 (en) 2019-01-24
US9582245B2 (en) 2017-02-28
FR2996343B3 (fr) 2015-05-15
EP4050599A1 (en) 2022-08-31
KR101330671B1 (ko) 2013-11-15
CN103714816A (zh) 2014-04-09
US20140095176A1 (en) 2014-04-03
AU2012261531A1 (en) 2014-04-17
BR102013002468A2 (pt) 2014-10-21
CN109979465B (zh) 2024-02-20
KR20140042642A (ko) 2014-04-07
KR20140042641A (ko) 2014-04-07
US20140095174A1 (en) 2014-04-03
BR102013002468B1 (pt) 2020-10-20
KR102169520B1 (ko) 2020-10-23
CN109979465A (zh) 2019-07-05
JP2014071449A (ja) 2014-04-21
RU2627117C2 (ru) 2017-08-03
WO2014051207A1 (en) 2014-04-03
US11086596B2 (en) 2021-08-10
EP2750129A1 (en) 2014-07-02
KR102004872B1 (ko) 2019-07-29

Similar Documents

Publication Publication Date Title
KR102004872B1 (ko) 전자장치, 서버 및 그 제어방법
US20210264914A1 (en) Electronic device and voice recognition method thereof
CN106796496B (zh) 显示设备及其操作方法
JP6802305B2 (ja) 対話型サーバ、ディスプレイ装置及びその制御方法
US8650036B2 (en) Electronic apparatus and method of controlling electronic apparatus
KR102245747B1 (ko) 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
CN108831469B (zh) 语音命令定制方法、装置和设备及计算机存储介质
CN109243463B (zh) 遥控器及其用于接收用户语音的方法
KR20130082339A (ko) 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US20130041666A1 (en) Voice recognition apparatus, voice recognition server, voice recognition system and voice recognition method
JP2020028129A (ja) 電子装置、サーバー及びその制御方法
KR20220037819A (ko) 복수의 기동어를 인식하는 인공 지능 장치 및 그 방법
CN111385624B (zh) 一种基于语音的数据传输控制方法、智能电视及存储介质
WO2023093280A1 (zh) 语音控制方法、装置、电子设备及存储介质
CN110865853B (zh) 云服务的智能操作方法和装置以及电子设备
EP4145842A1 (en) Display device and operation method for same
KR102359163B1 (ko) 전자 장치 및 이의 음성 인식 방법
KR102494051B1 (ko) 전자 장치 및 이의 음성 인식 방법
KR20130050519A (ko) 영상처리장치 및 그 제어방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant