KR20200085593A - 전자 장치 및 그 제어 방법. - Google Patents

전자 장치 및 그 제어 방법. Download PDF

Info

Publication number
KR20200085593A
KR20200085593A KR1020190001919A KR20190001919A KR20200085593A KR 20200085593 A KR20200085593 A KR 20200085593A KR 1020190001919 A KR1020190001919 A KR 1020190001919A KR 20190001919 A KR20190001919 A KR 20190001919A KR 20200085593 A KR20200085593 A KR 20200085593A
Authority
KR
South Korea
Prior art keywords
electronic device
external electronic
network
communication unit
information
Prior art date
Application number
KR1020190001919A
Other languages
English (en)
Inventor
부영종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190001919A priority Critical patent/KR20200085593A/ko
Priority to US16/733,792 priority patent/US11580988B2/en
Priority to CN202010029580.2A priority patent/CN111415660A/zh
Publication of KR20200085593A publication Critical patent/KR20200085593A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Abstract

전자 장치를 개시한다. 본 전자 장치는, 제1 통신부, 제2 통신부, 입력 음성에 기초하여, 입력 음성을 출력한 외부 전자 장치가 제1 통신부를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부를 판단하고, 외부 전자 장치가 네트워크에 연결될 수 있는지 여부에 따라 제1 통신부 또는 제2 통신부를 통해 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송하는 프로세서를 포함하며, 프로세서는, 외부 전자 장치가 네트워크에 연결될 수 있는 경우, 네트워크를 통해 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송하도록 제1 통신부를 제어하고, 외부 전자 장치가 네트워크에 연결될 수 없는 경우, 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송하도록 제2 통신부를 제어한다.

Description

전자 장치 및 그 제어 방법. { ELECTRONIC APPARATUS AND CONTOLLING METHOD THEREOF }
본 개시는 전자 장치에 관한 것으로, 보다 상세하게는 자체적으로 음성 인식 기능을 구비하지 않은 외부 전자 장치도 음성 인식 기반으로 제어할 수 있도록 하는 전자 장치에 관한 것이다.
사물 인터넷(Inter net of Things)과 관련하여, 복수의 전자 장치가 서로 네트워크 통신망을 구축하는 한편, 사용자는 그 중 어느 하나만의 전자 장치를 통해 나머지 전자 장치를 모두 제어할 수 있는 네트워크 기술이 발전하고 있다.
특히, 가정 내에 사용자의 음성을 인식할 수 있는 전자 장치가 하나라도 있다면, 인식 결과가 네트워크를 통해 공유되고, 그 결과 사용자의 음성에 기반하여 복수의 전자 장치가 제어되는 기술이 고안되었다.
다만, 일반적으로 가정 내 복수의 전자 장치가 반드시 동일한 제조사의 제품인 것은 아니고, 서로 다른 제조사의 제품에 해당하는 전자 장치들 간에는 네트워크 연결이 용이하지 않은 경우가 많았다.
도 1은 이러한 종래 기술의 문제점을 구체적으로 설명하기 위한 도면이다.(한편, 이하 언급되는 종래 기술의 문제점은, 본 개시를 통해 독립적으로 밝히는 것이지 별도의 개시나 연구를 참조한 것은 아니다)
도 1은 냉장고(10), 전자 레인지(20) 및 가스레인지(30)는 서로 동일한 A사의 제품으로서 서로 간에 통신 네트워크가 구축되어 있지만, 밥솥(40)은 B사의 제품이라서 A사의 제품들과 통신 네트워크가 구축될 수 없는 상황을 가정한다.
이때, 음성 인식이 가능한 냉장고(10)는, 냉장고(10) 스스로의 기능을 수행하도록 하는 사용자 음성뿐만 아니라 전자 레인지(20) 또는 가스레인지(30)의 기능에 대한 사용자 음성도 인식할 수 있다. 예로, 냉장고(10)는 "전자 레인지 꺼줘" 라는 사용자 음성을 인식한 결과, 현재 켜져 있는 전자 레인지(20)가 스스로 전원을 끄도록 하는 신호를 네트워크를 통해 전자 레인지(20)에 전송할 수 있다. 그 결과 전자 레인지(20)의 전원이 꺼질 수 있다.
반면, 냉장고(10) 및 밥솥(40) 간에는 통신 네트워크가 구축될 수 없으므로, 사용자는 냉장고(10)를 통해 밥솥(40)을 제어할 수 없게 된다. 이 경우, 밥솥(40)에 자체적으로 음성 인식 기능이 내장되어 있는 경우가 아닌 한 사용자는 음성 인식을 통해 밥솥(40)을 제어할 수 없다.
본 개시는, 외부 전자 장치와 통신 네트워크를 구축할 수 있는지 여부와 무관하게, 외부 전자 장치를 식별할 수 있음은 물론 외부 전자 장치에 대한 제어 기능을 제공하는 전자 장치를 제공함에 그 목적이 있다.
아울러, 자체적으로 음성 인식 기능을 구비하지 않은 외부 전자 장치를 음성 인식 기반으로 제어하기 위하여, 음성 인식 기능을 구비하는 한편 음성 인식 결과에 따라 외부 전자 장치를 제어할 수 있는 신호를 출력하는 전자 장치를 제공함에 목적이 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 제1 통신부, 제2 통신부, 입력 음성에 기초하여, 상기 입력 음성을 출력한 외부 전자 장치가 상기 제1 통신부를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부를 판단하고, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는지 여부에 따라 상기 제1 통신부 또는 상기 제2 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하는 프로세서를 포함하며, 상기 프로세서는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 네트워크를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하도록 상기 제1 통신부를 제어하고, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하도록 상기 제2 통신부를 제어한다.
이때, 상기 프로세서는, 상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 식별 정보를 획득하고, 상기 획득된 상기 외부 전자 장치의 식별 정보에 기초하여 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 전자 장치에 해당하는지 여부를 판단할 수 있다.
이 경우, 상기 프로세서는, 복수의 외부 전자 장치별로 출력되는 음성에 대한 정보가 저장된 서버를 통해 상기 텍스트에 대응되는 음성을 출력하는 상기 외부 전자 장치를 검색하여, 상기 외부 전자 장치의 제품명 및 제조사 중 적어도 하나에 대한 정보를 획득할 수 있다.
그리고, 상기 프로세서는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 제1 통신부를 통해 상기 네트워크에 상기 전자 장치를 연결하고, 입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 상기 네트워크를 통해 상기 외부 전자 장치로 전송할 수 있다.
또한, 상기 프로세서는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 외부 전자 장치를 상기 네트워크에 연결하기 위한 가이드를 출력하고, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 자치가 상기 네트워크에 연결될 수 없음을 안내하기 위한 가이드를 출력할 수 있다.
그리고, 상기 프로세서는, 상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 상태 정보를 획득하고, 상기 획득된 상기 외부 전자 장치의 상태 정보에 기초하여 상기 외부 전자 장치를 제어하기 위한 발화 내용을 안내하는 가이드를 출력할 수 있다.
또한, 상기 프로세서는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 제2 통신부에서 이용되는 통신 방식에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는지 여부를 판단할 수도 있다.
이때, 상기 프로세서는, 상기 정보를 획득할 수 있는 경우, 상기 획득된 정보 및 입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하고 상기 생성된 신호를 상기 외부 전자 장치로 전송하도록 상기 제2 통신부를 제어할 수 있다.
또는, 상기 프로세서는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없고, 상기 정보를 획득할 수 없는 경우, 상기 전자 장치를 통해 상기 외부 전자 장치를 제어할 수 없음을 안내하기 위한 가이드를 출력할 수 있다.
그리고, 상기 프로세서는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 와이파이(WiFi) 및 블루투스(Bluetooth) 중 적어도 하나의 통신 방식을 통해 상기 네트워크에 연결되도록 상기 제1 통신부를 제어하고, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 장치를 제어하기 위한 적외선 신호를 상기 외부 전자 장치로 전송하도록 상기 제2 통신부를 제어할 수 있다.
본 개시의 일 실시 예에 따라 제1 통신부 및 제2 통신부를 포함하는 전자 장치의 제어 방법은, 입력 음성에 기초하여, 상기 입력 음성을 출력한 외부 전자 장치가 상기 제1 통신부를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부를 판단하는 단계, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는지 여부에 따라 상기 제1 통신부 또는 상기 제2 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하는 단계를 포함하며, 상기 전송하는 단계는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 네트워크 및 상기 제1 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하고, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 제2 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송할 수 있다.
이때, 상기 판단하는 단계는, 상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 식별 정보를 획득하고, 상기 획득된 상기 외부 전자 장치의 식별 정보에 기초하여 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 전자 장치에 해당하는지 여부를 판단할 수 있다.
이 경우, 상기 판단하는 단계는, 복수의 외부 전자 장치 별로 출력되는 음성에 대한 정보가 저장된 서버를 통해 상기 텍스트에 대응되는 음성을 출력하는 상기 외부 전자 장치를 검색하여, 상기 외부 전자 장치의 제품명 및 제조사 중 적어도 하나에 대한 정보를 획득할 수 있다.
또한, 상기 전송하는 단계는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 제1 통신부를 통해 상기 네트워크에 상기 전자 장치를 연결하고, 입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 상기 네트워크 및 상기 제1 통신부를 통해 상기 외부 전자 장치로 전송할 수 있다.
또한, 본 제어 방법은, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 외부 전자 장치를 상기 네트워크에 연결하기 위한 가이드를 출력하는 단계 및 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 자치가 상기 네트워크에 연결될 수 없음을 안내하기 위한 가이드를 출력하는 단계를 더 포함할 수 있다.
또한, 본 제어 방법은, 상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 상태 정보를 획득하는 단계 및 상기 획득된 상기 외부 전자 장치의 상태 정보에 기초하여 상기 외부 전자 장치를 제어하기 위한 발화 내용을 안내하는 가이드를 출력하는 단계를 더 포함할 수도 있다.
그리고, 본 제어 방법은, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 제2 통신부에서 이용되는 통신 방식에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는지 여부를 판단하는 단계를 더 포함할 수도 있다.
이때, 상기 전송하는 단계는, 상기 정보를 획득할 수 있는 경우, 상기 획득된 정보 및 입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하고, 상기 제2 통신부를 통해 상기 생성된 신호를 상기 외부 전자 장치로 전송할 수 있다.
또한, 본 제어 방법은, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없고, 상기 정보를 획득할 수 없는 경우, 상기 전자 장치를 통해 상기 외부 전자 장치를 제어할 수 없음을 안내하기 위한 가이드를 출력하는 단계를 더 포함할 수 있다.
또한, 상기 전송하는 단계는, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 와이파이(WiFi) 및 블루투스(Bluetooth) 중 적어도 하나의 통신 방식을 통해 상기 네트워크에 연결되도록 상기 제1 통신부를 제어하고, 상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 장치를 제어하기 위한 적외선 신호를 상기 제2 통신부를 통해 상기 외부 전자 장치로 전송할 수 있다.
본 개시에 따른 전자 장치는, 외부 전자 장치와 전자 장치가 동일한 통신 네트워크를 통해 연결될 수 있는지 여부와 무관하게, 외부 전자 장치에서 출력되는 소리만으로 외부 전자 장치를 식별할 수 있다. 또한, 통신 네트워크 연결과 무관하게 외부 전자 장치를 원격 제어할 수 있다.
또한, 전자 장치가 사용자의 음성을 인식한 결과에 따라 외부 전자 장치를 제어할 수 있으므로, 설령 외부 전자 장치가 자체적으로 음성 인식 기능을 구비하지 않은 경우에도, 외부 전자 장치에 대하여 음성 인식 기반 제어 서비스를 제공할 수 있다.
도 1은 종래 기술의 문제점을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 전자 장치가 외부 전자 장치를 식별하는 일 예를 설명하기 위한 도면,
도 4a는 식별된 외부 전자 장치에 대한 정보를 제공하는 전자 장치의 일 예를 설명하기 위한 도면,
도 4b는 식별된 외부 전자 장치에 대한 정보를 제공하는 전자 장치의 일 예를 설명하기 위한 도면,
도 4c는 식별된 외부 전자 장치에 대한 정보를 제공하는 전자 장치의 일 예를 설명하기 위한 도면,
도 5a는 외부 전자 장치와의 네트워크 연결 여부를 문의하는 전자 장치의 UI(User Interface)의 일 예를 설명하기 위한 도면,
도 5b는 외부 전자 장치에 대한 원격 제어 여부를 문의하는 전자 장치의 UI(User Interface)의 일 예를 설명하기 위한 도면,
도 6은 사용자의 음성을 인식하여 외부 전자 장치를 제어하는 전자 장치의 일 예를 설명하기 위한 도면,
도 7a은 외부 전자 장치를 제어하기 위한 가이드를 제공하는 전자 장치의 일 예를 설명하기 위한 도면,
도 7b는 외부 전자 장치를 제어하기 위한 가이드를 제공하는 전자 장치의 일 예를 설명하기 위한 도면,
도 8a는 전자 장치에서 식별된 외부 전자 장치에 대한 정보를 제공하는 외부 장치의 일 예를 설명하기 위한 도면,
도 8b는 전자 장치가 외부 전자 장치를 제어하도록 하는 사용자 명령을 수신하여 전자 장치에 전송하는 외부 장치의 일 예를 설명하기 위한 도면,
도 9는 본 개시의 다양한 실시 예에 따른 전자 장치의 상세한 구성을 설명하기 위한 블록도,
도 10a는 입출력 포트를 구비하는 전자 장치의 예를 설명하기 위한 도면,
도 10b는 입출력 포트를 구비하는 전자 장치의 예를 설명하기 위한 도면,
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도, 그리고
도 12는 외부 전자 장치를 식별하고, 식별된 외부 전자 장치를 제어하는 방식이 설정되는 과정의 일 예를 설명하기 위한 알고리즘이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다.
전자 장치(100)는 냉장고, TV, 리모컨, 셋탑박스, 스마트 TV, 세탁기, 가스 레인지, 전자 레인지, 라디오, 유선 전화기, 에어컨, 밥솥, 오븐, 인터폰, 공기 청정기 등 다양한 가전기기 중 어느 하나일 수 있다. 또한, 전자 장치(100)는 데스크탑 PC, 태블릿 PC, 노트북 PC, 스마트폰 등으로 구현될 수도 있다.
도 2를 참조하면, 전자 장치(100)는 제1 통신부(110), 제2 통신부(120) 및 프로세서(130)를 포함할 수 있다.
제1 통신부(110)는 적어도 하나의 외부 장치(도시되지 않음)와 무선 혹은 유선으로 통신을 수행하기 위한 구성이다.
무선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 제1 통신부(110)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 제1 통신부(110)는 동축 케이블, 광섬유 케이블 등과 연결되어 LAN(Local Area Network) 통신을 수행함으로써 다양한 데이터를 송수신할 수도 있다.
제2 통신부(120) 역시 적어도 하나의 외부 장치(도시되지 않음)와 통신을 수행하기 위한 구성이다.
다만, 제2 통신부(120)는 제1 통신부(110)와 달리 일 방향의 통신만을 수행할 수도 있다. 구체적으로, 프로세서(130)는 외부 전자 장치(도시되지 않음)를 제어하기 위한 신호를 출력하도록 제2 통신부(120)를 제어할 수 있다.
제2 통신부(120)는 원격 제어를 위한 IR(Infra Red) 신호 또는 RF(Radio Frequency) 신호 등을 출력하기 위한 모듈을 포함할 수 있다. 프로세서(130)는 제2 통신부가 IR 신호 또는 RF 신호를 출력하는 방향을 제어할 수도 있다.
한편, 비록 도 2는 제1 통신부(110)와 제2 통신부(120)를 별도의 구성으로 표현하였으나, 제1 통신부 및 제2 통신부가 하나의 통신부로 구현되어 본 개시에 따른 제1 통신부(110) 및 제2 통신부(120)의 동작을 모두 수행하는 것도 가능하다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
이를 위해, 프로세서(130)는 RAM(Random Access Memory)(도시되지 않음), ROM(Read Only Memory)(도시되지 않음), CPU(central processing unit)(도시되지 않음), GPU(Graphic processing unit)(도시되지 않음) 및 시스템 버스(도시되지 않음) 등을 포함할 수 있으며, 전자 장치(100)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
일 실시 예에 따르면, 프로세서(130)는 입력 음성에 기초하여, 입력 음성을 출력한 외부 전자 장치(도시되지 않음)가, 제1 통신부(110)를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부를 판단할 수 있다.
구체적으로, 프로세서(130)는 입력 음성을 이용하여 입력 음성을 출력한 외부 전자 장치를 식별하고, 식별된 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결 가능한 전자 장치인지 판단할 수 있다.
입력 음성은, 전자 장치(100)에 구비된 사용자 입력부(도시되지 않음)에 포함된 마이크(도시되지 않음)를 통해 직접 입력된 것일 수도 있고, 적어도 하나의 외부 장치(도시되지 않음)의 마이크를 통해 입력되어 데이터/신호 형태로 전자 장치(100)의 입출력 포트(도시되지 않음), 방송 수신부(도시되지 않음) 또는 제1 통신부(110)를 통해 수신된 것일 수도 있다.
프로세서(130)는 입력 음성에 대한 정보에 기초하여 외부 전자 장치의 식별 정보를 획득할 수 있다. 이때, 입력 음성에 대한 정보는, 입력 음성의 특징 정보 및/또는 입력 음성이 인식되어 변환된 텍스트에 대한 정보일 수 있다.
입력 음성의 특징 정보는 입력 음성의 Pitch, Formant, LPCC(Linear Predictive Cepstral Coefficient), MFCC(Mel-Frequency Cepstral Coefficient), PLP(Perceptual Linear Predictive) 등 해당 음성에 대한 디지털화, 주파수 변환 등을 통해 얻어진 다양한 파라미터에 해당할 수 있다. 그리고, 입력 음성이 변환된 텍스트는, 입력 음성을 인식한 결과에 따른 텍스트이다.
프로세서(130)는, 복수의 외부 전자 장치의 음성에 대한 정보를 이용하여, 입력 음성을 출력한 외부 전자 장치의 식별 정보를 획득할 수 있다. 복수의 외부 전자 장치의 음성에 대한 정보는, 복수의 외부 전자 장치 각각이 출력하는 음성의 특징 정보 및/또는 복수의 외부 전자 장치 각각이 출력하는 음성이 변환된 텍스트에 대한 정보를 포함할 수 있다. 입력 음성을 출력한 외부 전자 장치가 복수의 외부 전자 장치 중 하나인 경우, 프로세서(130)는 외부 전자 장치를 식별할 수 있다.
복수의 외부 전자 장치의 음성에 대한 정보는, 전자 장치(100)에 기저장될 수 있고 또는 서버(도시되지 않음) 등에 저장되어 있는 것을 프로세서(130)가 제1 통신부(110) 또는 입출력 포트(도시되지 않음) 등을 통해 수신하여 이용할 수도 있다.
복수의 외부 전자 장치의 음성에 대한 정보가 서버(도시되지 않음)에 저장된 경우, 프로세서(130)는, 입력 음성이 변환된 텍스트에 대응되는 음성을 출력하는 외부 전자 장치를 서버를 통해 검색하여, 외부 전자 장치의 제품명 및 제조사 중 적어도 하나에 대한 정보를 획득할 수 있다.
예로, 서버에 저장된 음성에 대한 정보에 따르면, A 회사의 TV '1000(제품 번호)'은 전원 종료 시 "전원을 종료합니다."라는 음성을 출력하고, B 회사의 TV '0001'은 "전원 종료"라는 음성을 출력하는 경우를 가정할 수 있다. 이때, 만약, 프로세서(130)가 입력 음성을 인식한 결과가 "전원 종료"라는 텍스트에 대응된다면, 프로세서(130)는 입력 음성을 출력한 외부 전자 장치가 B사의 '0001' TV라는 점을 식별할 수 있다.
한편, 비록 상술한 예는 입력 음성이 변환된 텍스트만이 고려된 것이지만, 프로세서(130)가 입력 음성의 특징 정보도 함께 고려할 수 있음은 물론이다.
도 3은 전자 장치가 외부 전자 장치를 식별하는 일 예를 설명하기 위한 도면이다. 도 3은 전자 장치(100)가 냉장고로 구현된 경우를 상정한 것인데, 도 3에 도시된 냉장고는 디스플레이를 포함하고 있지만, 디스플레이를 포함하지 않거나 및/또는 그밖에 정수기 등 별도의 구성을 추가로 포함한 냉장고도 가능함은 물론이다.
도 3을 참조하면, 냉장고로 구현된 전자 장치(100)는 밥솥(200-1)으로부터 출력된 "취사가 완료되었습니다."라는 음성 및 전자레인지(200-2)로부터 출력된 "띠~ 띠~ 띠~"라는 음성을 입력받고, 입력된 음성에 대한 정보를 기저장된 복수의 장치의 음성에 대한 정보와 비교하여 밥솥(200-1) 및 전자 레인지(200-2)의 식별 정보, 즉 제조사 및 제품명을 식별할 수 있다.
프로세서(130)는 외부 전자 장치의 식별 정보에 기초하여 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있는 전자 장치에 해당하는지 여부를 판단할 수 있다.
이때, 프로세서(130)는 제1 통신부(110)와 동일한 네트워크를 통해 연결될 수 있는 전자 장치에 대한 리스트 정보에 외부 전자 장치가 포함되어 있는지 여부를 식별할 수 있다. 식별 결과 포함되어 있다면, 프로세서(130)는 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있다고 판단할 수 있다. 반면, 포함되어 있지 않다면, 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 없다고 판단할 수 있다. 이 경우, 리스트 정보는 전자 장치(100)에 저장되어 있을 수 있고 또는 서버(도시되지 않음)에 저장된 것일 수도 있다.
또는, 프로세서(130)는 서버(도시되지 않음) 등으로부터 외부 전자 장치의 식별 정보에 대응되는 통신 정보를 획득하고, 획득된 통신 정보에 따라 제1 통신부(110)를 통해 외부 전자 장치에 신호를 전송한 뒤, 그에 대한 응답 신호가 외부 전자 장치로부터 수신되는지 식별할 수도 있다. 통신 정보를 획득할 수 없거나 또는 신호를 전송하였음에도 응답 신호가 수신되지 않는 경우, 프로세서(130)는 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 없다고 판단할 수 있다. 반면, 응답 신호가 수신되는 경우, 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있다고 판단할 수 있다.
도 4a 내지 도 4c는 식별된 외부 전자 장치에 대한 정보를 제공하는 전자 장치(100)의 예를 설명하기 위한 도면이다.
도 4a를 참조하면, 전자 장치(100)의 디스플레이(140)는 주변 기기를 안내하는 User Interface(UI)(450)를 디스플레이할 수 있다. UI(450)는, 전자 장치(100)의 주변에 '가스레인지 A'가 있으며, '가스레인지 A'는 전자 장치(100)와 동일한 네트워크에 연결되어 있고, '가스레인지 A'는 전자 장치(100)를 통해 제어될 수 있다는 점을 나타내고 있다.
도 4b는 도 3과 같이 전자 장치(100)의 주변에 있던 밥솥(200-1)이 "취사가 완료되었습니다."라는 음성을 출력함에 따라, 전자 장치(100)가 밥솥(200-1)의 존재를 식별한 상황을 가정한다. 아울러, 도 4b는 전자 장치(100)와 밥솥(200-1)이 동일한 네트워크에 연결될 수 있는 상황을 가정한다.
도 4b를 참조하면, UI(450)는, 전자 장치(100)의 주변에 '밥솥 B'(밥솥(200-1)의 제품명)가 있으며, '밥솥 B'가 전자 장치(100)와 동일한 네트워크에 연결될 수 있음을 디스플레이 할 수 있다.
도 4c는 도 3과 같이 전자 장치(100)의 주변에 있던 전자레인지(200-2)가 "띠~ 띠~ 띠~"라는 음성을 출력함에 따라, 전자 장치(100)가 전자레인지(200-2)의 존재를 식별한 상황을 가정한다. 아울러, 도 4c는 전자 장치(100)와 전자레인티(200-2)가 동일한 네트워크에 연결될 수 없는 상황을 가정한다.
도 4c를 참조하면, UI(450)는, 전자 장치(100)의 주변에 '전자레인지 A'(전자레인지(200-2)의 제품명)가 있으며, '전자레인지 A'는 전자 장치(100)와 동일한 네트워크에 연결될 수 없음을 디스플레이 할 수 있다.
한편, 상술한 도 4a 내지 도 4c를 통해서는 각 UI들이 시각적으로 디스플레이되는 내용만이 개시되었으나, 음성으로 출력되거나 또는 그 외의 방식을 통해 출력되는 경우도 가능하다.
프로세서(130)는 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있는지 여부에 따라 제1 통신부 또는 제2 통신부를 통해 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송할 수 있다.
구체적으로, 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있는 경우, 프로세서(130)는 해당 네트워크를 통해 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송하도록 제1 통신부(110)를 제어할 수 있다. (이하 2개 이상의 통신망 연결 가능 실시 예입니다.)이때, 제1 통신부(110)는 와이파이, 블루투스 등 다양한 통신 방식 중 특정한 하나의 통신 방식에 따른 하나의 네트워크에만 연결되는 것이 아니라, 두 개 이상의 통신 방식에 각각 대응되는 두 개 이상의 네트워크에 연결될 수도 있다. 또는, 동일한 통신 방식에 따른 복수의 서로 다른 네트워크에 연결될 수도 있다.
반면, 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 없는 경우, 프로세서(130)는, 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송(출력)하도록 제2 통신부를 제어할 수 있다.
제1 통신부를 이용하는 경우와 제2 통신부를 이용하는 경우 각각에 대하여 외부 전자 장치를 제어하기 위한 신호가 생성 및 전송되는 통신 방식은 서로 다를 수 있다. 제1 통신부를 이용하는 경우 네트워크를 통한 통신을 이용하지만, 제2 통신부를 이용하는 경우 네트워크 통신을 이용할 수 없기 때문이다.
예로, 제1 통신부는 와이파이(WiFi) 또는 블루투스(Bluetooth) 등의 통신 방식을 통해 외부 전자 장치와 동일한 네트워크에 연결되어 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송할 수 있는 반면, 제2 통신부는 외부 전자 장치를 원격 제어하기 위한 적외선 신호를 출력할 수 있다.
외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있는 경우, 프로세서(130)는 외부 전자 장치를 해당 네트워크에 연결하기 위한 가이드를 출력할 수 있다. 이때, 가이드는 외부 전자 장치와 전자 장치(100)가 동일한 네트워크에 연결될 수 있음을 알릴 수 있다. 또한, 가이드는 시각적으로 디스플레이 되거나 또는 음성으로 출력되는 User Interface(UI)로써 제공될 수 있고, 본 UI를 통해, 제1 통신부(110)를 통해 외부 전자 장치와 동일한 네트워크에 연결할 것인지 여부를 선택하는 사용자 명령이 수신될 수 있다.
반면, 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 없는 경우, 프로세서(130)는 외부 전자 자치와 전자 장치(100)가 동일한 네트워크에 연결될 수 없음을 안내하기 위한 가이드를 출력할 수 있다.
외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 없는 경우, 프로세서(130)는 제2 통신부(120)에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는지 여부를 판단할 수 있다.
예로, 제2 통신부(120)가 적외선 신호를 생성 및 출력할 수 있는 경우, 프로세서(130)는 외부 전자 장치를 원격 제어하기 위한 적외선 신호의 코드나 명령어 정보를 획득할 수 있는지 판단할 수 있다. 이때, 프로세서(130)는 외부 전자 장치의 식별 정보를 이용하여, 외부 전자 장치를 원격 제어하기 위한 적외선 신호의 코드나 명령어 정보를 전자 장치(100) 또는 외부 서버(도시되지 않음)에서 검색할 수 있다.
제2 통신부(120)에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는 경우, 프로세서(130)는 제2 통신부(120)에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 가이드를 출력할 수 있다. 이때, 가이드는 외부 전자 장치를 제어할 수 있음을 알릴 수 있다. 또한, 가이드는 시각적 또는 청각적 User Interface(UI) 형태로 제공될 수 있고, 본 UI를 통해, 전자 장치(100)를 이용하여 외부 전자 장치를 제어할 것인지 여부를 선택하는 사용자 명령이 수신될 수 있다.
만약, (외부 전자 장치와 동일한 네트워크에 연결될 수 없고) 제2 통신부(120)에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 없는 경우, 프로세서(130)는 전자 장치(100)를 통해 외부 전자 장치를 제어할 수 없음을 안내하기 위한 가이드를 출력할 수 있다. 또한, 프로세서(130)는 외부 전자 장치를 제어하기 위한 다른 방법(ex: 외부 전자 장치의 기능과 그에 대응되는 (사용자가 외부 전자 장치에 대해 직접 수행하는) 조작 방법)에 대한 가이드를 출력할 수도 있다.
도 5a 및 도 5b는 외부 전자 장치와의 연결 여부 또는 외부 전자 장치의 제어 여부를 문의하는 전자 장치(100)의 UI(User Interface)에 대한 예를 설명하기 위한 도면이다.
도 5a는 디스플레이(140)를 통해 '밥솥 B'와의 네트워크 연결 여부를 선택하도록 하는 User Interface(UI)가 디스플레이된 상황을 도시한다. 도 5a는 '밥솥 B'와 제1 통신부(110)가 동일한 네트워크에 연결될 수 있는 상황을 가정한다.
도 5a에 있어, UI(510)는, 도 4b의 상황에서 자동으로 출력된 것일 수도 있고, 도 4b 또는 4c의 상황에서 '밥솥 B'에 대한 정보를 나타내는 부분(452)을 사용자가 터치한 결과 출력된 것일 수도 있다.
도 5a의 상태에서, 사용자가 "예"라고 발화하거나 또는 UI(510) 상의 '예'를 터치한 경우, 전자 장치(100)는 제1 통신부(110)를 통해 '밥솥 B'(밥솥(200-1))와 외부 전자 장치와 동일한 네트워크에 연결될 수 있다. 그리고, 연결된 네트워크를 통해, 전자 장치(100)는 '밥솥 B'(밥솥(200-1))를 제어할 수 있다.
한편, 도 5a의 상태에서, 네트워크 연결 여부에 대한 사용자의 선택이 완료되면, 다시 도 4b와 같이 UI(510)가 없고 UI(450)만 보이는 상태로 돌아갈 수도 있다.
도 5b는 디스플레이(140)를 통해 '전자레인지 A'(전자레인지(200-2))를 IR 원격 제어할 것인지 여부를 선택하도록 하는 User Interface(UI)(520)가 디스플레이된 상황을 도시한다. 도 5b는 '전자레인지 A'와 제1 통신부(110)가 동일한 네트워크에 연결될 수는 없지만, 제2 통신부(120)를 통해 '전자레인지 A'를 적외선 원격 제어할 수 있는 상황을 가정한다.
도 5b에 있어, UI(520)는 도 4c의 상황에서 자동으로 출력된 것일 수도 있고, 또는 도 4c의 상황에서 '전자레인지 A'에 대한 정보를 나타내는 부분(453)을 사용자가 터치한 결과 출력된 것일 수도 있다.
도 5b의 상태에서, 사용자가 "예"라고 발화하거나 또는 UI(520) 상의 '예'를 터치한 경우, 전자 장치(100)는 제2 통신부(110)를 통해 '전자레인지 A'(전자레인지(200-2)를 원격 제어하기 위한 모드로 전환될 수 있다.
한편, 도 5a 및 도 5c와 같이 각각의 UI가 반드시 시각적으로 디스플레이되어야 하는 것은 아니고, 음성 또는 그 밖의 방식으로 출력될 수도 있다. 아울러, 비록 도 5b에서는 UI(520)가 "IR 원격 제어"라는 기술적 제어 방식을 구체적으로 알려주고 있기는 하지만, 이를 알려주기 않고 단순히 "전자레인지 A에 대한 제어를 시작하시겠습니까?" 또는 "전자레인지 A를 제어하기 위한 모드로 전환하시겠습니까?" 등의 문구도 가능하다. 물론 상술한 문구들에만 한정되는 것은 아니다.
제1 통신부를 이용하든 제2 통신부를 이용하든, 외부 전자 장치를 제어하기 위한 신호는 입력된 사용자 음성에 기초한 것일 수 있다. 구체적으로, 입력된 사용자 음성이 변환된 텍스트의 내용에 기초한 것일 수 있다.
입력된 사용자 음성은, 전자 장치(100)에 구비된 사용자 입력부(도시되지 않음)에 포함된 마이크(도시되지 않음)를 통해 직접 입력된 것일 수도 있고, 적어도 하나의 외부 장치(도시되지 않음)의 마이크를 통해 입력되어 데이터/신호 형태로 전자 장치(100)의 입출력 포트(도시되지 않음), 방송 수신부(도시되지 않음) 또는 제1 통신부(110)를 통해 수신된 것일 수도 있다.
외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있는 경우, 프로세서(130)는 제1 통신부(110)를 통해 해당 네트워크에 전자 장치(100)를 연결하고, 입력된 사용자 음성에 따라 외부 전자 장치를 제어하기 위한 신호를 해당 네트워크를 통해 외부 전자 장치로 전송하도록 제1 통신부(110)를 제어할 수 있다.
외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 없지만, 제2 통신부(120)에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는 경우, 프로세서(130)는 획득된 정보 및 입력된 사용자 음성에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하고 생성된 신호를 외부 전자 장치로 전송하도록 제2 통신부(120)를 제어할 수 있다.
도 6은 입력된 사용자의 음성을 인식하여 외부 전자 장치를 제어하는 전자 장치(100)의 일 예를 설명하기 위한 도면이다.
도 6은, 도 5a의 UI(510)에서 '예'가 선택되고, 도 5b의 UI(520)에서도 '예'가 선택된 상황을 가정한다.
도 6을 참조하면, 냉장고인 전자 장치(100)는 사용자(610)로부터 사용자 음성을 입력받고, 해당 사용자 음성을 인식한 결과에 따라 밥솥(200-1)을 제어하기 위한 신호를 네트워크 통신을 통해 밥솥(200-1)에 전송할 수 있다.
예를 들어, 사용자(610)가 "취사 시작"이라고 발화한 경우, 전자 장치(100)는 이를 인식한 결과에 따른 제어 신호를 네트워크 통신을 통해 밥솥(200-1)으로 전송할 수 있고, 그 결과 밥솥(200-1)은 자체적으로 음성 인식 기능이 없음에도 사용자(610)의 음성에 따라 취사를 시작할 수 있다.
도 6을 참조하면, 냉장고인 전자 장치(100)는 사용자(610)로부터 사용자 음성을 입력받고, 해당 사용자 음성을 인식한 결과에 따라 전자레인지(200-2)를 제어하기 위한 신호를 출력할 수 있다.
예를 들어, 전자레인지(200-2)가 조리 동작 중인 상태에서 사용자(610)가 "조리 그만해"라고 발화한 경우, 냉장고인 전자 장치(100)가 이를 인식한 결과에 따라 신호를 생성하여 출력할 수 있고, 출력된 신호를 수신한 전자레인지(200-2)는 자체적으로 음성 인식 기능이 없더라도 전자 장치(100)에 입력된 사용자(610)의 음성에 따라 조리를 멈출 수 있다.
전자 장치(100)가 외부 전자 장치를 제어하기 위한 사용자 음성을 수신 및 인식하는 과정에서 또는 그에 앞서서, 프로세서(130)는 외부 전자 장치를 제어하기 위한 발화 내용을 안내하는 가이드를 출력할 수 있다. 이때, 가이드는, 외부 전자 장치의 하나 이상의 기능 및 각 기능과 매칭되는 발화 내용을 포함할 수 있다.
이 경우, 프로세서(130)는 외부 전자 장치의 현재의 상태 정보를 추가로 고려할 수 있다. 이를 위해, 프로세서(130)는 외부 전자 장치로부터 출력된 입력 음성이 변환된 텍스트에 기초하여 외부 전자 장치의 상태 정보를 획득할 수 있다.
즉, 프로세서(130)는 입력 음성을 통해, 입력 음성을 출력한 외부 전자 장치가 무엇인지 식별함에 더하여, 입력 음성을 출력한 외부 전자 장치의 상태도 식별할 수 있다.
도 7a 및 7b는 외부 전자 장치를 제어하기 위한 발화 내용을 안내하는 가이드를 제공하는 전자 장치의 일 예를 설명하기 위한 도면이다.
도 7a는 네트워크 연결된 밥솥(200-1)을 제어하기 위한 발화 내용 가이드(710), 도 7b는 원격 제어 가능한 전자레인지(200-2)를 제어하기 위한 발화 내용 가이드(720)를 도시한다.
도 7a를 참조하면, 전자 장치(100)와 네트워크 연결된 '밥솥 B'(밥솥(200-1))을 제어하기 위한 발화 내용 가이드(710)가 디스플레이(140)에 디스플레이된 것을 확인할 수 있다.
발화 내용 가이드(710)에 따르면, 사용자가 "보온 종료"를 발화하면 전자 장치(100)는 밥솥(200-1)이 보온 동작을 종료하도록 밥솥(200-1)을 제어할 수 있다.
또한, 사용자가 "전원 꺼"를 발화하면 전자 장치(100)는 밥솥(200-1)이 전원을 끄도록 밥솥(200-1)을 제어할 수 있다.
한편, 도 7a 이전에, 전자 장치(100)는 밥솥(200-1)에서 출력된 "취사가 완료되었습니다."라는 음성을 입력받고, 이를 인식하여, 밥솥(200-1)이 취사를 끝내고 자동으로 '보온' 동작으로 전환된 것으로 밥솥(200-1)의 상태를 판단했을 수 있다.
그 결과, 도 7a를 참조하면, 발화 내용 가이드(710)는 밥솥(200-1)의 현재 상태에 대한 정보(보온)를 포함할 수 있다. 또한, 발화 내용 가이드(710)에 포함된 "보온 종료" 및 "전원 꺼" 등의 발화 내용은, '보온 종료' 또는 '전원 OFF' 등 밥솥(200-1)의 현재 상태(보온)에 적합한 명령 또는 기능에 대응되는 것일 수 있다.
도 7b를 참조하면, 전자 장치(100)를 통해 '전자레인지 A'(전자레인지(200-2))를 제어하기 위한 발화 내용 가이드(720)가 디스플레이(140)에 디스플레이된 것을 확인할 수 있다.
발화 내용 가이드(720)에 따르면, 사용자가 "조리 그만해"를 발화하면 전자 장치(100)는 전자레인지(200-2)가 현재 수행 중인 조리 동작을 종료하도록 전자레인지(200-2)를 제어할 수 있다.
또한, 사용자가 "OO 분 추가"를 발화하면 전자 장치(100)는 전자레인지(200-2)이 가 현재 수행 중인 조리의 시간을 5분 추가하도록 전자레인지(200-2)를 제어할 수 있다.
한편, 도 7b 이전에, 전자 장치(100)는 전자레인지(200-2)에서 출력된 "10분 조리를 시작합니다."라는 음성을 입력받고, 이를 인식하여, 조리 중인 전자레인지(200-2)의 상태를 판단했을 수 있다. 구체적으로, "10분 조리를 시작합니다."라는 음성이 입력된 시점을 고려하여, 현재 남은 조리 시간이 얼마인지도 판단했을 수 있다.
그 결과, 도 7b를 참조하면, 발화 내용 가이드(720)는 전자레인지(200-2)의 현재 상태에 대한 정보(조리 중, 3분 50초 남음)를 포함할 수 있다. 또한, 발화 내용 가이드(720)에 포함된 "조리 그만해" 및 "5분 추가" 등의 발화 내용은, '조리 중지' 또는 '조리 시간 5분 추가' 등 전자레인지(200-2)의 현재 상태(조리 중, 3분 50초 남음)에 적합한 명령 또는 기능에 대응되는 것일 수 있다.
한편, 상술한 도 7a 및 도 7b의 실시 예는 각 가이드(710, 720)가 시각적으로 출력되는 예에 해당하지만, 이와 달리 각 가이드는 청각적으로 출력되거나 또는 그 외의 방식으로 출력될 수도 있다.
상술한 실시 예들에 있어서, 외부 전자 장치를 제어하기 위한 사용자 음성을 수신 및 인식하는 과정은 전자 장치(100)에서 자체적으로 수행될 수도 있지만, 그 중 적어도 일부 과정이 하나 이상의 외부 장치를 통해 수행될 수도 있다.
관련하여, 사용자 음성을 수신하는 예로, 외부 전자 장치를 제어하기 위한 사용자 음성이 전자 장치(100)의 마이크(도시되지 않음)를 통해 전자 장치(100)에 직접 입력되는 것이 아니라, 리모컨(도시되지 않음) 또는 스마트폰(도시되지 않음)의 마이크(도시되지 않음)를 통해 입력된 사용자 음성이 디지털화된 신호/데이터가 블루투스 또는 와이파이 등의 방식으로 전자 장치(100)로 수신될 수도 있다.
또한, 사용자 음성에 대한 인식을 수행하는 예로, 전자 장치(100)의 프로세서(130)가 사용자 음성을 텍스트로 변환할 수도 있지만, 사용자 음성에 대한 데이터/신호를 서버(도시되지 않음)로 전송하면 해당 서버가 사용자 음성에 대응되는 텍스트를 획득할 수도 있다.
이 경우, 획득된 텍스트에 대한 정보가 해당 서버에서 전자 장치(100)로 전송된 결과, 전자 장치(100)는 획득된 텍스트에 대응되는 기능을 수행하도록 외부 전자 장치를 제어할 수 있다. 또는, 획득된 텍스트에 대한 정보가 해당 서버에서 또 다른 별도의 서버로 전송된 후, 별도의 서버상에서 획득된 텍스트에 대응되는 외부 전자 장치의 기능이 식별되고, 식별된 기능에 대한 정보가 최종적으로 전자 장치(100)에 수신되면 전자 장치(100)는 해당 기능을 수행하도록 외부 전자 장치를 제어할 수도 있다.
한편, 상술한 실시 예들에서는, 프로세서(130)는 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 없는 경우에 제2 통신부를 이용하여 외부 전자 장치를 제어하는 경우만을 개시하였으나, 프로세서(130)는 외부 전자 장치가 제1 통신부(110)와 동일한 네트워크에 연결될 수 있는 경우에도 제2 통신부를 이용하여 외부 전자 장치를 제어할 수 있음은 물론이다.
한편, 상술한 도 4a 내지 도 4c, 도 5a 내지 도 5b, 도 7a 내지 도 7b 등을 통해서는 식별된 외부 전자 장치에 대한 정보 및 외부 전자 장치에 관한 UI를 전자 장치(100)가 직접 제공하는 실시 예들만을 설명하였으나, 식별된 외부 전자 장치에 대한 정보 및 외부 전자 장치에 대한 UI는 전자 장치(100)와 유/무선으로 통신이 가능한 별도의 외부 장치(도시되지 않음)를 통해 제공될 수도 있다.
또한, 사용자 명령이 도 6처럼 전자 장치(100)에 직접 수신되는 것이 아니라, 별도의 외부 장치를 통해 전자 장치(100)에 수신됨으로써, 사용자 명령을 수신한 외부 장치의 제어에 따라 전자 장치(100)가 하나 이상의 외부 전자 장치를 제어할 수도 있다.
별도의 외부 장치는 스마트폰, TV, 리모컨, PC 등 다양한 전자 기기에 해당할 수 있다.
관련하여, 도 8a 및 도 8b는, 전자 장치(100)와 별도로 구현된 외부 장치(800)가 전자 장치(100)를 통해 식별된 외부 전자 장치에 대한 정보를 제공하거나 및/또는 사용자 명령을 수신하는 실시 예를 도시한다.
도 8a를 참조하면, 스마트폰인 외부 장치(800)는, 냉장고인 전자 장치(100)와 통신을 수행하여 전자 장치(100)가 식별한 외부 전자 장치들(200-1, 200-2)에 대한 정보를 수신하고, 이를 이용하여 주변 기기를 안내하는 User Interface(UI)(450)를 디스플레이할 수 있다.
또한, 도 8a에는 도시되지 않았으나, 외부 장치(800)는 도 5a 또는 도 5b와 같이 네트워크 연결 여부 또는 원격 제어 여부를 선택하도록 하는 UI를 제공할 수도 있다.
도 8b는, 외부 장치(800)가, 식별된 외부 전자 장치들(200-1, 200-2) 중 밥솥 B(200-1)를 제어하기 위한 발화 내용 가이드(710)를 디스플레이한 상황을 도시한다.
도 8b를 참조하면, 외부 장치(800)는 외부 장치(800)의 마이크(도시되지 않음)를 통해 수신된 사용자(810)의 음성을 인식(ex. "보온 종료", "전원 꺼")함으로써 사용자 명령을 수신하고, 수신된 사용자 명령에 대한 정보를 전자 장치(100)로 전송할 수 있다. 이때, 전자 장치(100)는 수신된 정보를 이용하여 밥솥 B(200-1)를 제어할 수 있다.
한편, 도 8b에는 도시되지 않았으나, 식별된 외부 전자 장치들(200-1, 200-2) 중 전자레인지 A(200-2)를 제어하기 위한 발화 내용 가이드 역시 외부 장치(800)를 통해 제공될 수 있음은 물론이다. 이 경우, 전자 장치(100)는 외부 장치(800)를 통해 인식된 사용자 명령에 대한 정보를 외부 장치(800)로부터 수신하고, 이를 이용하여 전자레인지 A(200-2)를 제어할 수 있다.
한편, 상술한 도 8a 및 도 8b의 실시 예는 각 UI 또는 가이드가 시각적으로 출력되는 예에 해당하지만, 이와 달리 각 UI 또는 가이드가 청각적으로 출력되거나 또는 그 외의 방식으로 출력될 수도 있다.
도 9는 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 상세한 구성을 설명하기 위한 블록도이다.
도 9를 참조하면, 전자 장치(100)는 제1 통신부(110), 제2 통신부(120) 및 프로세서(130) 외에도 디스플레이(140), 음성 출력부(150), 사용자 입력부(160) 및 스토리지(170) 중 적어도 하나를 더 포함할 수 있다.
디스플레이(140)는 프로세서(130)의 제어에 따라 하나 이상의 이미지를 표시하기 위한 구성이다. 이를 위해, 디스플레이(140)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED) 등으로 구현될 수 있다. LCD로 구성되는 경우, 디스플레이(170) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로(도시되지 않음), 백라이트 유닛(도시되지 않음) 등도 함께 포함될 수 있다.
한편, 디스플레이(140)는 사용자의 터치 조작을 감지할 수 있는 터치 패널이 포함된 터치스크린 형태로 구현될 수도 있으며, 이 경우 사용자 입력부(160)에 포함되는 것으로 볼 수 있다.
프로세서(130)는, 입력 음성을 출력한 외부 전자 장치에 대한 식별 정보, 외부 전자 장치와의 네트워크 연결에 대한 정보, 외부 전자 장치와의 네트워크 연결을 위한 UI, 외부 전자 장치의 원격 제어를 위한 UI, 외부 전자 장치의 하나 이상의 기능에 대응되는 발화 내용을 알리기 위한 가이드 등을 디스플레이하도록 디스플레이(140)를 제어하 수 있다.
음성 출력부(150)는 프로세서(140)의 제어에 따라 음성을 출력하기 위한 구성이다. 음성 출력부(150)는 스피커(도시되지 않음) 및/또는 헤드폰/이어폰 출력 단자(도시되지 않음)를 포함할 수 있다.
프로세서(140)는, 외부 전자 장치에 대한 식별 정보, 외부 전자 장치와의 네트워크 연결에 대한 정보, 외부 전자 장치와의 네트워크 연결을 위한 UI, 외부 전자 장치의 원격 제어를 위한 UI, 외부 전자 장치의 하나 이상의 기능에 대응되는 발화 내용을 알리기 위한 가이드 등을 음성 형태로 출력하도록 음성 출력부(150)를 제어할 수 있다.
사용자 입력부(160)는 전자 장치(100)가 사용자로부터 명령 또는 정보를 포함하는 사용자 입력을 수신하기 위한 구성이다.
사용자 입력부(160)는 하나 이상의 버튼, 키보드, 마우스(이상 도시되지 않음) 등을 포함할 수도 있다.
사용자 입력부(160)는 디스플레이(140)와 함께 구현된 터치 패널(도시되지 않음) 또는 별도의 터치 패드(도시되지 않음)를 포함할 수 있다. 이 경우, 전자 장치(100)는 외부 전자 장치와의 네트워크 연결 또는 외부 전자 장치에 대한 원격 제어에 대한 사용자 명령을 사용자 입력부(160)에 대한 사용자의 터치로 입력받을 수 있다. 또한, 외부 전자 장치의 적어도 하나의 기능을 수행하기 위한 명령을 사용자 입력부(160)에 대한 터치로 입력받을 수도 있다.
전자 장치(100)는 사용자 명령을 사용자의 모션으로서 입력받을 수 있다. 이 경우, 사용자 입력부(160)는 하나 이상의 카메라(도시되지 않음)를 포함하는 한편, 카메라(도시되지 않음)를 통해 촬영된 이미지를 획득할 수 있다. 이때, 하나 이상의 카메라(도시되지 않음)는 광센서를 포함하는 디지털 카메라일 수 있다. 그리고, 프로세서(130)는 사용자 입력부(160)에서 획득된 이미지로부터 사용자의 모션을 인식할 수 있다.
사용자 입력부(160)는 사용자 명령을 음성으로 입력받기 위해 마이크(도시되지 않음)를 포함할 수도 있다. 이때, 사용자 입력부(160)는 외부 전자 장치와의 네트워크 연결 또는 외부 전자 장치에 대한 원격 제어에 대한 사용자 명령에 대응되는 사용자의 음성을 입력받을 수 있다. 마이크를 통해 입력된 음성은 디지털화되어 디지털 신호/데이터 형태로 프로세서(130)로 전달될 수 있다.
또한, 외부 전자 장치의 적어도 하나의 기능을 수행하기 위한 사용자 명령에 대응되는 사용자의 음성을 입력받을 수도 있다. 이 경우, 전자 장치(100)는 마이크(도시되지 않음)를 통해 입력된 사용자의 음성을 인식하여 획득된 텍스트의 내용에 따라 외부 전자 장치를 제어할 수 있다.
사용자 입력부(160)는 마이크(도시되지 않음)를 통해 외부 전자 장치에서 출력된 음성을 입력받을 수 있다.
사용자 입력부(160)를 통해 입력 음성을 수신한 결과, 프로세서(130)는 입력 음성을 출력한 외부 전자 장치의 방향(전자 장치(100) 기준)을 식별할 수 있다. 이를 위해, 사용자 입력부(160)는 복수의 마이크(도시되지 않음)를 포함할 수 있으며, 프로세서(130)는 복수의 마이크를 통해 입력된 각 음성의 크기를 이용하여 외부 전자 장치의 방향을 식별할 수 있다. 예로, 복수의 마이크 중 입력 음성이 가장 크게 수신된 마이크가 향하는 방향을 외부 전자 장치의 방향으로 식별할 수 있다.
이때, 제2 통신부(120)는 외부 전자 장치의 방향에 따라 제어 신호의 출력 방향을 달리하기 위해 복수의 신호 생성기(도시되지 않음)를 포함할 수 있다. 복수의 신호 생성기 각각은 제2 통신부(120)에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성할 수 있으며, IR 신호 생성기 또는 RF 신호 생성기를 포함할 수 있다.
구체적으로, 프로세서(130)는, 외부 전자 장치의 기능에 대한 사용자 명령이 음성으로 수신되면, 복수의 신호 생성기 중 식별된 외부 전자 장치의 방향에 대응되는 신호 생성기를 통해서만 사용자 명령에 대응되는 적외선 신호를 출력하도록 제2 통신부(120)를 제어할 수도 있다. 또는, 프로세서(130)는, 식별된 외부 전자 장치의 방향에 따라, 복수의 적외선 신호 생성기가 생성 및 출력하는 신호의 크기가 서로 달라지도록 제2 통신부를 제어할 수도 있다.
스토리지(170)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장하기 위한 구성이다.
이를 위해, 스토리지(170)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등을 포함할 수 있다.
스토리지(170)에는 복수의 외부 전자 장치가 출력하는 음성에 대한 정보가 저장될 수 있다. 또한, 스토리지(170)에는 전자 장치와 동일한 네트워크에 연결될 수 있는 외부 전자 장치에 대한 리스트가 저장될 수 있다.
스토리지(170)에는 외부 전자 장치와의 네트워크 연결이 가능한 경우 사용자에게 제공되는 하나 이상의 가이드에 대한 정보, 외부 전자 장치와의 네트워크 연결이 불가능한 경우 사용자에게 제공되는 하나 이상의 가이드에 대한 정보 등이 저장될 수 있다.
또한, 그밖에 본 개시에 따른 전자 장치(100)가 동작하는 데에 필요한 다양한 정보가 저장될 수 있다.
한편, 도 9에는 도시되지 않았으나, 전자 장치(100)는 하나 이상의 외부 장치와 데이터/신호를 송수신하기 위한 입출력 포트(도시되지 않음)를 포함할 수 있다.
이를 위해, 입출력 포트는 HDMI 포트, 디스플레이 포트, RGB 포트, DVI(Digital Visual Interface) 포트, 썬더볼트 및 컴포넌트 포트 등 유선 포트로 구현될 수 있다.
입출력 포트는 HDMI 포트나 썬더볼트 등으로 구현되어 이미지 및 음성 신호를 함께 전송하도록 구현될 수도 있지만, 이미지 신호를 전송하는 제1 포트 및 음성 신호를 전송하는 제2 포트가 각각 별도로 구현된 것일 수도 있다.
입출력 포트(150)는 USB와 같은 인터페이스 모듈을 포함할 수 있으며, 이 같은 인터페이스 모듈을 통해 PC와 같은 외부 단말 장치와 물리적으로 연결되어 음성 또는 이미지 데이터를 송수신하거나 혹은 펌웨어 업그레이드를 수행하기 위한 펌웨어 데이터를 송수신할 수도 있다.
도 10a 및 10b는 입출력 포트를 구비하는 전자 장치(100)의 몇 가지 예를 설명하기 위한 도면이다.
도 10a 또는 10b를 참조하면, TV 또는 셋탑박스인 전자 장치(100)는 입출력 포트를 통해 셋탑박스(1010) 또는 TV(1040)와 다양한 데이터/신호를 주고받을 수 있다. 이때, 리모컨(1020)은 TV(100 또는 1040) 및/또는 셋탑박스(1010 또는 100)를 원격 제어하기 위한 신호를 전송할 수 있다.
도 10a는 TV인 전자 장치(100) 및 셋탑박스(1010)를 도시한다.
이 경우, TV인 전자 장치(100)에는 외부 전자 장치와 동일한 네트워크에 연결될 수 있는 경우 제공되는 가이드 및 외부 전자 장치와 동일한 네트워크에 연결될 수 없는 경우에 제공되는 가이드에 대한 정보가 저장되어, 해당 가이드들이 상황에 따라 디스플레이(140) 및/또는 음성 출력부(150)를 통해 출력될 수 있다.
또는, 전자 장치(100)가 외부 전자 장치와 동일한 네트워크에 연결될 수 있는 경우 제공되는 가이드 및 외부 전자 장치와 동일한 네트워크에 연결될 수 없는 경우에 제공되는 가이드에 대한 정보가 셋탑박스(1010)에 저장되는 한편, TV인 전자 장치(100)는 상황에 따라 입출력 포트를 통해 셋탑박스(1010)로부터 상술한 정보들을 수신하고, 수신된 정보를 이용하여 해당 가이드들을 상황에 따라 디스플레이(140) 및/또는 음성 출력부(150)를 통해 출력할 수도 있다.
도 10a에 있어, TV인 전자 장치(100)에 포함된 마이크(도시되지 않음)를 통해 사용자 음성 또는 외부 전자 장치의 음성을 수신할 수도 있고, 셋탑박스(1010) 또는 리모컨(1020)을 통해 입력된 음성이 디지털화된 신호/데이터가 입출력 포트 또는 통신부(110)를 통해 전자 장치(100)로 수신될 수도 있다.
도 10b는 셋탑박스인 전자 장치(100)가 TV(1040)와 연결된 상황을 도시한다.
이 경우, 전자 장치(100)가 외부 전자 장치와 동일한 네트워크에 연결될 수 있는 경우 제공되는 가이드 및 외부 전자 장치와 동일한 네트워크에 연결될 수 없는 경우 제공되는 가이드에 대한 정보가 셋탑박스인 전자 장치(100)에 저장되어 있는 한편, 전자 장치(100)는 상황에 따라서 입출력 포트를 통해 TV(1040)에 상술한 정보들을 전송하고, 그 결과 TV(1040)에 포함된 디스플레이 및/또는 음성 출력부를 통해 해당 가이드들이 상황에 따라 출력될 수도 있다.
도 10b에 있어, 셋탑박스인 전자 장치(100)에 포함된 마이크(도시되지 않음)를 통해 사용자 음성 또는 외부 전자 장치의 음성을 수신할 수도 있고, TV(1040) 또는 리모컨(1020)을 통해 입력된 음성이 디지털화된 신호/데이터가 입출력 포트 또는 통신부(110)를 통해 셋탑박스인 전자 장치(100)로 수신될 수도 있다.
도 10a 및 10b에 있어서, 전자 장치(100)는 제1 통신부(110)를 통해 리모컨(1020)으로부터 와이파이, 블루투스 또는 적외선 방식의 제어 신호를 수신할 수 있다.
이때, 제1 통신부(110)를 통해 외부 서버(도시되지 않음) 및 외부 전자 장치와도 (네트워크) 통신을 수행할 수 있다. 다만, 이 경우, 제1 통신부(110)가 하나의 구성으로 리모컨(1020), 외부 서버 및 외부 전자 장치와 통신을 수행할 수도 있고, 제1 통신부(110) 내에, 리모컨(1020)과 통신을 수행하는 제3 통신부(도시되지 않음)가 외부 서버 및 외부 전자 장치와 (네트워크) 통신을 수행하기 위한 제4 통신부(도시되지 않음)와 별도로 구현될 수도 있다.
예로, 제1 통신부(110)가 와이파이 방식으로 외부 서버, 외부 전자 장치 및 리모컨(1020) 각각과 모두 통신을 수행할 수도 있고, 다른 예로, 제1 통신부(110) 내에, 외부 서버 및/또는 외부 전자 장치와 와이파이, 블루투스 또는 이더넷 방식으로 통신을 수행하는 제3 통신부 및 블루투스 방식으로 리모컨(1020)과 통신을 수행하는 제4 통신부가 별도로 구현될 수 있다.
한편, 도 10a 및 10b에 있어서, 리모컨(1020)은, 도시된 것과 달리 실제 리모컨 장치인 경우뿐만 아니라, 스마트폰 등의 단말에 원격 제어를 위한 애플리케이션이 설치된 경우도 상정할 수도 있다. 이 경우, 스마트폰을 통해 TV 또는 셋탑박스의 원격 제어 및 원격 제어를 위한 음성 인식 등이 수행될 수 있다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다. 구체적으로는, 제1 통신부 및 제2 통신부를 포함하는 전자 장치의 제어 방법에 대한 것이다.
도 11을 참조하면, 본 제어 방법은, 입력 음성에 기초하여, 입력 음성을 출력한 외부 전자 장치가 제1 통신부를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부를 판단할 수 있다(S1110).
이때, 입력 음성에 대한 정보에 기초하여 외부 전자 장치의 식별 정보를 획득할 수 있다. 입력 음성에 대한 정보는, 입력 음성의 특징 정보 및/또는 입력 음성이 인식되어 변환된 텍스트에 대한 정보일 수 있다.
구체적인 일 예로, 입력 음성이 변환된 텍스트에 기초하여 외부 전자 장치의 식별 정보를 획득하고, 획득된 외부 전자 장치의 식별 정보에 기초하여 외부 전자 장치가 상기 네트워크에 연결될 수 있는 전자 장치에 해당하는지 여부를 판단할 수 있다.
이때, 복수의 외부 전자 장치별로 출력되는 음성에 대한 정보가 저장된 서버를 통해, 입력 음성이 변환된 텍스트에 대응되는 음성을 출력하는 외부 전자 장치를 검색하여, 외부 전자 장치의 제품명 및 제조사 중 적어도 하나에 대한 정보를 획득할 수도 있다.
그리고, 외부 전자 장치가 제1 통신부를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부에 따라 제1 통신부 또는 제2 통신부를 통해 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송할 수 있다(S1120).
구체적으로, 외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 있는 경우, 해당 네트워크 및 제1 통신부를 통해 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송하고, 외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 없는 경우, 제2 통신부를 통해 외부 전자 장치를 제어하기 위한 신호를 외부 전자 장치로 전송할 수 있다.
이때, 외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 있는 경우, 제1 통신부를 통해 해당 네트워크에 전자 장치를 연결할 수 있다. 예로, 와이파이(WiFi) 및 블루투스(Bluetooth) 중 적어도 하나의 통신 방식을 통해 해당 네트워크에 연결되도록 제1 통신부를 제어할 수 있다.
그리고, 입력된 사용자 음성에 따라 외부 전자 장치를 제어하기 위한 신호를 해당 네트워크 및 제1 통신부를 통해 외부 전자 장치로 전송할 수 있다. 구체적으로는, 입력된 사용자 음성을 인식하여 텍스트를 획득하고, 외부 전자 장치가 획득된 텍스트에 대응되는 기능을 수행하도록 하는 제어 신호를 외부 전자 장치로 전송할 수 있다.
외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 있는 경우, 외부 전자 장치를 해당 네트워크에 연결하기 위한 가이드를 출력할 수도 있다.
반면, 외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 없는 경우, 외부 전자 장치가 해당 네트워크에 연결될 수 없음을 안내하기 위한 가이드를 출력할 수도 있다.
외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 없는 경우, 제1 통신부를 통해서는 외부 전자 장치를 제어할 수 없지만, 제2 통신부에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어할 수도 있다. 다만, 그에 앞서, 제2 통신부에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어할 수 있는지에 대해 먼저 식별 내지 판단할 필요가 있다.
이를 위해, 제2 통신부에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는지 여부를 판단할 수 있다. 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보는, 전자 장치 내 기저장된 정보에서 검색할 수도 있고 및/또는 외부 서버에 저장된 정보에서 검색할 수도 있다.
만약, 제2 통신부에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는 경우, 획득된 정보 및 입력된 사용자 음성에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하고, 생성된 신호를 제2 통신부를 통해 외부 전자 장치로 전송할 수 있다. 구체적으로, 외부 전자 장치를 제어하기 위한 적외선 신호를 제2 통신부를 통해 외부 전자 장치로 전송할 수 있다.
외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 없고, 제2 통신부에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수도 없는 경우, 전자 장치를 통해 외부 전자 장치를 제어할 수 없음을 안내하기 위한 가이드를 출력할 수 있다.
한편, 본 제어 방법은, 입력 음성이 변환된 텍스트에 기초하여 외부 전자 장치의 상태 정보를 획득하고, 획득된 외부 전자 장치의 상태 정보에 기초하여 외부 전자 장치를 제어하기 위한 발화 내용을 안내하는 가이드를 출력할 수 있다. 즉, 외부 전자 장치의 현재 상태에 맞는 외부 전자 장치의 기능에 대한 발화 내용을 안내하여, 사용자가 외부 전자 장치의 상태에 맞는 명령에 대응되는 사용자 음성을 발화하도록 유도한다.
이는 물론, 전자 장치를 통해 외부 전자 장치를 제어할 수 있는 상황을 전제로 하는 것이다. 구체적으로, 외부 전자 장치가 제1 통신부와 동일한 네트워크에 연결될 수 있거나 및/또는 제2 통신부에서 이용되는 통신 방식에 따라 외부 전자 장치를 제어할 수 있는 상황을 의미한다.
도 12는 외부 전자 장치를 식별하고, 식별된 외부 전자 장치를 제어하는 방식이 설정되는 과정의 일 예를 설명하기 위한 알고리즘이다.
도 12를 참조하면, 입력된 외부 음성이 감지된(S1205) 후 해당 음성을 처리하여 그로부터 특징 정보를 추출할 수 있다(S1210). 특징 정보는 입력된 음성의 Pitch, Formant, LPCC(Linear Predictive Cepstral Coefficient), MFCC(Mel-Frequency Cepstral Coefficient), PLP(Perceptual Linear Predictive) 등 해당 음성에 대한 디지털화, 주파수 변환 등을 통해 얻어진 다양한 파라미터에 해당할 수 있다.
그리고, 추출된 특징 정보를 이용하여 해당 음성을 출력한 외부 전자 장치를 식별한다(S1215). 구체적으로, 전자 장치 내 또는 외부 서버에 저장된 복수의 외부 전자 장치의 음성에 대한 정보 중, 추출된 특징 정보에 대응되는 정보를 검색하여, 입력된 음성을 출력한 외부 전자 장치의 제품명 및/또는 제조사 등을 식별할 수 있다.
만약, 추출된 특징 정보를 이용하여 해당 음성을 출력한 외부 전자 장치를 식별할 수 없는 경우(S1215 - N), 입력된 음성을 인식한 결과 텍스트를 고려하여 입력된 음성을 출력한 외부 전자 장치를 식별할 수 있다(S1220). 구체적으로, 전자 장치 내 또는 외부 서버에 저장된 복수의 외부 전자 장치의 음성에 대한 정보 중 결과 텍스트에 대응되는 정보를 검색하여, 해당 텍스트와 동일한 텍스트에 대응되는 음성을 출력하는 외부 전자 장치를 식별할 수 있다.
만약, 입력된 음성을 인식한 결과 텍스트까지 고려해도 입력된 음성을 출력한 외부 전자 장치를 식별할 수 없는 경우(S1220 - N), 외부 전자 장치와 이미 통신 연결이 되어 있는 경우가 아닌 한 외부 전자 장치를 식별할 수 없으므로, 전자 장치를 통해 외부 전자 장치를 제어할 수는 없게 된다.
반면, 입력된 음성을 출력한 외부 전자 장치를 식별하는 데에 성공한 경우(S1215 - Y, S1220 - Y), 현재 외부 전자 장치가 전자 장치와 동일한 네트워크를 통해 연결되어 있는지(ex: IoT) 판단할 수 있다(S1225). 만약, 이미 동일한 네트워크를 통해 연결되어 있다면(S1225 - Y), 해당 네트워크를 통해 외부 전자 장치를 제어할 수 있다(S1230).
반면, 동일한 네트워크를 통해 연결되어 있는 상황이 아니라면(S1225 - N), 외부 전자 장치가 전자 장치의 제1 통신부와 동일한 네트워크에 연결될 수 있는지 판단할 수 있다(S1235).
만약, 동일한 네트워크에 연결될 수 있다면(S1235 - Y), 해당 네트워크를 통해 외부 전자 장치와 연결되어 외부 전자 장치를 제어할 수 있다(S1230).
반면, 동일한 네트워크에 연결될 수 없는 상황이라면(S1235 - N) 외부 전자 장치를 IR 신호 기반하여 원격 제어할 수 있는지 판단할 수 있다(S1240).
만약, IR 신호에 기반하여서도 외부 전자 장치를 제어할 수 없는 경우라면(S1240 - N), 전자 장치를 통해서 외부 전자 장치를 제어하는 것은 불가능하다는 알림을 제공할 수 있다(S1245).
반면, IR 신호에 기반하여서는 외부 전자 장치를 제어할 수 있는 경우라면(S1240 - Y), IR 신호를 이용하여 외부 전자 장치를 제어하는 모드로 진입할 수 있다(S1250).
이상 도 11 내지 도 12를 통해 설명 및 도시한 전자 장치의 제어 방법은, 도 2 및 도 9를 통해 도시 및 설명한 전자 장치(100)를 통해 구현될 수 있다. 또는, 전자 장치(100) 및 하나 이상의 외부 장치를 포함하는 시스템을 통해 구현될 수도 있다.
예로, 전자 장치(100)는 마이크(도시되지 않음)를 통해 외부 전자 장치의 음성을 수신할 뿐, 수신된 음성에 대한 정보는 서버(도시되지 않음)로 전송될 수 있다. 그 결과, 수신된 음성에 대한 정보를 이용하여 외부 전자 장치를 식별하고, 식별된 외부 전자 장치가 전자 장치(100) 및 서버와 동일한 네트워크에 연결될 수 있는지 판단하는 동작은 서버에서 이루어질 수 있다. 그리고, 외부 전자 장치가 전자 장치(100) 및 서버와 동일한 네트워크에 연결될 수 있는지에 대한 판단 결과에 따라 제공되는 가이드에 대한 정보 역시, 서버에서 전자 장치(100)로 전송된 결과 전자 장치(100)에서 시각적 또는 청각적으로 제공될 수 있다.
이후, 전자 장치(100)의 마이크를 통해 사용자 음성이 입력되면, 입력된 사용자 음성에 대한 정보가 서버로 전송된 결과 서버는 해당 음성을 인식하고, 인식된 결과에 대응되는 외부 전자 장치의 기능에 대한 정보를 전자 장치(100) 또는 외부 전자 장치에 전송할 수도 있다.
다른 예로, 전자 장치(100)가 입력 음성을 출력한 외부 전자 장치를 직접 식별한 뒤, 식별된 외부 전자 장치의 식별 정보를 서버(도시되지 않음)로 전송하면, 서버는 해당 외부 전자 장치가 전자 장치(100) 및 서버와 동일한 네트워크에 연결될 수 있는지 판단할 수 있다. 그리고, 판단 결과에 대한 정보를 전자 장치(100)에 전송하면, 전자 장치(100)는 그에 따른 가이드를 제공할 수 있다.
이때, 전자 장치(100)는 입력된 사용자 음성을 인식할 수 있으며, 인식된 사용자 음성에 대응되는 외부 전자 장치의 기능을 전자 장치 및/또는 서버에서 검색할 수 있다. 그리고, 해당 기능을 수행하도록 외부 전자 장치에 제어 신호를 전송할 수 있다. 구체적으로, 동일한 네트워크를 통해 연결이 가능한 경우 서버를 통해 외부 전자 장치로 제어 신호를 전송하고, 동일한 네트워크를 통해 연결이 불가능한 경우 외부 전자 장치에 곧바로 제어 신호를 전송할 수도 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(Programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processor), 제어기(controller), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessor), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 전자 장치 110: 제1 통신부
120: 제2 통신부 130: 프로세서
140: 디스플레이 150: 음성 출력부
160: 사용자 입력부 170: 스토리지

Claims (20)

  1. 제1 통신부;
    제2 통신부; 및
    입력 음성에 기초하여, 상기 입력 음성을 출력한 외부 전자 장치가 상기 제1 통신부를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부를 판단하고,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는지 여부에 따라 상기 제1 통신부 또는 상기 제2 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 네트워크를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하도록 상기 제1 통신부를 제어하고,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하도록 상기 제2 통신부를 제어하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 식별 정보를 획득하고, 상기 획득된 상기 외부 전자 장치의 식별 정보에 기초하여 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 전자 장치에 해당하는지 여부를 판단하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    복수의 외부 전자 장치 별로 출력되는 음성에 대한 정보가 저장된 서버를 통해 상기 텍스트에 대응되는 음성을 출력하는 상기 외부 전자 장치를 검색하여, 상기 외부 전자 장치의 제품명 및 제조사 중 적어도 하나에 대한 정보를 획득하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 제1 통신부를 통해 상기 네트워크에 상기 전자 장치를 연결하고, 입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 상기 네트워크를 통해 상기 외부 전자 장치로 전송하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 외부 전자 장치를 상기 네트워크에 연결하기 위한 가이드를 출력하고,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 자치가 상기 네트워크에 연결될 수 없음을 안내하기 위한 가이드를 출력하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 상태 정보를 획득하고, 상기 획득된 상기 외부 전자 장치의 상태 정보에 기초하여 상기 외부 전자 장치를 제어하기 위한 발화 내용을 안내하는 가이드를 출력하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 제2 통신부에서 이용되는 통신 방식에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는지 여부를 판단하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 정보를 획득할 수 있는 경우, 상기 획득된 정보 및 입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하고 상기 생성된 신호를 상기 외부 전자 장치로 전송하도록 상기 제2 통신부를 제어하는, 전자 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없고, 상기 정보를 획득할 수 없는 경우, 상기 전자 장치를 통해 상기 외부 전자 장치를 제어할 수 없음을 안내하기 위한 가이드를 출력하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 와이파이(WiFi) 및 블루투스(Bluetooth) 중 적어도 하나의 통신 방식을 통해 상기 네트워크에 연결되도록 상기 제1 통신부를 제어하고,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 장치를 제어하기 위한 적외선 신호를 상기 외부 전자 장치로 전송하도록 상기 제2 통신부를 제어하는, 전자 장치.
  11. 제1 통신부 및 제2 통신부를 포함하는 전자 장치의 제어 방법에 있어서,
    입력 음성에 기초하여, 상기 입력 음성을 출력한 외부 전자 장치가 상기 제1 통신부를 통해 연결 가능한 네트워크에 연결될 수 있는지 여부를 판단하는 단계;
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는지 여부에 따라 상기 제1 통신부 또는 상기 제2 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하는 단계;를 포함하며,
    상기 전송하는 단계는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 네트워크 및 상기 제1 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하고,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 제2 통신부를 통해 상기 외부 전자 장치를 제어하기 위한 신호를 상기 외부 전자 장치로 전송하는, 제어 방법.
  12. 제11항에 있어서,
    상기 판단하는 단계는,
    상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 식별 정보를 획득하고,
    상기 획득된 상기 외부 전자 장치의 식별 정보에 기초하여 상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 전자 장치에 해당하는지 여부를 판단하는,
    제어 방법.
  13. 제12항에 있어서,
    상기 판단하는 단계는,
    복수의 외부 전자 장치 별로 출력되는 음성에 대한 정보가 저장된 서버를 통해 상기 텍스트에 대응되는 음성을 출력하는 상기 외부 전자 장치를 검색하여, 상기 외부 전자 장치의 제품명 및 제조사 중 적어도 하나에 대한 정보를 획득하는, 제어 방법.
  14. 제11항에 있어서,
    상기 전송하는 단계는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 제1 통신부를 통해 상기 네트워크에 상기 전자 장치를 연결하고,
    입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 상기 네트워크 및 상기 제1 통신부를 통해 상기 외부 전자 장치로 전송하는, 제어 방법.
  15. 제11항에 있어서,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 상기 외부 전자 장치를 상기 네트워크에 연결하기 위한 가이드를 출력하는 단계; 및
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 자치가 상기 네트워크에 연결될 수 없음을 안내하기 위한 가이드를 출력하는 단계;를 더 포함하는, 제어 방법.
  16. 제11항에 있어서,
    상기 입력 음성이 변환된 텍스트에 기초하여 상기 외부 전자 장치의 상태 정보를 획득하는 단계; 및
    상기 획득된 상기 외부 전자 장치의 상태 정보에 기초하여 상기 외부 전자 장치를 제어하기 위한 발화 내용을 안내하는 가이드를 출력하는 단계;를 더 포함하는, 제어 방법.
  17. 제11항에 있어서,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 제2 통신부에서 이용되는 통신 방식에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하기 위한 정보를 획득할 수 있는지 여부를 판단하는 단계;를 더 포함하는, 제어 방법.
  18. 제17항에 있어서,
    상기 전송하는 단계는,
    상기 정보를 획득할 수 있는 경우, 상기 획득된 정보 및 입력된 사용자 음성에 따라 상기 외부 전자 장치를 제어하기 위한 신호를 생성하고, 상기 제2 통신부를 통해 상기 생성된 신호를 상기 외부 전자 장치로 전송하는, 제어 방법.
  19. 제17항에 있어서,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없고, 상기 정보를 획득할 수 없는 경우, 상기 전자 장치를 통해 상기 외부 전자 장치를 제어할 수 없음을 안내하기 위한 가이드를 출력하는 단계;를 더 포함하는, 제어 방법.
  20. 제11항에 있어서,
    상기 전송하는 단계는,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 있는 경우, 와이파이(WiFi) 및 블루투스(Bluetooth) 중 적어도 하나의 통신 방식을 통해 상기 네트워크에 연결되도록 상기 제1 통신부를 제어하고,
    상기 외부 전자 장치가 상기 네트워크에 연결될 수 없는 경우, 상기 외부 전자 장치를 제어하기 위한 적외선 신호를 상기 제2 통신부를 통해 상기 외부 전자 장치로 전송하는, 제어 방법.
KR1020190001919A 2019-01-07 2019-01-07 전자 장치 및 그 제어 방법. KR20200085593A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190001919A KR20200085593A (ko) 2019-01-07 2019-01-07 전자 장치 및 그 제어 방법.
US16/733,792 US11580988B2 (en) 2019-01-07 2020-01-03 Electronic apparatus and control method thereof
CN202010029580.2A CN111415660A (zh) 2019-01-07 2020-01-06 电子装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190001919A KR20200085593A (ko) 2019-01-07 2019-01-07 전자 장치 및 그 제어 방법.

Publications (1)

Publication Number Publication Date
KR20200085593A true KR20200085593A (ko) 2020-07-15

Family

ID=71404538

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190001919A KR20200085593A (ko) 2019-01-07 2019-01-07 전자 장치 및 그 제어 방법.

Country Status (3)

Country Link
US (1) US11580988B2 (ko)
KR (1) KR20200085593A (ko)
CN (1) CN111415660A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124640A1 (ko) * 2020-12-11 2022-06-16 삼성전자(주) 전자장치 및 그 제어방법
WO2022220348A1 (ko) * 2021-04-12 2022-10-20 삼성전자주식회사 가전 기기 및 그 제어 방법
WO2023101183A1 (ko) * 2021-12-01 2023-06-08 삼성전자주식회사 전자 장치 및 추천 발화 목록 제공 방법
US11783693B2 (en) 2021-04-12 2023-10-10 Samsung Electronics Co., Ltd. Home appliance controlling output of information to a user terminal and control method thereof

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194733A (ja) 1983-04-20 1984-11-05 東北リコ−株式会社 半導体レ−ザ血管吻合装置
US6492999B1 (en) 1999-02-25 2002-12-10 International Business Machines Corporation Connecting and optimizing audio input devices
JP2005056207A (ja) 2003-08-05 2005-03-03 Sanyo Electric Co Ltd ネットワークシステム、宅内機器制御サーバおよび仲介サーバ
KR101520870B1 (ko) 2008-11-28 2015-05-15 삼성전자주식회사 휴대단말에서의 도움말 검색 시스템 및 방법
CN102255780A (zh) * 2010-05-20 2011-11-23 株式会社曙飞电子 家庭网络系统及其控制方法
CN103037533A (zh) * 2011-09-30 2013-04-10 联想(北京)有限公司 电子设备及其通信方法
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
US10431235B2 (en) * 2012-05-31 2019-10-01 Elwha Llc Methods and systems for speech adaptation data
WO2015029379A1 (ja) 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 機器制御方法、表示制御方法及び購入決済方法
CN103561087A (zh) * 2013-10-30 2014-02-05 乐视致新电子科技（天津）有限公司 一种设备互连方法及装置
KR20150054123A (ko) 2013-11-11 2015-05-20 삼성전자주식회사 전자 장치 및 전자 장치의 외부 기기 감지 방법
WO2015076609A1 (en) 2013-11-21 2015-05-28 Samsung Electronics Co., Ltd. Method and apparatus for controlling home devices on group basis in a home network system
JP6355939B2 (ja) 2014-02-28 2018-07-11 シャープ株式会社 音声サーバおよびその制御方法、並びに音声システム
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN104284485A (zh) * 2014-09-26 2015-01-14 生迪光电科技股份有限公司 智能照明装置、照明系统及智能照明控制方法
KR20160039830A (ko) 2014-10-02 2016-04-12 엘지전자 주식회사 멀티미디어 장치 및 그의 음성 가이드 제공방법
KR101658630B1 (ko) * 2014-10-31 2016-09-22 삼성전자주식회사 사용자 단말 장치, 전자 장치, 시스템 및 그 제어 방법
US10541916B2 (en) * 2014-12-17 2020-01-21 Google Llc Tunneled routing
KR102269387B1 (ko) 2015-01-06 2021-06-25 삼성전자주식회사 상황별 정보 공유 지원 방법 및 이를 지원하는 전자 장치
CN104749996B (zh) * 2015-03-05 2018-06-01 南京物联传感技术有限公司 一种ZigBee遥控器远程控制方法
WO2017082320A1 (ja) * 2015-11-09 2017-05-18 株式会社レゾネスト 電子機器制御装置、電子機器制御方法、および、電子機器制御プログラム
CN105610857A (zh) * 2016-01-26 2016-05-25 杭州德澜科技有限公司 一种自动识别本地与远程网络的方法
JP2017146437A (ja) * 2016-02-17 2017-08-24 本田技研工業株式会社 音声入力処理装置
KR102522150B1 (ko) 2016-03-31 2023-04-14 삼성전자주식회사 단말장치 및 그 제어방법
JP2018010110A (ja) 2016-07-13 2018-01-18 シャープ株式会社 サーバ装置、制御システム、方法、情報処理端末、および制御プログラム
US11354089B2 (en) * 2016-12-09 2022-06-07 Robert Bosch Gmbh System and method for dialog interaction in distributed automation systems
TWI656523B (zh) * 2016-12-16 2019-04-11 群邁通訊股份有限公司 語音控制裝置、系統及控制方法
US10075539B1 (en) * 2017-09-08 2018-09-11 Google Inc. Pairing a voice-enabled device with a display device
AU2018351962B2 (en) * 2017-10-21 2021-11-04 Apple Inc. Personal domain for a virtual assistant system on a communal device
JP7057647B2 (ja) * 2017-11-17 2022-04-20 キヤノン株式会社 音声制御システム、制御方法及びプログラム
KR20230004947A (ko) * 2017-12-08 2023-01-06 구글 엘엘씨 디지털 음성 어시스턴트 컴퓨팅 디바이스들 사이에서 신호 프로세싱 조정
US10971173B2 (en) * 2017-12-08 2021-04-06 Google Llc Signal processing coordination among digital voice assistant computing devices

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124640A1 (ko) * 2020-12-11 2022-06-16 삼성전자(주) 전자장치 및 그 제어방법
WO2022220348A1 (ko) * 2021-04-12 2022-10-20 삼성전자주식회사 가전 기기 및 그 제어 방법
US11783693B2 (en) 2021-04-12 2023-10-10 Samsung Electronics Co., Ltd. Home appliance controlling output of information to a user terminal and control method thereof
WO2023101183A1 (ko) * 2021-12-01 2023-06-08 삼성전자주식회사 전자 장치 및 추천 발화 목록 제공 방법

Also Published As

Publication number Publication date
US11580988B2 (en) 2023-02-14
US20200219514A1 (en) 2020-07-09
CN111415660A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
KR20200085593A (ko) 전자 장치 및 그 제어 방법.
KR102261552B1 (ko) 음성 명령어 제공 방법 및 이를 지원하는 전자 장치
CN111033610B (zh) 电子装置及语音识别方法
CN109508167B (zh) 显示装置和在语音识别系统中控制显示装置的方法
US20180103229A1 (en) Display apparatus, electronic apparatus connectable to display apparatus, and method for controlling the same
KR20150012464A (ko) 디스플레이 장치 및 개인화 서비스 제공 방법
US20210166694A1 (en) Electronic apparatus, method for controlling thereof and computer readable recording medium
EP3651441B1 (en) Display apparatus and control method thereof
KR102604297B1 (ko) 프로세서, 디스플레이 장치 및 방법
JP2020028129A (ja) 電子装置、サーバー及びその制御方法
US9106944B2 (en) Display apparatus and control method thereof
KR102517219B1 (ko) 전자장치 및 그 제어방법
KR102467519B1 (ko) 디스플레이 장치, 그의 통합 리모컨 설정 방법 및 시스템
US11462214B2 (en) Electronic apparatus and control method thereof
KR20190054462A (ko) 전자 장치, 그 제어 방법, 원격 제어 장치 및 그 제어 방법
US11688397B2 (en) Electronic apparatus and method of controlling the same
KR102537781B1 (ko) 전자 장치 및 이의 제어 방법
KR20160134628A (ko) 디스플레이시스템, 디스플레이장치 및 그 제어방법
KR20210127388A (ko) 전자 장치들의 무선 연결 방법 및 장치
KR20210054246A (ko) 전자장치 및 그 제어방법
US20230180001A1 (en) Electronic apparatus and controlling method thereof
KR102089593B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR102124396B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR102045539B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR102051480B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal