KR102597031B1

KR102597031B1 - 전자장치, 서버 및 전자장치의 제어방법

Info

Publication number: KR102597031B1
Application number: KR1020180095111A
Authority: KR
Inventors: 윤승일; 김관영; 김동욱; 김민섭; 허재명; 김정섭; 유호준
Original assignee: 삼성전자주식회사
Priority date: 2018-08-14
Filing date: 2018-08-14
Publication date: 2023-11-01
Also published as: US11050828B2; KR20200019507A; EP3791539A4; CN112567695A; CN112567695B; EP3791539A1; JP2020028129A; WO2020036299A1; US20200059522A1

Abstract

레거시 기기를 IoT 제어할 수 있는 전자장치가 개시된다. 전자장치는 동작수행부와, 서버와 네트워크 통신을 수행하는 네트워크통신부와, 적외선통신부와, 소정 동작을 수행하도록 상기 동작수행부를 제어하고, 상기 적외선통신부를 통해 수신한 외부장치의 제1적외선신호로부터 상기 외부장치의 정보를 획득하고, 상기 서버에 상기 획득된 외부장치의 정보를 전송하여 상기 외부장치를 제어대상으로 등록할 것을 요청하고, 상기 서버로부터 상기 외부장치의 제어 명령을 수신하고, 상기 외부장치가 상기 수신된 제어명령에 대응하는 동작을 수행하게 하는 명령정보를 포함하는 제2적외선신호를 송신하도록 상기 적외선통신부를 제어하는 프로세서를 포함한다. 이에 의하여, IoT 기능이 없는 레거시 기기들에 대해서 사용자가 매번 레거시 기기의 리모컨을 찾아 수동으로 제어하지 않고 사용자명령과 같은 IoT 제어할 수 있다.

Description

전자장치, 서버 및 전자장치의 제어방법{ELECTRONIC DEVICE, SERVER AND THE CONTROL METHOD OF THE ELECTRONIC DEVICE}

본 발명은 예를 들면 네트워크 통신 기능이 없는 레거시 전자기기를 원격 또는 음성제어가 가능하게 하는 전자장치, 서버 및 그의 제어방법에 관한 것이다.

최근 네트워크 통신 기술의 발전에 따라 많은 전자장치들을 네트워크로 통하여 제어하는 IoT 시스템이 개발되고 있다. 최신의 전자장치들은 이러한 IoT시스템에 적용되도록 네트워크 통신 기능이 탑재되어 있다.

현재 주거공간에는 네트워크 통신 기능이 없는 레거시 전자기기들과 네트워크 통신 기능을 가진 최신 전자기기들이 혼재되어 있다. 또한, 네트워크 통신 기능을 가진 최신 전자장치라 하더라도 소비자가 네트워크 설정을 하지 않고 사용하는 경우도 있다.

사용자는 레거시 또는 네트워크 설정이 안된 전자기기를 제어하기 위해 수동 혹은 리모컨으로 제어한다. 그러나, 전자기기의 수동 제어는 사용자를 매우 불편하게 한다. 또한, 리모컨에 의한 제어는 전자기기 종류별로 많은 수의 리모컨을 구비해야 한다. 특히 자주 사용하지 않는 리모컨은 리모컨의 분실 또는 사용자가 리모컨을 찾아야 하는 문제가 야기된다. 네트워크 통신 기능이 없는 레거시 전자기기 또는 네트워크 설정이 안된 전자기기는 단순히 리모컨에 의한 시야 내의 근거리 제어만 가능할 뿐 시야를 벗어난 원격지에서의 제어는 할 수 없다.

따라서, 본 발명의 목적은, 네트워크 통신 기능이 없는 레거시 전자기기 또는 네트워크 설정이 안된 전자기기를 음성제어 또는 원격지 제어가 가능하게 하는 전자장치, 서버 및 그의 제어방법을 제공하는 것이다.

상술한 목적을 달성하기 위한 전자장치 및 그이 제어방법이 제공된다. 전자장치는 동작수행부와, 서버와 네트워크 통신을 수행하는 네트워크통신부와, 적외선통신부와, 소정 동작을 수행하도록 상기 동작수행부를 제어하고, 상기 적외선통신부를 통해 수신한 외부장치의 제1적외선신호로부터 상기 외부장치의 정보를 획득하고, 상기 서버에 상기 획득된 외부장치의 정보를 전송하여 상기 외부장치를 제어대상으로 등록할 것을 요청하고, 상기 서버로부터 상기 외부장치의 제어 명령을 수신하고, 상기 외부장치가 상기 수신된 제어명령에 대응하는 동작을 수행하게 하는 명령정보를 포함하는 제2적외선신호를 송신하도록 상기 적외선통신부를 제어하는 프로세서를 포함한다. 이에 의해 레거시 전자기기는 주변에 위치한 전자장치를 활용하여 음성제어가 가능할 뿐만 아니라 외부장치가 시야에 없더라도 원격지에서 제어가 가능하다.

상기 프로세서는 상기 제1적외선신호의 미리 정해진 코드를 기초로 상기 외부장치의 정보를 쉽게 획득할 수 있다.

상기 동작수행부는 표시부를 포함하며, 상기 프로세서는 상기 외부장치가 제어대상으로 이미 등록되어 있는지를 확인하고, 상기 외부장치가 미등록 제어대상이면 상기 표시부에 등록UI(User Interface)를 제공하고, 상기 UI를 통한 사용자입력에 따라 제어대상 등록을 수행함으로써 사용자가 외부장치의 제어대상 등록을 수행하도록 지시할 수 있다.

상기 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치의 추가 기능으로 등록함으로써 외부장치의 제어를 전자장치가 추가기능으로 제어하게 할 수 있다.

상기 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치를 경유하여 제어하도록 등록함으로써 직접 제어되는 IoT기기와 차별적으로 전자장치를 경유하여 외부장치를 제어할 수 있다.

상기 전자장치는 사용자의 음성명령을 수신하는 사용자명령 수신부; 및 상기 사용자의 음성명령으로부터 제어명령을 인식하는 음성인식엔진을 더 포함함으로써 외부장치의 음성제어가 가능하다.

상기 전자장치는 사용자의 음성명령을 수신하는 사용자명령 수신부를 더 포함하며, 상기 프로세서는 상기 사용자의 음성명령을 상시 서버로 전송하고, 상기 네트워크통신부는 상기 서버가 상기 사용자의 음성명령으로부터 인식한 제어명령을 수신함으로써 서버가 음성명령을 인식하도록 할 수 있다.

상기 전자장치는 사용자의 음성명령을 수신하는 사용자명령 수신부를 더 포함하며, 상기 프로세서는 상기 사용자의 음성명령을 상시 대화서버로 전송하고, 상기 네트워크통신부는 상기 대화서버가 상기 사용자의 음성명령으로부터 인식한 제어명령을 서버를 경유하여 수신함으로써 대화서버를 통해 음성명령을 인식하도록 할 수 있다.

본 발명의 다른 실시예에 따른 전자장치가 제공된다. 전자장치는 동작수행부와, 적외선통신부와, 소정 동작을 수행하도록 상기 동작수행부를 제어하고, 상기 적외선통신부를 통해 수신한 외부장치의 제1적외선신호로부터 상기 외부장치의 정보를 획득하고, 상기 획득한 외부장치의 정보를 기초로 상기 외부장치를 제어대상으로 등록하고, 상기 외부장치가 제어명령에 대응하는 동작을 수행하게 하는 명령정보를 포함하는 제2적외선신호를 송신하도록 상기 적외선통신부를 제어하는 프로세서를 포함한다. 본 발명의 다른 실시예에 따른 전자장치는 네트워크 기능이 없는 래거시 기기나 네트워크 설정이 안되어 있는 적외선신호를 인터셉트하여 외부장치 정보를 획득하고, 외부장치를 등록, 외부장치를 제어할 수 있다.

전자장치는 제어기기와 네트워크 통신하는 네트워크 통신부를 더 포함하며, 상기 제어명령은 상기 네트워크통신부를 통해 상기 제어기기로부터 수신할 수 있다.

본 발명의 일 실시예에 따른 서버가 제공된다. 서버는 전자장치와 네트워크 통신하는 네트워크통신부와, 상기 네트워크통신부를 통해 상기 전자장치로부터 외부장치의 정보를 수신하고, 상기 수신한 외부장치의 정보를 기초로 상기 외부장치를 제어대상으로 등록하고, 상기 외부장치의 제어명령을 상기 네트워크통신부를 통해 상기 전자장치로 전송하여 상기 전자장치가 상기 외부장치를 제어하게 하는 프로세서를 포함한다. 본 발명의 서버에 의하면, 네트워크 기능이 없는 래거시 기기나 네트워크 설정이 안되어 있는 외부장치를 상상 IoT기기로 등록하여 전자장치를 통해 외부장치를 제어할 수 있다.

서버는 사용자의 음성명령을 인식하는 음성인식엔진을 더 포함하며, 상기 사용자의 음성명령은 상기 네트워크통신부를 통해 상기 전자기기로부터 수신할 수 있다.

서버는 사용자의 음성명령을 인식하는 음성인식엔진을 더 포함하며, 상기 네트워크 통신부는 제어기기와 네트워크 통신을 수행하며, 상기 사용자의 음성명령은 상기 네트워크 통신부를 통해 제어기기로부터 수신할 수 있다.

상기 서버의 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치의 추가 기능으로 등록함으로써 외부장치의 제어를 전자장치가 추가기능으로 제어하게 할 수 있다.

상기 서버의 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치를 경유하여 제어하도록 등록함으로써 직접 제어되는 IoT기기와 차별적으로 전자장치를 경유하여 외부장치를 제어할 수 있다.

상기 네트워크 통신부는 대화서버와 네트워크 통신하며, 상기 외부장치의 제어명령은 상기 네트워크통신부를 통해 상기 대화서버를 통해 수신할 수 있다.

상기 프로세서는 상기 외부장치의 제어명령을 기초로 상기 외부장치가 제어대상으로 등록되어 있는지를 판단하고, 상기 외부장치가 제어대상이면 상기 제어명령을 상기 전자장치로 전송하고, 상기 제어대상이 아니면 "외부장치가 미등록 제어대상임을 나타내는 메시지"를 상기 대화서버로 전송할 수 있다.

본 발명의 일 실시예에 전자장치 제어방법이 제공된다. 전자장치의 제어방법은 외부장치의 제1적외선신호를 수신하는 단계와, 상기 제1적외선신호로부터 상기 외부장치의 정보를 획득하는 단계와, 서버에 상기 획득한 외부장치의 정보를 전송하여 상기 외부장치를 제어대상으로 등록할 것을 요청하는 단계와, 상기 서버로부터 상기 외부장치의 제어 명령을 수신하는 단계와, 상기 외부장치가 상기 수신된 제어명령에 대응하는 동작을 수행하게 하는 명령정보를 포함하는 제2적외선신호를 외부장치에 송신하는 단계를 포함한다.

상기 전자장치의 제어방법은, 사용자의 음성명령을 수신하는 단계와, 상기 사용자의 음성명령을 대화서버로 전송하는 단계와, 상기 대화서버가 상기 사용자의 음성명령으로부터 외부장치의 제어명령을 인식하는 단계와, 상기 대화서버가 인식한 외부장치의 제어명령을 상기 서버로 전송하는 단계와, 상기 서버가 상기 외부장치가 제어대상인지를 판단하는 단계와, 상기 외부장치가 제어대상이면 상기 제어명령을 상기 전자장치로 전송하는 단계를 더 포함한다.

상기 전자장치의 제어방법은 상기 제어명령의 외부장치가 제어대상이 아니면 상기 대화서버로 "외부장치가 제어대상이 아님을 나타내는 메시지"를 전송하는 단계와, 상기 대화서버가 상기 제어명령을 상기 전자장치로 전송하는 단계를 더 포함한다.

상기한 바와 같이, 본 발명에 의하면, 네트워크 기능이 없는 래거시 전자기기나 네트워크 설정이 안된 전자기기(외부장치)는 주변의 전자장치, IoT서버, 대화서버 등을 이용하여 가상 IoT 기기로 등록 한 후에 IoT 제어, 즉 음성제어 또는 원격지 제어가 가능하다.

도 1은 본 발명의 제1실시예에 따른 전자장치 제어시스템의 모식도를 도시한다.
도 2는 본 발명의 제1실시예에 따른 전자장치 제어시스템의 블록도를 도시한다.
도 3은 본 발명의 제2실시예에 따른 전자장치 제어시스템의 블록도를 도시한다.
도 4는 본 발명의 제3실시예에 따른 전자장치 제어시스템의 블록도를 도시한다.
도 5는 본 발명의 제4실시예에 따른 전자장치 제어시스템의 블록도를 도시한다.
도 6은 본 발명의 제5실시예에 따른 전자장치 제어시스템의 블록도를 도시한다.
도 7은 본 발명의 제6실시예에 따른 전자장치 제어시스템의 블록도를 도시한다.
도 8은 본 발명의 제1실시예에 따른 외부장치의 등록과정을 나타내는 순서도를 도시한다.
도 9는 적외선 신호의 구조를 나타내는 도이다.
도 10은 TV에서 외부장치의 제어대상 등록UI를 나타내는 도이다.
도 11은 본 발명의 제4실시예에 따른 외부장치의 제어대상 등록과정을 나타내는 순서도를 도시한다.
도 12는 본 발명의 제1실시예에 따른 전자장치와 서버를 통한 외부장치 제어과정을 나타내는 순서도를 도시한다.
도 13은 본 발명의 제3실시예에 따른 전자장치, 대화서버 및 서버를 통한 외부장치의 제어과정을 나타내는 순서도를 도시한다.
도 14는 본 발명의 제4실시예에 따른 전자장치를 통한 외부장치의 제어방법을 나타내는 순서도를 도시한다.

이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 이하 실시예들의 설명에서는 첨부된 도면들에 기재된 사항들을 참조하는 바, 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 나타낸다.

도 1은 본 발명의 제1실시예에 따른 전자장치 제어시스템(1)을 나타내는 모식도이다. 본 발명의 제1실시예에 따른 전자장치 제어시스템(1)은 제어 매개체인 전자장치(100), 서버(200), 제어기기(300), 및 제어대상인 외부장치(400)를 포함한다. 전자장치(100)는 예컨대 TV, 컴퓨터, 노트북, 스마트폰, 태블릿, 모바일폰, 스마트워치, 웨어러블 디바이스, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 디지털 싸이니지, 셋탑박스 등 다양한 전자장치들을 포함할 수 있다. 마찬가지로, 서버(200)는 IoT 클라우드 서버 등을 포함할 수 있다. 마찬가지로, 제어기기(300)는 모바일장치, 예컨대 노트북, 스마트폰, 태블릿, 모바일폰, 스마트워치, 웨어러블 디바이스, 리모컨 등을 포함할 수 있다. 마찬가지로, 외부장치(400)는 에어컨, 오디오, 냉장고, 조명등, 도어락, 카메라 등 적외선신호로 제어 가능하고 네트워크 통신 기능이 없거나 네트워크 설정이 안된 다양한 외부장치를 포함할 수 있다. 여기서, 전자장치(100)는 서버(200)에 네트워크로 연결되어 있다.

도 2는 본 발명의 제1실시예에 따른 전자장치 제어시스템(1)의 블록도이다.

도시된 바와 같이, 전자장치(100)는 동작수행부(110), 제1 IR통신부(120), 제1 네트워크통신부(130), 제1프로세서(140), 및 제1메모리(150) 등을 포함한다. 전자장치(100)는 서버(200)와 외부장치(400) 사이의 중간 제어 매개체로서 위치한다. 즉, 전자장치(100)는 서버(200)의 제어명령에 따라 외부장치(400)를 제어한다.

동작수행부(110)는 전자장치(100)의 실질적인 동작을 수행하는 예컨대 표시부, 영상수신부, 영상처리부, 음성처리부 등을 포함할 수 있다.

제1 IR통신부(120)는 동작수행부(110)를 제어하기 위한 전자장치(100)의 리모컨(미도시)으로부터 적외선신호를 수신한다. 또한, 제1 IR통신부는 외부장치(400)의 리모컨(402)로부터 방사된 제1 IR신호를 인터셉트하고, 외부장치(400)를 제어하기 위한 명령정보를 포함하는 제2 IR신호를 방사한다.

제1네트워크통신부(130)는 서버(200)와 네트워크 통신을 수행한다. 제1네트워크통신부(130)는 외부장치(400)의 정보, 예컨대 장치프로파일을 서버(200)에 전송하거나 서버(200)로부터 외부장치(400)의 제어명령을 수신할 수 있다. 제1네트워크통신부(130)는 예컨대, 서버(200)와 무선 통신을 수행하기 위해 RF(Radio Frequency)신호를 송/수신하는 RF회로를 포함할 수 있으며, Wi-fi, 블루투스, 지그비(Zigbee), UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다. 제1네트워크통신부(130)는 유선 LAN(Local Area Network)을 통해 서버(200) 그리고 다른 장치들과 유선 통신을 수행할 수 있다. 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다.

제1프로세서(140)는 전자장치(100)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제1프로세서(140)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션) 및 로드된 제어프로그램을 실행하는 적어도 하나의 CPU(Central Processing Unit)를 포함할 수 있다.

제어프로그램은 BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 전자장치(100)의 제조 시에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 설치될 수 있다. 응용프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 앱 서버로부터 전자장치(100)로 다운로드될 수도 있다. 이와 같은 앱서버는 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.

제1프로세서(140)는, 예컨대, 제1 IR통신부를 통해 인터셉트한 외부장치(400)의 리모컨(402)의 제1IR신호를 분석하고, 제1IR신호의 분석을 통해 외부장치(400)의 정보, 예컨대 제조사, 제품명과 같은 장치프로파일을 얻는다. 여기서, 장치프로파일은 외부장치(400)가 예컨대 "A사 에어컨"이라는 제조사 및 제품명을 나타낼 수 있다.

제1프로세서(140)는 "A사 에어컨"이 제어대상(가상 IoT기기)으로 등록되어 있는지를 확인한다. 만일 "A사 에어컨"이 제어대상 미등록이고 전자장치(100)가 동작 중일 경우, 제1프로세서(140)는 동작수행부(110), 예를 들면 표시부를 통해 사용자에게 제어대상으로 등록할 것인지를 묻는다. 만일 "A사 에어컨"이 제어대상 미등록이고 전자장치(100)가 동작 중이 아닐 경우, 제1프로세서(140)는 동작수행부(110), 예를 들면 표시부를 작동시켜 사용자에게 제어대상으로 등록할 것인지를 묻거나, 대기상태를 유지하다가 사용자가 전자장치(100)를 온(ON)시킬 때 사용자에게 제어대상으로 등록할 것인지를 묻는 제어대상 등록 이벤트를 표시한다. 이와 같이, 제1IR통신부(120)는 전자장치(100)가 작동 중이 아닐 때도 항상 작동되고 있고 주변의 외부장치(400)의 리모컨(402)으로부터 방사되는 제1IR신호를 인터셉트할 수 있다. 통상 IR신호는 벽이나 장애물에 반사되기 때문에 제1IR통신부(120)는 쉽게 주변의 외부장치(400)의 리모컨(402)으로부터 방사되는 제1IR신호를 쉽게 인터셉트할 수 있다. 물론, 필요에 따라 사용자는 주변의 외부장치(400)의 리모컨(402)을 전자장치(100)를 향해 직접 방사시킬 수도 있다.

제1프로세서(140)는 사용자가 외부장치(400)에 대해 제어대상 등록을 선택하면 외부장치의 정보를 제1네트워크통신부(130)를 통해 서버(200)로 전송하여 제어대상(가상 IoT기기) 등록을 요청한다. 이때, 제1프로세서(140)는 서버(200)로 하여금 외부장치(400)의 기능을 전자장치(100) 자신의 추가기능으로 등록할 수 있다. 즉, 서버(200)는 전자장치(100)가 "A사 에어컨"의 각종 기능을 수행하는 것으로 판단하도록 등록할 수 있다. 한편, 제1프로세서(140)는 서버(200)로 하여금 전자장치(100)가 "A사 에어컨"를 제어하기 위해 경유하는 매개체로서 등록할 수 있다. 제1프로세서(140)는 서버(200)를 통해 외부장치(400)의 제어명령을 수신하면 해당 제어명령을 기초로 외부장치(400)의 동작 제어를 위해 제2IR신호를 생성하도록 제1IR통신부(120)를 제어한다.

제1메모리(150)는 한정되지 않은 데이터가 저장된다. 제1메모리(150)는 제1프로세서(140)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다. 제1메모리(150)에 저장되는 데이터는, 예를 들면 수집된 제어대상의 장치프로파일 데이터, 제조사별 제품별 적외선코드 데이터, 제어대상 등록 데이터 등을 포함한다. 물론, 제1메모리(150)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 영상데이터, 부가데이터 등을 포함한다. 제1메모리(150)는 제1IR신호의 코드 분석 및 제어명령에 해당하는 제2IR신호 변환 등을 수행하는 프로그램(어플리케이션)을 포함한다.

제1메모리(150)는 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리를 포함한다.

제1메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

서버(200)는 제2네트워크통신부(220), 제2프로세서(240) 및 제2메모리(250) 등을 포함한다.

제2네트워크통신부(230)는 전자장치(100)와 제어기기(300)와 네트워크 통신을 수행한다. 제2네트워크통신부(230)는 전자장치(100)로부터 외부장치(400)의 정보를 수신하고 제어기기(300)로부터 외부장치(400)의 제어명령을 수신할 수 있다. 제2네트워크통신부(230)는 또한 제어기기(300)로부터 수신한 외부장치(400)의 제어명령을 전자장치(100)로 전송할 수 있다.

제2네트워크통신부(230)는 예컨대, 전자장치(100) 또는 제어기기(300)와 무선 통신을 수행하기 위해 RF(Radio Frequency)신호를 송/수신하는 RF회로를 포함할 수 있으며, Wi-fi, 블루투스, 지그비(Zigbee), UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다. 제2네트워크통신부(230)는 유선 LAN(Local Area Network)을 통해 전자장치(100), 제어기기(300), 그리고 다른 장치들과 유선 통신을 수행할 수 있다. 유선 접속을 위한 커넥터 또는 단자를 포함하는 접속부 이외에도 다양한 다른 통신 방식으로 구현될 수 있다.

제2프로세서(240)는 서버(200)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제2프로세서(240)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션) 및 로드된 제어프로그램을 실행하는 적어도 하나의 CPU(Central Processing Unit)를 포함할 수 있다.

제2프로세서(240)는 등록된 다수의 제어대상, 예를 들면 다수의 IoT장치들을 수신한 제어명령에 따라 통상적인 제어를 수행할 수 있다.

제2프로세서(240)는 또한 전자장치(100)가 전송한 외부장치의 정보를 기초로 외부장치(400), 예를 들면 "A사 에어컨"에 대해 제어대상(가상 IoT기기)으로 등록되어 있는지를 확인한다. 물론, 제2프로세서(240)는 전자장치(100)에서 확인한 제어대상 등록결과를 적용할 수도 있지만 별도로 등록여부 확인을 수행하는 것이 바람직하다. 확인 만일 "A사 에어컨"이 제어대상 미등록이면 "A사 에어컨"을 제어대상으로 등록한다. 이때, 제2프로세서(240)는 외부장치(400)의 기능을 전자장치(100)의 추가기능으로 등록할 수 있다. 즉, 서버(200)는 전자장치(100)가 "A사 에어컨"의 각종 기능을 수행하는 것으로 등록할 수 있다. 이 경우, 제2프로세서(240)는 "에어컨 온도 올려"라는 제어명령을 수신하면 전자장치(100)의 기능으로 판단하여 전자장치(100)에 제어명령을 전달한다.

한편, 제2프로세서(240)는 전자장치(100)가 "A사 에어컨"를 제어하기 위해 경유하는 매개체로서 등록할 수 있다. 이때, 제2프로세서(240)는 "A사 에어컨"을 기존의 IoT장치들과는 구분하여 가상 IoT장치로서, 그리고 "A사 에어컨"을 IR제어할 수 있는 전자장치(100)와 매칭시켜 등록한다. 이 경우, 제2프로세서(240)는 "TV를 활용하여 에어컨 온도 올려"라는 제어명령을 수신하면 전자장치(100)를 경유하는 매개체로 하여 전자장치(100)에 제어명령을 전달한다.

만일, 서버(200)에 다른 에어컨(B사 에어컨)이 IoT기기로서 추가로 등록된 경우, 제2프로세서(240)는 "에어컨 온도 올려"라는 제어명령을 다른 에어컨(B사 에어컨)에 대한 명령으로 판단하여 제어명령을 다른 에어컨(B사 에어컨)에 전송할 것이다.

만일, 서버(200)에 다른 에어컨이 IoT기기로서 등록되어 있지 않은 경우, 제2프로세서(240)는 "에어컨 온도 올려"라는 제어명령을 "TV를 활용하여 에어컨 온도 올려"라는 제어명령으로 해석해서 전자장치(100)를 경유하는 매개체로 하여 전자장치(100)에 제어명령을 전달한다.

제2프로세서(240)는 가상 IoT장치로서의 "A사 에어컨"에 대한 제어명령을 수신한 경우 "A사 에어컨"를 직접 무선으로 제어할 수 없는 상태이기 때문에 매칭된 전자장치(100)에 제어명령을 전송하여 전자장치(100)로 하여금 "A사 에어컨"을 IR제어하게 한다. 제2프로세서(240)는 제어기기(300)로부터 예컨대 "TV를 활용하여 A사 에어컨 온도+"와 같은 제어명령을 수신하면 TV로 "A사 에어컨 온도+"를 전송한다.

전자장치(100)의 제1프로세서(140)는 제1네트워크통신부(130)을 통해 서버로부터 수신한 "A사 에어컨 온도+"를 기초로 제2IR신호 코드를 생성하고 제1IR통신부(120)에 전달한다. 제1IR통신부(120)는 "에어컨 온도+"에 해당하는 제2IR신호를 방사하여 외부장치(400)(A사 에어컨)를 제어한다.

제2메모리(250)는 한정되지 않은 데이터가 저장된다. 제2메모리(250)는 제2프로세서(240)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다. 제2메모리(250)에 저장되는 데이터는, 예를 들면 제어대상들의 전자장치(100)로부터 수신한 외부장치의 정보 데이터, 가상 등록된 제어대상(외부장치)별로 매칭된 전자장치 데이터 등을 포함한다. 물론, 제2메모리(250)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 부가데이터 등을 포함한다.

제2메모리(250)는 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리를 포함한다.

제어기기(300)는 제어명령을 수신하여 서버(200)와 전자장치(100)를 통해 실질적으로 외부장치(400)를 제어한다. 즉, 제어기기(300)는 외부장치(400)를 제어하기 위해 사용자에 제어명령을 입력 받는다.

제어기기(300)는 제3네트워크통신부(330), 제3프로세서(340), 사용자명령 수신부(360), 음성인식엔진(370) 등을 포함한다.

제3네트워크통신부(330)는 서버(200)와 네트워크 통신을 수행한다. 제3네트워크통신부(330)는 수신한 외부장치(400)의 제어명령을 서버(200)로 전송할 수 있다.

제3네트워크통신부(330)는 예컨대, 서버(200)와 무선 통신을 수행하기 위해 RF(Radio Frequency)신호를 송/수신하는 RF회로를 포함할 수 있으며, Wi-fi, 블루투스, 지그비(Zigbee), UWB(Ultra-Wide Band), Wireless USB, NFC(Near Field Communication) 중 하나 이상의 통신을 수행하도록 구성될 수 있다.

제3프로세서(340)는 제어기기(300)의 제반 구성들이 동작하기 위한 제어를 수행한다. 제3프로세서(340)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션) 및 로드된 제어프로그램을 실행하는 적어도 하나의 CPU(Central Processing Unit)를 포함할 수 있다.

제3프로세서(340)는 사용자명령 수신부(360)를 통해 수신한 제어명령 또는 음성인식엔진에서 인식한 제어명령을 제3네트워크통신부(330)를 통해 서버(200)로 전송한다.

사용자명령 수신부(360)는 사용자입력을 수신하여 제3프로세서(340)로 전달한다. 사용자명령 수신부(360)는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있는바, 예컨대 표시부에 표시된 메뉴버튼, 리모컨으로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 표시부에 마련되어 사용자의 터치입력을 수신하는 터치스크린(Touch-Screen), 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크 등으로 구현될 수 있다.

음성인식엔진(370)은 사용자가 발화한 사용자의 음성명령으로부터 외부장치(400)의 제어명령을 인식(추출)한다. 음성인식엔진(370)의 음성인식기능은 기 알려진 음성인식알고리즘을 이용하여 수행될 수 있다. 예를 들어, 음성인식엔진(370)은 음성신호의 음성특징 벡터를 추출하고, 추출된 음성특징 벡터를 메모리에 저장된 음성인식대상정보와 비교하여 음성을 인식할 수 있다. 또한, 추출된 음성특징 벡터와 메모리에 저장된 음성인식대상정보가 일치하지 않는 경우, 유사도가 높은 정보로 음성인식 결과를 보정하여 음성을 인식할 수 있다. 여기서, 유사도가 높은 음성인식대상정보가 복수인 경우, 사용자에 의해 어느 하나를 선택하도록 할 수 있다.

음성인식엔진(370)은 한정되지 않는 CPU에 상주하는 임베디드 음성인식엔진(370)으로 구현될 수 있다. 예를 들어, 음성인식엔진(370)은 CPU와 별개인 마이컴(Micro Computer)과 같은 별도의 칩으로 구현될 수 있다.

음성인식엔진(370)가 인식결과로서 IoT 제어대상이 TV인 경우 "볼륨업", "볼륨다운" 또는 "소리 높여", "소리 낮춰" 등을 인식하면, 제3프로세서(370)는 이에 대응하는 제어명령을 서버(200)로 전송하여 서버로 하여금 TV를 제어하게 한다.

음성인식엔진(370)가 인식결과로서 가상 IoT 제어대상이 외부장치(400)(A사 에어컨)인 경우 "TV를 활용하여 에어컨 온도 높여", "TV를 활용하여 에어컨 온도 낮춰", "TV를 활용하여 에어컨 바람 세게" 또는 "TV를 활용하여 에어컨 바람 낮게" 등을 인식하면, 제3프로세서(370)는 이에 대응하는 제어명령을 서버(200)로 전송하고 이를 다시 전자장치(TV)(100)로 전달하여 외부장치(A사 에어컨)를 제어하게 한다. 여기서, 제어명령은 제어 매개체인 "TV"와, 가상 제어대상인 "A사 에어컨"과, A사 에어컨의 동작명령인 "온도 +", "온도 -" "바람 +" 바람 -" 이 매칭된 상태로 구성될 수 있다.

음성인식엔진(370)에서 인식 가능한 음성은 제어 매개체로서 TV 이외에 노트북, 컴퓨터 등 다수의 전자장치들을 포함할 수 있다. 물론, 전자장치와 외부장치는 제어대상인 하나의 외부장치에 복수의 매개체인 복수 전자장치가 연결될 수도 있고, 복수의 외부장치에 하나의 매개체인 전자장치가 연결될 수 있다.

음성인식엔진(370)에서 인식 가능한 음성은 제어대상로서 "A사 에어컨" 이외에 "냉장고", "도어락", "오디오", "조명등" 등 다수의 외부장치들을 포함할 수 있다.

음성인식엔진(370)에서 인식 가능한 음성은 제어명령으로서 "온도 +", "온도 -" "바람 +" 바람 -" 이외에도, "운전 정지/정지", "아열대", "냉방운전/냉방", "제습운전/제습", "난방운전/난방" 등 에어컨에서 수행되는 다양한 제어 커맨드를 포함한다.

음성인식엔진(370)은 사용자명령 수신부(360)에서 입력된 음성명령을 전기적인 음성신호로 변환하는 음성변환부(미도시)를 더 포함할 수 있다. 음성변환부에서 변환된 음성신호는 PCM(pulse code modulation) 상태 또는 압축된 형태의 오디오 파형의 형태를 가진다. 여기서, 음성변환부는 사용자의 음성명령을 디지털로 변환하는 A/D 변환부로 구현될 수 있다.

외부장치(400)는 제4IR통신부(420) 및 제4프로세서(440)를 포함한다. 외부장치(400)는 네트워크 기능을 갖지 않거나 네트워크 설정이 이루어지지 않는 것으로 레거시 기기로 가정한다. 외부장치(400)는 리모컨(402)의 제1IR신호 또는 전자장치(100)의 제2IR신호에 의해 제어될 수 있다.

제4IR통신부(402)는 외부장치(400)의 동작을 제어하는 명령정보를 포함하는 제1IR신호 또는 제2IR신호를 수신한다.

제4프로세서(440)는 수신한 제1IR신호 또는 제2IR신호를 기초로 외부장치(400)의 동작을 제어한다.

도 3은 본 발명의 제2실시예에 따른 전자장치 제어시스템(1)을 나타내는 블록도이다. 도시한 바와 같이, 전자장치 제어시스템(1)은 제어매개체인 전자장치(100), 서버(200), 제어기기(300) 및 제어대상인 외부장치(400)를 포함한다. 이하 제2실시예에 따른 전자장치 제어시스템(1)은 도 2에 나타낸 제1실시예와 다른 부분을 중심으로 설명하고, 동일한 부분들에 대해서는 설명을 생략한다.

도 3에서, 음성인식엔진(270)은 제어기기(300)에 마련되어 있지 않고, 대신에 서버(200)에 포함되어 있다. 실질적으로 제어기기(300)는 스마트폰 등과 같은 범용적인 모바일장치를 사용하기 때문에 음성인식기능을 장착하기에는 다소 어려움이 있다. 반면에 서버(200)는 다양한 제어대상인 다수의 외부장치(400)를 제어하기 위한 전용장치로 사용하기 때문에 음성인식기능을 장착하기 용이하다.

도 3에서, 서버(200)에 외부장치(400)가 제어대상으로 가상 등록된 상태에서, 제어기기(300)는 사용자명령 수신부(360)를 통해 사용자의 음성명령을 취득한다. 제어기기(300)는 취득한 사용자의 음성명령을 그대로 제3네트워크통신부(330)를 통해 서버(200)로 전달한다. 여기서, 제어기기(300)는 단순히 사용자명령, 예컨대 "TV를 활용하여 에어컨 온도 높여", "TV를 활용하여 에어컨 온도 낮춰", "TV를 활용하여 에어컨 바람 세게" 또는 "TV를 활용하여 에어컨 바람 낮게" 등과 같은 사용자의 음성명령을 취득하여 서버(200)로 전달하는 역할만 한다.

서버(200)는 제어기기(300)로부터 수신한 사용자의 음성명령으로부터 음성인식엔진(270)을 통해 제어명령을 인식(추출)한다. 서버(200)는 제어명령에 포함된 제어 매개체, 예를 들면 TV에 제어명령, 예를 들면 "A사 에어컨 온도+"를 전송한다. 여기서, 서버(200)는 "A사 에어컨 온도+"에 대한 제2IR 신호 코드를 직접 보낼 수도 있고, 제어명령 내용만을 TV에 보내 TV로 하여금 "A사 에어컨 온도+"에 대한 제2IR 신호 코드를 생성하게 할 수도 있다.

도 4는 본 발명의 제3실시예에 따른 전자장치 제어시스템(1)의 블록도를 도시한다. 도시한 바와 같이, 전자장치 제어시스템(1)은 전자장치(100), 서버(200), 외부장치(400), 및 대화서버(500)를 포함한다. 대화서버(500)는 전자장치(100)와 서버(200) 사이에 마련된다. 또한, 제3실시예에 따른 전자장치 제어시스템(1)은 사용자의 음성명령을 제어기기(300)에서 취득하는 제1실시예와 제2실시예에서와 다르게 사용자의 음성명령을 전자장치(100)에서 직접 수신한다. 외부장치(400)의 제1IR신호를 분석하여 가상 제어대상으로 등록하는 과정은 도 2 및 3에 나타낸 제1 및 2 실시예에서와 동일하므로 그 설명을 생략한다.

외부장치(400)의 제어 매개체인 전자장치(100)는 동작수행부(110), 제1IR통신부(120), 제1네트워크통신부(130), 제1프로세서(140), 제1메모리(150) 및 사용자명령 수신부(160)를 포함한다.

사용자명령 수신부(160)는 사용자명령을 수신하여 제1프로세서(140)로 전달한다. 사용자명령 수신부(160)는 방식에 따라서 다양한 형태로 구현될 수 있는바, 예컨대 표시부에 표시된 메뉴버튼, 리모컨으로부터 수신되는 사용자명령의 리모컨신호를 수신하는 리모컨신호수신부, 표시부에 마련되어 사용자의 터치입력을 수신하는 터치스크린(Touch-Screen), 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크 등으로 구현될 수 있다.

제1프로세서(140)는 예컨대 사용자명령 수신부(160)를 통해 사용자의 음성명령을 취득하면 이를 제1네트워크통신부(130)를 통해 그대로 대화서버(500)로 전달한다. 여기서, 사용자의 음성명령은 예컨대 "TV를 활용하여 에어컨 온도 높여", "TV를 활용하여 에어컨 온도 낮춰", "TV를 활용하여 에어컨 바람 세게" 또는 "TV를 활용하여 에어컨 바람 낮게" 등과 같은 사용자 발화를 포함한다.

대화서버(500)는 제5네트워크통신부(530), 제5프로세서(540), 제5메모리(550) 및 음성인식엔진(570)을 포함한다.

제5네트워크통신부(530)는 전자장치(100)의 제1네트워크통신부(130)로부터 수신한 사용자의 음성명령을 수신하여 제5프로세서(540)로 전달한다.

제5프로세서(540)는 사용자의 음성명령을 음성인식엔진(570)으로 전달한다.

음성인식엔진(570)은 사용자의 음성명령을 처리하여, 예컨대 "TV를 활용하여 에어컨 온도+", "TV를 활용하여 에어컨 온도-", "TV를 활용하여 에어컨 바람+", "TV를 활용하여 에어컨 바람-"과 같은 제어명령을 인식하여 제5프로세서(540)로 전달한다. 이와 같이 사용자의 음성명령으로부터 추출한 제어명령은 제어매개체(TV)-제어대상(에어컨)-명령정보(온도+, 온도-, 바람+, 바람- 등)을 포함한다.

제5프로세서(540)는 인식한 제어명령을 제5네트워크통신부(530)를 통해 서버(200)로 전달한다.

서버(200)는 제2네트워크통신부(230), 제2프로세서(240), 및 제2메모리(250)를 포함한다.

제2네트워크통신부(230)는 대화서버(500)가 전달한 제어명령을 제2프로세서(240)로 전달한다.

제2프로세서(240)는 제어명령에서 제어대상인 외부장치, 예컨대 "A사 에어컨"이 가상 제어대상으로 등록되어 있는지를 확인한다. 제2프로세서(240)는 "A사 에어컨"이 가상 제어대상으로 등록되어 있으면 제2네트워크통신부(230)를 통해 전자장치(100)로 전달한다. 제2프로세서(240)는 만일 "A사 에어컨"이 가상 제어대상으로 등록되어 있지 않으면 제2네트워크통신부(230)를 통해 "A사 에어컨"이 미등록 제어대상이라는 "Fail Return Message"를 대화서버(500)로 피드백 전달한다.

대화서버(500)의 제5프로세서(540)는 제5네트워크통신부(530)를 통해 서버(200)로부터 "Fail Return Message"가 수신되면 제어명령을 제5네트워크통신부(530)를 통해 전자장치(100)로 전달한다.

전자장치(100)의 제1프로세서(140)는 제1네트워크통신부(130)를 통해 서버(200) 또는 대화서버(500)가 전달한, 예컨대 "에어컨 온도+", "에어컨 온도-", "에어컨 바람+", "에어컨 바람-"과 같은 제어명령을 기초로 명령정보에 해당하는 제2IR신호 코드를 생성하여 제1IR통신부(120)로 하여금 제2IR신호를 방사하게 한다.

도 5는 본 발명의 제4실시예에 따른 전자장치 제어시스템(1)의 블록도를 도시한다. 제4실시예의 전자장치 제어시스템(1)은 전자장치(100) 및 외부장치(400)를 포함한다. 전자장치 제어시스템(1)은 전자장치(100)가 서버(200) 대신에 자체적으로 서버로서 기능을 할 뿐만 아니라 제어기기(300)로서의 기능을 하도록 할 수 있다.

전자장치(100)는 동작수행부(110), 제1IR통신부(120), 제1네트워크통신부(130), 제1프로세서(140), 제1메모리(150), 사용자명령 수신부(160), 및 음성인식엔진(170)을 포함한다.

제1 IR통신부(120)는 동작수행부(110)를 제어하기 위한 전자장치(100)의 리모컨(미도시)으로부터 적외선신호를 수신한다. 또한, 제1 IR통신부는 외부장치(400)의 리모컨(402)로부터 방사된 제1 IR신호를 인터셉트한다.

제1네트워크통신부(130)는 외부의 다른 장치들과 네트워크 통신을 수행한다.

제1프로세서(140)는, 예컨대, 제1 IR통신부(120)를 통해 인터셉트한 외부장치(400) 리모컨(402)의 제1IR신호를 분석하고, 제1IR신호의 분석을 통해 외부장치(400)를 나타내는 외부장치의 정보를 얻는다. 여기서, 외부장치의 정보는 외부장치(400)가 제조사, 제품명, 예컨대 "A사 에어컨"이라는 것을 나타낸다.

제1프로세서(140)는 "A사 에어컨"이 제어대상(가상 IoT기기)으로 등록되어 있는지를 확인한다. 만일 "A사 에어컨"이 제어대상 미등록이고 전자장치(100)가 동작 중일 경우, 제1프로세서(140)는 동작수행부(110), 예를 들면 표시부를 통해 사용자에게 제어대상으로 등록할 것인지를 묻는다. 만일 "A사 에어컨"이 제어대상 미등록이고 전자장치(100)가 동작 중이 아닐 경우, 제1프로세서(140)는 동작수행부(110), 예를 들면 표시부를 작동시켜 사용자에게 제어대상으로 등록할 것인지를 묻거나, 대기상태를 유지하다가 사용자가 전자장치(100)를 온(ON)시킬 때 사용자에게 제어대상으로 등록할 것인지를 묻는 제어대상 등록이벤트를 표시한다.

제1프로세서(140)는 사용자가 외부장치(400)에 대해 제어대상 등록을 선택하면 외부장치의 정보를 기초로 외부장치(400)(A사 에어컨)을 제어대상(가상 IoT기기)로 등록한다.

제1메모리(150)는 한정되지 않은 데이터가 저장된다. 제1메모리(150)는 제1프로세서(140)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다. 제1메모리(150)에 저장되는 데이터는, 예를 들면 수집된 제어대상의 정보 데이터, 제조사별 제품별 적외선코드 데이터, 제어대상 등록 데이터 등을 포함한다. 물론, 제1메모리(150)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 영상데이터, 부가데이터 등을 포함한다. 제1메모리(150)는 제1IR신호의 코드 분석 및 제어명령에 해당하는 제2IR신호 변환 등을 수행하는 프로그램(어플리케이션)을 포함한다.

사용자명령 수신부(160)는 사용자입력, 예를 들면 발화 형태의 사용자의 음성명령을 수신하여 제1프로세서(140)로 전달한다. 사용자명령 수신부(160)는 사용자입력의 방식에 따라서 다양한 형태로 구현될 수 있는바, 예컨대 표시부에 표시된 메뉴버튼, 리모컨으로부터 수신되는 사용자입력의 리모컨신호를 수신하는 리모컨신호수신부, 표시부에 마련되어 사용자의 터치입력을 수신하는 터치스크린(Touch-Screen), 사용자의 제스처입력을 감지하는 카메라, 사용자의 음성입력을 인식하는 마이크 등으로 구현될 수 있다.

제1프로세서(140)는 예컨대 사용자명령 수신부(160)를 통해 사용자의 음성명령을 취득하면 이를 음성인식엔진(170)으로 전달한다. 여기서, 사용자의 음성명령은 예컨대 "TV를 활용하여 에어컨 온도 높여", "TV를 활용하여 에어컨 온도 낮춰", "TV를 활용하여 에어컨 바람 세게" 또는 "TV를 활용하여 에어컨 바람 낮게" 등과 같은 사용자 발화를 포함한다.

음성인식엔진(170)은 사용자의 음성명령을 처리하여, 예컨대 "TV를 활용하여 에어컨 온도+", "TV를 활용하여 에어컨 온도-", "TV를 활용하여 에어컨 바람+", "TV를 활용하여 에어컨 바람-"과 같은 제어명령을 인식하여 제1프로세서(140)로 전달한다. 이와 같이 사용자의 음성명령으로부터 추출한 제어명령은 제어매개체-제어대상-명령정보를 포함한다.

제1프로세서(140)는 제어명령을 기초로 외부장치(400)(A사 에어컨)를 제어하기 위한 제2IR신호코드를 생성하여 제1IR통신부(120)를 통해 제2IR신호를 방사한다. 여기서, 제1프로세서(140)는 제어명령 체계(제어 매개체-제어대상-명령정보)에서 제어매개체가 자신과 동일한 경우에 제어 매개체를 무시한다.

전자장치(100)는 하나의 외부장치(400)(A사 에어컨) 이외에 다른 복수의 외부장치들을 가상 제어대상으로 등록한 후 발화에 의한 음성명령 또는 원격지 제어하는 것이 가능하다.

도 6은 본 발명의 제5실시예에 따른 전자장치 제어시스템(1)의 블록도를 도시한다. 제5실시예의 전자장치 제어시스템(1)은 전자장치(100), 제어기기(300) 및 외부장치(400)를 포함한다. 전자장치 제어시스템(1)은 전자장치(100)가 서버(200) 대신에 자체적으로 서버로서 기능을 한다. 제5실시예의 전자장치 제어시스템(1)은 자체적으로 사용자의 음성명령을 수신하여 제어명령을 추출하는 제4실시예와 다르게 제어기기(300)에서 추출된 제어명령을 네트워크 통신을 통해 수신하는 것이 다르다. 전자장치(100), 제어기기(300) 및 외부장치(400)의 구성과 동작은 제1실시예와 유사하므로 그 설명을 생략한다. 다만, 제5실시예에 따른 전자장치 제어시스템(1)은 제1실시예와 비교할 때 제어기기(300)가 서버(200)를 경유하여 전자정치(100)로 제어명령을 전달하는 대신에 제어기기(300)가 직접 전자장치(100)로 제어명령을 전달한다.

도 7은 본 발명의 제6실시예에 따른 전자장치 제어시스템(1)의 블록도를 도시한다. 제6실시예의 전자장치 제어시스템(1)은 전자장치(100), 제어기기(300), 외부장치(400) 및 대화서버(500)를 포함한다. 대화서버(500)는 전자장치(100)와 제어기기(300) 사이에 마련되어 제어기기(300)를 통해 취득한 발화형태의 사용자의 음성명령을 처리하여 제어명령을 추출한다. 전자장치 제어시스템(1)은 대화서버(100)가 서버(200) 대신의 기능을 수행한다. 제6실시예의 전자장치 제어시스템(1)은 제어기기(300)가 발화형태의 사용자의 음성명령을 취득한 후 대화서버(500)로 전달한다.

전자장치(100), 제어기기(300) 및 외부장치(400)의 구성과 동작은 제2실시예와 유사하므로 그 설명을 생략한다.

다만, 제6실시예에 따른 전자장치 제어시스템(1)은 제2실시예와 비교할 때 대화서버(500)가 서버(200)로서 기능을 수행하는 것이 다르다. 물론 대화서버(500)는 단순히 사용자의 음성명령으로부터 제어명령을 인식하는 가능만을 수행하고 외부장치(400)의 가상 제어대상 등록은 전자장치(100)가 수행할 수 있다.

이하 도 8을 참조하여 본 발명의 제1실시예에 따른 전자장치(100)와 서버를 통한 외부장치의 등록과정을 설명한다.

단계 10에서, 전자장치(100)의 제1IR통신부(120)는 외부장치(400) 리모컨(402)에서 방사한 제1IR신호를 수신한다. 전자장치(100)의 1IR신호 수신은 사용자가 외부장치(400)를 제어할 때 방사되는 것을 인터셉트하거나 사용자가 의도적으로 전자장치(100)를 향해 방사하는 것을 수신하는 것을 포함한다.

단계 S11에서, 전자장치(200)의 제1프로세서(140)는 제1IR신호로부터 외부장치(400)의 정보를 얻는다. 도 9는 제1IR신호의 일 예를 나타낸 파형이다. 도시한 바와 같이, 제1IR신호는 NEC코드로서 리더코드, 커스텀 코드, 커스텀 반전코드, 데이터 코드 및 데이터 반전코드로 구성된다. 커스텀 코드는 제조업체를 식별할 수 있는 코드이고, 커스텀 반전 코드는 오류 체크용 커스텀 코드이다. 데이터 코드는 외부장치의 리모컨 제어 데이터를 나타내는 코드이고, 데이터 반전 코드는 오류 체크용 데이터 코드이다.

전자장치(200)의 제1프로세서(140)는 상술한 구조의 제1IR신호의 커스텀 코드로부터 외부장치(400)의 제조업체를 알 수 있고, 데이터 코드로부터 외부장치(400)의 종류를 알 수 있다. 즉, 데이터 코드에 포함된 코드 값은 외부장치(400)의 종류에 따라 다르기 때문에, 외부장치(400)의 종류는 외부장치 종류별 데이터 코드 값을 매칭시킨 템플릿을 통해 쉽게 알아낼 수 있다.

단계 S12에서, 전자장치(200)의 제1프로세서(140)는 획득한 외부장치의 정보를 서버(200)로 전달한다.

단계 S13에서, 서버(200)의 제2프로세서(240)는 외부장치의 정보, 예를 들면 제조사 및 제품명을 기초로 외부장치가 이미 등록된 제어대상인지를 확인한다.

만일 외부장치가 제어대상으로 등록되어 있으면 등록내용을 전자장치(100)로 피드백 전송한 후 종료한다. 만일 외부장치가 제어대상으로 등록되어 있지 않으면 미등록 메시지를 전자장치(100)로 피드백 전송한다.

단계 S14에서, 전자장치가(100)의 제1프로세서(140)는 외부장치가 미등록이라는 메시지를 수신하면 외부장치의 제어대상 등록여부를 묻는 등록UI를 표시부에 표시한다. 도 10에 나타나 있는 바와 같이, 표시부 화면에는 이미 제어대상으로 등록된 오디오, 조명등, 냉장고가 표시되어 있고, 새롭게 감지된 "A사 에어컨"에 대해 제어대상 등록을 묻는 등록UI가 표시되어 있다. 등록UI에서 사용자가 외부장치의 제어대상 미등록을 원하면 등록 과정이 종료된다.

단계 S15에서, 사용자가 "A사 에어컨"에 대해 제어대상 등록을 원하면 서버(200)에 "A사 에어컨"에 대한 등록을 요청한다.

단계 S16에서, 서버(200)의 제2프로세서(240)는 전자장치(100)의 등록 요청에 따라 "A사 에어컨"을 가상 제어대상으로 등록한다.

이때, 서버(200)의 제2프로세서(240)는 전자장치(100)가 "A사 에어컨"의 각종 기능을 수행하는 것으로 등록할 수 있다. 이 경우, 제2프로세서(240)는 "에어컨 온도 올려"라는 제어명령을 수신하면 전자장치(100)의 기능으로 판단하여 전자장치(100)에 제어명령을 전달한다.

한편, 제2프로세서(240)는 전자장치(100)가 "A사 에어컨"를 제어하기 위해 경유하는 매개체로서 등록할 수 있다. 제2프로세서(240)는 "A사 에어컨"을 기존의 IoT장치들과는 구분하여 가상 IoT장치로서, 그리고 "A사 에어컨"을 IR제어할 수 있는 전자장치(100)와 매칭시켜 등록한다. 이 경우, 제2프로세서(240)는 "TV를 활용하여 에어컨 온도 올려"라는 제어명령을 수신하면 전자장치(100)를 경유하는 제어매개체로 하여 전자장치(100)에 제어명령을 전달한다.

이하 도 11을 참조하여 본 발명의 제4실시예에 따른 전자장치를 통한 외부장치의 등록과정을 설명한다.

단계 20에서, 전자장치(100)의 제1IR통신부(120)는 외부장치(400) 리모컨(402)에서 방사한 제1IR신호를 수신한다.

단계 21에서, 제1프로세서(140)는 제1IR신호로부터 외부장치(400)의 정보를 얻는다.

제1프로세서(140)는 상술한 구조의 제1IR신호의 커스텀 코드로부터 외부장치(400)의 제조업체를 알 수 있고, 데이터 코드로부터 외부장치(400)의 종류를 알 수 있다. 즉, 데이터 코드에 포함된 코드 값은 외부장치(400)의 종류에 따라 다르기 때문에, 외부장치(400)의 종류는 외부장치 종류별 데이터 코드 값을 매칭시킨 템플릿을 통해 쉽게 알아낼 수 있다.

단계 S22에서, 전자장치(100)의 제1프로세서(140)는 외부장치가 이미 등록된 제어대상인지를 확인하다. 만일 외부장치가 제어대상으로 등록되어 있으면 등록 진행을 종료한다.

단계 S23에서, 만일 외부장치가 제어대상으로 등록되어 있지 않으면 외부장치의 제어대상 등록여부를 묻는 등록UI를 표시부에 표시한다. 등록UI에서 사용자가 외부장치의 제어대상 미등록을 원하면 등록 과정이 종료된다.

단계 S24에서, 사용자가 외부장치(400)(A사 에어컨)에 대해 제어대상 등록을 원하면 "A사 에어컨"을 가상 제어대상으로 등록한다.

도 12를 참조하여, 본 발명의 제1실시예에 따른 전자장치와 서버 사이를 통한 외부장치의 제어과정을 설명한다.

단계 S30에서, 제어기기(300)가 외부장치(400)에 대한, 예컨대 "TV를 활용하여 에어컨 온도 올려"라는 사용자의 음성명령을 수신한다.

단계 S31에서, 제어기기(300)가 사용자의 음성명령으로부터 제어명령을 추출한다.

단계 S32에서, 제어기기(300)가 서버로 추출한 제어명령을 전달한다.

단계 S33에서, 서버(200)가 제어명령의 대상인 외부장치(400)가 등록된 제어대상인지를 판단한다. 만일, 외부장치(400)가 미등록 제어대상이면 도 9의 단계 S14를 통해 등록 과정을 수행한다.

단계 S34에서, 서버(200)는 외부장치(400)가 등록 제어대상이면 서버(200)가 전자장치(100)로 제어명령을 전달한다. 서버(200)는 필요에 따라 제어명령 대신에 제2IR 신호 코드 형태로 전송할 수도 있다.

단계 S35에서, 전자장치의 제1프로세서(140)가 서버로부터 수신한 제어명령을 외부장치(400)의 명령정보에 해당하는 제2IR신호 코드로 변환한다.

단계 S36에서, 전자장치의 제1IR통신부(120)가 제2IR신호 코드(명령정보)에 대응하는 제2IR신호를 방사한다.

도 13을 참조하여 본 발명의 제2실시예에 따른 전자장치(100), 대화서버(500) 및 서버(200)를 통한 외부장치(400)의 제어방법을 설명한다.

단계 S40에서, 전자장치(100)가 외부장치(400)에 대한, 예컨대 "TV를 활용하여 에어컨 온도 올려"라는 사용자의 음성명령을 수신한다.

단계 S41에서, 전자장치(100)가 대화서버(500)로 외부장치(400)에 대한, 예컨대 "TV를 활용하여 에어컨 온도 올려"라는 사용자의 음성명령을 전달한다.

단계 S42에서, 대화서버(500)가 사용자의 음성명령으로부터 외부장치의 제어명령을 인식(추출)한다.

단계 S43에서, 대화서버(300)가 서버(200)로 인식한 제어명령을 전달한다.

단계 S44에서, 서버(200)가 제어명령의 대상인 외부장치(400)가 등록된 제어대상인지를 판단한다.

단계 S45에서, 외부장치(400)가 등록된 제어대상이면 서버(200)가 전자장치(100)로 제어명령을 전달한다. 서버(200)는 필요에 따라 제어명령 대신에 제2IR 신호 코드 형태로 전송할 수도 있다.

단계 S46에서, 전자장치의 제1프로세서(140)가 서버로부터 수신한 제어명령을 외부장치(400)의 명령정보에 해당하는 제2IR신호 코드로 변환한다.

단계 S47에서, 전자장치의 제1IR통신부(120)가 제2IR신호 코드에 대응하는 제2IR신호를 방사한다.

단계 S48에서, 단계 S44의 판단 결과, 외부장치(400)가 미등록 제어대상이면 서버(200)가 대화서버(500)로 외부장치가 미등록 장치임을 나타내는 "Fail Return Message"를 전달한다.

단계 S49에서, 대화서버(500)는 서버(200)로부터 "Fail Return Message"를 수신하면 전자장치(100)로 인식한 외부장치의 제어명령을 전달한다.

단계 S50에서, 전자장치의 제1프로세서(140)가 대화서버(500)로부터 수신한 제어명령을 외부장치(400)의 명령정보에 해당하는 제2IR신호 코드로 변환한다.

단계 S51에서, 전자장치의 제1IR통신부(120)가 제2IR신호 코드에 대응하는 제2IR신호를 방사한다.

도 14를 참조하여 본 발명의 제4실시예에 따른 전자장치를 통한 외부장치의 제어방법을 설명한다.

단계 S25에서, 전자장치(100)가 외부장치(400)에 대한, 예컨대 "TV를 활용하여 에어컨 온도 올려"라는 사용자의 음성명령을 수신한 후, 사용자의 음성명령으로부터 외부장치의 제어명령을 인식(추출)한다.

단계 S26에서, 전자장치의 제1프로세서(140)가 인식한 제어명령을 외부장치(400)의 명령정보에 해당하는 제2IR신호 코드로 변환한다.

단계 S27에서, 전자장치의 제1IR통신부(120)가 제2IR신호 코드에 대응하는 제2IR신호를 방사한다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시 예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

1: 전자장치 제어시스템
100: 전자장치(TV)
110: 동작수행부
120: 제1IR통신부
130: 제1네트워크통신부
140: 제1프로세서
150: 제1메모리
200: 서버(IoT 클라우드 서버)
230: 제2네트워크통신부
240: 제2프로세서
250: 제2메모리
300: 제어기기(모바일 장치)
330: 제3네트워크통신부
340: 제3프로세서
400: 외부장치(에어컨)
402: 외부장치 리모컨
420: 제4IR통신부
440: 제4프로세서
500: 대화서버
530: 제5네트워크통신부
540: 제5프로세서
550: 제5메모리
160, 360: 사용자명령 수신부
170, 270, 370, 570: 음성인식엔진

Claims

전자장치에 있어서,
동작수행부와;
서버와 네트워크 통신을 수행하는 네트워크통신부와;
적외선통신부와;
소정 동작을 수행하도록 상기 동작수행부를 제어하고,
상기 적외선통신부를 통해 수신한 외부장치의 제1적외선신호로부터 상기 외부장치의 정보를 획득하고,
상기 서버에 상기 획득된 외부장치의 정보를 전송하여 상기 외부장치를 제어대상으로 등록할 것을 요청하고,
상기 서버로부터 상기 외부장치의 제어 명령을 수신하고,
상기 외부장치가 상기 수신된 제어명령에 대응하는 동작을 수행하게 하는 명령정보를 포함하는 제2적외선신호를 송신하도록 상기 적외선통신부를 제어하는 프로세서를 포함하는 전자장치.
제1항에 있어서,
상기 프로세서는 상기 제1적외선신호의 미리 정해진 코드를 기초로 상기 외부장치의 정보를 획득하는 것을 특징으로 하는 전자장치.
제2항에 있어서,
상기 동작수행부는 표시부를 포함하며,
상기 프로세서는 상기 외부장치가 제어대상으로 이미 등록되어 있는지를 확인하고,
상기 외부장치가 미등록 제어대상이면 상기 표시부에 등록UI(User Interface)를 제공하고, 상기 등록UI를 통한 사용자입력에 따라 제어대상 등록을 수행하는 것을 특징으로 하는 전자장치.
제 1항에 있어서,
상기 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치의 추가 기능으로 등록하는 것을 특징으로 하는 전자장치.
제 1항에 있어서,
상기 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치를 경유하여 제어하도록 등록하는 것을 특징으로 하는 전자장치.
제 1항에 있어서,
사용자의 음성명령을 수신하는 사용자명령 수신부; 및
상기 사용자의 음성명령으로부터 제어명령을 인식하는 음성인식엔진을 더 포함하는 것을 특징으로 하는 전자장치.
제 1항에 있어서,
사용자의 음성명령을 수신하는 사용자명령 수신부를 더 포함하며;
상기 프로세서는 상기 사용자의 음성명령을 상기 서버로 전송하고,
상기 네트워크통신부는 상기 서버가 상기 사용자의 음성명령으로부터 인식한 제어명령을 수신하는 것을 특징으로 하는 전자장치.
제 1항에 있어서,
사용자의 음성명령을 수신하는 사용자명령 수신부를 더 포함하며;
상기 프로세서는 상기 사용자의 음성명령을 상시 대화서버로 전송하고,
상기 네트워크통신부는 상기 대화서버가 상기 사용자의 음성명령으로부터 인식한 제어명령을 서버를 경유하여 수신하는 것을 특징으로 하는 전자장치.
전자장치에 있어서,
동작수행부와;
적외선통신부와;
소정 동작을 수행하도록 상기 동작수행부를 제어하고,
상기 적외선통신부를 통해 수신한 외부장치의 제1적외선신호로부터 상기 외부장치의 정보를 획득하고,
상기 획득한 외부장치의 정보를 기초로 상기 외부장치를 제어대상으로 등록하고,
상기 외부장치가 제어명령에 대응하는 동작을 수행하게 하는 명령정보를 포함하는 제2적외선신호를 송신하도록 상기 적외선통신부를 제어하는 프로세서를 포함하는 전자장치.
제 9항에 있어서,
제어기기와 네트워크 통신하는 네트워크 통신부를 더 포함하며,
상기 제어명령은 상기 네트워크통신부를 통해 상기 제어기기로부터 수신하는 것을 특징으로 하는 전자장치.
서버에 있어서,
전자장치와 네트워크 통신하는 네트워크통신부와;
상기 네트워크통신부를 통해 상기 전자장치로부터 외부장치의 정보를 수신하고,
상기 수신한 외부장치의 정보를 기초로 상기 외부장치를 제어대상으로 등록하고,
상기 외부장치의 제어명령을 상기 네트워크통신부를 통해 상기 전자장치로 전송하여 상기 전자장치가 상기 외부장치를 제어하게 하는 프로세서를 포함하는 서버.
제 11항에 있어서,
사용자의 음성명령을 인식하는 음성인식엔진을 더 포함하며,
상기 사용자의 음성명령은 상기 네트워크통신부를 통해 상기 전자장치로부터 수신하는 것을 특징으로 하는 서버.
제 11항에 있어서,
사용자의 음성명령을 인식하는 음성인식엔진을 더 포함하며,
상기 네트워크통신부는 제어기기와 네트워크 통신을 수행하며,
상기 사용자의 음성명령은 상기 네트워크통신부를 통해 제어기기로부터 수신하는 것을 특징으로 하는 서버.
제 11항에 있어서,
상기 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치의 추가 기능으로 등록하는 것을 특징으로 하는 서버.
제 11항에 있어서,
상기 프로세서는 상기 외부장치의 제어대상 등록에서 외부장치의 기능을 상기 전자장치를 경유하여 제어하도록 등록하는 것을 특징으로 하는 서버.
제 11항에 있어서,
상기 네트워크통신부는 대화서버와 네트워크 통신하며,
상기 외부장치의 제어명령은 상기 네트워크통신부를 통해 상기 대화서버를 통해 수신하는 것을 특징으로 하는 서버.
제 16항에 있어서,
상기 프로세서는 상기 외부장치의 제어명령을 기초로 상기 외부장치가 제어대상으로 등록되어 있는지를 판단하고,
상기 외부장치가 제어대상이면 상기 제어명령을 상기 전자장치로 전송하고, 상기 제어대상이 아니면 "외부장치가 미등록 제어대상임을 나타내는 메시지"를 상기 대화서버로 전송하는 것을 특징으로 하는 서버.
전자장치의 제어방법에 있어서,
외부장치의 제1적외선신호를 수신하는 단계와;
상기 제1적외선신호로부터 상기 외부장치의 정보를 획득하는 단계와;
서버에 상기 획득한 외부장치의 정보를 전송하여 상기 외부장치를 제어대상으로 등록할 것을 요청하는 단계와;
상기 서버로부터 상기 외부장치의 제어 명령을 수신하는 단계와;
상기 외부장치가 상기 수신된 제어명령에 대응하는 동작을 수행하게 하는 명령정보를 포함하는 제2적외선신호를 외부장치에 송신하는 단계를 포함하는 방법.
제18항에 있어서,
사용자의 음성명령을 수신하는 단계와;
상기 사용자의 음성명령을 대화서버로 전송하는 단계와;
상기 대화서버가 상기 사용자의 음성명령으로부터 외부장치의 제어명령을 인식하는 단계와;
상기 대화서버가 인식한 외부장치의 제어명령을 상기 서버로 전송하는 단계와;
상기 서버가 상기 외부장치가 제어대상인지를 판단하는 단계와;
상기 외부장치가 제어대상이면 상기 서버가 상기 제어명령을 상기 전자장치로 전송하는 단계를 더 포함하는 방법.
제19항에 있어서,
상기 판단 단계에서, 상기 제어명령의 외부장치가 제어대상이 아니면 상기 서버가 상기 대화서버로 "외부장치가 제어대상이 아님을 나타내는 메시지"를 전송하는 단계와;
상기 대화서버가 상기 제어명령을 상기 전자장치로 전송하는 단계를 더 포함하는 방법.