KR20170004497A - 리모컨 신호 및 음성 명령의 딥-러닝을 통해 클라우드 데이터베이스를 사용함으로써 다양한 전자 장치를 제어하거나 제어하도록 지원하기 위한 방법 - Google Patents

Abstract

본 발명의 일 태양에 따르면, 리모컨 신호 및 음성 명령의 딥-러닝(Deep-Learning)을 통해 클라우드 데이터베이스를 사용함으로써 다양한 전자 장치를 제어하거나 제어하도록 지원하기 위한 방법에 있어서, (a) 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 상기 소정 공간의 제어 전자 장치가, 소정의 데이터베이스를 참조로 하여 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하거나 상기 소정 공간과는 다른 공간의 제어 전자 장치가 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원하는 단계, 및 (b) 추후 상기 소정 공간 또는 상기 다른 공간의 사용자가 상기 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 상기 소정 공간 또는 상기 다른 공간의 상기 제어 전자 장치가, 상기 획득된 제어 신호 유도 정보를 사용하여 상기 특정 IR 신호를 발생시키거나 발생시키도록 지원하는 단계를 포함하되, 상기 데이터베이스는, 제1 공간 내지 제n 공간 - 상기 제1 공간 내지 상기 제n 공간은 적어도 상기 소정 공간 또는 상기 다른 공간을 포함함 - 에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 상기 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리하는 것을 특징으로 하는 방법이 제공된다.

Description

리모컨 신호 및 음성 명령의 딥-러닝을 통해 클라우드 데이터베이스를 사용함으로써 다양한 전자 장치를 제어하거나 제어하도록 지원하기 위한 방법{METHOD FOR CONTROLLING VARIOUS ELECTRONIC DEVICES OR ALLOWING THE VARIOUS ELECTRONIC DEVICES TO BE CONTROLLED BY DEEP-LEARNING WITH RESPECT TO REMOCON SIGNAL AND VOICE COMMAND IN USE OF CLOUD DATABASE}

본 발명은, 리모컨 신호 및 음성 명령의 딥-러닝(Deep-Learning)을 통해 클라우드 데이터베이스를 사용함으로써 다양한 전자 장치를 제어하거나 제어하도록 지원하기 위한 방법에 관한 것으로, 좀더 상세하게는 (a) 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 소정의 데이터베이스를 참조로 하여 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하거나 상기 소정 공간과는 다른 공간의 제어 전자 장치가 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원하고, (b) 추후 상기 소정 공간 또는 상기 다른 공간의 사용자가 상기 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 상기 획득된 제어 신호 유도 정보를 사용하여 상기 특정 IR 신호를 발생시키거나 발생시키도록 지원하며, 상기 데이터베이스는, 제1 공간 내지 제n 공간 - 상기 제1 공간 내지 상기 제n 공간은 적어도 상기 소정 공간 또는 상기 다른 공간을 포함함 - 에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 상기 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리하는, 방법에 대한 것이다.

근래에는 스마트 폰을 필두로 스마트 TV, 스마트 냉장고, 스마트 에어컨 등 다양한 스마트 기기들이 속속 등장하고 있다. 스마트 기기는 사용자 경험을 통한 사용자와 기기 간의 인터랙션을 지원하고 응용 프로그램을 통한 기능 변경이나 확장을 지원한다. 그러나, 이러한 스마트 기기의 등장에도 불구하고 스마트 기기들을 동작시키기 위해서 여전히 리모컨이 가장 많이 사용되고 있다.

도 1은 개별 리모컨을 사용하여 집안의 여러 전자 기기들을 동작시키는 상황을 도시한 개념도이다.

도 1에 도시된 것처럼 종래에는 집안에 배치되는 전자 기기의 종류가 많아짐에 따라 각 전자 기기(10', 20', 30', 40')를 제어하기 위한 리모컨(10, 20, 30, 40)의 개수도 많아지게 된다. 이에 따라 사용자는 개별 전자 기기(10', 20', 30', 40')의 리모컨(10, 20, 30, 40)을 각각 관리해야 하며, 각 전자 기기(10', 20', 30', 40')를 동작시키기 위해서 각 리모컨(10, 20, 30, 40)을 찾아서 조작해야 하는 불편함을 느끼게 된다.

또한, 리모컨은 전자 기기의 다양한 동작을 지원하기 위해 많은 버튼을 가지고 있는 바, 사용자는 개별 리모컨(10, 20, 30, 40)의 버튼의 기능을 숙지하여 매번 리모컨을 사용할 때마다 자신이 원하는 버튼을 찾아서 조작해야 하는 부담을 가지게 된다.

이러한 문제를 해결하기 위한 방안으로 통합 리모컨을 고려할 수도 있으나, 통합 리모컨은 등록되지 않은 새로운 전자 기기를 구입하면 이를 제어할 수 없고, 새로운 전자 기기를 등록하기 위해 별도의 제품 수리 내지 조작이 필요한 불편함이 있다.

이에 본 발명자는 소정 공간의 리모컨 신호를 스스로 학습하여 새로운 전자 기기를 포함하는 리모컨 신호에 기반한 어떠한 전자 기기도 제어할 수 있을 뿐 아니라, 개별 리모컨의 조작 없이도 음성인식을 통해 간편하게 리모컨 신호를 발생시켜 소정 공간의 전자 기기들을 제어할 수 있는 기술을 발명하기에 이르렀다.

본 발명은 상술한 문제점들을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 소정 공간의 리모컨 신호를 스스로 학습하여 새로운 전자 기기를 포함하는 리모컨 신호에 기반한 어떠한 전자 기기도 제어할 수 있을 뿐 아니라, 개별 리모컨의 조작 없이도 음성인식을 통해 간편하게 리모컨 신호를 발생시켜 소정 공간의 전자 기기들을 제어할 수 있는 것을 다른 목적으로 한다.

또한, 본 발명은 소정 공간에서 획득된 IR 신호를 소정의 데이터베이스에서 검색하여 획득된 IR 신호와 매핑되는 제어 신호 유도 정보가 없는 경우 소정의 데이터베이스에 이를 새롭게 소정의 데이터베이스에 저장하고 상이한 공간에 있는 여러 장치들이 소정의 데이터베이스를 공유함으로써 다양한 종류의 제어 신호 유도 정보 매핑 정보를 빠르게 확장하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 사용자에 의해 발생된 제어 신호 유도 정보를 데이터베이스를 참조하여 IR 신호로 변환하고 IR 신호를 송출하여 댁내의 장치들을 제어함으로써 리모컨이 없이도 여러 종류의 장치들을 간편하게 제어할 수 있도록 하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 사용자에 의해 발생된 제어 신호 유도 정보에 대응되는 IR 신호가 데이터베이스에 없는 경우 이와 유사도가 상대적으로 높은 제어 신호 유도 정보에 대응되는 IR 신호를 발생시키고 유사한 제어 신호 유도 정보를 세트로 묶어 IR 신호에 매핑함으로써 제어 신호 유도 정보 매핑 정보를 확장하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 소정 공간에서 전자 기기를 제어한 로그 기록에 기초하여 획득된 IR 신호의 패턴 정보를 참조로 하여 소정의 IR 신호를 발생시키고, 이 경우 음성을 발화한 사용자를 인식하고 인식된 화자 정보에 기초하여 사용자 특성을 반영한 IR 신호를 발생시킬 수 있는 것을 또 다른 목적으로 한다.

또한, 본 발명은 IR 신호를 획득하거나 발생시킴에 있어 IR 센서의 센싱 각도를 변화시켜 특정 방향의 IR 신호를 획득하고, 제어하고자 하는 장치를 식별하여 장치가 위치한 방향으로 IR 신호를 발생시킴으로써 IR 신호가 가지는 지향성의 영향을 최소화하여 IR 신호를 획득하거나 발생시키는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 리모컨 신호 및 음성 명령의 딥-러닝(Deep-Learning)을 통해 클라우드 데이터베이스를 사용함으로써 다양한 전자 장치를 제어하거나 제어하도록 지원하기 위한 방법에 있어서, (a) 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 상기 소정 공간의 제어 전자 장치가, 소정의 데이터베이스를 참조로 하여 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하거나 상기 소정 공간과는 다른 공간의 제어 전자 장치가 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원하는 단계, 및 (b) 추후 상기 소정 공간 또는 상기 다른 공간의 사용자가 상기 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 상기 소정 공간 또는 상기 다른 공간의 상기 제어 전자 장치가, 상기 획득된 제어 신호 유도 정보를 사용하여 상기 특정 IR 신호를 발생시키거나 발생시키도록 지원하는 단계를 포함하되, 상기 데이터베이스는, 제1 공간 내지 제n 공간 - 상기 제1 공간 내지 상기 제n 공간은 적어도 상기 소정 공간 또는 상기 다른 공간을 포함함 - 에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 상기 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리하는 것을 특징으로 하는 방법이 제공된다.

본 발명의 다른 태양에 따르면, IR 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 방법에 있어서, (a) 제어 전자 장치가, 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 제어 신호 유도 정보를 획득하는 단계, 및 (b) 상기 제어 전자 장치가, 소정의 데이터베이스를 참조로 하여 상기 제어 신호 유도 정보에 대응되는 특정 IR 신호의 식별자를 획득하여 상기 특정 IR 신호를 발생시키거나 발생시키도록 지원하는 단계를 포함하되, 상기 데이터베이스는, 제1 공간 내지 제n 공간 - 상기 제1 공간 내지 상기 제n 공간은 적어도 상기 소정 공간을 포함함 - 에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 상기 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리하는 것을 특징으로 하는 방법이 제공된다.

본 발명의 또 다른 태양에 따르면, IR 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 장치에 있어서, 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 소정의 데이터베이스를 참조로 하여 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하거나 상기 소정 공간과는 다른 공간의 제어 전자 장치가 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원하는 제어 신호 유도 정보 획득부, 및 추후 상기 소정 공간의 사용자가 상기 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 상기 획득된 제어 신호 유도 정보를 사용하여 상기 특정 IR 신호를 발생시키거나 상기 특정 IR 신호가 발생되도록 지원하는 IR 신호 발생부를 포함하되, 상기 데이터베이스는, 제1 공간 내지 제n 공간 - 상기 제1 공간 내지 상기 제n 공간은 적어도 상기 소정 공간 또는 상기 다른 공간을 포함함 - 에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 상기 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리하는 것을 특징으로 하는 장치가 제공된다.

본 발명의 또 다른 태양에 따르면, IR 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 장치에 있어서, 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 제어 신호 유도 정보를 획득하는 제어 신호 유도 정보 획득부, 및 소정의 데이터베이스를 참조로 하여 상기 제어 신호 유도 정보에 대응되는 특정 IR 신호의 식별자를 획득하여 상기 특정 IR 신호를 발생시키거나 발생시키도록 지원하는 IR 신호 발생부를 포함하되, 상기 데이터베이스는, 제1 공간 내지 제n 공간 - 상기 제1 공간 내지 상기 제n 공간은 적어도 상기 소정 공간을 포함함 - 에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 상기 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리하는 것을 특징으로 하는 장치가 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 장치 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 다음과 같은 효과가 있다.

또한, 본 발명은 소정 공간의 리모컨 신호를 스스로 학습하여 새로운 전자 기기를 포함하는 리모컨 신호에 기반한 어떠한 전자 기기도 제어할 수 있을 뿐 아니라, 개별 리모컨의 조작 없이도 음성인식을 통해 간편하게 리모컨 신호를 발생시켜 소정 공간의 전자 기기들을 제어할 수 있는 효과가 있다.

또한, 본 발명은 소정 공간에서 획득된 IR 신호를 소정의 데이터베이스에서 검색하여 획득된 IR 신호와 매핑되는 제어 신호 유도 정보가 소정의 데이터베이스에 없는 경우 이를 새롭게 소정의 데이터베이스에 저장하고 상이한 공간에 있는 여러 장치들이 소정의 데이터베이스를 공유함으로써 다양한 종류의 제어 신호 유도 정보 매핑 정보를 빠르게 확장하는 효과가 있다.

또한, 본 발명은 사용자에 의해 발생된 제어 신호 유도 정보를 데이터베이스를 참조하여 IR 신호로 변환하고 IR 신호를 송출하여 댁내의 장치들을 제어함으로써 리모컨이 없이도 여러 종류의 장치들을 간편하게 제어할 수 있도록 하는 효과가 있다.

또한, 본 발명은 사용자에 의해 발생된 제어 신호 유도 정보에 대응되는 IR 신호가 데이터베이스에 없는 경우 이와 유사도가 상대적으로 높은 제어 신호 유도 정보에 대응되는 IR 신호를 발생시키고 유사한 제어 신호 유도 정보를 세트로 묶어 IR 신호에 매핑함으로써 제어 신호 유도 정보 매핑 정보를 확장하는 효과가 있다.

또한, 본 발명은 소정 공간에서 전자 기기를 제어한 로그 기록에 기초하여 획득된 IR 신호의 패턴 정보를 참조로 하여 소정의 IR 신호를 발생시키고, 이 경우 음성을 발화한 사용자를 인식하고 인식된 화자 정보에 기초하여 사용자 특성을 반영한 IR 신호를 발생시킬 수 있는 효과가 있다.

또한, 본 발명은 IR 신호를 획득하거나 발생시킴에 있어 IR 센서의 센싱 각도를 변화시켜 특정 방향의 IR 신호를 획득하고, 제어하고자 하는 장치를 식별하여 장치가 위치한 방향으로 IR 신호를 발생시킴으로써 IR 신호가 가지는 지향성의 영향을 최소화하여 IR 신호를 획득하거나 발생시키는 효과가 있다.

도 1은 종래 기술에 따른 개별 리모컨을 사용하여 집안의 여러 전자 기기들을 동작시키는 상황을 도시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 제어 전자 장치의 동작을 도시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 IR 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 장치의 구성을 도시한 블록도이다.
도 4는 제어 신호 유도 정보가 데이터베이스에 등록되지 않은 경우의 제어 전자 장치의 동작을 설명하기 위한 참고도이다.
도 5는 종속 전자 장치에 대한 리스트 및 커맨드 리스트를 관리하고 업데이트하는 IR 신호 학습의 구현예를 설명하기 위한 도면이다.
도 6은 제어 신호 유도 정보와 특정 IR 신호의 식별자의 매핑 정보가 데이터베이스에 새롭게 저장된 경우 다른 제어 전자 장치에 데이터베이스 업데이트를 제공하는 실시예를 도시한 참고도이다.
도 7은 본 발명의 일 실시예에 따라 제어 신호 유도 정보를 획득하여 특정 종속 전자 장치를 제어하기 위한 IR 신호를 발생시키는 실시예를 도시한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

도 2는 본 발명의 일 실시예에 따른 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 제어 전자 장치의 동작을 도시한 개념도이다.

본 발명의 다양한 실시예에 따른 제어 전자 장치는, 소정의 실내 공간에 위치하는 셋톱박스, IoT 장치, 기타 네트워크로 연결된 다른 장치들과 통신 가능한 다양한 전자 장치 중 어느 하나로서, 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 다양한 장치가 될 수 있다. 종속 전자 장치는, IR 신호에 의해 제어되는 상기 소정의 실내 공간 또는 이와 다른 공간에 위치한 다양한 전자 장치가 될 수 있다. 예를 들어, 에어컨, 냉장고, 세탁기, TV, 오디오, 컴퓨터 등이 될 수 있다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 제어 전자 장치(100-1)는, 소정 공간에서 특정 종속 제어 장치를 제어하기 위한 특정 IR 신호를 획득할 수 있다. 제어 전자 장치(100-1)는 데이터베이스(200-1)를 참조로 하여 상기 획득된 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득할 수 있다. 여기서, 특정 IR 신호의 식별자는 특정 종속 제어 장치를 제어하기 위한 IR 신호를 식별하기 위한 식별 정보를 의미한다. 예를 들어, 장치의 종류, 제조사, 명령 정보 등을 나타내는 파라미터 데이터일 수 있다. 제어 신호 유도 정보는, 특정 종속 제어 장치를 제어하기 위한 제어 신호, 즉, IR 신호를 유도하기 위한 정보이다. 제어 신호 유도 정보는 음성 데이터, 상기 음성 데이터를 인식하여 텍스트로 변환한 텍스트 데이터, 또는 상기 텍스트 데이터를 소정의 데이터 포맷으로 변환한 사용자 명령 데이터(user command data)일 수 있다. 예를 들어, 사용자가 음성 명령을 통해 특정 종속 제어 장치인 TV를 켜고자 하는 경우, 음성 데이터를 변환한 텍스트 데이터 “TV를 켜줘”가 제어 신호 유도 정보가 될 수 있다. 다만, 제어 신호 유도 정보는 음성 데이터나 음성 데이터와 관련된 데이터에 한정되는 것은 아니다. 예를 들어, 제어 신호 유도 정보는 제스처 데이터나 제스처 데이터를 분석하여 텍스트로 변환한 텍스트 데이터, 또는 상기 텍스트 데이터를 소정의 데이터 포맷으로 변환한 사용자 명령 데이터일 수도 있다. 제어 전자 장치(100)는 획득된 특정 IR 신호를 분석하여 소정의 데이터 베이스(200-1)에서 검색하여 이와 대응되는 제어 신호 유도 정보를 획득할 수 있다.

또한, 제어 전자 장치(100-1)는 상기 소정 공간과는 다른 공간의 제어 전자 장치(100-2)가 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원할 수 있다. 구체적으로, 제어 전자 장치(100-1)는 소정의 데이터베이스(200-1)에 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 없을 경우, 소정 공간에서의 사용자 인터랙션 정보 또는 IoT 장치 동작 정보를 분석한 결과로서 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득할 수 있고, 상기 획득된 제어 신호 유도 정보를 상기 특정 IR 신호의 식별자와 매핑하여 상기 소정의 데이터베이스(200-1)에 저장함으로써, 다른 제어 전자 장치(100-2)가 갱신된 소정의 데이터베이스(200-1)를 참조로 하여 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원할 수 있다. 이에 대해서는 뒤에서 좀더 자세하게 설명하기로 한다.

또한, 소정 공간의 제어 전자 장치(100-1)는, 추후 소정 공간 또는 다른 공간의 사용자가 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 상기 소정 공간의 사용자로 하여금 소정의 제어 신호 유도 정보가 입력되면, 상기에서 소정의 데이터베이스(200-1)로부터 획득된 제어 신호 유도 정보와 비교함으로써 상기 소정 공간의 사용자에 의해 입력된 제어 신호 유도 정보를 인식하고 이에 대응되는 특정 IR 신호를 발생시키거나 다른 장치(예를 들어 리모컨)로 하여금 특정 IR 신호가 발생되도록 지원할 수 있다. 마찬가지로 다른 공간의 제어 전자 장치(100-2) 역시, 추후 다른 공간의 사용자가 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 상기 다른 공간의 사용자로 하여금 소정의 제어 신호 유도 정보가 입력되면, 상기에서 소정의 데이터베이스(200-1)로부터 획득된 제어 신호 유도 정보와 비교함으로써 상기 다른 공간의 사용자에 의해 입력된 제어 신호 유도 정보를 인식하고 이에 대응되는 특정 IR 신호를 발생시키거나 다른 장치(예를 들어 리모컨)로 하여금 특정 IR 신호가 발생되도록 지원할 수 있다. 구체적으로, 추후 소정 공간 또는 다른 공간의 사용자가 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 특정 제어 신호 유도 정보를 발생시키는 경우, 소정 공간 또는 다른 공간의 제어 전자 장치(100-1, 100-2)는, 발생된 특정 제어 신호 유도 정보에 대응되는 액션으로서 특정 IR 신호를 발생시키거나 특정 IR 신호의 발생을 지원할 수 있다. 여기서 특정 제어 신호 유도 정보는 전술한 바와 같이 사용자가 발화한 음성을 수집한 음성 데이터일 수 있다. 예를 들어, 다른 공간의 사용자가 특정 종속 전자 장치와 동일한 종류의 전자 장치인 에어컨을 제어하고자 "xx 에어컨을 틀어줘"라고 발화했으면 다른 공간의 제어 전자 장치(100-2)는 이를 감지하여 xx 에어컨에 대응되는 에어컨(10´)의 전원을 온(on)시킬 것을 명령하는 IR 신호를 생성하여 송출할 수 있다.

여기서, 소정 공간 또는 다른 공간의 제어 전자 장치(100-1, 100-2)는 우선적으로 소정의 데이터베이스(200-1)가 아닌 로컬 데이터베이스나 자체 저장부를 참조로 하여 IR 신호를 생성할 수도 있다. 이 경우, 획득된 제어 신호 유도 정보 외에 특정 IR 신호에 대응되는 제어 신호 유도 정보가 로컬 데이터베이스나 자체 저장부에 더 저장되어 있을 수 있다. 전술한 예에서 제어 전자 장치(100-1, 100-2)는"에어컨을 틀어줘"뿐 아니라 "에어컨을 켜줘”, "에어컨을 온 시켜줘"와 같이 어미가 다양한 음성 데이터에 대해서도 동일한 IR 신호를 출력할 수 있다.

한편, 소정의 데이터베이스(200-1)는, IR 신호별로 대응되는 제어 신호 유도 정보와 매핑하여 저장하고 관리할 수 있다. 구체적으로, 소정의 데이터베이스(200-1)는, IR 신호의 식별자와 제어 신호 유도 정보를 매핑하여 저장할 수 있다. 또한, 소정의 데이터베이스(200-1)는 여러 공간에 위치한 동일한 종류의 여러 제어 전자 장치에 의해 공유되어 참조될 수 있다. 특히, 소정의 데이터베이스(200-1)는, 제1 공간 내지 제n 공간(여기서, 제1 공간 내지 제n 공간은 적어도 상기 소정 공간 또는 상기 다른 공간을 포함함)에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리할 수 있다.

이하에서는 본 발명의 일 실시예에 따른 IR 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 장치의 구성 및 동작을 좀더 상세하게 설명한다. 상기에서는 소정 공간의 제어 전자 장치(100-1)와 다른 공간의 제어 전자 장치(100-2)를 구별하여 설명하였으나, 두 장치는 동일한 종류의 장치이므로 구성 및 동작이 동일한 바, 이하에서는 제어 전자 장치(100)로 설명하도록 한다. 즉, 하기에서 설명하는 제어 전자 장치(100)에 관한 내용은 전술한 소정 공간의 제어 전자 장치(100-1)와 다른 공간의 제어 전자 장치(100-2) 모두에 적용될 수 있다.

도 3은 본 발명의 일 실시예에 따른 IR 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 장치의 구성을 도시한 블록도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 IR 신호를 학습하여 종속 전자 장치를 제어하거나 종속 전자 장치의 제어를 지원하기 위한 장치(100)는 제어 신호 유도 정보 획득부(110), IR 신호 발생부(120), IR 신호 학습부(130), 제어 신호 유도 정보 학습부(140), 매핑 정보 조정부(150), 통신부(160) 및 제어부(170)를 포함한다.

제어 신호 유도 정보 획득부(110)는, 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 소정의 데이터베이스(200-1)를 참조로 하여 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하거나 상기 소정 공간과는 다른 공간의 제어 전자 장치가 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원한다. 우선, 제어 신호 유도 정보 획득부(110)는, IR 수신 모듈(미도시) 또는 별도의 IR 수신 장치(미도시)를 통해 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호를 획득할 수 있다. 그리고, 제어 신호 유도 정보 획득부(110)는 획득된 특정 IR 신호를 소정의 데이터베이스(200-1)에서 검색하여 식별할 수 있다. 이에 따라 제어 신호 유도 정보 획득부(110)는 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득할 수 있다. 예를 들어, 제어 신호 유도 정보 획득부(110)는 획득된 특정 IR 신호에 대해서 에어컨의 전원을 온(on)시킬 것을 지시하는 사용자 명령 데이터를 획득할 수 있다.

다만, 소정의 데이터베이스(200-1)에 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 없는 경우도 있을 수 있다. 이하에서는 이러한 경우에 제어 전자 장치(100)의 동작을 설명한다.

도 4는 제어 신호 유도 정보가 데이터베이스에 등록되지 않은 경우의 제어 전자 장치의 동작을 설명하기 위한 참고도이다.

도 4를 참조하면, 소정 공간의 제어 전자 장치(100)는, 소정 공간의 사용자로부터 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 우선적으로, 소정 공간의 로컬 데이터베이스(200-2)를 참조로 하여 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 검색할 수 있다. 로컬 데이터베이스(200-2)는 제어 전자 장치(100)의 저장부(미도시)에 설치될 수도 있고 댁내 네트워크를 통해 연결된 별도의 장치에 설치되어 있을 수도 있다.

상기 검색 결과, 소정 공간의 로컬 데이터베이스(200-2)에 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 없으면, 제어 신호 유도 정보 획득부(110)는, 소정의 데이터베이스(200-1)를 참조로 하여 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 검색할 수 있다. 여기서, 소정의 데이터베이스(200-1)는 클라우드 데이터베이스일 수 있다. 즉, 상이한 공간에 위치한 제어 전자 장치들에 의해 참조가 가능한 데이터베이스일 수 있다. 이 때문에, 본 명세서에서 "소정의 데이터베이스"를 공용 데이터베이스로 명명할 수도 있을 것이다.

이때, 소정의 데이터베이스(200-1)에도 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 없는 경우, 제어 신호 유도 정보 획득부(110)는, 소정 공간에서의 사용자 인터랙션 정보 또는 IoT 장치 동작 정보를 획득하여 이를 분석한 결과로서 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득할 수 있다. 구체적으로, 소정의 데이터베이스(200-1)에도 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 없는 경우, 제어 신호 유도 정보 획득부(110)는, 특정 IR 신호의 식별자에 대응되는 소정 공간에서 사용자가 발생시킨 제어 신호 유도 정보(Triggering Info. 예를 들어, 음성 데이터) 또는 IoT 장치에서 수신된 IoT 장치 동작 상태 정보(IoT Signal)를 획득하여 이를 분석한 결과로서의 제어 신호 유도 정보를 획득할 수 있다. 예를 들어, 소정 공간의 제어 전자 장치(100-1)가 에어컨의 전원을 온(on)시키는 IR 신호를 획득한 경우, 검색 결과 소정의 데이터베이스(200-1)에도 해당 IR 신호에 대한 정보가 없는 경우라면, 제어 신호 유도 정보 획득부(110)는, 사용자 입력을 통한 "에어컨을 켜줘"라는 음성 데이터 또는 에어컨으로부터 수신된 에어컨의 전원이 온 되었음을 나타내는 정보를 상기 해당 IR 신호에 대응되는 제어 신호 유도 정보로서 획득할 수 있다.

반면, 소정의 데이터베이스(200-1)에 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 있는 경우, 제어 신호 유도 정보 획득부(110)는, 소정의 데이터베이스(200-1)를 참조로 하여 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득할 수 있다. 이 경우, 소정 공간의 제어 전자 장치(100-1)는, 소정의 데이터베이스(200-1)를 다운로드하여 로컬 데이터베이스를 업데이트하거나 업데이트하도록 지원할 수 있다.

IR 신호 학습부(130)는 소정의 데이터베이스(200-1)에 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 없을 경우, 소정 공간에서의 사용자 인터랙션 정보 또는 IoT 장치 동작 정보를 분석한 결과로서 획득된 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 상기 특정 IR 신호의 식별자와 매핑하여 소정의 데이터베이스(200-1) 및 로컬 데이터베이스(200-2) 중 적어도 일부에 저장할 수 있다. 전술한 예에서 획득된 에어컨의 전원을 온(on)시키는 IR 신호에 대한 정보가 소정의 데이터베이스(200-1)에도 없는 경우, 제어 신호 유도 정보 획득부(110)는, 사용자 입력을 통한 "에어컨을 켜줘"라는 음성 데이터를 제어 신호 유도 정보로서 획득하고, IR 신호 학습부(130)는 소정의 데이터베이스(200-1) 및 로컬 데이터베이스(200-2) 중 적어도 일부에 "에어컨을 켜줘"와 검출된 IR 신호를 매핑하여 저장함으로써 IR 신호를 학습할 수 있게 된다.

도 5는 종속 전자 장치에 대한 리스트 및 커맨드 리스트를 관리하고 업데이트하는 IR 신호 학습의 구현예를 설명하기 위한 도면이다.

소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 획득된 특정 IR 신호가 분석될 수 있다. IR 수신 모듈(미도시)은 IDLE 상태에서 신호가 High로 유지될 수 있다. 이때 IR 신호를 수신하면 IR 수신 모듈은 신호가 Low로 떨어지게 된다. 따라서, IR 수신 모듈은 외부 인터럽트를 사용해서 falling edge에서 IR 신호의 수신을 감지할 수 있다. 인터럽트가 감지되면, 타이머를 구동하여 첫 비트 데이터의 길이가 측정된다. 측정된 Start Bit의 길이에 따라 프토로콜이 결정되고 프로토콜의 타입별로 데이터를 파싱하여 데이터를 추출할 수 있다. 이 과정에서 장치의 종류를 나타내는 어드레스 정보가 추출될 수 있다.

도 5를 참조하면, 프로토콜 타입과 어드레스 타입을 기반으로 종속 전자 장치에 대한 리스트(이하 "장치 리스트"라 한다)가 로컬 데이터베이스에 존재하는지 판단될 수 있다(S510). 예를 들어, S사의 TV에 대한 리스트가 로컬 데이터베이스에 존재하는지 판단될 수 있다. 장치 리스트가 로컬 데이터베이스에 존재하면(S510-Y), 프로토콜 타입과 어드레스 타입에 대응되는 특정 커맨드 리스트가 로컬 데이터베이스에 존재하는지 판단될 수 있다(S520). 위에 설명한 예에서 S사의 TV에 대한 커맨드 리스트가 로컬 데이터베이스에 존재하는지 판단될 수 있다. 특정 커맨드 리스트가 로컬 데이터베이스에 존재하면(S520-Y), 획득된 IR 신호에 포함된 커맨드가 특정 커맨드 리스트에서 식별될 수 있다(S530).

그러나, 장치 리스트가 로컬 데이터베이스에 없거나 프로토콜 타입과 어드레스 타입에 대응되는 특정 커맨드 리스트가 로컬 데이터베이스에 없는 경우(S510-N 또는 S520-N), 프로토콜 타입과 어드레스 타입 정보를 이용하여 클라우드 서버의 데이터베이스(200-3)가 조회될 수 있다(S550). 클라우드 서버의 데이터베이스(200-3)에도 정보가 없는 경우(S560-N)는 사용자 인터랙션 정보 또는 IoT 장치 동작 정보가 획득되고(S570) 획득된 IR 신호에 대응되는 장치 리스트 및 커맨드 리스트 중 적어도 일부가 생성되어 로컬 데이터베이스(미도시) 및 클라우드 서버의 데이터베이스(200-3) 중 적어도 하나에 저장될 수 있다. 클라우드 서버의 데이터베이스(200-3)에 장치 리스트와 커맨드 리스트가 있는 경우(S560-Y), 장치 리스트 및 커맨드 리스트 중 적어도 일부가 클라우드 서버의 데이터베이스(200-3)로부터 획득될 수 있다(S540). 이때 획득된 데이터를 이용하여 로컬 데이터베이스가 업데이트될 수 있다.

도 6은 제어 신호 유도 정보와 특정 IR 신호의 식별자의 매핑 정보가 데이터베이스에 새롭게 저장된 경우 다른 제어 전자 장치에 데이터베이스 업데이트를 제공하는 실시예를 도시한 참고도이다.

전술한 방법에 따라 소정의 데이터베이스(200-1)가 갱신되면, 소정의 데이터베이스(200-1)를 관리하는 서버(미도시)는, 상기 갱신된 소정의 데이터베이스(200-1)에 저장된 제어 신호 유도 정보와 IR 신호의 식별자 간의 매핑 정보를 제1 공간 내지 제n 공간 중 적어도 일부 공간의 다른 제어 전자 장치로 제공할 수 있다. 구체적으로 도 6을 참조하면, 소정의 데이터베이스(200-1)에 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보가 없을 경우, 전술한 바와 같이 IR 신호 학습부(130)는, 소정 공간에서의 사용자 인터랙션 정보 또는 IoT 장치 동작 정보를 분석한 결과로서 획득된 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 상기 특정 IR 신호의 식별자와 매핑하여 소정의 데이터베이스(200-1)에 저장할 수 있고, 이렇게 갱신된 소정의 데이터베이스(200-1)를 관리하는 서버(미도시)는, 상기 갱신된 소정의 데이터베이스(200-1)에 저장된 제어 신호 유도 정보와 IR 신호의 식별자 간의 매핑 정보를 소정의 데이터베이스(200-1)를 공유하고 있는 제1 공간 내지 제n 공간 중 적어도 일부 공간의 다른 제어 전자 장치(100', 100'', 100''')로 제공할 수 있다. 이를 통해 제어 신호 유도 정보 획득부(110)는, 소정 공간과는 다른 공간의 제어 전자 장치가 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원할 수 있다.

이하에서는 본 발명에 따른 제어 전자 장치가 제어 신호 유도 정보를 획득하여 특정 종속 전자 장치를 제어하기 위한 IR 신호를 발생시키는 실시예를 설명한다. 예를 들어, "TV를 틀어줘"라고 사용자가 발화한 경우 TV의 전원을 온(on)시키기 위한 IR 신호를 송출하는 동작을 수행하는 실시예이다.

도 7은 본 발명의 일 실시예에 따라 제어 신호 유도 정보를 획득하여 특정 종속 전자 장치를 제어하기 위한 IR 신호를 발생시키는 실시예를 도시한 도면이다.

전술한 제어 신호 유도 정보 획득부(110)는, 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 제어 신호 유도 정보를 획득할 수 있다. 구체적으로, 도 7에 도시된 것처럼 소정 공간의 사용자가 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 제어 신호 유도 정보(triggering info.)를 발생시킬 수 있고, 제어 신호 유도 정보 획득부(110)는 사용자가 발생시킨 제어 신호 유도 정보를 획득할 수 있다. 이때 제어 신호 유도 정보를 획득할 수 있는 수단은 다양할 수 있다. 일 예로, 제어 신호 유도 정보 획득부(110)는, 마이크로폰을 통해 사용자가 발화한 음성을 음성 데이터로 수집함으로써 제어 신호 유도 정보를 획득할 수 있다. 이와 달리, 음성 데이터가 수집되면, STT 엔진을 통해 수집된 음성 데이터가 분석되어 텍스트 정보로 변환되고 변환된 텍스트 정보가 분석되어 얻어진 사용자 명령 데이터가 제어 신호 유도 정보로서 획득될 수도 있다. 또한, 카메라 또는 터치 스크린을 통해 사용자 제스처가 획득됨으로써 제어 신호 유도 정보가 획득될 수도 있다. 획득된 사용자 제스처는 이미지 분석 또는 데이터 처리를 통해 텍스트 정보로 변환될 수 있다.

전술한 IR 신호 발생부(120)는, 위와 같이 소정 공간의 사용자가 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 제어 신호 유도 정보를 사용하여 전술한 특정 IR 신호를 발생시키거나 특정 IR 신호가 발생되도록 지원할 수 있다. 구체적으로, 소정 공간의 사용자가 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 전술한 제어 신호 유도 정보를 발생시키면, IR 신호 발생부(120)는, 전술한 소정의 데이터베이스(200-1)에서 검색된 제어 신호 유도 정보에 매핑되어 저장되어 있는 특정 IR 신호의 식별자를 획득하여 특정 IR 신호를 발생시키거나 다른 장치(예를 들어 리모컨)가 발생시키도록 지원할 수 있다. 이를 통해 제어 전자 장치(100)는 특정 종속 전자 장치를 제어할 수 있다. 예를 들어, 사용자가 "TV를 틀어줘"라는 음성을 발화하여 음성 데이터가 획득된 경우, 음성 데이터를 분석한 결과로서 TV를 켤 것을 명령하는 사용자 명령 데이터가 제어 신호 유도 정보로서 획득될 수 있다. 이 경우, IR 신호 발생부(120)는, 소정의 데이터베이스(200-1)를 참조하여 TV를 켤 것을 명령하는 제어 신호 유도 정보에 대응되는 IR 신호의 식별자를 획득하여 이를 기초로 TV 전원을 온(on)시키는 IR 신호를 생성하여 송출할 수 있다.

한편, 소정의 데이터베이스(200-1)에 제어 신호 유도 정보에 대응되는 특정 IR 신호의 식별자가 없으면, IR 신호 발생부(120)는, 소정의 데이터베이스(200-1)에 저장된 IR 신호의 식별자 중 상기 획득된 제어 신호 유도 정보와 유사도가 가장 높은 제어 신호 유도 정보에 대응되는 IR 신호의 식별자를 획득할 수 있다. 예를 들어, 사용자가 "TV를 틀어줘"라고 발화하였는데, 소정의 데이터베이스에는 "TV를 틀어줘"에 대응되는 IR 신호가 없는 경우, "TV를 틀어줘"와 가장 유사도 높은 "TV를 켜줘"에 대응되는 IR 신호의 식별자를 획득하여 이를 기반으로 IR 신호가 생성될 수 있다.

이때 유사도는, 획득된 제어 신호 유도 정보 및 소정의 데이터베이스(200-1)에 저장된 적어도 일부의 제어 신호 유도 정보 각각을 소정의 개수의 데이터로 분할할 때, 상기 획득된 제어 신호 유도 정보에 대한 분할 데이터와 상기 소정의 데이터베이스(200-1)에 저장된 적어도 일부의 제어 신호 유도 정보 각각에 대한 분할 데이터 간의 교집합 개수에 대한 합집합 개수의 비율로 계산될 수 있다. 따라서, 이 값이 1인 경우는 획득된 제어 신호 유도 정보와 비교 대상이 된 소정의 데이터베이스(200-1)에 저장된 특정 제어 신호 유도 정보가 동일한 경우이고 0인 경우는 완전히 다른 경우로 볼 수 있다. 소정의 데이터베이스(200-1)에 저장된 IR 신호의 식별자 중 획득된 제어 신호 유도 정보와 유사도가 기설정된 값 미만인 경우는 상대적인 유사도가 가장 높다고 하더라도 IR 신호의 식별자가 선택되지 않을 수 있다. 이 경우에는 획득된 제어 신호 유도 정보와 유사한 정보가 소정의 데이터베이스에 없다고 볼 수 있기 때문이다. 예를 들어, 사용자가 발화한 "TV를 켜줘"와 상대적인 유사도가 가장 높은 제어 신호 유도 정보가 "라디오를 켜줘"인 경우라면, 단지 상대적인 유사도가 가장 높다는 이유로 선택되어서는 안될 것이다.

다시 도 3을 참조하면, 제어 신호 유도 정보 학습부(140)는, 상기와 같이 소정의 데이터베이스(200-1)에 저장된 IR 신호의 식별자 중 획득된 제어 신호 유도 정보와 유사도가 가장 높은 제어 신호 유도 정보에 대응되는 IR 신호의 식별자가 획득된 경우, (i) 상기 획득된 제어 신호 유도 정보, (ii) 상기 획득된 제어 신호 유도 정보와 유사도가 가장 높은 제어 신호 유도 정보에 대응되는 IR 신호의 식별자 및 (iii) 상기 IR 신호의 식별자에 대응되는 IR 신호를 서로 매핑하여 소정의 데이터베이스(200-1)에 저장할 수 있다. 다만, IR 신호의 식별자를 통해 IR신호를 생성할 수 있는 경우 IR 신호와의 매핑은 필수적인 것은 아니다. 상술한 예에서 사용자가 "TV를 틀어줘"라고 발화하였는데, 소정의 데이터베이스에는 "TV를 틀어줘"에 대응되는 IR 신호가 없어서 "TV를 틀어줘"와 가장 유사도 높은 "TV를 켜줘"에 대응되는 IR 신호의 식별자를 획득하여 이를 기반으로 TV를 온(on)시키는 IR 신호가 생성된 경우, 제어 신호 유도 정보 학습부(140)는, "TV를 틀어줘"를 "TV를 켜줘"와 함께 TV를 온(on)시키는 IR 신호를 생성하기 위한 IR 신호 식별자와 매핑시켜 데이터베이스에 저장함으로써 음성 명령 인식 범위를 확장할 수 있게 된다.

한편, 본 발명은 IR 신호와 제어 신호 유도 정보를 학습함에 있어 먼저 로컬 데이터베이스를 참조하여 로컬 데이터베이스를 갱신하고, 로컬 데이터베이스에 정보가 없는 경우 클라우드 데이터베이스를 참조하여 학습을 수행할 수 있다. 이는 불필요한 네트워크 사용을 줄이는 포그 컴퓨팅(Fog Computing)을 적용한 것으로 본 발명은 이를 통해 네트워크 효율성을 높일 수 있다.

다시 도 3을 참조하면, 매핑 정보 조정부(150)는, 상기 발생된 특정 IR 신호에 대응하여 사용자에 의해 입력된 피드백 정보가 네거티브(negative)일 경우, 적어도 상기 소정 공간에 대응되는 제어 전자 장치(100)에 대해서는 소정의 데이터베이스(200-1)에 기록된 제어 신호 유도 정보, 특정 IR 신호의 식별자 및 특정 IR 신호의 매핑 정보의 정확도를 조정할 수 있다. 예를 들어, 사용자가 "TV를 틀어줘"를 발화한 경우를 다시 고려하면, 이때 IR 신호 발생부(120)가 TV가 아닌 에어컨의 전원을 온(on)시키는 IR 신호를 발생시키면 사용자는 피드백 정보로서 불만을 나타내는 정보를 입력할 수 있다. 상기 피드백 정보는 다양한 방식으로 획득될 수 있다. 예를 들어, 상기와 같이 발생된 IR 신호에 따른 특정 종속 장치의 동작을 수정하기 위해 사용자에 의해 입력된 리모컨 신호는 불만을 나타내는 정보로서 인식될 수 있다. 매핑 정보 조정부(150)는, 적어도 상기 소정 공간에 대응되는 제어 전자 장치(100)에 대해서는 소정의 데이터베이스(200-1)에 기록된 "TV를 틀어줘"와 에어컨을 온(on)시키는 IR 신호의 매핑 정보의 정확도를 감소시킬 수 있다. 매핑의 정확도는 추후 동일한 제어 유도 신호 정보에 대해서 IR 신호를 생성하는 경우 참조되어 정확도에 따라 해당 IR 신호가 생성될 수 있다. 사용자에 의해 입력된 피드백 정보가 네거티브일 경우, 위와 달리 소정의 데이터베이스(200-1)에서 매핑 정보가 삭제될 수도 있으나 이 경우에는 악의의 사용자에 의해 데이터베이스가 교란될 수 있는 단점도 있다.

반면, 상기 발생된 특정 IR 신호에 대응하여 사용자에 의해 입력된 피드백 정보가 포지티브(positive)일 경우, 매핑 정보 조정부(150)는, 소정의 데이터베이스(200-1)에 기록된 제어 신호 유도 정보, 특정 IR 신호의 식별자 및 특정 IR 신호의 매핑 정보의 정확도를 상향 조정할 수 있고, 매핑 정보의 정확도가 기설정된 값 이상이 되면, 다른 공간의 로컬 데이터베이스 또는 제어 전자 장치들에게 향상된 매핑 정보가 제공될 수도 있다.

한편, IR 신호 발생부(120)는, 적어도 하나의 IR 신호에 따라 소정 공간에서 특정 종속 장치를 제어한 로그 기록에 기초하여 획득된 IR 신호의 패턴 정보를 참조로 하여, 소정의 IR 신호를 발생시키거나 소정의 IR 신호가 발생되도록 지원할 수 있다. 이때, 패턴 정보는 특정 종속 전자 장치를 제어하기 위한 IR 신호의 패턴 시간 정보를 포함할 수 있다. 예를 들어, 몇 일간 연속으로 특정 시간에 "에어컨을 켜줘"라는 음성 명령어가 획득되어 에어컨을 온(on)시키는 IR 신호가 생성된 경우, IR 신호 발생부(120)는, 동일 시간에 자동으로 에어컨을 온(on)시키는 IR 신호를 발생시키거나 발생시키도록 지원할 수 있다. 또한, 사용자가 "TV를 켜줘"라고 발화한 후, "볼륨은 낮게"라고 연속하여 발화함에 따라 대응되는 IR 신호가 생성되고 이러한 패턴이 반복되는 경우, IR 신호 발생부(120)는 TV의 전원을 온(on)시키는 IR 신호가 생성된 후에는 자동적으로 볼륨을 낮추는 IR 신호를 발생시키거나 발생시키도록 지원할 수 있다. 다만, 전술한 예와 마찬가지로 사용자의 피드백이 포지티브인 경우는 소정의 데이터베이스(200-1)가 업데이트되어 다른 사용자에게 제공되고 네거티브인 경우는 패턴 정보가 삭제될 수 있다.

또한, IR 신호 발생부(120)는, 상기 획득된 제어 신호 유도 정보에 포함된 음성 데이터를 분석하여 인식된 화자 정보를 더 고려하여 상기 소정의 IR 신호를 발생시키거나 발생시키도록 지원할 수 있다. 즉, 전술한 패턴 정보를 고려함에 있어 사용자 정보까지 고려할 수 있는 것이다. 예를 들어, 사용자별 종속 전자 장치 제어 패턴, 사용자별 선호 콘텐츠 등을 더 고려하여 소정의 IR 신호를 발생시키거나 발생시키도록 지원할 수 있다.

화자를 구별하기 위해서 다음의 방법이 사용될 수 있다. 초기에 사용자의 음성을 포함한 댁내의 다양한 소리들이 수집될 수 있다. 그리고, 수집된 음성 데이터에서 스펙트로그램을 추출하여 사람 음성에 해당되는 소리들을 분리하고 분리된 음성 스펙트로그램을 기반으로 화자를 식별하여 그룹핑할 수 있다. 그리고 그룹핑된 스펙트로그램을 기반으로 화자 식별자가 부여될 수 있다. 특정 IR 신호를 발생시키기 위해 사용자가 음성을 발화하여 사용자의 음성 데이터가 획득되면, 현재 음성 명령을 수행하는 사용자의 스펙트로그램을 추출하고 미리 저장되어 화자 식별자가 부여된 음성 스펙토로그램을 기반으로 양자를 비교 분석하여 화자 식별자가 획득될 수 있다.

한편, 전술한 실시예에서 소정의 공간에서 IR 신호를 획득함에 있어, IR 센서가 소정의 각도로 회전하여 IR 신호가 획득될 수 있다. 이를 위해 제어 전자 장치(100)는 IR 센서를 소정의 각도로 회전할 수 있는 기계적인 수단을 구비할 수 있다. 이에 따라 본 발명은 소정의 공간에서 다양한 방향에서 송출되는 IR 신호를 획득할 수 있게 된다.

또한, 전술한 IR 신호 발생부(120)는, 획득된 제어 신호 유도 정보에 따라 소정 공간에서 특정 종속 장치의 위치를 판단하고, 상기 판단된 위치에 따라 소정의 각도로 특정 IR 신호를 발생시키거나 특정 IR 신호가 발생되도록 지원할 수 있다. 예를 들어, 사용자가 "에어컨을 틀어줘"라고 발화한 경우를 다시 고려하면, IR 신호 발생부(120)는 에어컨의 제어에 관한 제어 신호 유도 정보임을 확인하여 소정의 공간에서 에어컨의 위치를 판단하고 이에 따라 에어컨 방향으로 IR 신호를 발생시키거나 발생시키도록 지원할 수 있다. 일 예로 제어 전자 장치(100)가 회전 가능한 IR 송출부(미도시)를 구비하고 있는 경우 IR 송출부를 회전시켜 에어컨 방향으로 IR 신호를 송출시킬 수 있게 된다.

또한, 본 발명에 따른 제어 전자 장치(100)는 사용자에 의해 특정 종속 전자 장치를 제어하기 위한 예약 기능을 지원할 수 있다. 사용자에 의해 예약이 설정되면 IR 신호 발생부(120)는 예약된 시간에 IR 신호를 발생시키거나 발생시키도록 지원할 수 있다.

아울러, 본 발명에 따른 제어 전자 장치(100)는 적어도 하나의 IR 신호에 따라 소정 공간에서 특정 종속 장치를 제어한 로그 기록에 기초하여 통계 정보를 제공할 수도 있다.

한편, 제어 신호 유도 정보는 모바일 단말을 통해 원격으로 제어 전자 장치(100)에 제공될 수 있다. 이 경우 제어 전자 장치(100)가 놓여있는 공간 밖에서 제어 전자 장치(100)가 놓여있는 공간에 있는 종속 전자 장치에 IR 신호를 송출하여 제어하는 것이 가능하다.

다시 도 3을 참조하면, 통신부(160)는 제어 전자 장치(100)가 다른 장치, 로컬 데이터베이스(200-2), 소정의 데이터베이스(200-1), 또는 모듈과 통신할 수 있도록 하는 기능을 수행한다. 또한, 통신부(160)는 IoT 장치로부터 동작 상태 정보를 수신할 수도 있다. 또한, 모바일 단말을 통해 원격으로 제어 신호 유도 정보가 획득되는 경우 통신부(160)는 획득된 제어 신호 유도 정보를 제어 전자 장치(100)에 전송할 수 있다.

제어부(170)는 제어 신호 유도 정보 획득부(110), IR 신호 발생부(120), IR 신호 학습부(130), 제어 신호 유도 정보 학습부(140), 매핑 정보 조정부(150), 통신부(160) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(170)는 제어 전자 장치(100)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 제어 신호 유도 정보 획득부(110), IR 신호 발생부(120), IR 신호 학습부(130), 제어 신호 유도 정보 학습부(140), 매핑 정보 조정부(150), 통신부(160)에서 각각 고유 기능을 수행하도록 제어한다.

제어부(170)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 제어 전자 장치(100)의 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다.

또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100, 100-1, 100-2 : 제어 전자 장치
100', 100'', 100''' : 다른 제어 전자 장치
110 : 제어 신호 유도 정보 획득부
120 : IR 신호 발생부
130 : IR 신호 학습부
140 : 제어 신호 유도 정보 학습부
150 : 매핑 정보 조정부
160 : 통신부
170 : 제어부
200-1 : 소정의 데이터베이스
200-2 : 로컬 데이터베이스

Claims (1)

1. 리모컨 신호 및 음성 명령의 딥-러닝(Deep-Learning)을 통해 클라우드 데이터베이스를 사용함으로써 다양한 전자 장치를 제어하거나 제어하도록 지원하기 위한 방법에 있어서,
   (a) 소정 공간에서 특정 종속 전자 장치를 제어하기 위한 특정 IR 신호가 획득되면, 상기 소정 공간의 제어 전자 장치가, 소정의 데이터베이스를 참조로 하여 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하거나 상기 소정 공간과는 다른 공간의 제어 전자 장치가 상기 특정 IR 신호의 식별자에 대응되는 제어 신호 유도 정보를 획득하도록 지원하는 단계, 및
   (b) 추후 상기 소정 공간 또는 상기 다른 공간의 사용자가 상기 특정 종속 전자 장치 또는 이와 동일한 종류의 전자 장치를 제어하고자 하는 경우, 상기 소정 공간 또는 상기 다른 공간의 상기 제어 전자 장치가, 상기 획득된 제어 신호 유도 정보를 사용하여 상기 특정 IR 신호를 발생시키거나 발생시키도록 지원하는 단계를 포함하되,
   상기 데이터베이스는, 제1 공간 내지 제n 공간 - 상기 제1 공간 내지 상기 제n 공간은 적어도 상기 소정 공간 또는 상기 다른 공간을 포함함 - 에서 복수의 IR 신호를 획득하고, 상기 복수의 IR 신호 중 중복되지 않는 IR 신호를 선별하고, 상기 중복되지 않는 IR 신호별로 대응되는 제어 신호 유도 정보를 관리하는 것을 특징으로 하는 방법.
   
   

Images