KR102476675B1

KR102476675B1 - 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법 및 서버

Info

Publication number: KR102476675B1
Application number: KR1020200100984A
Authority: KR
Inventors: 이성환; 이민지; 이동연; 이서현
Original assignee: 고려대학교 산학협력단
Priority date: 2020-02-13
Filing date: 2020-08-12
Publication date: 2022-12-13
Also published as: KR20210103372A

Abstract

본원의 일 측면에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법은 스마트 홈 제어 시스템에 의해 수행되는 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법은, (a) 뇌파 측정 장치를 통해 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집하고, 상기 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성하는 단계; (b) 상기 뇌파 신호 데이터에 기초하여 구축된 뇌파 신호 분석 모델을 통해 발화 상상에 기반하여 사용자 의도를 분석하고, 사용자의 의도에 매칭되는 제어 명령을 생성하는 단계; 및 (c) 상기 제어 명령에 따라 스마트 홈 제어 시스템을 제어하는 단계;를 포함하는 것이고, 상기 뇌파 신호 분석 모델은 상기 뇌파 신호 데이터를 기초로 학습된 인공신경망 학습 모델을 이용하여 사용자 의도를 분류하는 것이다.

Description

대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법 및 서버{METHOD AND SERVER FOR SMART HOME CONTROL BASED ON INTERACTIVE BRAIN-COMPUTER INTERFACE}

본 발명은 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법 및 서버에 관한 것으로, 보다 상세하게는 비침습적 뇌-컴퓨터 인터페이스 시스템을 기반으로 사용자의 발화 상상으로 발현된 뇌 신호를 통해 스마트 홈 환경을 제어함과 동시에 대화형 시스템을 통해 사용자의 멘탈 케어가 가능한 스마트 홈 제어 방법 및 서버에 관한 것이다.

뇌-컴퓨터 인터페이스란 전극을 통해 감지된 뇌 신호로 외부 기기를 제어하는 기술로써, 주로 뇌의 전기적 활동으로 생성되는 뇌 신호를 감지하여 사용자의 의도를 인식하는 기술을 말한다. 기존에는 척추부상이나 퇴행성 신경질환으로 인해 신체가 자유롭지 못하거나 마비된 환자들을 위한 보철기구제어, 의사소통을 위한 스펠러 등과 같은 의료 분야에서 주로 사용되어 왔다. 그러나 최근 뇌 신호 분석 기술의 발달로 인하여 환자가 아닌 일반인들의 일상생활 보조 서비스를 비롯한 다양한 분야에서 비침습적 뇌-컴퓨터 인터페이스가 적용되고 있는 추세이다. 뇌-컴퓨터 인터페이스의 작동 방식으로는 외재적인 방식과 내재적인 방식이 있다. 외재적인 방식은 외부의 자극을 통해 유발된 뇌파를 기반으로 기기를 제어하는 방식이고, 내재적인 방식은 사용자가 외부의 자극 없이 상상을 통해서 유발되는 뇌파를 분석해 기기를 제어하는 방식이다. 내재적인 방식은 별도의 외부의 자극 장치가 필요없고, 오히려 사용자의 상상 의도가 반영된 직관적 방식이기 때문에, 최근 뇌-컴퓨터 인터페이스 기술에서 더 많이 사용되고 있다.

기존의 내재적 뇌-컴퓨터 인터페이스 패러다임에서 가장 광범위하게 활용되는 방법은 동작 상상(motor imagery)이다. 동작 상상이란 사용자가 움직이는 상상을 통해 뇌 신호를 유발하고, 이를 통해 외부 기기를 제어하는 방법이다. 특히, 동작 상상은 뇌 신호를 유발하기 위한 별도의 외부 장치가 필요 없어 최근까지도 뇌-컴퓨터 인터페이스 분야에서 주목받고 있는 기술이다. 로봇팔 등의 보철기구를 동작 상상을 통해 제어하는 것은 직관적이라고 할 수 있으나, 오른손, 왼손, 발 등 상상할 수 있는 동작 상상의 개수가 제한될 뿐만 아니라 보철기구가 아닌 스펠러 등의 외부기기를 제어할 때에는 입력하고자 하는 철자가 아닌 특정 동작을 상상하기 때문에 직관성이 떨어진다는 단점이 있다.

이러한 단점을 보완할 수 있는 뇌-컴퓨터 인터페이스 기술로는 발화 상상(imagined speech)이 제시되고 있다. 발화 상상은 실제로 소리를 내거나 조음기관을 움직이지 않고 말하는 상상을 통해 뇌 신호를 유도해 사용자의 의도를 인식하는 최신 패러다임이다. 발화 상상은 말하는 상상으로서 언어적 다양성으로 인해 더욱 높은 자유도의 클래스 구분이 가능하며, 사용자의 대화 의도를 전달함에 있어서 직접적으로 말하는 상상을 하게 됨으로써 직관적인 의사소통이 가능하다. 발화 상상에 의해 유발되는 뇌파에는 상위 수준의 특징과 하위 수준의 특징이 나타나는데, 상위 수준의 특징에는 발음에 대한 정보가 들어 있고, 하위 수준의 특징에는 소리의 크기 등의 소리의 속성에 대한 정보가 들어있다. 이를 통해 발화 상상을 기반으로 사용자의 감정 등을 유추하는 것도 가능하다.

또한, 일반적으로 멘탈 상태를 분석하기 위해서는 주파수 대역의 강도 변화를 분석한다. 뇌파는 주파수 대역별로 델타(delta)파, 세타(theta)파, 알파(alpha)파, 베타(beta)파, 감마(gamma)파로 분류된다. 델타파는 4Hz 이하의 주파수를 가진 뇌파로서 정상적인 수면상태에서 전형적으로 나타나고, 세타파는 4∼8Hz 정도의 주파수를 가진 뇌파로서 정신적으로 상태가 불안하거나 주위가 산만할 때 주로 나타나는데, 학습장애가 있는 청소년에게 종종 나타나는 것으로 알려져 있다. 알파파는 8∼12Hz 정도의 주파수를 가진 뇌파로서 대체로 정신적인 상태가 안정적이며, 눈을 감고 편안한 심리적 상태를 취하고 있을 때 뚜렷하게 나타난다. 또한 알파파는 주변의 상황에서 분리될 정도로 고도의 집중이 이루어진 경우 또는 명상으로 인하여 심리적인 안정이 이루어진 경우에도 발생한다. 베타파는 12∼30Hz 정도의 주파수를 가진 뇌파를 지칭하며, 약간의 긴장상태나 일정 이상의 주의를 기울일 때 주로 나타난다. 또한 운동이나 학습, 또는 업무를 수행일 때 뇌 전체에서 광범위하게 나타난다. 베타파는 12∼15Hz의 주파수를 갖는 SMR파, 15∼18Hz의 주파수를 갖는 중간 베타파, 20Hz 이상의 주파수를 갖는 고 베타파로 구분된다. 베타파는 불안, 긴장 등의 스트레스를 받을 경우 더욱 강하게 나타나므로 스트레스파라고도 한다. 주의를 기울인 상태에서는 SMR파가 나타나며, 집중, 정상적인 활동을 할 때에는 좌측 뇌에서 15∼18Hz의 주파수를 갖는 중간 베타파가 나타나고 긴장과 불안이 계속될 때에는 20Hz 이상의 고베타파가 나타난다. 감마파는 30~50Hz의 주파수를 갖는 뇌파를 말하며 흥분 상태에서 나타난다.

본 발명에서는 이러한 발화 상상을 이용하여 직관성이 뛰어난 뇌-컴퓨터 인터페이스 기술 및 사용자의 감정 상태까지 분석하여 반영하는 응용 제품에 대한 발명을 제안하고자 한다.

대한민국 등록특허공보 제 10-1645089 호 (발명의 명칭: 스마트홈 사물인터넷 기기의 상태표시등 제어 방법 및 장치)

본 발명은 전술한 문제점을 해결하기 위한 것으로, 정확하고 직관적으로 사용자의 의도를 파악하여 스마트홈 시스템을 제어하는 뇌-컴퓨터 인터페이스 기술을 제공하는 것을 목적으로 한다. 또한, 본 발명은 발화 상상 방식을 이용하여 사용자의 의도를 직관적으로 파악할 수 있도록 하여, 사용자 발화 상상에 포함된 멘탈 상태를 고려하여 스마트 홈 제어 시스템과 상호작용을 가능하게 하는 것을 목적으로 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 제 1측면에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법은 단말로부터 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집하고, 상기 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성하는 단계; 상기 뇌파 신호 데이터에 기초하여 뇌파 신호 분석 모델을 통해 특징을 추출하고 사용자 의도를 포함하는 분석 결과 데이터를 생성하는 단계; 및 상기 분석 결과 데이터에 따라 스마트홈 제어를 실시하는 단계;를 포함한다. 상기 뇌파 신호 분석 모델은 상기 뇌파 신호 데이터를 기초로 학습된 인공신경망을 이용하여 사용자 의도를 분류하는 것이다.

또한, 본 개시의 제 2 측면에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 서버는 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 프로그램이 저장된 메모리; 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 프로세서는 프로그램의 실행에 의해, 단말로부터 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집하고, 상기 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성하고, 상기 뇌파 신호 데이터에 기초하여 뇌파 신호 분석 모델을 통해 특징을 추출하고 사용자 의도를 포함하는 분석 결과 데이터를 생성하고, 상기 분석 결과 데이터에 따라 스마트홈 제어를 실시한다. 상기 뇌파 신호 분석 모델은 상기 뇌파 신호 데이터를 기초로 학습된 인공신경망을 이용하여 사용자 의도를 분류하는 것이다.

전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 뇌 신호를 통해서 사용자의 직관적인 의도를 파악하여 스마트홈 시스템을 제어할 뿐만 아니라 뇌 신호에 포함된 사용자의 정신적 상태를 고려한 의사소통으로 멘탈 케어를 시행한다. 특히, 발화 상상을 사용하기 때문에, 기존의 주파수 대역의 강도 변화를 분석해 사용자의 상태를 예측하는 방식의 낮은 직관성과 낮은 정확도 문제를 해결할 수 있고, 사용자의 의도를 더 정확하고 직관적으로 파악하여 효율적인 스마트홈 제어를 가능하게 한다.

또한, 본 발명은 인공신경망을 활용하여 사용자의 감정 및 멘탈 상태를 분석하고 이를 반영한 멘탈 케어를 제공하여 삶의 질을 높일 수 있다. 이를 통해, 사용자 발화 상상에 포함된 멘탈 상태를 고려한 의사소통으로 사용자로 하여금 기계를 제어하는 것에서 나아가 사용자의 감정과 상태 등을 고려하여 소통하는 동반자와 같은 어시스턴트와의 대화가 가능하게 한다.

도 1은 본 발명의 일 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법의 전체 진행 순서를 설명하는 도면이다.
도 3은 본 발명의 다른 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법의 전체 진행 순서를 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법의 전체 진행 순서를 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

뇌-컴퓨터 인터페이스란 전극을 통해 뇌 신호를 감지해 외부 기기를 제어하는 기술로써, 주로 뇌의 전기적 활동으로 생성되는 뇌 신호를 감지해서 사용자의 의도를 인식하는 기술을 말한다. 뇌 신호는 사용자의 멘탈 상태 혹은 의도의 발생에 의해 변화하게 된다. 사용자의 휴식, 집중, 수면 등의 상태에 의해서 알파, 베타, 세타 등의 주파수 대역에서 뇌 신호의 강도가 변화하게 되고, 의도의 발생에 의해서 시간영역에서의 특성 등이 변하게 된다. 이러한 이유에 따른 뇌 신호의 분석을 통해서 사용자가 어떠한 뇌 기능을 하고 있는지 파악할 수 있게 된다. 본 발명에서는 별도의 외부 자극과 외부 장치 없이 발화 상상할 때 유도되는 뇌 신호만을 이용해서 스마트홈을 제어하는 기술 및 방법을 제안한다.

본 발명에서 사용하는 뇌-컴퓨터 인터페이스 기술로는 발화 상상(imagined speech)이 있다. 발화 상상은 실제로 소리를 내거나 조음기관을 움직이지 않고 말하는 상상을 통해 뇌 신호를 유도해 사용자의 의도를 인식하는 최신 패러다임이다. 발화 상상은 말하는 상상으로서 언어적 다양성으로 인해 더욱 높은 자유도의 클래스 구분이 가능하며, 사용자의 대화 의도를 전달함에 있어서 직접적으로 말하는 상상을 하게 됨으로써 직관적인 의사소통이 가능하다. 발화 상상에 있어서 유발되는 뇌파에는 상위 수준의 특징과 하위 수준의 특징이 나타나는데, 상위 수준의 특징에는 발음에 대한 정보가 들어 있으며 하위 수준의 특징에는 소리의 크기 등의 소리의 속성에 대한 정보가 들어있다. 이를 통해 발화 상상을 기반으로 사용자의 감정 등을 유추하는 것도 가능하다. 즉 발화 상상을 이용하면 외부 자극 장치를 사용하지 않아도 되며 의도와 상상을 일치시킬 수 있어 직관적으로 스마트홈을 제어할 수 있다.

도 1은 본 발명의 일 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 시스템의 구성을 도시한 블록도이다.

본 발명에 따른 스마트 홈 제어 시스템(10)은 메인 컴퓨팅 장치(100), 뇌파 측정 장치(200) 및 하나 이상의 사용자 단말(210)과 홈 네트워크를 구성하는 하나 이상의 IoT 장치(220)를 포함한다.

메인 컴퓨팅 장치(100)는 스마트 홈 제어 시스템(10)에 포함된 각종 홈 네트워크 장치나 단말의 동작을 제어하고, 서버로서 기능할 수 있다. 메인 컴퓨팅 장치(100)는 메모리(110), 프로세서(120), 통신 모듈(130)을 포함할 수 있다.

메모리(110)에는 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 프로그램이 저장된다. 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 프로그램은 단말로부터 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집하고, 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성하고, 뇌파 신호 데이터에 기초하여 뇌파 신호 분석 모델을 구축하고, 이를 이용하여 사용자 의도를 확인한 후 스마트홈 제어를 실시한다. 이때, 뇌파 신호 분석 모델은 뇌파 신호 데이터를 기초로 학습된 인공신경망을 이용하여 사용자 의도를 분류하는 것이다. 한편, 뇌파 신호 분석 모델을 이용하여 사용자의 의도를 확인하기 위한 프로그램 모듈로서 가상 어시스턴트가 실행될 수 있다.

이러한 메모리(110)에는 메인 컴퓨팅 장치(100)의 구동을 위한 운영 체제나 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.

이때, 메모리(110)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.

또한, 메모리(110)는 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(110)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(120)는 메모리(110)에 저장된 프로그램을 실행하되, 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 프로그램의 실행에 따르는 전체 과정을 제어한다. 프로세서(120)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.

이러한 프로세서(120)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신모듈(130)은 사용자 단말(210), IoT 장치(220) 등과 유무선 통신 네트워크 접속을 통해 각종 데이터를 송수신할 수 있다. 또한, 통신모듈(130)은 뇌파 측정 장치(200)와 직접 데이터 송수신을 수행할 수도 있다. 통신모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

한편, 메인 컴퓨팅 장치(100)는 데이터베이스 등을 더 포함할 수 있으며, 이는 프로세서(120)의 제어에 따라, 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스는 메모리(110)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(110)의 일부 영역에 구축될 수도 있다.

뇌파 측정 장치(200)는 사용자 뇌파를 측정하여 디지털 신호로 변환하고, 이를 사용자 단말(210)을 통해 메인 컴퓨팅 장치(200)로 전송한다. 이와 같이, 수집된 뇌파를 이용하여 사용자의 상태 또는 발화 상상 의도를 특정할 수 있다. 뇌파 측정 장치(200)로는 시간에 따른 뇌의 활성 영역 변화를 관찰하기 위한 EEG(Electroencephalogram) 장치의 형태로 구현되는데, 특히 두피로부터 전기 신호를 획득하는 형태로 구현된다. 그러나, 본 발명이 이에 제한되는 것은 아니다. 한편, 뇌파 측정 장치(200)가 직접 메인 컴퓨팅 장치(100)와 통신하여 사용자의 뇌파에 대한 정보를 송수신할 수 있다.

사용자 단말(210)은 내장된 디스플레이를 통해 사용자에게 스마트홈 제어를 위한 사용자 인터페이스를 제공할 수 있다. 이를 통해, 사용자는 홈 제어 시스템(10)에 포함된 각종 홈 네트워크 장치나 단말의 동작을 제어 직접 수행할 수 있다. 이때, 사용자 단말(210)로는 PC, 태블릿 PC, 랩탑, 모바일 단말 등의 다양한 장치를 이용할 수 있다. 사용자 단말(210)은 뇌파 측정 장치(200)에서 수신된 뇌파 신호를 메인 컴퓨팅 장치(100)에 전송한다. 이때, 사용자 단말(210)은 뇌파 신호를 전송하기에 앞서, 수집된 뇌파 신호에 전처리 프로세스를 수행한 후 이를 메인 컴퓨팅 장치(100)에 전송할 수도 있다.

IoT 장치(220)는 홈 네트워크에 포함된 냉장고, TV, 공조 장치, 조명 장치 등 각각의 장치에 접속된 것으로서, 사물 인터넷 통신을 통해 메인 컴퓨팅 장치(100)의 제어에 따라 각각의 장치의 동작 상태를 제어한다.

본 발명의 메인 컴퓨팅 장치(100)에서 수행하는 동작을 좀더 상세하게 살펴보기로 한다.

메인 컴퓨팅 장치(100)는 수집된 뇌파 신호 데이터를 분석할 수 있다. 이때, 메인 컴퓨팅 장치(100)는 인공신경망 기반의 뇌파 신호 분석 모델을 포함할 수 있다. 사용자 의도 파악을 위해 사용되는 뇌 신호의 분석은 공통공간패턴(Common Spatial Pattern, CSP), 주성분분석법(Principal Componant Analysis, PCA)등의 특징 추출과 서포트벡터머신(Support Vector Machine), 선형판별분석법(Linear Discriminant Analysis, LDA)등을 이용한 분류를 포함할 수 있다. 또한, 뇌파 신호 분석 모델은 뇌파 신호를 분석하기 위해서 선형판별분석법(Linear Discriminant Analysis, LDA), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Networks, RNN)과 같은 딥러닝(Deep Learning) 모델을 이용할 수 있다.

메모리(220)에 저장된 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 프로그램은 뇌파 측정 장치(200) 및 사용자 단말(210)을 통해 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집하고, 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성하고, 뇌파 신호 데이터에 기초하여 뇌파 신호 분석 모델을 통해 특징을 추출하고 사용자 의도를 포함하는 분석 결과 데이터를 생성하고, 분석 결과 데이터에 따라 스마트홈 제어를 실시한다. 뇌파 신호 분석 모델은 상기 뇌파 신호 데이터를 기초로 학습된 인공신경망을 이용하여 사용자 의도를 분류하는 것이다.

도 2는 본 발명의 일 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법의 전체 진행 순서를 설명하는 도면이다.

프로세서(120)는 뇌파 측정 장치(200) 및 사용자 단말(210)로부터 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집한다(S110).

프로세서(120)는 사용자가 스마트 홈을 제어하고자 명령어를 발음하는 상상을 할 때, 발화 상상을 계층적으로 시행하도록 유도할 수 있다. 예를 들어, 먼저 가상 어시스턴트를 불러낸 후 제어할 장소, 제어할 명령을 계층적으로 상상하도록 할 수 있다. 이때 가상 어시스턴트와 대화를 통해 다음 단계로의 질문을 유도할 수 있다. 가상 어시스턴트는 단말 또는 별도의 모바일 휴대장치에 포함된 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법을 실시하기 위한 사용자 인터페이스일 수 있다.

제어 명령을 계층적으로 상상할 수 있도록 하기 위해, 발화 상상의 학습 과정에서 제시되는 단어를 총 4그룹으로 구성할 수 있다. 예를 들어, 장소 단어 그룹, 제어 단어 그룹, 감정 단어 그룹, 응답 단어 그룹으로 구성할 수 있다. 장소 단어 그룹은 "Kitchen", "Bedroom", "Living room"등으로 구성되어 있으며, 제어 단어 그룹은 "Turn on the light" 및 "Open the door, please"등 과 같은 명령 혹은 "How's the weather today?"와 같은 유도형 질문을 포함할 수 있다. 감정 단어 그룹은 "Happy" 및 "Tired"등의 단어를 포함하며, 응답 단어 그룹은 "Help me", "Yes", "No"로 구성될 수 있다. 유도형 질문을 통해서는, 예를 들어 "How's the weather today?"의 경우에는 대답으로 날씨를 알려주며 그 날의 날씨에 따라 창문을 여는 등의 추천 알고리즘을 통한 스마트홈 제어 실행이 가능할 수 있다.

프로세서(120)는 발화 상상을 할 때 활성화되는 부위인 브로카 영역(Broca's area), 베르니케 영역(Wernicke's area), 전운동피질영역(Premotor cortex) 등 미리 설정된 영역에 배치된 10개의 전극, 혹은 사용자의 지정에 따라 사용자 두상에 최적화된 N개의 전극으로 구성된 단말에 포함된 뇌파 측정 모듈로 뇌파를 측정할 수 있다. 프로세서(120)는 평소 사용자의 휴식, 수면, 집중 등의 상태를 측정하고, 발화 상상을 할 때에는 이를 비롯한 시간에 따른 뇌파 변화를 동시에 측정할 수 있다.

프로세서(120)는 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성한다(S120). 프로세서(120)는 뇌 신호 측정 시 사용자의 움직임을 고려하여 신호 잡음 제거 및 주변 환경에 따른 잡음 제거가 가능하다. 프로세서(120)는 뇌파 신호 데이터를 전처리할때, 뇌파 신호 분석 모델에서 사용하는 딥러닝 학습 모델 등에서 사용하기 적합한 뇌 신호 형태인3차원 배열 형태로 변환할 수 있다. 또한, 딥러닝 외의 특징 추출 및 분석 방법을 사용하기 위해 추가적인 주파수 대역, 시간 정보들의 변환 및 특징을 추출하는 단계를 수행할 수 있다.

프로세서(120)는 뇌파 신호 데이터에 기초하여 뇌파 신호 분석 모델을 구축하고, 이를 이용하여 뇌파로부터 사용자 의도를 분석하고, 사용자의 의도에 매칭되는 최적의 제어 명령을 생성하여 스마트 홈 제어에 활용할 수 있도록 한다(S130).

뇌파 신호 분석 모델은 뇌파 신호 데이터를 이용하여 구축된 학습모델과, 학습 모델을 이용하여 실시간으로 뇌파 신호를 분석해 결과를 출력하는 분석 모델을 포함한다.

학습 모델 구축과정을 살펴보면, 초기 모델을 학습하기 위해서는 실생활에서 자주 사용되는 N개 단어와 감정 혹은 피로도 등을 예측하기 위해 필요한 단어들이 저장된 데이터베이스에서 예시 단어를 선정하여 사용자에게 음성으로 출력하게 된다. 음성이 출력된 이후에 사용자는 해당 단어 소리에 대한 발화 상상을 수행하고, 시스템(10)은 뇌파 측정 장치(200)를 통해 사용자의 뇌파를 측정할 수 있게 한다. 시스템(10)은 측정된 뇌파 신호 데이터를 기반으로 N개의 예시 단어에 대한 분류 모델을 학습한다. 학습 모델을 구축하기 위해서 거리 기반 학습인 샴 네트워크와 최근접 이웃 분류기(k-Nearest Neighbor) 가 사용될 수 있다.

샴 네트워크는 2개의 컨볼루션 층(Convolution layer)과 2개의 완전 연결 층(Fully-connected layer)으로 구성 된다. 샴 네트워크를 학습하기 위해서는 두 개의 뇌파 데이터와 이 두 데이터가 서로 같은 클래스에 속하는지 다른 클래스에 속하는지에 대한 정보를 필요로 한다. 두 개의 뇌파 데이터는 각각 같은 파라미터와 구성을 가지는 합성곱 신경망을 거쳐 특징을 추출하게 된다. 합성곱 신경망이 학습 되는 과정에서는 각각의 추출된 특징이 서로 같은 클래스에 속하면 특징들이 임의의 특징 공간상에서 서로 가깝게 배치되도록 학습을 하고, 서로 다른 클래스일 경우에는 특징들의 사이가 서로 멀게 배치 되도록 학습이 진행된다. 샴 네트워크는 데이터의 거리를 학습해서 축소된 특징 벡터를 출력하게 된다. 이렇게 축소된 특징벡터들은 최근접 이웃 분류기에 입력으로 들어가게 되고, 학습 모델의 출력은 단어가 되도록 학습한다.

이와 같이, 학습된 학습 모델을 이용하여, 분석 모델은 실시간으로 입력되는 뇌파 신호에 대한 사용자의 의도를 특정하고, 이에 가장 잘 매칭되는 최적의 제어 명령을 생성하게 된다. 특히, 시간 영역에서의 뇌파의 특징 변화를 이용하여 사용자의 의도를 특정할 수 있다.

또한, 시스템(10)을 사용하면서 n개의 단어 상상 뇌파 데이터가 추가적으로 발생한 경우에는 모델의 재학습을 통해 사용자 맞춤형 분석 모델을 생성할 수 있다. 이때, 사용자의 뇌파 신호 데이터가 일정량 이상 축정되면 재학습을 하게 하는데, 재학습을 수행하게 되는 데이터 축적량은 사용자가 설정할 수 있다.

프로세서(120)는 분석 결과 데이터에 따라 스마트홈 제어를 실시한다(S140). 메인 컴퓨팅 장치(100)가 분석 결과에 기반하여, 사용자의 의도에 기반하여 개별 IoT 장치(220)의 동작을 제어하는 형태로 스마트홈 제어를 수행한다. 이때, 본 발명에서는 계층적인 구조에 따라 발화 상상을 확인하고, 이에 따라 스마트홈 제어를 수행한다. 예를 들어, 먼저 스마트홈 제어를 하려고 할 때 "help me"라는 명령어, 혹은 사용자가 기존에 지정한 명령어, 혹은 가상 어시스턴트의 이름을 발화 상상하면, 위의 분석 모델을 통해 사용자의 의도를 인식하고, 어떤 도움이 필요한지 또는 어떤 공간을 제어할지, 또는 어떤 IoT 장치를 제어할지 문의하는 절차를 수행한다. 즉, 시스템(10)은 사용자에게 미리 설정된 계층 구조에 따라 사용자의 의도를 확인하기 위한 질문을 출력하고, 사용자가 질문에 대한 응답으로서 또 다른 발화 상상을 통해 좀더 상세한 제어 명령, 또는 제어 명령이 필요한 IoT 장치, 또는 제어 명령이 필요한 공간을 선택할 수 있다. 이와 같이, 시스템(10)은 발화 상상을 이용한 대화에 기반하여, 미리 설정된 계층 구조에 따라 사용자의 구체적인 의도를 최종적으로 확인할 수 있다. 이때, 장소를 특정하는 발화 상상 단어 그룹은 "Kitchen", "Bedroom", "Living room"등으로 구성될 수 있고, 제어 단어 그룹은 "Turn on the light" 및 "Open the door, please"등 과 같은 명령어 등으로 구성되거나, 혹은 "How's the weather today?"와 같은 유도형 질문을 포함할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법의 전체 진행 순서를 설명하는 도면이다.

프로세서(120)는 뇌파 측정 장치(200) 및 사용자 단말(210)로부터 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집한다(S210). 이때, 프로세서(120)는 뇌파의 변화가 감지될 때 사용자에게 상태 혹은 기분을 물어볼 수 있고, 이에 대해 사용자는 빈도수를 조정하는 것도 가능하다.

프로세서(120)는 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성한다(S220). 구체적인 과정은 앞서 도 2에 대한 실시예에서 설명한 바와 같다.

프로세서(120)는 뇌파 신호 데이터에 기초하여 뇌파 신호 분석 모델을 구축하고, 이를 이용하여 사용자 멘탈 케어를 수행하며 및 스마트홈 제어에 활용할 수 있도록 한다(S230).

뇌파 신호 분석 모델은 도 2에 설명한 것과 대체로 유사한데, 사용자의 멘탈 케어를 위한 분석 기능이 추가된 것에 특징이 있다.

학습 모델 구축과정을 살펴보면, 초기 모델을 학습하기 위해서는 실생활에서 자주 사용되는 N개 단어와 감정 혹은 피로도 등을 예측하기 위해 필요한 단어들이 저장된 데이터베이스에서 예시 단어를 선정하여 사용자에게 음성으로 출력하게 된다. 음성이 출력된 이후에 사용자는 해당 단어 소리에 대한 발화 상상을 수행하고, 시스템(10)는 뇌파 측정 장치(200)를 통해 사용자의 뇌파를 측정할 수 있게 한다. 이때, 사용자의 멘탈 상태를 측정할 수 있도록 하기 위해, 뇌파를 입력으로 각 뇌파의 주파수 대역에 따라 구별되는 멘탈 상태 정보를 출력으로 지정하여 학습 모델을 구축한다.

예를 들어, 뇌파 중 베타파의 강도가 강해지는 것으로 변화가 감지되면, 뇌파 신호 분석 모델은 사용자가 스트레스를 받고 있다고 판단할 수 있다. 이 때 사용자의 기분 전환을 위해 음악 재생 혹은 창문 열기 등의 추천 제어 명령이 스피커를 통해 음성으로 제공된다. 이 때 사용자가 제안된 추천 제어 명령의 적용을 원하면 발화 상상을 통해 "yes"를 상상하게 되고, 뇌파 신호 분석 모델은 이 뇌파를 감지하여 시스템(10)을 통해 각 IoT 장치(220)의 동작을 제어하게 된다.

또한, 뇌파 중 잠을 자면 발생하는 델타파가 발생할 경우에, 불을 끄고 잔잔한 음악을 재생하는 등 수면을 유도하는 추천 제어 명령이 스피커를 통해 제공된다. 이때, 사용자가 실제로 수면을 희망할 수도 있지만, 공부를 하다 깜빡 잠이든 경우 등 수면을 희망하지 않은 경우 수면을 유도하는 추천 제어 명령을 수행하는 것은 적절하지 않을 수 있다. 이에, 본 발명에서는 발화상상 기반의 대화 인터페이스를 통해, 시스템(10)이 사용자와 직접적으로 대화함으로서, 수면을 유도하는 추천 제어 명령을 수행할지 여부를 문의하고, 이에 대한 사용자의 발화 상상 응답에 따라 추천 제어 명령의 실행 여부를 결정한다.

또한 경우에 따라서 사용자의 기분을 직접 물어보아 뇌파 신호 분석 모델을 학습 시킬 수도 있다. 뇌파의 변화가 감지되었을 때 시스템(10)이 사용자의 멘탈 상태, 감정, 피로도 등을 순차적으로 물어보고 뇌파에 따른 사용자의 여러 가지 상태를 모두 학습할 수 있다. 질문의 빈도수는 사용자가 직접 설정할 수 있으며, 사용자에게 충분히 최적화된 모델이 학습되었을 시에는 질문을 생략할 수 있다. 이때에는 학습의 입력이 뇌파가 되고 출력은 멘탈 상태, 감정, 피로도 등이 된다.

예를 들어 어떤 특정한 뇌파가 발생했을 때에 뇌파 신호 분석 모델이 사용자가 스트레스를 받으며, 기분이 우울하고 피로도가 높다고 분석했다면 TV 재생 등의 추천 제어 명령을 실행하거나, 대화형 스마트 홈 시스템의 장점을 살려 발화 상상에 기반한 대화를 수행하는 추천 제어 명령을 실행 할 수도 있다. 이 때 대화는 시스템의 음성을 통해 이루어지며 사용자는 발화 상상 만으로도 대화를 할 수 있다.

이때, 학습 모델은 3개의 컨볼루션 층(Convolution layer)과 1개의 완전 연결 층(Fully-connected layer)으로 구성될 수 있으나, 본 발명이 이에 제한되는 것은 아니다.

뇌파 신호 분석 모델은 뇌파 신호 데이터를 기초로 학습된 인공신경망 학습모델을 이용하여 현재 사용자의 감정이나 기분을 나타내는 멘탈 상태를 분류할 수 있고, 이와 같이 분류된 멘탈 상태에 따라, 사용자의 멘탈 케어를 위해 IoT 장치(220)의 동작을 제어하는 제어 명령을 생성할 수 있다. 특히, 뇌파 신호 데이터에서 주파수 대역 별로 뇌파 신호의 강도 변화가 있는 경우, 이를 이용하여 멘탈 상태를 분류할 수 있다.

그리고, 사용자의 멘탈 상태가 피로도가 높은 상태인 것으로 분류되면, 음향 장치에 연결된 IoT 장치(220)를 제어하여 잔잔한 음악을 재생하도록 하거나, 조명 장치에 연결된 IoT 장치(220)를 제어하여, 조명을 어둡게하여 수면을 유도하는 형태로 스마트 홈 제어 시스템(10)의 동작 상태를 변경하는 제어 명령을 생성할 수 있다.

프로세서(120)는 위의 단계에서 생성한 추천 제어 명령에 따라 스마트홈 제어를 실시한다(S240).

프로세서(120)는 뇌파 신호 분석 모델에 의하여 결정된 추천 제어 명령에 따라 시스템(10)에 포함된 IoT 장치(220)의 동작을 제어할 수 있다. 이때, 추천 제어 명령이 사용자의 실제 의도와는 상이할 수 있는 만큼, 발화 상상에 기반한 대화를 통해 사용자에게 추천 제어 명령의 실행 여부를 확인하고 이에 대한 응답에 따라 최종적으로 추천 제어 명령의 실행 여부를 결정할 수 있다.

도 4는 본 발명의 다른 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법의 전체 진행 순서를 설명하는 도면이다.

도 2를 통해 설명한 스마트 홈 제어 방법과 도 3을 통해 설명한 스마트 홈 제어 방법을 각각 병렬적으로 실시하는 구성을 도시한 것이다. 각각의 방법에서 실행되는 상세 구성은 도 2와 도 3을 통해 설명한 바와 같으므로, 상세한 설명은 생략하기로 한다.

본 실시예에의 구현을 위해서, 뇌파 신호 분석 모델은 각 단어에 대한 발화 상상시에 출력되는 뇌파 신호 데이터를 각 단어별로 매칭하여 학습된 제 1 학습 모델과 뇌파 신호 데이터의 주파수 대역에 따라 구별되는 멘탈 상태 정보를 출력으로 지정하여 멘탈 상태를 구분할 수 있는 제 2 학습 모델을 동시에 포함하고 있으며, 이들 각각을 이용하여 사용자의 의도에 맞는 제어 명령과 사용자의 멘탈 상태 개선을 위한 추천 제어 명령을 병렬적으로 생성하고, 이의 실행 여부를 각각 확인한 후 스마트 홈 제어 시스템을 제어한다.

본 발명의 일 실시예에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: 메인 컴퓨팅 장치
110: 메모리
120: 프로세서
130: 통신모듈
200: 뇌파 측정 장치
210: 사용자 단말
220: IoT 장치

Claims

스마트 홈 제어 시스템에 의해 수행되는 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법에 있어서,
(a) 뇌파 측정 장치를 통해 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집하고, 상기 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성하는 단계;
(b) 상기 뇌파 신호 데이터에 기초하여 구축된 뇌파 신호 분석 모델을 통해 발화 상상에 기반하여 사용자 의도를 분석하고, 사용자의 의도에 매칭되는 제어 명령을 생성하는 단계; 및
(c) 상기 제어 명령에 따라 스마트 홈 제어 시스템을 제어하는 단계;를 포함하는 것이고,
상기 뇌파 신호 분석 모델은 각 단어에 대한 발화 상상시에 출력되는 뇌파 신호 데이터를 각 단어별로 매칭하여 학습된 인공신경망 학습 모델을 이용하여 사용자 의도를 분류하는 것이며,
상기 뇌파 신호 분석 모델은 상기 뇌파 신호 데이터의 주파수 대역과 각 주파수 대역에 따라 구별되는 멘탈 상태 정보를 출력으로 지정하여 멘탈 상태를 구분할 수 있는 학습 모델을 더 포함하고,
상기 (b) 단계는 상기 뇌파 신호 분석 모델을 통해 상기 뇌파 신호 데이터에 기초하여, 사용자의 멘탈 상태를 추가적으로 분류하고, 사용자의 멘탈 상태의 개선을 위한 추천 제어 명령을 더 생성하는 것인,
대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법.
제 1 항에 있어서,
상기 (a)단계 이전에, 사용자 단말로부터 사용자의 요청이 발생하면, 스마트 홈 제어 시스템의 제어를 위한 명령, 제어할 장소를 포함하는 스마트 홈 제어 시스템의 제어를 위한 가이드 또는 질문을 제공하는 단계를 더 포함하는 것인,
대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법.
제 1 항에 있어서,
상기 (a) 단계는 상기 뇌파 측정 장치의 기설정된 전극으로부터 측정된 사용자의 발화 상상, 휴식, 수면 또는 집중 상태의 뇌파 신호를 수집하는 것인,
대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법.
제 1 항에 있어서,
상기 (c)단계는 제어 명령에 대한 내용을 대화 기반으로 상기 사용자에게 확인하고, 이에 대한 사용자의 발화 상상 응답에 기초하여 해당 제어 명령의 실행 여부를 결정하는 단계를 포함하는,
대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법.
삭제
대화형 뇌-컴퓨터 인터페이스에 기반하여 스마트 홈 제어 시스템을 제어하는 컴퓨팅 장치에 있어서,
통신 모듈;
대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 프로그램이 저장된 메모리;
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
상기 프로세서는 상기 프로그램의 실행에 의해, 뇌파 측정 장치를 통해 스마트홈 제어 명령에 대한 발화 상상시 측정된 뇌파 신호를 수집하고, 상기 수집된 뇌파 신호에 전처리 프로세스를 적용하여 뇌파 신호 데이터를 생성하고, 상기 뇌파 신호 데이터에 기초하여 구축된 뇌파 신호 분석 모델을 통해 발화 상상에 기반하여 사용자 의도를 분석하고, 사용자의 의도에 매칭되는 제어 명령을 생성하고, 상기 제어 명령에 따라 스마트 홈 제어 시스템을 제어하되,
상기 뇌파 신호 분석 모델은 상기 뇌파 신호 데이터를 기초로 학습된 인공신경망 학습 모델을 이용하여 사용자 의도를 분류하는 것이고,
상기 뇌파 신호 분석 모델은 상기 뇌파 신호 데이터의 주파수 대역에 따라 구별되는 멘탈 상태 정보를 출력으로 지정하여 멘탈 상태를 구분할 수 있는 학습 모델을 더 포함하고,
상기 뇌파 신호 분석 모델을 통해 상기 뇌파 신호 데이터에 기초하여, 사용자의 멘탈 상태를 추가적으로 분류하고, 사용자의 멘탈 상태의 개선을 위한 추천 제어 명령을 더 생성하는 것인, 스마트 홈 제어 시스템을 제어하는 컴퓨팅 장치.
제 6 항에 있어서,
상기 스마트 홈 제어 프로그램은 사용자 단말로부터 사용자의 요청이 발생하면, 스마트 홈 제어 시스템의 제어를 위한 명령, 제어할 장소를 포함하는 스마트 홈 제어 시스템의 제어를 위한 가이드 또는 질문을 제공하는 인터페이스를 실행하는 것인, 스마트 홈 제어 시스템을 제어하는 컴퓨팅 장치.
제 6 항에 있어서,
상기 스마트 홈 제어 프로그램은 상기 뇌파 측정 장치의 기설정된 전극으로부터 측정된 사용자의 발화 상상, 휴식, 수면 또는 집중 상태의 뇌파 신호를 수집하는 것인, 스마트 홈 제어 시스템을 제어하는 컴퓨팅 장치.
제 6 항에 있어서,
상기 스마트 홈 제어 프로그램은 제어 명령에 대한 내용을 대화 기반으로 상기 사용자에게 확인하고, 이에 대한 사용자의 발화 상상 응답에 기초하여 해당 제어 명령의 실행 여부를 결정하는, 스마트 홈 제어 시스템을 제어하는 컴퓨팅 장치.
삭제
제 1 항 내지 제 4 항 중 어느 한 항에 따른 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체.