KR20210042522A

KR20210042522A - 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치

Info

Publication number: KR20210042522A
Application number: KR1020190125171A
Authority: KR
Inventors: 김래현; 김다혜; 김슬기; 윤주석
Original assignee: 한국과학기술연구원
Priority date: 2019-10-10
Filing date: 2019-10-10
Publication date: 2021-04-20
Also published as: US20210107162A1; KR102349087B1; US11426878B2

Abstract

본 발명은 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 기술에 관한 것으로, 로봇의 제어 방법은, 사용자로부터 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 로봇을 구동하고, 로봇의 동작 대상인 복수 개의 객체들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극을 사용자에게 제공하고, 사용자로부터 시각 자극에 따라 유발된 제 2 생체 신호를 획득하여 사용자가 선택한 객체를 식별하며, 식별된 객체에 대한 동작에 대응하는 제 3 생체 신호를 사용자로부터 획득하여 로봇으로 하여금 해당 동작을 수행하도록 유도한다.

Description

뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치{Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof}

본 발명은 인간의 생체 신호를 이용하여 기계와 상호작용하는 기술에 관한 것으로, 특히 뇌-컴퓨터 인터페이스 기술(brain-computer interface, BCI)에 기반하여 인간의 작업을 돕거나 대체할 수 있는 로봇을 제어하는 방법, 그 방법을 기록한 기록매체, 그 방법에 따른 식사 보조 로봇의 제어 장치에 관한 것이다.

뇌-컴퓨터 인터페이스 기술은 생물의 두뇌와 컴퓨터를 연결해서 쌍방향 통신을 가능하게 하는 수단으로서, 음성, 영상 등 기존의 입출력 장치를 거치지 않고 뇌파를 이용하여 두뇌와 컴퓨터가 직접 연결되도록 하는 기술을 말한다. 따라서, 뇌-컴퓨터 인터페이스 기술을 활용할 경우, 두뇌의 정보 처리 결과인 의사 결정을 언어나 신체 동작을 거치지 않고, 사용자가 생각하고 결정한 특정 뇌파를 시스템의 센서로 전달하여 컴퓨터에서 해당 명령을 실행하게 된다. 키보드 내지 마우스가 아닌 뇌파로 컴퓨터를 조작하는 방법은 장애 등으로 신체를 사용하지 못할 때 유용하게 사용될 수 있기 때문에 이러한 뇌-컴퓨터 인터페이스에 대한 연구가 지속적으로 전개되고 있다. 이하에서 소개되는 선행기술문헌에는 뇌파에 기반하여 컴퓨터와 통신하는 인터페이스 기술에 관하여 기술하고 있다.

한편, 최근 한국을 비롯해 많은 국가들에서 65세 이상의 사람이 전체 인구의 20% 이상을 차지하는 초고령 사회로 진입할 것으로 예측되고 있다. 이러한 예측 하에서 한국 정부는 로봇 시장 확대를 위해 2019년 말까지 기초지방자치단체에 장애인과 노약자를 위한 돌봄 로봇 1,000여 대를 보급하고 153억을 투입해 2021년까지 병원이나 요양원 등에서 식사 보조, 욕창 예방, 배변 지원 등을 수행하는 '돌봄 로봇'을 개발한다고 발표했다. 이른바 '돌봄 로봇'에 대한 관심 및 수요가 증가하고 있으며, 그에 따라 시장 및 관련 기술 특허 출원 또한 매년 증가하고 있는 추세이다. 따라서, 뇌-컴퓨터 인터페이스 기술을 이러한 돌봄 로봇에 접목할 경우 종래에 인력을 통해 수행되던 많은 돌봄 서비스들이 사용자 스스로의 의지에 의해 제공될 수 있을 것으로 기대되고 있다.

그러나, 기존의 식사 보조를 비롯한 돌봄 로봇은 입력 수단으로 채택된 조이스틱 또는 음성 인식을 통한 제어가 대부분이며, 이러한 종래의 방식들은 신체 활동이 원활하지 않은 사용자에게는 조작이 어렵고 잘못된 선택에 대한 피드백이 곤란하다는 등 제어의 한계가 존재한다.

따라서, 식사 보조 로봇과 같이 인간의 동작을 도와주는 돌봄 로봇 제어의 한계를 극복하면서 신체 활동이 어려운 노약자 및 장애인들의 자립적인 식사 활동을 제공하는 뇌-컴퓨터 인터페이스 기반의 로봇 제어 기술의 개발이 요구된다.

뇌파기반 뇌-컴퓨터 인터페이스 기술, 음태완, 김응수, 정보과학회지 22권 2호, pp.5-19, 2004년

본 발명이 해결하고자 하는 기술적 과제는, 종래의 인간의 활동을 도와주는 로봇을 제어함에 있어서 여전히 많은 지원 인력이 필요하거나 사용자가 로봇에 대한 명령을 입력하는 것이 불편하다는 문제를 해소하고, 이러한 로봇 제어에 뇌-컴퓨터 인터페이스 기술을 도입하는 경우 전극 기반의 기기는 기록용 전극을 대뇌 피질 안으로 삽입해야 하는 한계가 있으며, 뇌파 기반의 기기는 측정된 뇌파 신호에 많은 잡음이 존재하거나 획득된 뇌파를 해석하는데 어려움이 있다는 약점을 극복하고자 한다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법은, (a) 로봇 제어 장치가 사용자로부터 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 로봇을 구동하는 단계; (b) 상기 로봇 제어 장치가 상기 로봇의 동작 대상인 복수 개의 객체들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극을 상기 사용자에게 제공하고, 상기 사용자로부터 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하여 상기 사용자가 선택한 객체를 식별하는 단계; 및 (c) 상기 로봇 제어 장치가 식별된 상기 객체에 대한 동작에 대응하는 제 3 생체 신호를 상기 사용자로부터 획득하여 상기 로봇으로 하여금 해당 동작을 수행하도록 유도하는 단계;를 포함한다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호일 수 있다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 (a) 단계는, (a1) 로봇을 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하는 단계; 및 (a2) 상기 제 1 생체 신호에 따라 상기 로봇을 구동하고 사용자의 객체 선택을 대기하는 단계;를 포함할 수 있다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 깜빡임(blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나일 수 있다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 (b) 단계는, (b1) 상기 로봇의 동작 대상인 복수 개의 객체들 각각에 대해 신호 주기를 서로 상이하게 설정하는 단계; (b2) 설정된 신호 주기에 따라 상기 복수 개의 객체들에 대응하는 신호 발생 수단 각각에 제어 신호를 인가하여 서로 다른 주기의 시각 자극을 상기 사용자에게 제공하는 단계; (b3) 상기 복수 개의 객체들 중 어느 하나에 대응하는 시각 자극을 인지한 상기 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하는 단계; 및 (b4) 상기 제 2 생체 신호 내에 포함된 동기화된 신호 주기를 이용하여 상기 사용자가 선택한 객체를 식별하는 단계;를 포함할 수 있다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 제 2 생체 신호는, 뇌파 측정 수단을 통해 획득되는 SSVEP(steady state visually evoked potential) 신호로서, 상기 복수 개의 객체들 중 사용자가 선택한 어느 하나의 객체에 대해 설정된 신호 주기와 시각적인 인지를 통해 동기화된 신호 주기를 포함할 수 있다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 (c) 단계는, (c1) 상기 사용자로부터 입력된 생체 신호 중에서 식별된 상기 객체에 대한 가상의 동작에 대응하는 제 3 생체 신호를 획득하는 단계; 및 (c2) 상기 제 3 신호에 따라 식별된 상기 객체에 대해 상기 로봇이 실제의 동작을 수행하도록 제어하는 단계;를 포함할 수 있다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 제 3 생체 신호는, 뇌파 측정 수단을 통해 획득되는 운동 상상(motor imagery) 신호일 수 있다.

일 실시예에 따른 로봇의 제어 방법에서, 상기 (a) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 1 생체 신호가 획득될 때까지 상기 (b) 단계 및 상기 (c) 단계로 진행하지 않고 대기하고, 상기 (b) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 2 생체 신호가 획득될 때까지 상기 (c) 단계로 진행하지 않고 대기하며, 상기 (c) 단계의 수행이 완료된 후 상기 (a) 단계 또는 상기 (b) 단계로 진행하여 객체의 선택 및 동작 수행을 반복할 수 있다.

한편, 이하에서는 상기 기재된 로봇의 제어 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 뇌-컴퓨터 인터페이스에 기반하여 식사 보조 로봇을 제어하는 장치는, 사용자로부터 측정된 복수 유형의 생체 신호를 입력받는 입력부; 상기 생체 신호의 유형에 따라 식사 보조 로봇을 제어하는 제어 신호를 생성하는 처리부; 및 상기 식사 보조 로봇의 동작 대상인 복수 개의 메뉴들에 각각 대응하여 상기 처리부로부터 인가된 제어 신호에 따라 동작하는 복수 개의 신호 소자를 포함하는 신호 발생 수단;을 포함하고, 상기 처리부는, 사용자로부터 식사 보조 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 상기 입력부를 통해 획득하여 상기 식사 보조 로봇을 구동하고, 상기 복수 개의 메뉴들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극을 상기 신호 발생 수단을 통해 상기 사용자에게 제공하고, 상기 사용자로부터 상기 시각 자극에 따라 유발된 제 2 생체 신호를 상기 입력부를 통해 획득하여 상기 사용자가 선택한 메뉴를 식별하며, 식별된 상기 메뉴에 대한 동작에 대응하는 제 3 생체 신호를 상기 입력부를 통해 상기 사용자로부터 획득하여 상기 식사 보조 로봇으로 하여금 해당 메뉴의 음식을 공급하는 동작을 수행하도록 유도한다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호일 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 처리부는, 식사 보조 로봇을 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 식사 보조 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하고, 상기 제 1 생체 신호에 따라 상기 식사 보조 로봇을 구동하고 사용자의 메뉴 선택을 대기할 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 깜빡임(blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나일 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 처리부는, 상기 복수 개의 메뉴들 각각에 대해 신호 주기를 서로 상이하게 설정하고, 설정된 신호 주기에 따라 상기 복수 개의 메뉴들에 대응하는 신호 발생 수단의 신호 소자 각각에 제어 신호를 인가하여 서로 다른 주기의 시각 자극을 상기 사용자에게 제공하고, 상기 복수 개의 메뉴들 중 어느 하나에 대응하는 시각 자극을 인지한 상기 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하며, 상기 제 2 생체 신호 내에 포함된 동기화된 신호 주기를 이용하여 상기 사용자가 선택한 메뉴를 식별할 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 제 2 생체 신호는, 뇌파 측정 수단을 통해 획득되는 SSVEP(steady state visually evoked potential) 신호로서, 상기 복수 개의 객체들 중 사용자가 선택한 어느 하나의 객체에 대해 설정된 신호 주기와 시각적인 인지를 통해 동기화된 신호 주기를 포함할 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 신호 발생 수단은, 복수 개의 메뉴들이 담기는 용기에 구비되어 대응하는 메뉴를 나타내도록 할당된 복수 개의 신호 소자를 포함하고, 할당된 상기 신호 소자를 통해 서로 다른 신호 주기에 따라 시각 자극을 발생시킴으로써 사용자의 시각적인 인지를 유도할 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 신호 발생 수단은, 증강 현실(augmented reality, AR) 기기 또는 혼합 현실(mixed reality, MR) 기기에 구비되어 복수 개의 메뉴에 대응하도록 할당된 복수 개의 신호 소자를 포함하고, 할당된 상기 신호 소자를 통해 서로 다른 신호 주기에 따라 시각 자극을 발생시킴으로써 실제의 메뉴와 함께 사용자에게 증강 현실 또는 혼합 현실을 제공하여 시각적인 인지를 유도할 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 처리부는, 상기 사용자로부터 입력된 생체 신호 중에서 식별된 상기 메뉴에 대한 가상의 음식 공급 동작에 대응하는 제 3 생체 신호를 획득하고, 상기 제 3 신호에 따라 식별된 상기 메뉴에 대해 상기 식사 보조 로봇이 실제의 음식 공급 동작을 수행하도록 제어할 수 있다.

다른 실시예에 따른 식사 보조 로봇의 제어 장치에서, 상기 제 3 생체 신호는, 뇌파 측정 수단을 통해 획득되는 신체의 움직임을 나타내는 운동 상상(motor imagery) 신호일 수 있다.

본 발명의 실시예들은, 사용자의 다양한 뇌파들 중에서 뇌-컴퓨터 인터페이스 시스템의 구동을 나타내는 뇌파, 시각 자극에 따라 유발된 뇌파, 및 운동 상상에 대한 뇌파 각각을 식별하여 로봇 제어에 활용함으로써, 사용자가 희망하는 대상 객체를 정확하게 특정하고 사용자의 희망 시점에 로봇으로 하여금 대상 객체에 대한 동작 행위를 수행하도록 제어할 수 있으며, 결과적으로 신체가 부자유한 사용자의 의도에 따라 능동적이고 독립적인 행동을 유도하고 자존감을 증진시킬 수 있을 뿐만 아니라, 사용자를 돕기 위한 인력, 시간 및 비용을 동시에 절감할 수 있다.

도 1은 본 발명이 활용될 수 있는 기술 분야에서 나타나는 문제점을 소개하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스(brain-computer interface, BCI)에 기반하여 로봇을 제어하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 실시예들이 활용하는 뇌파 신호의 유형에 관하여 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 2의 로봇 제어 방법에서 뇌-컴퓨터 인터페이스 시스템을 활성화시키는 과정을 보다 구체적으로 도시한 흐름도이다.
도 5는 뇌-컴퓨터 인터페이스 시스템의 활성화를 위해 활용될 수 있는 뇌파를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 도 2의 로봇 제어 방법에서 식사 메뉴를 선택하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 7은 시각 자극의 제공을 통해 식사 메뉴의 선택을 인식하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 도 2의 로봇 제어 방법에서 사용자의 식사 의도를 파악하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 9는 사용자의 식사 의도를 파악하기 위해 활용될 수 있는 뇌파를 예시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 뇌-컴퓨터 인터페이스에 기반하여 식사 보조 로봇을 제어하는 장치를 도시한 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 도 10의 식사 보조 로봇의 제어 장치에서 시각 자극을 제공하는 다양한 수단을 예시한 도면이다.

본 발명의 실시예들을 설명하기에 앞서, 본 발명의 실시예들이 구현되는 환경 내에서 종래의 기술 수단이 갖는 실무적인 문제점을 개괄적으로 소개한 후, 이를 해결하기 위해 안출된 본 발명의 실시예들에서 채택하고 있는 기술적 원리를 순차적으로 제시하도록 한다.

도 1은 본 발명이 활용될 수 있는 기술 분야에서 나타나는 문제점을 소개하기 위한 도면이다.

도 1을 참조하면, 신체 활동에 제약이 있는 환자나 노약자에게 간병인이 직접 식사를 도와주는 환경이 식사 보조 로봇을 활용하는 환경으로 변화할 수 있음을 보여준다. 고령화 사회 진입으로 인해 요양 시설의 인력, 시간 및 비용이 부족해지는 문제가 심각한 수준에 이를 것으로 예상됨에 따라 돌봄 로봇의 개발이 가속화되고 있다. 현재 식사 보조 로봇의 경우 루게릭병 환자나 근력이 부족한 노령자, 그리고 상체가 부자유로운 장애인들에게 활용하기 위해 개발되고 있으며, 사용자 스스로 독립적인 식사를 유도하여 자존감과 삶의 질을 향상시키는 것을 목표로 한다.

그러나, 현재 상용 식사 보조 로봇의 입력 방식을 살펴보면, 사용자의 입이나 얼굴 근육을 이용하여 조이스틱을 조작하거나, 버튼을 반복적으로 눌러서 음식을 선택하고 입으로 전달하거나, 로봇의 동작을 지시하는 음성 명령을 활용하거나, 미리 정해진 순서와 속도로 기계적으로 음식으로 제공하는 자동 피딩(feeding) 방식을 채택하고 있다. 이러한 종래의 방식들은 신체 활동이 불편한 사용자에게 입력 방식 숙달에 많은 시간과 노력을 요구하고 있으며, 여전히 자유로운 식사 활동에 많은 불편과 부자유가 뒤따르고 있다.

따라서, 이하에서 기술되는 본 발명의 실시예들은 사용자의 생체 신호를 획득하여 보다 편리하고 능동적으로 사용자의 의사를 파악하고 그에 따른 명령을 로봇에게 전달할 수 있는 기술적 수단을 제안한다. 이를 위해 본 발명의 실시예들은 뇌-컴퓨터 인터페이스를 채택하고 있다.

뇌-컴퓨터 인터페이스에 관한 접근 방법은 크게 동시 다채널 단일 세포 세포 외 기록법과 뇌파를 이용한 비침습적 방법이 있다. 전자의 전극 기반 뇌-컴퓨터 인터페이스는 기록용 전극을 대뇌 피질 안으로 삽입하는 고도로 침습적인 방법으로 신경원의 활동 상황을 정확하게 측정할 수 있는 장점이 있지만 기록용 전극을 대뇌 피질 안으로 삽입해야 하는 단점이 있다. 반면, 후자의 뇌파 기반 뇌-컴퓨터 인터페이스는 측정된 뇌파 신호에 많은 잡음이 있어 해석하기가 쉽지 않다는 단점이 있다. 신호 취득의 보편성과 편의성을 고려하여 본 발명의 실시예들은 후자인 뇌파 기반의 방식을 채택하였다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 2는 본 발명의 일 실시예에 따른 뇌-컴퓨터 인터페이스(brain-computer interface, BCI)에 기반하여 로봇을 제어하는 방법을 도시한 흐름도로서, 사용자로부터 생체 신호를 취득하는 수단이 존재한다는 것을 전제로 사용자로부터 입력된 생체 신호를 해석하여 로봇을 제어하기 위한 제어 신호를 생성하는 일련의 과정을 제시한다.

S210 단계에서, 로봇 제어 장치는 사용자로부터 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 로봇을 구동한다.

인간으로부터 획득되는 생체 신호는 그 종류가 매우 다양하고 각각을 식별하거나 그 의미를 파악하는 것이 매우 어렵기 때문에 이하의 로봇 제어 과정은 시계열적인 판단 과정에 따라 절차를 진행하게 된다. 본 과정에서는 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호가 획득될 때까지 다음의 단계로 진행하지 않고 대기하게 된다. 다양한 생체 신호 중에서 일단 로봇의 구동 개시 의사를 나타낸다고 정의된 제 1 생체 신호가 포착되면, 로봇을 구동하여 다음에 확인하여야 하는 생체 신호의 입력을 탐지하게 된다. 이때, 다양한 뇌파 패턴 중 EEG blink 신호를 통해 사용자가 특정 동작(예를 들어, 식사 행위)을 수행하겠다는 트리거(trigger) 신호로 사용할 수 있는데, EEG blink 신호에 관하여는 이후 도 5를 통해 보다 구체적으로 기술하도록 한다.

S220 단계에서, 로봇 제어 장치는 상기 로봇의 동작 대상인 복수 개의 객체들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극을 사용자에게 제공하고, 상기 사용자로부터 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하여 상기 사용자가 선택한 객체를 식별한다. 이 과정에서는 로봇이 수행하게 되는 동작의 대상이 복수 개의 객체들로 구성된 상황에서 사용자가 이들 객체들 중 어느 하나를 선택하는 경우에 이를 정확하게 인식하는 기법을 제공한다.

이를 위해 본 발명의 실시예들은 인간으로부터 획득 가능한 다양한 생체 신호들 중에서 시각 자극에 따라 유발된 생체 신호를 활용한다. 특히, 사용자에게 제공되는 시각 자극은 복수 개의 객체를 구별할 수 있도록 개별 객체들마다 다르게 부여되어야만 한다. 우선적으로 복수 개의 객체들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극 중 어느 하나가 사용자에게 조사된다. 이때의 시각 자극은 사용자가 눈을 통해 인지하는 것으로서, 해당 시각 자극의 신호 주기의 특징이 사용자로부터 획득된 생체 신호에도 그대로 내포되게 된다. 따라서, 로봇 제어 장치는 시각 자극에 따라 유발된 생체 신호를 획득하여 획득된 생체 신호 내에 포함된 신호 주기의 특징을 추출함으로써 사용자가 시각적으로 인지한 객체가 어느 것인지를 식별할 수 있다. 이러한 신호 주기는 예를 들어 광(light) 신호의 주파수가 될 수 있다.

본 발명의 실시예들에서 시각 자극을 유발하는 소스(source)로서 신호 주기가 서로 상이한 광 신호를 선택한 이유는 하나의 공간 내에 인접하여 다수의 사물이 혼재되어 있는 상황에서 개별 물체를 가장 정확하게 구분할 수 있는 수단이 시각 자극에서 나타나는 '신호 주기'이기 때문이다. 예를 들어, 객체의 색상이나 광도 등의 차이로부터 유발된 생체 신호로부터 각각의 객체를 식별하는 것이 용이하지 않다는 점을 발견하였다. 따라서, 본 발명의 실시예들은 복수 개의 객체들 각각에 대해 서로 다른 주파수를 갖는 광 신호를 부여하여 병렬적으로 사용자에게 조사하는 것이 바람직하다. 이때 동시다발적으로 조사되는 광 신호가 존재하더라도 사용자는 스스로가 집중하여 인지한 하나의 객체로부터 (또는 객체에 대응하여) 조사되는 광 신호의 주파수에 뇌파가 동기화되는 생리 현상이 나타나게 된다. 이로부터 로봇 제어 장치는 획득된 생체 신호(뇌파)와 동일한 주파수를 갖도록 설정된 객체를 찾아냄으로써 사용자가 선택한 객체를 식별하게 된다.

또한, 제 2 생체 신호는 SSVEP(steady state visually evoked potential) 신호가 될 수 있다. 일단 EEG blink 신호가 취득되면, 복수 개의 객체들 각각에 대응하는 서로 다른 SSVEP 시각 자극이 활성화된다. 이때, 로봇 제어 장치가 사용자로부터 희망하는 식사 메뉴에 따른 SSVEP 패턴이 입력될 때까지 SSVEP 시각 자극 활성화가 유지되는 것이 바람직하다.

한편, 이 과정 역시 사용자로부터 입력된 복수 유형의 생체 신호 중에서 시각 자극에 의해 유발된 제 2 생체 신호가 획득될 때까지 다음 단계로 진행하지 않고 대기하는 것이 바람직하다. 이는 일단 로봇이 특정 동작을 수행하기 이전에 사용자에 의해 선택된 대상을 식별해야만 하기 때문이다.

S230 단계에서, 로봇 제어 장치는 S220 단계를 통해 식별된 객체에 대한 동작에 대응하는 제 3 생체 신호를 사용자로부터 획득하여 로봇으로 하여금 해당 동작을 수행하도록 유도한다. 이제 사용자가 의도하는 대상 객체가 확인되었으므로 로봇을 통해 그에 대한 동작을 수행하도록 하는 명령을 전달해야 한다.

이를 위해, 로봇 제어 장치는 식별된 객체에 대해 수행 가능한 동작을 나타내는 제 3 생체 신호가 입력되는지 여부를 탐색한다. 이때, "수행 가능한 동작"은 단일 동작일 수 있으나, 필요에 따라 복수 개의 동작일 수도 있고, 나아가 일련의 시계열적인 연속 동작으로 정의될 수도 있다. 예를 들어, 대상 객체가 음식이라면, 수행 가능한 동작은 그 음식을 집어드는 것뿐만 아니라 사용자의 입으로 가져오는 연속 동작일 수도 있을 것이다. 다만, 이들 동작은 미리 설정되어 있어야 하며, 사용자로부터 입력된 생체 신호가 미리 설정된 것 이외의 신호라면 로봇 제어 장치는 이러한 생체 신호를 무시하게 될 것이다.

"수행 가능한 동작"은 인간의 신체의 움직임에 관한 것으로 정의될 수 있다. 왜냐하면, 제 3 생체 신호 역시 인간의 뇌파로부터 획득될 수 있으므로, 신체 활동이 부자연스러운 사용자가 마치 자유로이 신체를 움직일 수 있는 관념 내지 상상을 이용해 로봇을 쉽게 제어할 수 있도록 신체를 이용하여 수행 가능한 동작이 설정되는 것이 바람직하다. 즉, 제 3 생체 신호는 사용자가 자신의 신체를 움직여 대상 객체에 특정 동작을 수행하는 관념을 떠올릴 때 사용자의 뇌로부터 발생하는 뇌파가 될 수 있다.

또한, 제 3 생체 신호는 운동 상상(motor imagery, MI) 신호일 수 있다. 예를 들어, 사용자가 희망하는 식사 메뉴의 SSVEP 패턴이 취득되면, 사용자의 주 사용 손(오른손 또는 왼손)에 대한 운동 상상 패턴이 입력될 때까지 식사 메뉴가 식사 보조 로봇에 의해 선택되어 숟가락에 담겨 대기한다. 이후 사용자가 음식물 섭취(feeding)의 의지를 나타내는 운동 상상의 패턴이 획득되면, 식사 보조 로봇이 앞서 선택된 음식물을 사용자의 입으로 가져오게 된다. 이후, 로봇 제어 장치는 다시 EEG blink 신호가 입력될 때까지 대기하게 된다.

한편, 로봇 제어 장치는, S230 단계의 수행이 완료된 후 상기 S210 단계 또는 상기 S220 단계로 진행하여 객체의 선택 및 동작 수행을 반복함으로써 다수의 객체에 대한 동작을 순차적으로 처리할 수 있다. 예를 들어, 식사 보조 로봇을 통해 음식을 하나씩 먹기 위해서는 음식을 하나씩 선택하여 사용자의 입으로 가져오는 동작으로 반복해야 하며, 매번 유사한 동작을 반복하되 각각의 반복시마다 선택되는 음식(메뉴 또는 아이템)이 달라지게 된다.

도 3은 본 발명의 실시예들이 활용하는 뇌파 신호의 유형에 관하여 설명하기 위한 도면이다.

비록 인간과 로봇과의 상호작용을 위해 활용 가능한 다양한 수단이 존재하나, 본 발명의 실시예들에서는 가능한 최소화된 통신 수단만을 이용하여 상호작용을 수행하고자 한다. 이러한 단일의 통신 수단은 본질적으로 사용자 편의를 극대화하기 위함이다. 따라서, 앞서 기술한 본 발명의 일 실시예에 따른 제 1 생체 신호, 제 2 생체 신호 및 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호인 것이 바람직하다. 즉, 유니-모달(uni-modal)인 뇌파를 기반으로 식사 보조 제어와 같이 목표로 하는 용도에 따라 다양한 뇌파 패턴을 분석하고 이를 통해 로봇을 제어한다.

도 3을 참조하면, 먼저 뇌파 센서를 통해 사용자로부터 뇌파(electroencephalogram, EEG)(310)가 입력되었다. 이러한 뇌파는 다양한 유형의 뇌파 신호들의 집합으로 구성되어 있는데, 본 발명의 실시예들이 주목한 뇌파의 유형은 다음의 3가지이다.

첫째, "EEG blink" 신호(321)이다. EEG blink는 "의도된 눈의 깜빡임"으로 유발되는 뇌파로서 통상적인 뇌파 처리 기술 분야에서는 잡음(noise)으로 간주되어 제거되는 경우가 있으나, 본 발명의 실시예들에서는 로봇의 동작을 활성화시키는 on/off 스위치의 역할을 수행한다. 즉, 뇌파 패턴 중 전두엽의 EEG blink 신호를 취득하여 로봇의 활성화 트리거(trigger) 신호로 활용함으로써, 사용자가 원하는 시점에 로봇의 활성화를 제어할 수 있다. 특히, EEG blink 신호는 근전도에 기반한 EOG(electrooculogram) 신호와는 달리 추가적인 센서 없이도 단일의 뇌파 측정 센서를 통해 획득될 수 있다는 점에서 유니-모달의 특성을 유지할 수 있게 한다.

둘째, "SSVEP" 신호(322)이다. SSVEP는 시각 자극에 대해 시각피질이 위치한 두정엽과 후두엽 부위에서 측정할 수 있는 전기 신호로서, 본 발명의 실시예들에서는 개별 객체마다 서로 다르게 설정된 신호 주기를 이용하여 각각의 객체를 식별할 수 있다. 예를 들어, 다양한 음식 메뉴가 혼재되어 있는 상황에서 각각의 식사 메뉴 내지 음식 아이템(item)의 위치에 따른 차별화된 시각 자극 패턴을 이용하여 사용자가 희망하는 특정 음식을 선택할 수 있다. 이러한 SSVEP 패턴을 통해 식사시 다양한 메뉴/아이템 중에서 사용자가 희망하는 음식을 높은 정확도로 선택할 수 있다.

셋째, "운동 상상(motor imagery, MI)" 신호(323)이다. 예를 들어, 사용자의 주 사용 손에 대한 운동 상상 패턴을 획득하여 이를 음식 섭취(feeding)의 트리거로서 활용함으로써, 사용자가 원하는 시점에서 로봇을 제어하여 음식을 먹는 행위를 수행할 수 있도록 한다. 이를 통해, 종래의 식사 보조 방식에서 사용자 주도적인 식사 시점의 특정이 어려웠던 문제를 극복할 수 있다.

도 4는 본 발명의 일 실시예에 따른 도 2의 로봇 제어 방법에서 뇌-컴퓨터 인터페이스 시스템을 활성화시키는 과정(S210)을 보다 구체적으로 도시한 흐름도이다.

로봇 제어 장치는 S211 단계를 통해 로봇을 인지한 사용자로부터 생체 신호(예를 들어, EEG blink 신호가 될 수 있다)를 입력받고, S212 단계를 통해 앞서 입력된 생체 신호 중에서 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득한다. 그런 다음, S213 단계에서 뇌-컴퓨터 인터페이스를 이용한 로봇이 활성화되었는지 여부를 판단하고, 활성화되었다면 제 1 생체 신호에 따라 상기 로봇을 구동하고 S220 단계로 진행하여 사용자의 객체 선택을 대기한다. 반면, 그렇지 않다면, S211 단계로 돌아가 EEG blink 신호 계측을 대기한다.

도 5는 뇌-컴퓨터 인터페이스 시스템의 활성화를 위해 활용될 수 있는 뇌파를 예시한 도면이다. 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호는, 뇌파 측정 수단을 통해 획득되는 의도된 깜빡임(blink) 신호를 활용하는 것이 바람직하나, 구현상의 필요에 따라 마이크로폰(microphone)을 통해 획득되는 음성 신호 또는 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나가 될 수도 있다. 그러나, 앞서 기술한 바와 같이 사용자 편의를 위해 유니-모달이 유지되는 EEG blink 신호를 활용하는 것이 좋다.

도 6은 본 발명의 일 실시예에 따른 도 2의 로봇 제어 방법에서 식사 메뉴를 선택하는 과정(S220)을 보다 구체적으로 도시한 흐름도이다.

로봇 제어 장치는 S221 단계를 통해 로봇의 동작 대상인 복수 개의 객체들 각각에 대해 신호 주기를 서로 상이하게 설정하고, 설정된 신호 주기에 따라 상기 복수 개의 객체들에 대응하는 신호 발생 수단 각각에 제어 신호를 인가하여 서로 다른 주기의 시각 자극(예를 들어, SSVEP 자극이 될 수 있다)을 상기 사용자에게 제공한다. 그런 다음, S222 단계를 통해 상기 복수 개의 객체들 중 어느 하나에 대응하는 시각 자극을 인지한 상기 사용자로부터 생체 신호를 입력받고, S223 단계를 통해 앞서 입력된 생체 신호 중에서 상기 시각 자극에 따라 유발된 제 2 생체 신호(예를 들어, SSVEP 신호가 될 수 있다)를 획득한다. 이제, S224 단계에서 상기 제 2 생체 신호 내에 포함된 동기화된 신호 주기를 이용하여 사용자가 선택한 객체를 식별하게 된다. 만약 선택된 객체가 정확하게 식별되었다면 S230 단계로 진행하고, 그렇지 않다면 S222 단계로 되돌아가 제 2 생체 신호 계측을 대기하게 된다.

도 7은 시각 자극의 제공을 통해 식사 메뉴의 선택을 인식하는 과정을 설명하기 위한 도면으로서, 뇌파 측정 수단(720)을 통해 사용자로부터 제 2 생체 신호가 측정되며, 식판의 분할된 공간 각각에 음식 메뉴가 담겨있다고 가정한다. 각각의 메뉴 내지 아이템에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극이 발생하는 신호 발생 수단(710)이 구비될 수 있다. 이러한 신호 발생 수단을 복수 개의 분할된 공간의 숫자만큼 복수 개의 LED 조명 등의 신호 소자로 구성될 수 있다.

도 7을 참조하면, 시각 자극에 따라 유발된 제 2 생체 신호는, 뇌파 측정 수단(720)을 통해 획득되는 SSVEP 신호로서, 복수 개의 객체들(음식 메뉴) 중 사용자가 선택한 어느 하나의 객체에 대해 설정된 신호 주기와 시각적인 인지를 통해 동기화된 신호 주기를 포함한다. 먼저, EEG blink 신호가 획득되면, 식판의 LED 조명을 통해 SSVEP 시각 자극이 활성화된다. 사용자가 식판의 식사 메뉴 중 원하는 메뉴를 바라보면, 식판의 LED 조명의 시각 자극 주파수와 사용자의 뇌파가 동기화됨으로써, 사용자가 원하는 메뉴의 SSVEP 패턴을 취득하게 된다. SSVEP 패턴이 취득될 때까지 SSVEP 활성화는 유지된다.

도 8은 본 발명의 일 실시예에 따른 도 2의 로봇 제어 방법에서 사용자의 식사 의도를 파악하는 과정(S230)을 보다 구체적으로 도시한 흐름도이다.

로봇 제어 장치는 S231 단계를 통해 사용자로부터 생체 신호를 입력받고, S232 단계를 통해 앞서 입력된 생체 신호 중에서 식별된 객체에 대한 가상의 동작(예를 들어, 음식을 섭취하려는 동작)에 대응하는 제 3 생체 신호(예를 들어, 운동 상상 신호가 될 수 있다)를 획득한다. 그런 다음, S233 단계에서, 상기 제 3 신호에 따라 식별된 상기 객체에 대해 실제의 동작을 검출한 후 로봇으로 하여금 검출된 실제의 동작을 수행하도록 제어하는 명령을 생성하여 로봇에게 전달한다. 만약 이러한 동작 검출에 실패한 경우 S231 단계로 되돌아가 제 3 생체 신호의 계측을 대기한다.

도 9는 사용자의 식사 의도를 파악하기 위해 활용될 수 있는 뇌파를 예시한 도면으로서, 앞서 제 3 생체 신호가 뇌파 측정 수단을 통해 획득되는 운동 상상(motor imagery) 신호가 될 수 있음을 설명하였다. 예를 들어, 사용자가 식사 행위를 고려할 때 사용자의 뇌파로부터 주 사용 손의 운동 상상 패턴(예를 들어, 오른손 또는 왼손의 움직임)이 취득된다. 운동 상상 패턴이 취득되기 전까지는 식사 행위가 대기 중에 있으므로, 이러한 제어 구조를 통해 사용자 스스로가 주도적인 식사 진행이 가능하다.

도 10은 본 발명의 다른 실시예에 따른 뇌-컴퓨터 인터페이스에 기반하여 식사 보조 로봇(30)을 제어하는 장치(20)를 도시한 블록도로서, 도 2를 통해 기술한 로봇 제어 방법을 식사 보조 로봇에 관한 하드웨어 구성의 관점에서 재구성한 것이다. 따라서, 여기서는 설명의 중복을 피하고자 사용자의 식사를 보조하는 상황을 전제로 하여 장치를 중심으로 하는 각 구성의 동작 및 기능을 약술하도록 한다.

식사 보조 로봇을 제어하는 장치(20)는, 사용자로부터 측정된 복수 유형의 생체 신호를 입력받는 입력부(21), 상기 생체 신호의 유형에 따라 식사 보조 로봇(30)을 제어하는 제어 신호를 생성하는 처리부(22) 및 상기 식사 보조 로봇(30)의 동작 대상인 복수 개의 메뉴들에 각각 대응하여 상기 처리부로부터 인가된 제어 신호에 따라 동작하는 복수 개의 신호 소자를 포함하는 신호 발생 수단(23)을 포함한다. 상기 처리부(22)는, 사용자로부터 식사 보조 로봇(30)의 구동 개시 의사를 나타내는 제 1 생체 신호를 상기 입력부(21)를 통해 획득하여 상기 식사 보조 로봇(30)을 구동하고, 상기 복수 개의 메뉴들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극을 상기 신호 발생 수단(23)을 통해 상기 사용자에게 제공하고, 상기 사용자로부터 상기 시각 자극에 따라 유발된 제 2 생체 신호를 상기 입력부(21)를 통해 획득하여 상기 사용자가 선택한 메뉴를 식별하며, 식별된 상기 메뉴에 대한 동작에 대응하는 제 3 생체 신호를 상기 입력부(21)를 통해 상기 사용자로부터 획득하여 상기 식사 보조 로봇(30)으로 하여금 해당 메뉴의 음식을 공급하는 동작을 수행하도록 유도한다. 이때, 상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단(10)을 통해 획득되는 이종의 뇌파 신호인 것이 바람직하다.

상기 처리부(22)는, 식사 보조 로봇(30)을 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 식사 보조 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하고, 상기 제 1 생체 신호에 따라 상기 식사 보조 로봇을 구동하고 사용자의 메뉴 선택을 대기할 수 있다. 이때, 상기 제 1 생체 신호는, 뇌파 측정 수단(10)을 통해 획득되는 의도된 깜빡임(blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나일 수 있다.

상기 처리부(22)는, 상기 복수 개의 메뉴들 각각에 대해 신호 주기를 서로 상이하게 설정하고, 설정된 신호 주기에 따라 상기 복수 개의 메뉴들에 대응하는 신호 발생 수단(23)의 신호 소자 각각에 제어 신호를 인가하여 서로 다른 주기의 시각 자극을 상기 사용자에게 제공하고, 상기 복수 개의 메뉴들 중 어느 하나에 대응하는 시각 자극을 인지한 상기 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하며, 상기 제 2 생체 신호 내에 포함된 동기화된 신호 주기를 이용하여 상기 사용자가 선택한 메뉴를 식별할 수 있다. 이때, 상기 제 2 생체 신호는, 뇌파 측정 수단(10)을 통해 획득되는 SSVEP(steady state visually evoked potential) 신호로서, 상기 복수 개의 객체들 중 사용자가 선택한 어느 하나의 객체에 대해 설정된 신호 주기와 시각적인 인지를 통해 동기화된 신호 주기를 포함할 수 있다.

상기 처리부(22)는, 상기 사용자로부터 입력된 생체 신호 중에서 식별된 상기 메뉴에 대한 가상의 음식 공급 동작에 대응하는 제 3 생체 신호를 획득하고, 상기 제 3 신호에 따라 식별된 상기 메뉴에 대해 상기 식사 보조 로봇(30)이 실제의 음식 공급 동작을 수행하도록 제어할 수 있다. 이때, 상기 제 3 생체 신호는, 뇌파 측정 수단(10)을 통해 획득되는 신체의 움직임을 나타내는 운동 상상(motor imagery) 신호일 수 있다.

도 11은 본 발명의 다른 실시예에 따른 도 10의 식사 보조 로봇(30)의 제어 장치(20)에서 시각 자극을 제공하는 다양한 수단을 예시한 도면으로서, 동일한 부재 번호는 도 10과 동일한 구성 요소를 지칭하는 것으로 그 설명을 생략한다. 도 11을 참조하면, 시각 자극을 제공하는 2가지 방식을 소개한다.

첫째, 앞서 도 7을 통해 설명하였던 바와 같이 식판에 분할된 영역 각각에 구비된 LED 조명(23)을 시각 자극 제공 수단으로서 활용 가능하다. 즉, 신호 발생 수단은, 복수 개의 메뉴들이 담기는 용기에 구비되어 대응하는 메뉴를 나타내도록 할당된 복수 개의 신호 소자를 포함하고, 할당된 상기 신호 소자를 통해 서로 다른 신호 주기에 따라 시각 자극을 발생시킴으로써 사용자의 시각적인 인지를 유도한다.

둘째, 증강 현실용 헤드-마운티드 디스플레이(head-mounted display, HMD)(25)를 활용하여 사용자가 바라보는 음식들 각각에 대응하는 시각 자극이 인가될 수 있다. 물론 각각의 시각 자극은 개별 음식마다 서로 상이한 주기를 갖도록 설정되어 음식 상에 오버랩(overlap)되어 표시될 수 있다. 이때, 사용자가 특정 음식을 집중하여 인지하게 되면 사용자의 뇌파가 해당 음식에 오버랩된 시각 자극의 신호 주기에 동기화됨으로써 이후 사용자의 선택 메뉴를 식별할 수 있게 된다. 즉, 신호 발생 수단은, 증강 현실(augmented reality, AR) 기기 또는 혼합 현실(mixed reality, MR) 기기에 구비되어 복수 개의 메뉴에 대응하도록 할당된 복수 개의 신호 소자를 포함하고, 할당된 상기 신호 소자를 통해 서로 다른 신호 주기에 따라 시각 자극을 발생시킴으로써 실제의 메뉴와 함께 사용자에게 증강 현실 또는 혼합 현실을 제공하여 시각적인 인지를 유도한다.

상기된 본 발명의 실시예들에 따르면, 사용자의 다양한 뇌파들 중에서 뇌-컴퓨터 인터페이스 시스템의 구동을 나타내는 뇌파, 시각 자극에 따라 유발된 뇌파, 및 운동 상상에 대한 뇌파를 식별하여 로봇 제어에 활용함으로써, 사용자가 희망하는 대상 객체를 정확하게 특정하고 사용자의 희망 시점에 로봇으로 하여금 대상 객체에 대한 동작 행위를 수행하도록 제어할 수 있으며, 결과적으로 신체가 부자유한 사용자의 의도에 따라 능동적이고 독립적인 행동을 유도하고 자존감을 증진시킬 수 있을 뿐만 아니라, 사용자를 돕기 위한 인력, 시간 및 비용을 동시에 절감할 수 있다.

특히, 예시된 식사 보조 로봇을 제어함에 있어서, 종래의 간병인의 보조에 따른 노약자/장애인 식사 행위에서 벗어나, 로봇 제어를 위한 음성 명령 또는 조이스틱 조작 없이도 증강현실/가상현실 또는 실제 환경에서 사용자가 다양한 뇌파 패턴을 통해 사용자 주도적으로 식사 로봇을 제어할 수 있다. 무엇보다도 본 발명의 실시예들은 유니-모달 입력 방식을 채택함으로써, 사용자의 편의성을 향상시켰음에도 불구하고 뇌파의 유형을 세분화하고 각각의 제어 순서를 구조화함으로써 신뢰도 높은 실시간 BCI 제어가 가능하다.

나아가, 본 발명의 실시예들은 예시된 식사 보조 로봇뿐만 아니라 실생활 기기 내지 이동 보조 로봇의 제어 등으로 응용 가능하며, 스마트홈, 헬스케어, 실버산업, 및 게임 산업 등으로 상용화 가능하다.

한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 생체 신호/뇌파 측정 수단
20: 로봇 제어 장치
21: 입력부
22: 처리부
23: 신호 발생 수단
25: 증강 현실 기기
30: 식사 보조 로봇

Claims

(a) 로봇 제어 장치가 사용자로부터 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하여 상기 로봇을 구동하는 단계;
(b) 상기 로봇 제어 장치가 상기 로봇의 동작 대상인 복수 개의 객체들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극을 상기 사용자에게 제공하고, 상기 사용자로부터 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하여 상기 사용자가 선택한 객체를 식별하는 단계; 및
(c) 상기 로봇 제어 장치가 식별된 상기 객체에 대한 동작에 대응하는 제 3 생체 신호를 상기 사용자로부터 획득하여 상기 로봇으로 하여금 해당 동작을 수행하도록 유도하는 단계;를 포함하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호인 것을 특징으로 하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 (a) 단계는,
(a1) 로봇을 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하는 단계; 및
(a2) 상기 제 1 생체 신호에 따라 상기 로봇을 구동하고 사용자의 객체 선택을 대기하는 단계;를 포함하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 제 1 생체 신호는,
뇌파 측정 수단을 통해 획득되는 의도된 깜빡임(blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나인 것을 특징으로 하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 (b) 단계는,
(b1) 상기 로봇의 동작 대상인 복수 개의 객체들 각각에 대해 신호 주기를 서로 상이하게 설정하는 단계;
(b2) 설정된 신호 주기에 따라 상기 복수 개의 객체들에 대응하는 신호 발생 수단 각각에 제어 신호를 인가하여 서로 다른 주기의 시각 자극을 상기 사용자에게 제공하는 단계;
(b3) 상기 복수 개의 객체들 중 어느 하나에 대응하는 시각 자극을 인지한 상기 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하는 단계; 및
(b4) 상기 제 2 생체 신호 내에 포함된 동기화된 신호 주기를 이용하여 상기 사용자가 선택한 객체를 식별하는 단계;를 포함하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 제 2 생체 신호는,
뇌파 측정 수단을 통해 획득되는 SSVEP(steady state visually evoked potential) 신호로서, 상기 복수 개의 객체들 중 사용자가 선택한 어느 하나의 객체에 대해 설정된 신호 주기와 시각적인 인지를 통해 동기화된 신호 주기를 포함하는 것을 특징으로 하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 (c) 단계는,
(c1) 상기 사용자로부터 입력된 생체 신호 중에서 식별된 상기 객체에 대한 가상의 동작에 대응하는 제 3 생체 신호를 획득하는 단계; 및
(c2) 상기 제 3 신호에 따라 식별된 상기 객체에 대해 상기 로봇이 실제의 동작을 수행하도록 제어하는 단계;를 포함하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 제 3 생체 신호는,
뇌파 측정 수단을 통해 획득되는 운동 상상(motor imagery) 신호인 것을 특징으로 하는, 로봇의 제어 방법.
제 1 항에 있어서,
상기 (a) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 1 생체 신호가 획득될 때까지 상기 (b) 단계 및 상기 (c) 단계로 진행하지 않고 대기하고,
상기 (b) 단계는, 상기 사용자로부터 입력된 복수 유형의 생체 신호 중에서 상기 제 2 생체 신호가 획득될 때까지 상기 (c) 단계로 진행하지 않고 대기하며,
상기 (c) 단계의 수행이 완료된 후 상기 (a) 단계 또는 상기 (b) 단계로 진행하여 객체의 선택 및 동작 수행을 반복하는 것을 특징으로 하는, 로봇의 제어 방법.
제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
사용자로부터 측정된 복수 유형의 생체 신호를 입력받는 입력부;
상기 생체 신호의 유형에 따라 식사 보조 로봇을 제어하는 제어 신호를 생성하는 처리부; 및
상기 식사 보조 로봇의 동작 대상인 복수 개의 메뉴들에 각각 대응하여 상기 처리부로부터 인가된 제어 신호에 따라 동작하는 복수 개의 신호 소자를 포함하는 신호 발생 수단;을 포함하고,
상기 처리부는,
사용자로부터 식사 보조 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 상기 입력부를 통해 획득하여 상기 식사 보조 로봇을 구동하고, 상기 복수 개의 메뉴들에 대응하여 신호 주기가 서로 상이하게 설정된 시각 자극을 상기 신호 발생 수단을 통해 상기 사용자에게 제공하고, 상기 사용자로부터 상기 시각 자극에 따라 유발된 제 2 생체 신호를 상기 입력부를 통해 획득하여 상기 사용자가 선택한 메뉴를 식별하며, 식별된 상기 메뉴에 대한 동작에 대응하는 제 3 생체 신호를 상기 입력부를 통해 상기 사용자로부터 획득하여 상기 식사 보조 로봇으로 하여금 해당 메뉴의 음식을 공급하는 동작을 수행하도록 유도하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 제 1 생체 신호, 상기 제 2 생체 신호 및 상기 제 3 생체 신호는 하나의 뇌파 측정 수단을 통해 획득되는 이종의 뇌파 신호인 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 처리부는,
식사 보조 로봇을 인지한 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 식사 보조 로봇의 구동 개시 의사를 나타내는 제 1 생체 신호를 획득하고,
상기 제 1 생체 신호에 따라 상기 식사 보조 로봇을 구동하고 사용자의 메뉴 선택을 대기하는 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 제 1 생체 신호는,
뇌파 측정 수단을 통해 획득되는 의도된 깜빡임(blink) 신호, 마이크로폰(microphone)을 통해 획득되는 음성 신호, 카메라를 통해 획득되는 동작 또는 제스처 신호 중 적어도 하나인 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 처리부는,
상기 복수 개의 메뉴들 각각에 대해 신호 주기를 서로 상이하게 설정하고,
설정된 신호 주기에 따라 상기 복수 개의 메뉴들에 대응하는 신호 발생 수단의 신호 소자 각각에 제어 신호를 인가하여 서로 다른 주기의 시각 자극을 상기 사용자에게 제공하고,
상기 복수 개의 메뉴들 중 어느 하나에 대응하는 시각 자극을 인지한 상기 사용자로부터 생체 신호를 입력받고, 입력된 생체 신호 중에서 상기 시각 자극에 따라 유발된 제 2 생체 신호를 획득하며,
상기 제 2 생체 신호 내에 포함된 동기화된 신호 주기를 이용하여 상기 사용자가 선택한 메뉴를 식별하는 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 제 2 생체 신호는,
뇌파 측정 수단을 통해 획득되는 SSVEP(steady state visually evoked potential) 신호로서, 상기 복수 개의 객체들 중 사용자가 선택한 어느 하나의 객체에 대해 설정된 신호 주기와 시각적인 인지를 통해 동기화된 신호 주기를 포함하는 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 신호 발생 수단은,
복수 개의 메뉴들이 담기는 용기에 구비되어 대응하는 메뉴를 나타내도록 할당된 복수 개의 신호 소자를 포함하고,
할당된 상기 신호 소자를 통해 서로 다른 신호 주기에 따라 시각 자극을 발생시킴으로써 사용자의 시각적인 인지를 유도하는 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 신호 발생 수단은,
증강 현실(augmented reality, AR) 기기 또는 혼합 현실(mixed reality, MR) 기기에 구비되어 복수 개의 메뉴에 대응하도록 할당된 복수 개의 신호 소자를 포함하고,
할당된 상기 신호 소자를 통해 서로 다른 신호 주기에 따라 시각 자극을 발생시킴으로써 실제의 메뉴와 함께 사용자에게 증강 현실 또는 혼합 현실을 제공하여 시각적인 인지를 유도하는 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 처리부는,
상기 사용자로부터 입력된 생체 신호 중에서 식별된 상기 메뉴에 대한 가상의 음식 공급 동작에 대응하는 제 3 생체 신호를 획득하고,
상기 제 3 신호에 따라 식별된 상기 메뉴에 대해 상기 식사 보조 로봇이 실제의 음식 공급 동작을 수행하도록 제어하는 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.
제 11 항에 있어서,
상기 제 3 생체 신호는,
뇌파 측정 수단을 통해 획득되는 신체의 움직임을 나타내는 운동 상상(motor imagery) 신호인 것을 특징으로 하는, 식사 보조 로봇의 제어 장치.