KR102433533B1 - 모션 학습을 통한 인지 기반 제어 방법 및 시스템 - Google Patents

Abstract

모션 학습을 통한 인지 기반 제어 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 모션 기반 기기 제어 방법은, 웨어러블 기기로부터 모션 데이터를 수신하고, 수신된 모션 데이터를 학습하여 해당 모션을 명령에 매핑하며, 매핑 결과를 참조하여 기기를 제어한다. 이에 의해, 웨어러블 기기를 착용한 사용자의 모션을 학습하여 사용자 명령에 매핑하고, 학습 결과를 이용하여 모션 인식에 따라 사용자 명령을 파악하여 해당 기기를 제어할 수 있게 되어, 보다 간편하고 재미있는 방식의 기기 제어가 가능해진다.

Description

모션 학습을 통한 인지 기반 제어 방법 및 시스템{Recognition based Control Method and System using a Motion Learning}

본 발명은 기기 제어 기술에 관한 것으로, 더욱 상세하게는 모션 인지에 기반한 기기 제어 방법 및 시스템에 관한 것이다.

웨어러블 기기의 시대가 도래하면서, 다양한 종류의 웨어러블 기기들이 출시되고 있다. 초기부터 웨어러블 기기로서 많은 활용이 있어 온 것 중 하나가 웨어러블 밴드이다.

웨어러블 밴드의 기능은 제한적이다. 만보계나 활동량, 수면 등의 패턴 인식에 그치고 있다. 이에, 웨어러블 밴드의 기능을 더욱 확장시키기 위한 방안의 모색이 요청된다.

특히, 웨어러블 밴드를 이용하여 다른 기기로부터 정보를 받는 수동적인 기능에 그치지 않고, 적극적인 기능에 대해서도 제공이 필요하며, 여기에는 웨어러블 기기라는 특수성을 고려하는 것이 중요하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 웨어러블 기기를 착용한 사용자의 모션을 학습하여 사용자 명령에 매핑하고, 학습 결과를 이용하여 모션 인식에 따라 사용자 명령을 파악하여 해당 기기를 제어하는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 모션 기반 기기 제어 방법은, 웨어러블 기기로부터 모션 데이터를 수신하는 단계; 수신된 모션 데이터를 학습하여, 해당 모션을 명령에 매핑하는 단계; 및 매핑 결과를 참조하여, 기기를 제어하는 단계;를 포함한다.

그리고, 상기 제어 단계는, 상기 웨어러블 기기로부터 모션 데이터를 수신하는 단계; 수신된 모션 데이터로부터 모션을 인식하는 단계; 및 인식된 모션에 매핑된 명령을 수행하는 단계;를 포함할 수 있다.

또한, 상기 매핑 결과를 나타내는 매핑 테이블에는, 모션들과 명령들이 일대일로 매핑되어 있고, 상기 명령들은, 다수의 기기들에 대한 명령들일 수 있다.

그리고, 상기 명령 수행 단계는, 상기 웨어러블 기기로부터 모션 데이터를 수신한 전자 기기가 수행할 수 있다.

또한, 상기 명령 수행 단계는, 상기 웨어러블 기기로부터 모션 데이터를 수신한 전자 기기가 상기 명령을 다른 전자 기기에 전달할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 모션 기반 제어 시스템은, 모션 데이터를 생성하는 웨어러블 기기; 및 상기 웨어러블 기기로부터 모션 데이터를 수신하고, 수신된 모션 데이터를 학습하여 해당 모션을 명령에 매핑하며, 매핑 결과를 참조하여 제어를 수행하는 전자 기기;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 웨어러블 기기를 착용한 사용자의 모션을 학습하여 사용자 명령에 매핑하고, 학습 결과를 이용하여 모션 인식에 따라 사용자 명령을 파악하여 해당 기기를 제어할 수 있게 되어, 보다 간편하고 재미있는 방식의 기기 제어가 가능해진다.

또한, 본 발명의 실시예들에 따르면, 하나의 웨어러블 기기를 통해 여러 전자 기기들에 대한 사용자 명령을 입력할 수 있게 되어, 웨어러블 기기를 통합 리모컨과 같이 활용할 수 있게 된다.

도 1은 웨어러블 밴드를 이용한 사용자 모션 학습 과정의 설명에 제공되는 도면,
도 2는 모션-명령 테이블을 예시한 도면,
도 3은 웨어러블 밴드를 이용한 사용자 모션 인식에 의한 기기 제어 과정의 설명에 제공되는 도면, 그리고,
도 4 및 도 5는, 명령 실행 과정의 설명에 제공되는 도면들이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는 모션 학습을 통한 모션 인지 기반의 제어 방법을 제시한다. 사용자가 착용한 웨어러블 밴드로 사용자의 모션을 학습하고, 학습 완료 후에는 모션 인식을 통해 주변 기기들을 제어한다.

도 1은 웨어러블 밴드를 이용한 사용자 모션(손 동작) 학습 과정의 설명에 제공되는 도면이다.

도 1에 도시된 바와 같이, 웨어러블 밴드(100)는 사용자 모션이 발생할 때마다 모션 데이터를 생성한다. 모션 데이터 생성을 위해, 웨어러블 밴드(100)는 3축 자이로 센서나 가속도 센서를 내장하고 있다.

다음, 모션 데이터를 이용한 기계 학습을 반복하여, 모션-명령 테이블(200)을 생성한다. 모션-명령 테이블(200)은 학습된 모션들과 그에 대한 사용자 명령들이 일대일로 매핑되어 있는 DB이다.

도 2에는 모션-명령 테이블(200)을 예시하였다. 도 2에 도시된 바와 같이, 사용자 명령은 하나의 기기가 아닌 다수의 기기들(스마트 TV, 스마트 폰)에 대한 명령들로 구성된다.

도 2에서 명령 수행 기기들로 스마트 TV, 스마트 폰 만을 언급하였는데 예시적인 것에 불과하다. 다른 기기로 대체될 수 있음은 물론, 다른 기기를 추가하는 것도 가능하다.

도 3은 웨어러블 밴드를 이용한 사용자 모션 인식에 의한 기기 제어 과정의 설명에 제공되는 도면이다.

도 3에 도시된 바와 같이, 웨어러블 밴드(100)는 사용자 모션이 발생할 때마다 모션 데이터를 생성한다. 그러면, 웨어러블 밴드(100)에 의해 생성/수신된 모션 데이터로부터 모션을 인식한다.

다음, 도 2에 도시된 모션-명령 테이블(200)을 참조하여, 인식된 모션에 매핑된 사용자 명령을 실행한다. 명령 실행 과정에 대해서는, 도 4 및 도 5를 참조하여 상세히 설명한다.

도 4는 웨어러블 밴드(100)에서 생성된 모션 데이터에 기반한 모션 인식을 스마트 폰(300)이 수행하는 경우를 상정하였다. 스마트 폰(300)은 모션 데이터를 수신하기 위해 웨어러블 밴드(100)와 블루투스로 통신 연결한다.

스마트 폰(300)은 모션 학습을 통해 모션-명령 테이블(200)을 생성하고 보유하고 있다. 생성/보유하고 있는 모션-명령 테이블(200)을 주기적으로 갱신할 수도 있다.

웨어러블 밴드(100)로부터 수신한 모션 데이터를 통해 인식된 모션에 매핑된 사용자 명령이 스마트 폰(300)에 대한 명령인 경우, 스마트 폰(300)은 사용자 명령을 자신이 직접 실행한다.

반면, 웨어러블 밴드(100)로부터 수신한 모션 데이터를 통해 인식된 모션에 매핑된 사용자 명령이 스마트 TV(400)에 대한 명령인 경우, 스마트 폰(300)은 사용자 명령을 스마트 TV(400)에 전달한다. 이에, 사용자 명령은 스마트 TV(400)가 실행하게 된다.

도 5는 웨어러블 밴드(100)에서 생성된 모션 데이터에 기반한 모션 인식을 스마트 폰(300) 외에도 리모컨(500)과 홈 게이트웨이(600)가 더 수행하는 경우를 상정하였다.

여기서, 리모컨(500)은 스마트 TV(400)를 원격에서 제어하기 위한 명령을 입력받기 위한 기기이다. 홈 게이트웨이(600)도 스마트 TV(400)와 연결되어 스마트 TV(400)를 제어할 수 있다.

도 5에서, 스마트 폰(300)은 웨어러블 밴드(100)로부터 수신되는 모션 데이터에 대한 모션 인식 결과, 파악된 모션에 매핑된 사용자 명령이 스마트 폰(300)에 관한 것인 경우 해당 명령을 직접 실행하고, 스마트 폰(300)에 관한 명령이 아닌 경우 무시한다.

또한, 리모컨(500)은 웨어러블 밴드(100)로부터 수신되는 모션 데이터에 대한 모션 인식 결과, 파악된 모션에 매핑된 사용자 명령이 스마트 TV(400)에 관한 것인 경우 해당 명령을 스마트 TV(400)에 전달하고, 스마트 TV(400)에 관한 명령이 아닌 경우 무시한다.

마찬가지로, 홈 게이트웨이(600)도 웨어러블 밴드(100)로부터 수신되는 모션 데이터에 대한 모션 인식 결과, 파악된 모션에 매핑된 사용자 명령이 스마트 TV(400)에 관한 것인 경우 해당 명령을 스마트 TV(400)에 전달하고, 스마트 TV(400)에 관한 명령이 아닌 경우 무시한다.

다만, 도 5에서 리모컨(500)과 홈 게이트웨이(600)의 역할이 중복되므로, 웨어러블 밴드(100)로부터 수신되는 모션 데이터에 대한 모션 인식은, 리모컨(500)과 홈 게이트웨이(600) 중 어느 하나에서만 수행하도록 구현할 것이 요구된다.

지금까지, 모션 학습을 통한 인지 기반 제어 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

위 실시예에서는, 웨어러블 밴드(100)를 착용한 사용자의 모션을 학습하여 사용자 명령에 매핑하고, 학습 결과를 이용하여 모션 인식에 따라 사용자 명령을 파악하여 해당 기기를 제어하도록 하였다.

웨어러블 밴드(100)는 웨어러블 기기의 일 예로써 언급한 것으로, 다른 종류의 웨어러블 기기로 대체되는 경우도, 본 발명의 범주에 포함될 수 있음은 물론이다.

나아가, 웨어러블 기기가 아닌 휴대형/모바일 기기에서 모션 데이터를 생성하는 경우에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 웨어러블 밴드
200 : 모션-명령 테이블
300 : 스마트 폰
400 : 스마트 TV
500 : 리모컨
600 : 홈 게이트웨이

Claims (6)

1. 모션 기반 기기 제어 방법에 있어서,
   제1 전자 기기가, 웨어러블 기기로부터 모션 데이터를 수신하는 단계;
   상기 제1 전자 기기가, 수신된 모션 데이터를 학습하여, 해당 모션을 명령에 매핑하는 단계; 및
   상기 제1 전자 기기가, 매핑 결과를 참조하여, 자신과 제2 전자 기기를 제어하는 단계;를 포함하고,
   상기 매핑 결과를 나타내는 매핑 테이블에는,
   모션들과 명령들이 일대일로 매핑되어 있고,
   상기 명령들은,
   다수의 전자 기기들에 대한 명령들이며,
   상기 다수의 전자 기기들은,
   상기 제1 전자 기기, 상기 제2 전자 기기, 제3 전자 기기 및 제4 전자 기기를 포함하고,
   상기 제어 단계는,
   상기 제1 전자 기기가, 상기 웨어러블 기기로부터 모션 데이터를 수신하는 단계;
   상기 제1 전자 기기가, 수신된 모션 데이터로부터 모션을 인식하는 단계; 및
   상기 제1 전자 기기가, 인식된 모션에 매핑된 명령을 수행하는 단계;를 포함하며,
   상기 명령 수행 단계는,
   인식된 모션에 매핑된 명령이 상기 제1 전자 기기에 대한 명령이면, 상기 제1 전자 기기가 상기 명령을 수행하고,
   인식된 모션에 매핑된 명령이 상기 제2 전자 기기에 대한 명령이면, 상기 제1 전자 기기가 상기 명령을 상기 제2 전자 기기에 전달하며,
   인식된 모션에 매핑된 명령이 상기 제3 전자 기기에 대한 명령이면, 상기 명령을 무시하고,
   상기 제2 전자 기기는,
   상기 웨어러블 기기로부터 모션 데이터를 수신하는 상기 제1 전자 기기와 상기 제4 전자 기기 중 어느 하나로부터 상기 명령을 수신할 수 있는 것을 특징으로 하는 모션 기반 기기 제어 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 모션 데이터를 생성하는 웨어러블 기기; 및
   상기 웨어러블 기기로부터 모션 데이터를 수신하고, 수신된 모션 데이터를 학습하여 해당 모션을 명령에 매핑하며, 매핑 결과를 참조하여 제어를 수행하는 제1 전자 기기;를 포함하고,
   상기 매핑 결과를 나타내는 매핑 테이블에는,
   모션들과 명령들이 일대일로 매핑되어 있고,
   상기 명령들은,
   다수의 전자 기기들에 대한 명령들이며,
   상기 다수의 전자 기기들은,
   상기 제1 전자 기기, 제2 전자 기기, 제3 전자 기기 및 제4 전자 기기를 포함하고,
   상기 제1 전자 기기는,
   상기 웨어러블 기기로부터 모션 데이터를 수신하여 모션을 인식하고, 인식된 모션에 매핑된 명령을 수행하되,
   인식된 모션에 매핑된 명령이 상기 제1 전자 기기에 대한 명령이면, 상기 명령을 수행하고,
   인식된 모션에 매핑된 명령이 상기 제2 전자 기기에 대한 명령이면, 상기 명령을 상기 제2 전자 기기에 전달하며,
   인식된 모션에 매핑된 명령이 상기 제3 전자 기기에 대한 명령이면, 상기 명령을 무시하고,
   상기 제2 전자 기기는,
   상기 웨어러블 기기로부터 모션 데이터를 수신하는 상기 제1 전자 기기와 상기 제4 전자 기기 중 어느 하나로부터 상기 명령을 수신할 수 있는 것을 특징으로 하는 모션 기반 제어 시스템.
   

Images