KR20160042500A

KR20160042500A - 사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치

Info

Publication number: KR20160042500A
Application number: KR1020140136446A
Authority: KR
Inventors: 김지훈; 조승현
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2014-10-10
Filing date: 2014-10-10
Publication date: 2016-04-20
Also published as: KR101886033B1

Abstract

본 발명은 사용자가 행한 움직임의 특징을 추출하여 하나 이상의 단위 동작으로 이루어지는 사용자 동작의 인식 조건을 자동으로 설정할 수 있는 사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치에 관한 것으로서, 사용자의 동작에 따라서 변화되는 하나 이상의 센서의 센싱값을 수집하고, 상기 수집한 센싱값을 기반으로 움직임 정보를 산출한 후, 연속적으로 산출된 움직임 정보를 비교하여, 움직임 방향 및 속도 중 하나 이상에서 기준값 이상 변화가 발생한 하나 이상의 샘플링 포인트를 추출하고, 상기 추출한 샘플링 포인트의 동작 순서 및 인식 조건을 추출하여 상기 사용자의 동작에 대한 동작 정의 테이블을 생성하는 것이다.

Description

사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치 {Method for establishing user definition motion and motion recognition apparatus using the same}

본 발명은 하나 이상의 센서를 이용하여 사용자의 동작을 인식하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는 사용자가 행한 움직임의 특징을 추출하여 하나 이상의 단위 동작으로 이루어지는 사용자 동작의 인식 조건을 자동으로 설정함으로써, 사용자 정의 동작의 인식을 가능하게 하는 사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치에 관한 것이다.

최근에는 개방형 OS를 탑재함으로써, 휴대전화에 PC의 고기능을 결합시킨 스마트폰(Smart Phone)이 대중화되면서, 고기능, 고성능의 스마트폰의 활용 방향에 대한 다양한 시도가 이루어지고 있다.

특히, 초소형 제작 기술의 발달과 함께 첨단 센서들이 더욱 소형화되고 저렴해지면서 스마트폰에 더 많은 센서들이 탑재될 수 있으며, 이에 증강현실이나 3D 게임 등과 같이 이러한 센서들을 활용한 지능형 애플리케이션들이 많이 개발되고 있다.

아울러, 스마트폰에 탑재되는 센서들이 단순히 주변환경을 감지하는 장치에서 사용자의 신체 변화, 감정상태까지 고려하는 지능형 센서로서 진화하여 인간과 감성을 교감할 수 있는 핵심 매개체 역할을 담당할 수 있을 것으로 전망됨에 따라서, 센서들을 활용한 지능형 애플리케이션들은 더 많이 증대될 것으로 예측된다.

스마트폰에 탑재되는 센서로서, 카메라(이미지) 센서, 음향 센서, 근접 센서, 조도 센서, 중력 센서, GPS 센서, 가속도 센서, 자이로 센서, 지자기 센서 등이 있다.

이 중에서, 카메라(이미지) 센서는, 빛을 감지해 그 세기의 정도를 디지털 영상 데이터로 변환해 주는 센서로, 얼굴 인식 등에 이용될 수 있으며, 음향센서는, 물리적인 소리를 공기 압력의 변화에 의해 전기적인 신호로 변환하는 센서로서, 음성인식 기반의 서비스에 이용될 수 있으며, 근접센서는, 기계적인 접촉에 의한 검출방식이 아니라 검출체가 가까이 근접했을 때 검출 대상물체의 유무를 판별하는 무첩촉 방식의 검출 센서로서, 보통 통화를 위해 스마트폰을 얼굴에 가까이 가져가거나 주머니 등에 넣는 경우 화면이 자동으로 꺼지게끔 하는 기능 등에 활용된다.

그리고, 조도센서는, 주변 밝기를 감지하는 센서로서, 통상 모바일 단말의 전력소모량을 줄이고 눈의 피로감을 덜 수 있도록 밝은 곳에서는 화면 조도를 높이고 어두운 곳에서는 낮추도록 설정하는데 이용되고, 중력센서는, 중력이 어느 방향으로 작용하는 지를 탐지해 물체 움직임을 감지하는 센서로서, 스마트폰의 디스플레이 방향(가로, 세로)을 판단해 스크린의 방향을 자동으로 보정해 주는 역할 등에 사용된다.

또한, GPS센서는 위성위치 확인 시스템을 통해 물체의 시간 및 위치 정보 수집이 가능한 센서로서, 다양한 위치 기반 서비스에 활용되고, 가속도 센서는, 단위시간당 물체 속도의 변화, 충격 등 동적 힘의 변화를 감지하는 센서로서, 최근에는 MEMS 기술을 적용한 3축 가속도 센서가 보편화되고 있으며 기울기 변화, 흔들림 등 물체 움직임까지도 감지가 가능해졌으며, 지자기 센서는, 지구 자기장의 흐름을 파악해 나침반처럼 방위각을 탐지하는 센서이고, 자이로 센서는, 물체의 관성력을 전기신호로 검출하며, 주로 회전각을 감지하는 센서로서, 높이와 회전, 기울기 등을 직접 감지할 수 있어 3축 가속도 센서와 연계할 경우, 보다 정교한 동작 인식이 가능하다.

이러한 다양한 센서들을 활용하여 동작을 인식하기 위해서는, 인식하고자 하는 동작에 대하여 명확한 인식 조건을 지정해 주어야 한다. 여기서, 인식 조건은, 인식하는 값의 종류 및 범위로 정의될 수 있다.

그런데 기존의 동작 인식에서는, 사전에 정의되어 있는 정형된 형태의 동작에 대해서만 인식이 가능했으며, 사용자가 임의의 동작을 지정하여 인식하는 것은 불가능하였다.

한국공개특허 제10-2010-0081552호, 2010년 7월 19일 공개 (명칭: 휴대용 단말기의 동작 감지 장치 및 방법)

이에 본 발명은 사용자가 임의로 지정한 동작의 인식 조건을 자동으로 설정함으로써 사용자 정의 동작을 인식할 수 있도록 하기 위한 것으로서, 특히, 사용자가 행한 움직임의 특징을 추출하여 하나 이상의 단위 동작으로 이루어지는 사용자 동작의 인식 조건을 자동으로 설정할 수 있는 사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치를 제공하고자 한다.

본 발명은 상술한 과제의 해결 수단으로서, 사용자의 동작에 따라서 변화되는 하나 이상의 센서의 센싱값을 수집하는 단계; 상기 수집한 센싱값을 기반으로 움직임 정보를 산출하는 단계; 연속적으로 산출된 움직임 정보를 비교하여, 움직임 방향 및 속도 중 하나 이상에서 기준값 이상 변화가 발생한 하나 이상의 샘플링 포인트를 추출하는 단계; 상기 추출한 샘플링 포인트의 동작 순서 및 인식 조건을 추출하여 상기 사용자의 동작에 대한 동작 정의 테이블을 생성하는 단계를 포함하는 사용자 동작 정의 방법을 제공한다.

여기서, 상기 인식 조건은, 각 샘플링 포인트에서 산출된 회전각도, 이전 샘플링 포인트에서 현재 샘플링 포인트까지의 회전각도 변화량, 이전 샘플링 포인트에서 현재 샘플링 포인트까지 움직인 시간 중 하나 이상을 포함할 수 있다.

그리고, 상기 동작 정의 테이블을 생성하는 단계는, 2회 이상 반복하여 이루어진 사용자의 동작 별로 추출된 각 샘플링 포인트의 인식 조건들의 평균값을 구하고, 상기 평균값으로 상기 동작 정의 테이블을 생성할 수 있다.

더하여, 본 발명에 따른 사용자 동작 정의 방법은, 상기 동작 정의 테이블에 정의된 각 샘플링 포인트의 인식 조건에 대한 최대최소 범위를 정의하는 마진 관리 테이블을 생성하는 단계를 더 포함할 수 있으며, 상기 마진 관리 테이블을 생성하는 단계는, 2회 이상 반복하여 이루어진 사용자의 동작 별로 추출된 하나 이상의 샘플링 포인트에서 산출된 인식 조건의 표준편차를 구하여, 각 샘플링 포인트별 마진값을 설정할 수 있다.

또한, 본 발명에 따른 사용자 동작 정의 방법에 있어서, 상기 샘플링 포인트를 추출하는 단계는, 상기 추출한 하나 이상의 샘플링 포인트로 구분되는 구간 중, 움직임 시간이 기준값보다 길고, 변화 패턴을 포함하는 구간을 추출하고, 상기 추출한 구간 중 움직임 변화가 발생하는 하나 이상의 포인트를 샘플링 포인트로 추가 추출할 수 있다.

더하여, 본 발명은 상술한 과제의 다른 해결 수단으로서, 사용자 동작에 따라서 변화되는 하나 이상의 센서의 센싱값을 수집하는 센싱값 수집 모듈; 상기 수집한 센싱값으로부터 상기 동작의 움직임 정보를 산출하는 연산 모듈; 및 연속적으로 산출된 움직임 정보를 비교하여, 움직임 방향 및 속도 중 하나 이상에서 기준값 이상 변화가 발생한 하나 이상의 샘플링 포인트를 추출하고, 상기 추출한 샘플링 포인트의 동작 순서 및 인식 조건을 추출하여 상기 사용자의 동작에 대한 동작 정의 테이블을 생성하는 학습 모듈을 포함하는 것을 특징으로 하는 동작 인식 장치를 제공할 수 있다.

여기서, 상기 학습 모듈은, 2회 이상 반복하여 상기 동작에 대한 샘플링 포인트를 추출하고, 각 샘플링 포인트에서 추출된 인식 조건들의 평균값을 구하여, 상기 동작 정의 테이블을 생성할 수 있으며, 더하여, 2회 이상 반복하여 추출된 각 샘플링 포인트의 인식 조건들의 표준편차를 구하고, 상기 표준편차를 기반으로 상기 동작 정의 테이블에 정의된 각 샘플링 포인트의 인식 조건에 대한 최대최소 범위를 정의하는 마진 관리 테이블에 더 생성할 수 있다.

또한, 본 발명에 따른 동작 인식 장치는, 상기 동작 정의 테이블 및 마진 관리 테이블을 저장하는 저장 모듈; 및 상기 연산 모듈로부터 산출된 움직임 정보와, 상기 동작 정의 테이블 및 마진 관리 테이블에 의해 설정된 인식 조건을 비교하여, 사용자 정의 동작을 인식하는 인식 모듈을 더 포함할 수 있다.

본 발명은, 연속적으로 이루어지는 사용자의 움직임에 대응하여 발생하는 하나 이상의 센서의 센싱값을 추출하고, 이를 통해 산출된 연속적인 움직임 정보들을 비교하여, 방향 및 속도 중 하나 이상이 기준값 이상 변화하는 하나 이상의 샘플링 포인트를 추출하고, 샘플링 포인트 간의 순서를 정의함으로써, 하나 이상의 단위 동작으로 이루어진 사용자 정의 동작의 인식 조건을 자동으로 설정할 수 있다.

더하여, 본 발명은 사용자의 움직임에 대응하는 추출한 하나 이상의 샘플링 포인트의 움직임 정보에 대한 기준값 및 마진을 설정함으로써, 사용자 정의 동작에 대한 인식률을 향상시킬 수 있다.

도 1은 사용자 단말의 동작을 정의하기 위한 기준 좌표계 및 움직임 정보를 나타낸 도면이다.
도 2는 본 발명에 따른 사용자 동작 정의 기능을 구비한 동작 인식 장치를 나타낸 블럭도이다.
도 3은 본 발명에 따른 사용자 동작 정의 방법을 나타낸 순서도이다.
도 4는 본 발명에 따른 사용자 동작 정의 방법에 있어서, 샘플링 포인트 추출 과정을 더 구체적으로 나타낸 순서도이다.
도 5는 본 발명에 따른 사용자 정의 동작을 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 사용자 동작 정의 방법에 따라서 설정된 동작 정의 테이블의 일 예를 도시한 도면이다.
도 7은 본 발명에 따른 사용자 동작 정의 방법에 따라서 설정된 마진 관리 테이블의 일 예를 도시한 도면이다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

아울러, 본 발명에 따른 사용자 동작 정의 방법 및 동작 인식 장치는, 사용자 동작 인식, 로봇 제어 등 다양한 분야에 적용될 수 있으나, 이하에서는 사용자 단말에 적용된 경우를 예로 들어 설명하기로 한다.

사용자 단말에서의 동작 인식은, 기 정의된 특정 움직임(뒤집기, 특정 방향으로 흔들기, 특정 패턴 그리기, 사용자 접근)을 감지하여 사용자 단말의 특정 기능을 제어하기 위한 용도로 이용되는 것으로서, 사용자 단말의 움직임은, 도 1과 같은 3차원 직각 좌표계를 통해, 방위각, 피치(Pitch), 롤(Roll)로 나타낼 수 있다.

즉, 도 1에 도시된 바와 같이, 사용자 단말의 가로 방향을 X축, 세로 방향을 Y축, 폭 방향을 Z축이라 할 때, 방위각은, 사용자 단말이 향하는 방향(동, 서, 남, 북)에 따라서 Z축을 기준으로 0~360°(또는 -180°~180°)로 나타내며, 피치는 가로축 기준 회전각으로서, 사용자 단말이 세워진 형태에 따라서 -90°~90°로 나타내며, 롤은 세로축 기준 회전각으로서, 사용자 단말이 뉘어진 형태에 따라서 -180°~180°로 나타낸다.

물론, 동작 인식에 있어서, 기준 좌표계 및 움직임의 표현 방법은 달라질 수 있는 것으로서, 상술한 정의는 예시에 불과하다.

본 발명은 이러한 사용자 단말의 움직임 중 사용자에 의해 지정된 임의의 움직임에 대한 특징값을 추출하여 인식 조건을 설정하고, 설정된 인식 조건에 따라서 사용자에 의해 지정된 임의 움직임을 인식하기 위한 것으로서, 이러한 기능을 수행하기 위해 본 발명에 따른 동작 인식 장치는 도 2에 도시된 바와 같이 구성될 수 있다.

도 2는 본 발명에 따른 동작 인식 장치를 나타낸 블럭도로서, 이를 참조하면, 본 발명에 따른 동작 인식 장치는, 센싱값 수집 모듈(100)과, 연산 모듈(200)과, 인식 모듈(300), 학습 모듈(400) 및 저장 모듈(500)을 포함하여 이루어질 수 있다.

상기 센싱값 수집 모듈(100)은 복수의 센서(10)로부터 출력되는 센싱값을 수집하기 위한 구성이다. 이때, 상기 센싱값 수집 모듈(100)은 일정 주기로 복수의 센서(10) 중 하나 이상의 센서로부터 센싱값을 수집할 수 있으며, 수집한 센싱값은 센서에 따라서 상이한 단위를 가질 수 있다. 예를 들어, 조도 센서의 센싱값은, 조도의 양(Lux)를 나타내고, 근접 센서의 센싱값은, 근접한 사물과의 거리 및/또는 근접 여부를 나타내며, 3축 가속도 센서의 센싱값은, 3축(X, Y, Z) 방향으로의 가속도값을 나타내며, 3축 자이로 센서의 센싱값은, 3축(X, Y, Z)에 방향으로의 각속도를 나타내며, 지자기 센서의 센싱값은 지자기의 방향을 나타낸다.

연산 모듈(200)은, 상기 센싱값 수집 모듈(100)에 의해 수집된 하나 이상의 센싱값을 인식 모듈(300)에서 인식할 수 있는 움직임 정보로 연산하는 구성이다. 예를 들어, 연산 모듈(200)은 회전 벡터와 회전 행렬 연산을 통해서, 수집한 센싱값으로부터 도 1에서 설명한 움직임 정보, 즉, 방위각, 피치 각도, 롤 각도 등에 대한 회전각 및/또는 각속도를 산출할 수 있다. 또한, 상기 연산 모듈(200)은, 조도 센서의 센싱값으로서, 조도 측정값 혹은 조도 변화량을 연산하고, 근접 센서의 센싱값으로부터, 근접 횟수, 근접 거리를 산출할 수 있다.

인식 모듈(300)은 상기 연산 모듈(200)로부터 산출된 움직임 정보를 이용하여 기 정의된 동작을 인식하기 위한 구성이다. 특히, 상기 인식 모듈(300)은, 저장 모듈(500)에 저장된 동작 정의 테이블(501) 및 마진 관리 테이블(502)를 통해서 정의된 각 동작의 인식 조건과 상기 산출된 움직임 정보를 비교하여, 기 정의된 동작이 발생하며 이를 인식한다. 여기서, 기 정의된 동작은, 사용자에 의해 정의된 사용자 정의 동작을 포함할 수 있다.

상기 인식 모듈(300)은, 방향, 속도 및 시간 중 어느 하나의 변화를 기준으로 구분한 하나 이상의 단위 동작을 인식하고, 인식된 단위 동작을 조합하여 상기 기 정의된 동작을 인식한다. 여기서, 단위 동작은 기 정의된 동작을 방향, 시간, 속도 중 하나 이상을 기준으로 세분화한 구분한 것으로서, 예를 들어, 별 모양의 패턴을 그리는 동작인 경우, 5개의 단위 동작으로 구분할 수 있다.

학습 모듈(400)은 상기 인식 모듈(300)에서 인식할 동작에 대한 인식 조건을 설정하기 위한 구성으로서, 특히, 사용자가 임의로 취한 사용자 정의 동작에 대한 인식 조건을 설정할 수 있다. 더 구체적으로, 학습 모듈(400)은, 일정 시간 동안 상기 센싱값 수집 모듈(100)에서 수집된 하나 이상의 센싱값을 기반으로 연산 모듈(200)에서 연속적으로 산출되는 움직임 정보들을 비교하여 상기 하나 이상의 단위 동작을 구분하기 위한 샘플링 포인트를 추출하고, 추출한 샘플링 포인트별 움직임 정보를 비교하여 인식 조건 및 마진을 산출하여, 사용자가 원하는 동작에 대한 상기 동작 정의 테이블(501) 및 마진 관리 테이블(502)를 생성한다.

저장 모듈(500)은 상기 학습 모듈(400)에 의해 생성된 하나 이상의 사용자 정의 동작에 대한 동작 정의 테이블(501) 및 마진 관리 테이블(502)을 저장하고, 저장된 동작 정의 테이블(501) 및 마진 관리 테이블(502)을 상기 인식 모듈(300)에 제공한다. 상기 동작 정의 테이블(501) 및 마진 관리 테이블(502)은 특정 동작에 포함된 하나 이상의 단위 동작을 구분하기 위한 하나 이상의 샘플링 포인트 및 각 샘플링 포인트에서의 인식 조건으로 이루어진다.

여기서, 인식 조건은, 각 샘플링 포인트에서 산출된 회전각도, 이전 샘플링 포인트에서 현재 샘플링 포인트까지의 회전각도 변화량, 이전 샘플링 포인트에서 현재 샘플링 포인트까지 움직인 시간 중 하나 이상을 포함할 수 있다.

상기 인식 모듈(300)은 상기 저장 모듈(500)의 동작 정의 테이블(501) 및 마진 관리 테이블(502)을 참조하여, 사용자 정의 동작을 인식하게 된다.

상술한 동작 인식 장치에 의한 사용자 동작 정의 방법을 도 3 및 도 4의 순서도를 참조하여 구체적으로 설명하기로 한다.

본 발명에 따른 동작 인식 장치의 동작 모드는, 크게 학습 모드와 인식 모드로 구분될 수 있다. 여기서, 학습 모드는, 인식할 동작의 특징을 학습하여 정의하기 위한 모드로서, 센싱값 수집 모듈(100), 연산 모듈(200) 및 학습 모듈(400)이 활성화된다. 반면, 인식 모드는, 정의된 동작을 인식하기 위한 모드로서, 센싱값 수집 모듈(100), 연산 모듈(200) 및 인식 모듈(300)이 활성화된다.

따라서, 도 3을 참조하면, 본 발명에 따른 동작 인식 장치는, 학습 모드인 경우(S110), 센싱값 수집 모듈(100)을 통해서 사용자가 취한 동작에 따라서 복수의 센서(10)로부터 발생한 하나 이상의 센싱값을 수집한다(S120). 예를 들어, 상기 센싱값 수집 모듈(100)은 가속도 센서, 지자기 센서 및 자이로 센서 중 하나 이상으로부터 출력된 센싱값을 수집할 수 있다. 여기서, 하나 이상의 센싱값의 수집은 일정 주기로 이루어질 수 있다. 즉, 일정 시간 동안 연속되어 이루어지는 사용자의 동작에 따라 변화하는 하나 이상의 센싱값을, 일정 주기(예를 들어, 샘플링 주기)로 수집한다.

또한, 본 발명에 따른 동작 인식 장치는, 연산 모듈(200)을 통해서, 상기 수집한 하나 이상의 센싱값을 이용하여 움직임 정보, 예를 들어, 피치, 롤, 방위각에 대응하는 회전 각도 및/또는 각속도를 산출한다. 여기서, 상기 센싱값 수집 모듈(100)이 일정 시간 동안에 이루어지는 동작에 따라서 변화되는 센싱값을 일정 주기로 수집하여 출력하므로, 상기 연산 모듈(200)도 일정 주기마다 사용자가 취한 동작에서 연속적으로 나타내는 움직임 정보를 산출하여 출력한다.

이때, 본 발명에 따른 동작 인식 장치는, 학습 모듈(140)을 통해서, 연속적으로 산출되는 움직임 정보를 비교하여, 하나 이상의 단위 동작을 구분하기 위한 샘플링 포인트를 추출하여, 각 샘플링 포인트의 동작 순서를 구분하여 저장한다(S140). 각 샘플링 포인트에서의 인식 조건을 함께 저장할 수 있다.

상기 샘플링 포인트 추출 과정을 도 4를 참조하여 더 구체적으로 설명하면 다음과 같다.

먼저, 본 발명에 따른 학습 모듈(140)은, 연속적으로 산출된 두 움직임 정보를 비교한다(S210).

그리고, 방향 및 속도 중 하나 이상을 기준으로, 기 설정된 기준값 이상 변화된 경우, 상기 변화된 포인트를 샘플링 포인트로 추출한다(S220). 상기 방향은, x,y,z축의 움직임 방향(+/-)이 될 수 있으며, 속도는 선형 가속도 혹은 회전 각속도등이 될 수 있다.

예를 들어, 사용자가 본 발명에 따른 동작 인식 장치가 탑재된 단말을 도 5에 도시된 바와 같이 움직인다고 할 때, 본 발명에 따른 동작 인식 장치의 학습 모듈(400)은, 움직임이 처음 발생하는 포인트 SP1, 움직임 방향이 변화된 포인트 SP2 및 SP3, 그리고, 움직임이 종료된 포인트 SP4를 샘플링 포인트로 추출할 수 있다.

이에 따르면, 상기 도 5에 도시된 동작은, SP1과 SP2 구간의 단위동작 1과, SP2-SP3 구간의 단위동작 2, SP3-SP4 구간의 단위동작 3이 순차적으로 이루어지는 동작으로 정의될 수 있으며, 상기 샘플링 포인트 SP1은 단위동작 1의 시작점이 되고, SP2는 단위동작 1 종료점이자 단위동작 2의 시작점이 되며, SP3는 단위동작 2의 시작점이자 단위동작 3의 종료점이 되고, SP4는 단위동작 3의 종료점이 된다.

더하여, 본 발명에 따른 동작 인식 장치의 학습 모듈(400)은, 상술한 바와 같이 하나 이상의 샘플링 포인트를 추출한 후, 샘플링 포인트 사이의 시간이 길고 변화가 존재하여 중간 확인이 필요한 경우, 추가적으로 샘플링 포인트를 추출할 수 있다.

구체적으로, 학습 모듈(400)은, 하나 이상의 샘플링 포인트를 추출한 후, 각 샘플링 포인트 간의 시간차가 기준값 이상 크고, 변화 패턴이 존재하는 구간을 추출한다(S230).

그리고, 추출한 구간 내에서, 움직임 변화가 발생하는 중간 포인트를 샘플링 포인트로 추가 추출할 수 있다(S240). 예를 들어, 도 5에 예시된 동작에서, 단위동작 2에 대한 움직임 시간이 기준값 이상으로 길면서, 선형 움직임이 아닌 지그재그 패턴으로 움직이는 경우, 학습 모듈(400)은, 상기 지그재그 패턴을 구분하기 위한 각 포인트를 샘플링 포인트로 추가 추출할 수 있다.

상술한 샘플링 포인트 추출 과정을 포함하는 단계 S120~S140은 사용자가 지정한 동작이 완료될 때까지 이루어진다. 여기서, 움직임이 감지되지 않거나, 지정된 시간이 경과한 경우, 동작이 완료된 것으로 판단할 수 있다.

그리고, 동작이 완료되는 시점에, 동작 학습 횟수를 카운팅하고, 본 발명에 따른 동작 인식 장치의 학습 모듈(400)은, 상기 카운팅한 동작 학습 횟수가 지정된 횟수, 예를 들어, n회에 도달하였는 지를 판단하여(S150), n회에 도달하지 못한 경우, 사용자에게 동일한 동작을 다시 취하도록 하면서 상기 단계 S120~S140를 다시 수행하여, 동일 동작에 대하여 n 회 반복하여, 샘플링 포인트 및 샘플링 포인트에서의 인식 조건을 추출한다.

그리고, 지정된 횟수에 도달하면, 상기 동작 인식 장치의 학습 모듈(400)은, n회 반복된 동작별로 추출된 각 샘플링 포인트의 인식 조건의 평균값으로, 상기 샘플링 포인트의 인식 조건을 설정할 수 있다(S160). 상기에서 추출된 각 샘플링 포인트 및 그 인식 조건은, 동작 순서에 맞추어 순서대로 동작 정의 테이블(501)에 설정된다. 여기서, 동작 정의 테이블(501)에 설정된 인식 조건은, 각 샘플링 포인트에서 산출된 회전각도, 이전 샘플링 포인트에서 현재 샘플링 포인트까지의 회전각도 변화량, 이전 샘플링 포인트에서 현재 샘플링 포인트까지 움직인 시간 중 하나 이상을 포함할 수 있다.

예를 들어, 도 5에 도시된 바와 같은 사용자 동작의 경우, 도 6에 도시된 바와 같이, 동작 정의 테이블이 구축될 수 있다. 도 6에서, xa, ya, za는 각 샘플링 포인트에서 산출된 x축, y축, z축의 회전각도값을 나타내고, xd, yd, zd는 이전 샘플링 포인트에서 해당 샘플링 포인트까지의 회전각도 변화량(

,

)이고, t는 이전 샘플링 포인트로부터 해당 샘플링 포인트까지 움직인 시간을 나타낸다. 참고로, 각 파라미터의 아래첨자 1,2,3,4는 샘플링 포인트를 나타낸다. 여기서, 최초 추출된 샘플링 포인트 SP1은 동작의 최초 시작점이므로, 그 변화량 (

)는 (0, 0, 0)이 되고, 그의 움직인 시간

도 0이 된다.

이어서, 상기 동작 인식 장치의 학습 모듈(400)은, n회 반복된 동작별로 추출된 각 샘플링 포인트의 움직임 정보 간의 표준편차를 산출하여, 상기 기준값을 기준으로 동작 인식으로 허용할 최대-최소 범위, 즉, 마진을 설정한다(S170). 상기 각 샘플링 포인트의 인식조건에 대한 마진값은 마진 관리 테이블(502)에 등록된다.

예를 들어, 도 5에 도시된 바와 같은 사용자 동작의 경우, 도 7에 도시된 바와 같이, 마진 관리 테이블이 구축될 수 있다. 마진 관리 테이블은 상기 동작 정의 테이블에 정의된 각 요소에 대한 최대 최소값을 정의하기 위한 테이블로서, n회 반복되어 산출된 회전각도, 변화량 및 움직임 시간 각각의 표준편차가 마진값으로 설정된다.

본 발명에 따른 동작 인식 장치에서는, 상기 동작 정의 테이블(61)과 마진 관리 테이블(502)을 기반으로 동작 인식이 이루어지는데, 이때, "동작 정의 테이블(501)에 설정된 인식 조건 ± 마진 관리 테이블(502)에 설정된 마진값"로 인식 조건의 인식 허용 범위가 설정되며, 인식 허용 범위를 만족하는 움직임 정보가 감지될 때, 해당 샘플링 포인트가 인식된 것으로 판단할 수 있다.

상술한 바에 의하여, 사용자가 취한 동작, 즉, 사용자 정의 동작에 대한 인식 조건이 설정하여, 사용자 정의 동작을 효율적으로 인식할 수 있게 된다.

이상과 같이 사용자 동작 정의가 완료되면, 동작 인식 장치는, 인식 모드로 전환하여, 상기와 같이 설정된 동작 정의 테이블(501) 및 마진 관리 테이블(502)를 참조하여, 사용자 정의 동작을 인식할 수 있다(S110).

예를 들어, 도 6 및 도 7과 같이, 동작 정의 테이블(501)과 마진 관리 테이블(502)이 설정된다고 할 때, 인식 모듈(300)은, 센싱값 수집 모듈(100) 및 연산 모듈(200)을 통해서 산출된 회전 각도 x,y,z 가 하기 수학식 1의 범위를 만족할 경우, 샘플링 포인트 SP1이 인식된 것으로 판단하고, 이어서 동일한 과정으로 샘플링 포인트 SP2, Sp3, SP4를 순차로 인식하면, 도 5에 도시된 바와 같이 동작이 발생한 것으로 판단한다.

본 발명에 따른 사용자 동작 정의 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

아울러, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

10: 센서
100: 센싱값 수집 모듈
200: 연산 모듈
300: 인식 모듈
400: 학습 모듈
500: 저장 모듈

Claims

사용자의 동작에 따라서 변화되는 하나 이상의 센서의 센싱값을 수집하는 단계;
상기 수집한 센싱값을 기반으로 움직임 정보를 산출하는 단계;
연속적으로 산출된 움직임 정보를 비교하여, 움직임 방향 및 속도 중 하나 이상에서 기준값 이상 변화가 발생한 하나 이상의 샘플링 포인트를 추출하는 단계;
상기 추출한 샘플링 포인트의 동작 순서 및 인식 조건을 추출하여 상기 사용자의 동작에 대한 동작 정의 테이블을 생성하는 단계를 포함하는 사용자 동작 정의 방법.
제1항에 있어서, 상기 인식 조건은,
각 샘플링 포인트에서 산출된 회전각도, 이전 샘플링 포인트에서 현재 샘플링 포인트까지의 회전각도 변화량, 이전 샘플링 포인트에서 현재 샘플링 포인트까지 움직인 시간 중 하나 이상을 포함하는 것을 특징으로 하는 사용자 동작 정의 방법.
제1항에 있어서, 상기 동작 정의 테이블을 생성하는 단계는
2회 이상 반복하여 이루어진 사용자의 동작 별로 추출된 각 샘플링 포인트의 인식 조건들의 평균값을 구하고, 상기 평균값으로 상기 동작 정의 테이블을 생성하는 것을 특징으로 하는 사용자 동작 정의 방법.
제1항에 있어서,
상기 동작 정의 테이블에 정의된 각 샘플링 포인트의 인식 조건에 대한 최대최소 범위를 정의하는 마진 관리 테이블을 생성하는 단계를 더 포함하는 것을 특징으로 하는 사용자 동작 정의 방법.
제4항에 있어서, 상기 마진 관리 테이블을 생성하는 단계는
2회 이상 반복하여 이루어진 사용자의 동작 별로 추출된 하나 이상의 샘플링 포인트에서 산출된 인식 조건의 표준편차를 구하여, 각 샘플링 포인트별 마진값을 설정하는 것을 특징으로 하는 사용자 동작 정의 방법.
제1항에 있어서, 상기 샘플링 포인트를 추출하는 단계는,
상기 추출한 하나 이상의 샘플링 포인트로 구분되는 구간 중, 움직임 시간이 기준값보다 길고, 변화 패턴을 포함하는 구간을 추출하고, 상기 추출한 구간 중 움직임 변화가 발생하는 하나 이상의 포인트를 샘플링 포인트로 추가 추출하는 것을 특징으로 하는 사용자 동작 정의 방법.
사용자 동작에 따라서 변화되는 하나 이상의 센서의 센싱값을 수집하는 센싱값 수집 모듈;
상기 수집한 센싱값으로부터 상기 동작의 움직임 정보를 산출하는 연산 모듈;
연속적으로 산출된 움직임 정보를 비교하여, 움직임 방향 및 속도 중 하나 이상에서 기준값 이상 변화가 발생한 하나 이상의 샘플링 포인트를 추출하고, 상기 추출한 샘플링 포인트의 동작 순서 및 인식 조건을 추출하여 상기 사용자의 동작에 대한 동작 정의 테이블을 생성하는 학습 모듈을 포함하는 것을 특징으로 하는 동작 인식 장치.
제7항에 있어서, 상기 학습 모듈은
2회 이상 반복하여 상기 동작에 대한 샘플링 포인트를 추출하고, 각 샘플링 포인트에서 추출된 인식 조건들의 평균값을 구하여, 상기 동작 정의 테이블을 생성하는 것을 특징으로 하는 동작 인식 장치.
제7항에 있어서, 상기 학습 모듈은,
2회 이상 반복하여 추출된 각 샘플링 포인트의 인식 조건들의 표준편차를 구하고, 상기 표준편차를 기반으로 상기 동작 정의 테이블에 정의된 각 샘플링 포인트의 인식 조건에 대한 최대최소 범위를 정의하는 마진 관리 테이블에 더 생성하는 것을 특징으로 하는 동작 인식 장치.
제9항에 있어서,
상기 동작 정의 테이블 및 마진 관리 테이블을 저장하는 저장 모듈; 및
상기 연산 모듈로부터 산출된 움직임 정보와, 상기 동작 정의 테이블 및 마진 관리 테이블에 의해 설정된 인식 조건을 비교하여, 사용자 정의 동작을 인식하는 인식 모듈을 더 포함하는 것을 특징으로 하는 동작 인식 장치.