KR101934930B1 - 상호 보완적 동작 인식을 위한 장치 및 기록 매체 - Google Patents

상호 보완적 동작 인식을 위한 장치 및 기록 매체 Download PDF

Info

Publication number
KR101934930B1
KR101934930B1 KR1020140146094A KR20140146094A KR101934930B1 KR 101934930 B1 KR101934930 B1 KR 101934930B1 KR 1020140146094 A KR1020140146094 A KR 1020140146094A KR 20140146094 A KR20140146094 A KR 20140146094A KR 101934930 B1 KR101934930 B1 KR 101934930B1
Authority
KR
South Korea
Prior art keywords
motion
motion information
recognition
information
module
Prior art date
Application number
KR1020140146094A
Other languages
English (en)
Other versions
KR20160049269A (ko
Inventor
김지훈
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140146094A priority Critical patent/KR101934930B1/ko
Publication of KR20160049269A publication Critical patent/KR20160049269A/ko
Application granted granted Critical
Publication of KR101934930B1 publication Critical patent/KR101934930B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

본 발명은 하나 이상의 센서의 센싱값을 기반으로 기 설정된 동작이 발생하였는 지를 인식하는데 있어서, 타 장치와의 상호 작용을 통해 움직임 정보를 공유하고, 공유한 움직임 정보를 이용하여 오인식률을 줄일 수 있는 상호 보완적 동작 인식 방법 및 이를 위한 장치에 관한 것으로서, 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱값을 일정 주기로 수집하고, 상기 수집한 센싱값으로부터 움직임 정보를 산출한 후, 상기 산출한 움직임 정보를 기 설정된 동작 인식 조건과 비교하여, 하나 이상의 단위 동작이 연속되어 이루어지는 동작을 인식하되, 동작 인식이 수행되는 동안, 기 설정된 타임슬롯 단위로 오인식 가능성을 판단하여 오인식 가능성이 있는 보완 구간을 검출하고, 상기 보완 구간에 대응하는 시간대의 움직임 정보를 다른 장치에 요청하여, 상기 다른 장치의 움직임 정보를 이용하여 상기 보완 구간에 대한 정상 인식 여부를 판단함으로써, 동작 인식의 신뢰성을 더 향상시키는 것이다.

Description

상호 보완적 동작 인식을 위한 장치 및 기록 매체{Apparatus and storage medium for mutually complementary motion recognition}
본 발명은 사용자의 동작을 인식하는 동작 인식 방법 및 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 타 장치와의 상호 보완을 통해 하나 이상의 단위 동작으로 이루어지는 동작에 대한 오인식율을 줄일 수 있는 상호 보완적 동작 인식을 위한 장치 및 기록매체에 관한 것이다.
최근에는 개방형 OS를 탑재함으로써, 휴대전화에 PC의 고기능을 결합시킨 스마트폰(Smart Phone)이 대중화되면서, 고기능, 고성능의 스마트폰의 활용 방향에 대한 다양한 시도가 이루어지고 있다.
특히, 초소형 제작 기술의 발달과 함께 첨단 센서들이 더욱 소형화되고 저렴해지면서 스마트폰에 더 많은 센서들이 탑재될 수 있으며, 이에 증강현실이나 3D 게임 등과 같이 이러한 센서들을 활용한 지능형 애플리케이션들이 많이 개발되고 있다.
아울러, 스마트폰에 탑재되는 센서들이 단순히 주변환경을 감지하는 장치에서 사용자의 신체 변화, 감정상태까지 고려하는 지능형 센서로서 진화하여 인간과 감성을 교감할 수 있는 핵심 매개체 역할을 담당할 수 있을 것으로 전망됨에 따라서, 센서들을 활용한 지능형 애플리케이션들은 더 많이 증대될 것으로 예측된다.
스마트폰에 탑재되는 센서로서, 카메라(이미지) 센서, 음향 센서, 근접 센서, 조도 센서, 중력 센서, GPS 센서, 가속도 센서, 자이로 센서, 지자기 센서 등이 있다.
이 중에서, 카메라(이미지) 센서는, 빛을 감지해 그 세기의 정도를 디지털 영상 데이터로 변환해 주는 센서로, 얼굴 인식 등에 이용될 수 있으며, 음향센서는, 물리적인 소리를 공기 압력의 변화에 의해 전기적인 신호로 변환하는 센서로서, 음성인식 기반의 서비스에 이용될 수 있으며, 근접센서는, 기계적인 접촉에 의한 검출방식이 아니라 검출체가 가까이 근접했을 때 검출 대상물체의 유무를 판별하는 무첩촉 방식의 검출 센서로서, 보통 통화를 위해 스마트폰을 얼굴에 가까이 가져가거나 주머니 등에 넣는 경우 화면이 자동으로 꺼지게끔 하는 기능 등에 활용된다.
그리고, 조도센서는, 주변 밝기를 감지하는 센서로서, 통상 모바일 단말의 전력소모량을 줄이고 눈의 피로감을 덜 수 있도록 밝은 곳에서는 화면 조도를 높이고 어두운 곳에서는 낮추도록 설정하는데 이용되고, 중력센서는, 중력이 어느 방향으로 작용하는 지를 탐지해 물체 움직임을 감지하는 센서로서, 스마트폰의 디스플레이 방향(가로, 세로)을 판단해 스크린의 방향을 자동으로 보정해 주는 역할 등에 사용된다.
또한, GPS센서는 위성위치 확인 시스템을 통해 물체의 시간 및 위치 정보 수집이 가능한 센서로서, 다양한 위치 기반 서비스에 활용되고, 가속도 센서는, 단위시간당 물체 속도의 변화, 충격 등 동적 힘의 변화를 감지하는 센서로서, 최근에는 MEMS 기술을 적용한 3축 가속도 센서가 보편화되고 있으며 기울기 변화, 흔들림 등 물체 움직임까지도 감지가 가능해졌으며, 지자기 센서는, 지구 자기장의 흐름을 파악해 나침반처럼 방위각을 탐지하는 센서이고, 자이로 센서는, 물체의 관성력을 전기신호로 검출하며, 주로 회전각을 감지하는 센서로서, 높이와 회전, 기울기 등을 직접 감지할 수 있어 3축 가속도 센서와 연계할 경우, 보다 정교한 동작 인식이 가능하다.
이러한 다양한 센서 중, 근접 센서나 조도 센서를 활용한 동작 인식은 인식법이 간단하여 동작 인식의 오차가 크지 않으나, 인식 가능한 동작의 종류가 제한되며, 가속도센서, 지자기 센서, 자이로 센서를 활용한 동작 인식은, 근접센서나 조도 센서보다는 보다 다양한 동작을 인식할 수 있으나, 명확하게 값의 범위를 지정하지 않으면 인식률이 낮아지며, 방향, 속도, 시간 등이 다른 단위 동작들이 연결되어 이루어지는 복잡한 동작을 인식하기 어렵다.
그런데 최근의 동작 인식 기술은, 그 응용 분야가 점차 확대됨에 따라서, 단순한 흔들림 감지로부터 특정 패턴 모양의 움직임까지 동작 인식 범위의 확장이 요구되고 있다.
한국공개특허 제10-2010-0081552호, 2010년 7월 19일 공개 (명칭: 휴대용 단말기의 동작 감지 장치 및 방법)
본 발명은 하나 이상의 센서에서 감지한 센싱값을 기반으로 기 설정된 동작이 발생하였는 지를 인식하는데 있어서, 타 장치와의 상호 작용을 통해 움직임 정보를 공유하고, 공유한 움직임 정보를 이용하여 오인식률을 줄일 수 있는 상호 보완적 동작 인식을 위한 장치 및 기록 매체를 제공하고자 한다.
본 발명은 상술한 과제의 해결 수단으로서, 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱값을 수집하는 센싱값 수집 모듈; 상기 수집한 센싱값으로부터 움직임 정보를 산출하는 연산 모듈; 다른 장치와 데이터를 송수신하는 이벤트 송수신 모듈; 상기 이벤트 송수신 모듈을 통해 상기 움직임 정보를 다른 장치로 송신하거나, 상기 다른 장치에서 검출된 움직임 정보를 수신하도록 제어하는 연동 제어 모듈; 및 상기 연산 모듈에서 산출된 움직임 정보를 기 정의된 동작의 동작 인식 조건과 비교하여 상기 동작을 인식하되, 상기 다른 장치에서 검출된 움직임 정보 또는 동작 인식 정보를 이용하여 상기 동작 인식 결과를 보정하는 동작 인식 모듈을 포함하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치를 제공한다.
본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 연산 모듈은, 기 설정된 타임슬롯 단위로 상기 움직임 정보를 버퍼에 일정 시간동안 저장하는 것을 특징으로 한다.
또한, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 동작 인식 모듈은, 동작 인식이 수행되는 동안, 상기 타임슬롯 단위로 오인식 가능성을 판단하여 타임슬롯 단위로 보완 구간을 검출하고, 상기 연동 제어 모듈은, 상기 보완 구간에 대응하는 시간대에 대한 움직임 정보를 요청하는 공유 요청 메시지를 생성하여 전송하는 것을 특징으로 한다.
또한, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 동작 인식 모듈은, 상기 보완 구간에 대응하는 시간대에 상기 다른 장치에서 검출된 움직임 정보를 이용하여 상기 보완 구간의 정상 인식 여부를 판단할 수 있다.
또한, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 연동 제어 모듈은, 상기 이벤트 송수신 모듈을 통해 상기 다른 장치로부터 공유 요청 메시지를 수신하면, 상기 버퍼에 저장된 움직임 정보 중 공유 요청 메시지에서 요청된 타임슬롯의 움직임 정보를 추출하여 상기 다른 장치로 전송할 수 있다.
더하여, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치는, 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 다른 장치의 상태 정보를 관리하는 연동 장치 관리 모듈을 더 포함하거나, 상기 장치의 배터리 잔량을 확인하는 배터리 관리 모듈; 및 상기 장치의 시스템 자원을 관리하여, 상기 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 상태 정보를 추출하여 상기 다른 장치로 전송하고, 상기 센싱값 수집 및 데이터 전송 스케쥴을 관리하는 스케쥴 관리 모듈을 더 포함할 수 있다.
더하여, 본 발명은 상술한 과제의 다른 해결 수단으로서, 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱값을 일정 주기로 수집하는 단계; 상기 수집한 센싱값으로부터 움직임 정보를 산출하는 단계; 상기 산출한 움직임 정보를 기 설정된 동작 인식 조건과 비교하여, 하나 이상의 단위 동작이 연속되어 이루어지는 동작을 인식하는 단계; 동작 인식이 수행되는 동안, 기 설정된 타임슬롯 단위로 오인식 가능성을 판단하여 오인식 가능성이 있는 보완 구간을 검출하는 단계; 상기 보완 구간에 대응하는 시간대의 움직임 정보를 다른 장치에 요청하여 수신하는 단계; 상기 다른 장치의 움직임 정보를 이용하여 상기 보완 구간에 대한 정상 인식 여부를 판단하는 단계;를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
본 발명에 따른 동작 인식 장치는, 소정의 디바이스에 탑재되어 상기 디바이스의 움직임을 감지하여 기 설정된 동작을 인식하는데 있어서, 상기 디바이스와 근접한 다른 디바이스에 탑재된 다른 동작 인식 장치에서 감지한 움직임 정보를 공유하고, 상기 움직임 정보를 이용하여 보다 정확한 동작 인식을 수행할 수 있다.
특히, 본 발명에 따른 동작 인식 장치는, 일정 주기로 센싱값을 수집하고, 움직임 정보를 검출하여, 검출된 움직임 정보를 기 설정된 동작 인식 조건과 비교하여 동작 인식을 수행하는 중에, 움직임이 이루어지는 시간을 일정 타임슬롯을 나누어, 각 타임슬롯 단위로 오인식이 가능하거나 판단이 불확실한 보완 구간을 검출하고, 상기 검출된 보완 구간과 동일한 시간 대의 센싱값 혹은 움직임 정보를 타 장치에 요청하여 수신함으로써, 불필요한 트래픽 발생을 최소화하면서 필요한 정보를 획득하여 동작 인식의 정확도를 향상시킬 수 있다.
도 1은 본 발명에 따른 상호 보완적 동작 인식 장치의 적용 가능한 예를 나타낸 모식도이다.
도 2는 도 1에 도시된 제1,2 디바이스에서 동작 인식을 위해 적용된 기준 좌표계를 설명하는 도면이다.
도 3은 본 발명에 따른 상호 보완적 동작 인식 장치가 구비되는 디바이스의 구성을 나타낸 블럭도이다.
도 4는 본 발명에 따른 상호 보완적 동작 인식 장치의 구성을 나타낸 블럭도이다.
도 5 및 도 6은 본 발명에 따른 상호 보완적 동작 인식 방법을 나타낸 순서도이다.
도 7 및 도 8은 본 발명에 따른 상호 보완적 동작 인식 방법에 따른 센싱값 공유 과정을 설명하기 위한 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에 따른 상호 보완적 동작 인식 장치는 도 1에 도시된 바와 같이, 일정 거리 이내에 위치하고, 하나 이상의 센서를 구비한 두 디바이스(10, 20)에 적용될 수 있다. 본 발명에 따른 상호 보완적 동작 인식 장치는 두 디바이스(10, 20)에 각각 구비되어, 디바이스의 움직임에 따라서 센싱값이 변화되는 하나 이상의 센서의 센싱값을 이용하여 동작 인식을 수행하되, 각각 인식한 디바이스의 움직임 정보를 서로 공유하고, 공유된 움직임 정보를 이용하여 동작 인식 결과를 보완할 수 있도록 하기 위한 것이다. 이하의 설명에서는 편의상 동작 인식을 수행하는 주 기기를 제1 디바이스(10)라 하고, 제1 디바이스(10)에서 동작 인식 결과를 보완하기 위해 사용할 센싱값을 제공하는 보조기기를 제2 디바이스(20)로 구분하나, 제1,2 디바이스 간에 그 역할이 바뀔 수 있다.
참고로, 본 발명에서 사용될 상기 제1 디바이스(10)와 제2 디바이스(20)는 동일 사용자가 소지한 상태이며, 상호 일정 거리 이내로 근접해 있는 것이 바람직하다. 상기 제1,2 디바이스(10, 20)는 스마트폰, PDA, 시계 혹은 안경형태의 웨어러블 디바이스, 태블릿 PC 중 어느 하나가 될 수 있다.
예를 들어, 도 1에 도시된 바와 같이, 제1 디바이스(100)는 스마트폰이고, 제2 디바이스(200)는 스마트 워치가 될 수 있으며, 그 반대로 가능하다.
상기 제1,2 디바이스(10, 20)는 기 정의된 특정 움직임(뒤집기, 특정 방향으로 흔들기, 특정 패턴 그리기, 사용자 접근)을 인식하는 동작 인식 기능을 구비한 것으로서, 이때, 제1,2 디바이스(10, 20)에서 감지되는 동작은, 3차원 직각 좌표계 상에 정의된 방위각, 피치(Pitch), 롤(Roll)로 나타낼 수 있다.
즉, 도 2에 도시된 바와 같이, 제1,2 디바이스(10, 20)의 가로 방향을 X축, 세로 방향을 Y축, 폭 방향을 Z축이라 할 때, 방위각은, 제1,2 디바이스(10, 20)가 향하는 방향(동, 서, 남, 북)에 따라서 Z축을 기준으로 0~360°또는 -180°~180°로 나타내며, 피치는 가로축 기준 회전각으로서, 제1,2 디바이스(10, 20)가 세워진 형태에 따라서 -90°~90°로 나타내며, 롤은 세로축 기준 회전각으로서, 제1,2 디바이스(10, 20)가 뉘어진 형태에 따라서 -180°~180°로 나타낸다. 물론, 동작 인식에 있어서, 기준 좌표계 및 움직임의 표현 방법은 달라질 수 있는 것으로서, 상술한 정의는 예시에 불과하다.
상술한 바와 같이, 본 발명에 따른 동작 인식 장치를 구비한 제1,2 디바이스(10, 20)를 사용자가 착용하거나 소지한 경우, 사용자의 움직임에 따라서, 제1,2 디바이스(10, 20)는 상기 사용자의 움직임에 대응하는 하나 이상의 센싱값을 감지할 수 있으며, 이렇게 감지된 하나 이상의 센싱값을 기반으로 각각 동작 인식을 수행할 수 있다. 본 발명은 상기 제1 디바이스(10)와 제2 디바이스(20)에서 수집한 하나 이상의 센싱값이 동일한 움직임에 대응하는 것임에 착안하여, 제1 디바이스(10)가 동작 인식을 수행하는 중에, 제2 디바이스(20)에서 검출된 움직임 정보를 이용하여 동작 인식 결과가 불확실하거나 오인식 가능성이 있는 구간에 대한 정상 인식 여부를 판단하도록 함으로써, 오인식률을 줄여 동작 인식 결과를 신뢰도를 높일 수 있도록 한 것이다. 여기서, 제1,2 디바이스(10, 20) 간에 공유되는 움직임 정보는, 각 디바이스에서 검출된 회전 각도, 각속도, 움직임 패턴(+,-) 중 하나 이상을 포함할 수 있다.
도 3은 본 발명에 따른 상호 보완적 동작 인식 장치가 구비되는 제1,2 디바이스(10, 20)의 구성을 나타낸 블럭도이다.
상기 제1,2 디바이스(10, 20)는, 사용자가 이용하는 장치로서, 용도에 따라서 다양한 기능 및 구성을 포함할 수 있으나, 기본적으로, 도 2에 도시된 바와 같이, 입력부(11, 21), 출력부(12, 22), 통신부(13, 23), 저장부(14, 24), 센서부(15, 25) 및 제어부(16, 26)를 포함할 수 있다. 물론, 경우에 따라서 입력부(11, 21)나 출력부(12, 22)를 구비하지 않을 수 있다.
상기 입력부(11, 21)는, 제1,2 디바이스(10, 20)로 사용자 명령 및 데이터를 입력하기 위한 수단으로서, 사용자 조작에 따라서 숫자, 문자, 및 기호를 포함하는 다양한 입력 데이터를 생성하여 제어부(16, 26)로 전달하고, 또한 사용자 조작에 따라서 제1,2 디바이스(10, 20)의 기능 설정 및 기능 제어와 관련된 명령을 제어부(16, 26)로 전달한다. 하나 이상의 버튼, 키패드, 터치 패드, 마우스 등 다양한 형태의 입력 수단으로 구현될 수 있다.
상기 출력부(12, 22)는 제1,2 디바이스(10, 20)의 동작에 따라 발생되는 정보를 사용자가 인지할 수 있는 형태로 출력하기 위한 수단이다. 이러한 출력부(12, 22)는 시각적인 정보를 출력하는 표시 장치, 청각적인 정보를 출력하는 오디오 장치(스피커), 촉각적인 정보를 출력하는 햅틱 장치 중 하나 이상을 포함할 수 있다. 더하여, 상기 표시 장치는 터치스크린(touch screen)이 될 수 있으며, 이와 같이, 터치스크린 형태로 표시 장치가 형성된 경우, 표시 장치는 입력부(11, 21)의 기능 중 일부 또는 전부를 수행할 수 있다. 오디오 장치는 대표적으로 스피커를 예시할 수 있다.
상기 통신부(13, 23)는 다른 디바이스와 데이터를 송수신하기 위한 구성으로서, 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식 중 하나 이상의 통신 방식에 따라서 데이터를 송수신할 수 있다. 이를 위하여 통신부(13, 23)는 각각 서로 다른 통신 방식에 따라서 데이터를 송수신하도록 구현된 하나 이상의 네트워크 접속부 및 네트워크 접속 제어 모듈을 포함할 수 있다. 여기서, 네트워크 접속부는 네트워크 접속을 위한 하드웨어 구성을 의미하며, 네트워크 접속 제어 모듈은, 설정된 통신 방식에 따른 데이터 송수신 처리를 수행하는 소프트웨어 구성을 나타낸다. 더 바람직하게, 상기 통신부(12, 23)는 일정 거리 이내에 근접한 디바이스와 데이터를 교환하기 위한 것으로서, Wi-Fi, Bluetooth, NFC 등과 같은 근거리 통신 방식을 이용하여 데이터를 송수신할 수 있다.
특히, 본 발명에 따른 상호보완적 동작 인식 장치를 구비한 제1,2 디바이스(10, 20)는 상기 통신부(13, 23)를 통해서 상대 디바이스를 인식하고, 상호 보완적 동작 인식을 위한 움직임 정보를 송수신하게 된다.
상기 저장부(14, 24)는 제1,2 디바이스(10, 20)의 동작에 필요한 프로그램 및 데이터를 저장하기 위한 구성이다. 저장부(14, 24)는, 기본적으로 단말 장치(10)의 운영(OS: Operating System) 프로그램이 저장되며, 더불어, 상기 OS 환경을 기반으로 동작하는 하나 이상의 애플리케이션 및 그의 실행에 필요하거나 실행 중에 생성된 데이터를 저장할 수 있다. 특히, 본 발명에 있어서, 상기 저장부(14, 24)는 상호 보완적 동작 인식 과정에서 공유되는 움직임 정보를 저장할 수 있다.
이러한 저장부(14, 24)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 등을 포함할 수 있다.
상기 센서부(15, 25)는 제1,2 디바이스(10, 20)의 주변 환경 혹은 물리적인 변화를 감지하기 위한 하나 이상의 센서를 포함하여, 동작 인식을 위한 하나 이상의 센싱값을 감지하여 출력한다. 예를 들어, 상기 센서부(15, 25)는 단위시간당 물체 속도의 변화, 충격 등 동적 힘의 변화를 감지하는 가속도 센서, 지구 자기장의 흐름을 파악해 나침반처럼 방위각을 탐지하는 지자기 센서, 물체의 관성력을 전기신호로 검출하며, 주로 회전각을 감지하는 자이로 센서 등 다양한 종류의 센서를 포함할 수 있다. 동작 인식에 이용되는 대표적인 센서로서, 가속도 센서, 지자기 센서 및 자이로 센서를 예시하였으나, 물론 이에 한정되지 않는다. 상기 센서부(15, 25)는 이외에도, 빛을 감지해 그 세기의 정도를 디지털 영상 데이터로 변환해 주는 카메라(이미지) 센서, 물리적인 소리를 공기 압력의 변화에 의해 전기적인 신호로 변환하는 음향센서, 기계적인 접촉에 의한 검출방식이 아니라 검출체가 가까이 근접했을 때 검출 대상물체의 유무를 판별하는 근접센서, 주변 밝기를 감지하는 조도센서, 중력이 어느 방향으로 작용하는 지를 탐지해 물체 움직임을 감지하는 중력센서, 위성위치 확인 시스템을 통해 물체의 시간 및 위치 정보 수집이 가능한 GPS센서 등을 포함할 수 있으며, 이러한 다양한 센서에서 감지된 센싱값을 동작 인식에 이용할 수 있다.
마지막으로, 상기 제어부(16, 26)는 제1,2 디바이스(10, 20)의 동작 전반을 제어하고 처리하는 구성으로서, 제어부(16, 26)는 하나 이상의 프로세서(Processor) 및 RAM(Read Access Memory)과 같은 시스템 메모리를 포함하여 구현될 수 있다. 상기 시스템 메모리로 로드된 하나 이상의 프로그램 모듈을 상기 프로세서로 실행함에 의해 소정의 기능 및 동작을 수행한다.
상기 본 발명에 따른 제어부(16, 26)에서 실행되는 프로그램 모듈은, 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 상기 프로그램 모듈은, 파일 시스템의 파일에 반드시 대응하는 것은 아니며, 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다. 상기 제어부(16, 26)의 프로세서와 시스템 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
본 발명에 따른 상호 보완적 동작 인식 장치는, 상술한 프로그램 모듈 형태로 구현되어, 상기 제1,2 디바이스(10, 20)에 탑재된 후, 제어부(16, 26)의 프로세서에 의해 실행되어, 센서부(15)로부터 하나 이상의 센싱값을 수집하고, 수집한 하나 이상의 센싱값으로부터 움직임 정보를 산출하고, 산출된 움직임 정보를 기 설정된 동작 정의 정보와 비교하여, 하나 이상의 단위 동작으로 이루어지는 동작을 인식하고, 더불어, 오인식 가능성이 있는 보완 구간을 추출하고, 통신부(13, 23)를 통해서 상기 보완 구간에 대응되는 시점에서 다른 디바이스의 동작 인식 장치에서 감지된 움직임 정보를 획득하고, 이를 통해 상기 보완 구간이 정상 인식되는 지를 판단함으로써, 동작 인식 결과를 보완할 수 있다.
도 4는 상술한 제1,2 디바이스(10, 20)에 구비될 수 있는 본 발명에 따른 상호 보완적 동작 인식 장치의 구성을 나타낸 블럭도이다. 참고로, 이하에서 제1 디바이스(10)에 탑재된 동작 인식 장치를 제1 동작 인식 장치(100)로, 제2 디바이스(20)에 탑재된 동작 인식 장치를 제2 동작 인식 장치(200)로 구분하여 설명하나, 이는 단지 설명의 편의를 위한 것으로서, 발명을 제한하기 위한 것은 아니다.
도 4를 참조하면, 제1,2 동작 인식 장치(100, 200)는, 센싱값 수집 모듈(110, 210), 연산 모듈(120, 220), 동작 인식 모듈(130, 230), 이벤트 송수신 모듈(140, 240), 연동 제어 모듈(150, 250)을 공통적으로 포함한다.
이에 더하여, 주 디바이스인 제1 디바이스(10)에 탑재되는 제1 동작 인식 장치(100)는 연동 장치 관리 모듈(160)을 더 포함할 수 있고, 보조 디바이스인 제2 디바이스(20)에 탑재되는 제2 동작 인식 장치(200)는 스케쥴 관리 모듈(270) 및 배터리 관리 모듈(280)을 더 포함할 수 있다.
상기 센싱값 수집 모듈(110, 210)은 센서부(15, 25)로부터 하나 이상의 센싱값을 수집한다. 이때, 수집되는 센싱값은, 센서에 따라서 상이한 단위 및 크기를 갖을 수 있다. 예를 들어, 조도 센서의 센싱값은, 조도의 양(Lux)를 나타내고, 근접 센서의 센싱값은, 근접한 사물과의 거리 및/또는 근접 여부를 나타내며, 3축 가속도 센서의 센싱값은, 3축(X, Y, Z) 방향으로의 가속도값을 나타내며, 3축 자이로 센서의 센싱값은, 3축(X, Y, Z)에 방향으로의 각속도를 나타내며, 지자기 센서의 센싱값은 지자기의 방향을 나타낸다. 상기 센싱값 수집 모듈(100)은 기 설정된 복수의 센서(10)로부터 센싱값을 수집하거나, 인식 모듈(300)의 제어에 따라서 복수의 센서(10) 중에서 선택된 하나 이상의 센서로부터 센싱값을 수집할 수 있다. 이때, 상기 센싱값 수집 모듈(110, 210)은 일정 시간 주기, 즉, 기 설정된 샘플링 주기로 상기 센싱값을 수집할 수 있다.
상기 연산 모듈(120, 220)은 상기 센싱값 수집 모듈(110, 220)이 수집한 하나 이상의 센싱값으로부터 인식 모듈(300)에서 인식할 수 있는 움직임 정보를 산출한다. 더 구체적으로 설명하면, 상기 연산 모듈(120, 220)은 회전 벡터와 회전 행렬 연산을 통해서, 수집한 센싱값으로부터 도 2와 같은 움직임 정보, 즉, 방위각, 피치 각도, 롤 각도 등에 대한 회전각도, 각속도, 움직임 패턴을 산출한다. 또한, 상기 연산 모듈(120, 220)은, 조도 센서의 센싱값을 조도 측정값 혹은 조도 변화량으로 변환하거나, 근접 센서의 센싱값을 기반으로 근접 횟수, 근접 거리를 산출할 수 있다. 더하여, 본 발명에 따른 상기 연산 모듈(120, 220)은 일정 크기의 버퍼(121, 221)를 포함하여, 소정 시간 범위 내에서 산출된 움직임 정보 혹은 센싱값을 소정 시간 동안 저장한다. 예를 들어, 상기 버퍼(121, 221)는 현재 시점을 기준으로 전후 소정 시간 구간내의 움직임 정보를 저장할 수 있다. 더하여, 상기 움직임 정보 및 센싱값을 버퍼에 저장할 때, 상기 움직임 정보 및 센싱값과 함께 대응되는 시간 정보가 함께 저장될 수 있다.
상기 동작 인식 모듈(130, 230)은 상기 연산 모듈(120, 220)로부터 산출된 움직임 정보를 이용하여 기 정의된 동작을 인식하기 위한 구성이다. 특히, 상기 동작 인식 모듈(130, 230)은, 상기 연산 모듈(120, 220)로부터 산출된 움직임 정보를 기 설정된 동작 인식 조건과 비교하여, 상기 움직임 정보가 특정 동작 인식 조건을 만족할 때, 특정 동작 인식 조건에 매칭되는 동작이 인식된 것으로 판단한다.
여기서, 상기 동작 인식 모듈(130, 230)에 의해 인식되는 동작은, 하나 이상 단위 동작으로 이루어질 수 있다. 여기서, 단위 동작은, 기 정의된 동작을 방향, 시간, 속도 중 하나 이상을 기준으로 세분화한 동작으로서, 상기 동작 인식 모듈(130, 230)은 상기 하나 이상의 단위 동작을 순차적으로 인식하여, 해당 동작에 포함된 하나 이상의 단위 동작이 정해진 순서대로 순차로 모두 인식되면, 해당 동작이 인식된 것으로 판단할 수 있다.
아울러, 상기 동작 인식 조건은, 하나 이상의 단위 동작 별로 설정될 수 있으며, 예를 들어, 회전각도, 회전 속도 및 움직인 시간 중 하나 이상을 포함할 수 있다.
아울러, 본 발명에 따른 동작 인식 모듈(130, 230)은 상술한 동작 인식을 수행하는 중에, 오인식 가능성이 있는 지를 판단한다. 상기 판단은 기 설정된 타임슬롯 단위로, 예를 들어, 상기 센싱값 수집 모듈(110)의 샘플링 주기보다 큰 주기의 타임슬롯 단위로 이루어질 수 있다.
즉, 상기 센싱값 수집 모듈(110)로부터 기 설정된 샘플링 주기로 센싱값이 수집되면, 마찬가지로, 상기 연산 모듈(120)은 상기 샘플링 주기 별로 각 주기에서 수집된 센싱값으로부터 움직임 정보를 산출하게 된다.
그리고, 동작 인식 모듈(130, 230)은 이렇게 일정한 샘플링 주기로 연속 산출된 움직임 정보를 기 설정된 동작 인식 조건과 대비하여, 연속적인 움직임의 변화에 대응하는 동작을 인식하게 된다.
동작 인식 모듈(130, 230)은 이러한 연속적으로 이루어지는 동작 인식이 이루어지는 연속된 과정을 기 설정된 t 시간 단위로 나누어, 오인식 가능성이 높은 보완 구간을 추출한다. 더 구체적으로, 동작 인식 모듈(130, 230)은 하나 이상의 단위 동작으로 이루어지는 동작의 일부만 인식되거나, 일부 단위동작이 매칭되지 않는 동작이 발생할 때, 해당 구간을 보완 구간으로 추출할 수 있다.
그리고, 상기 동작 인식 모듈(130, 230)은 연동 제어 모듈(150, 250)을 통해서 상기 보완 구간에 대한 다른 디바이스의 움직임 정보를 획득한다.
그리고, 획득한 다른 장치의 움직임 정보를 기반으로, 상기 보완 구간을 다시 판단하여, 정상 인식 여부를 추출한다. 더 구체적으로, 상기 동작 인식 모듈(130, 230)은, 상기 보완 구간에 대응하는 다른 장치의 움직임 정보의 값 혹은 패턴 변화가 동일한 시점에 이루어졌는 지를 판단할 수 있다. 여기서, 다른 장치에서 동일한 움직임 변화가 감지되었다면, 정상인식으로 판단할 수 있고, 다른 장치에서 동일하거나 유사한 움직임 변화가 이루어지지 않았다면, 정상 인식이 아닌 것으로 판단할 수 있다.
이를 위해서, 상기 제1,2 동작 인식 장치(100, 200) 간에 시간 동기화가 이루어질 수 있다.
그리고, 이벤트 송수신 모듈(140, 240) 및 연동 제어 모듈(150)은, 제1,2 동작 인식 장치(100, 200) 간의 연동을 수행하기 위한 구성으로서, 이벤트 송수신 모듈(140, 240)은, 제1,2 디바이스(10, 20)의 통신부(13, 23)를 통해서 타 장치로 동작 인식과 관련된 데이터 혹은 메시지의 송수신을 수행하며, 연동 제어 모듈(150, 250)은, 타 장치와의 연동을 제어하기 위한 구성이다. 구체적으로, 연동 제어 모듈(150, 250)은 상기 동작 인식 모듈(130, 230)의 요청에 따라서, 보완 구간에 대한 공유 요청 메시지를 생성하여 상기 이벤트 송수신 모듈(140, 240)을 통해 송신되도록 제어하고, 상기 이벤트 송수신 모듈(140, 240)을 통해 특정 보완 구간에 대한 공유 요청 메시지가 수신되면, 상기 버퍼(121, 221)에 저장된 움직임 정보 중 요청된 보완 구간과 동일한 시간 구간에 대응하는 움직임 정보를 추출하여, 기 설정된 형태로 가공한 후 상기 이벤트 송수신 모듈(140, 240)을 통해 송신하도록 제어한다.
더하여, 상기 연동 제어 모듈(150, 250)은 기 설정된 스케쥴에 따라서 센싱값 수집 모듈(110, 210)에서 수집한 센싱값 혹은 동작 인식 모듈(130, 230)에 의해 인식된 동작 인식 정보를 타 장치와 공유하도록 제어할 수 있다.
상기 이벤트 송수신 모듈(140, 240)을 통해 공유되는 데이터는, 데이터를 송신한 주체를 기록하는 제1 필드, 데이터 종류를 기록하는 제2 필드, 센싱값 및 상태 정보 등이 기록되는 제3~제5필드로 이루어질 수 있으며, 상기 각 필드별 상세 정보는 하기의 표 1과 같이 정의될 수 있다.
필드 Name Length Type 상세
1 Host 1 Byte Byte 0: 디바이스
1~254: 웨어러블 디바이스
255: Error
2 Type 1 Byte Byte 0: 디바이스 정보
1: 동작 인식 정보
2: 버퍼 데이터 정보
3: 가속도 센서
4: 지자기 센서
5: 자이로 센서
6~254: 기타 센서
255: Error
3 Data1 4 Byte Float 디바이스 정보인 경우, 배터리잔량(1~100%)
센서인 경우 x축 측정값
동작인식정보인 경우 x축 움직임 패턴
버퍼 데이터 정보인 경우 timestamp
Error인 경우 Error code
4 Data2 4 Byte Float 디바이스 정보인 경우, 데이터전송빈도(1~100msec)
센서인 경우 y축 측정값
동작인식정보인 경우 y축 움직임 패턴
버퍼 데이터 정보인 경우 센서 축(x, y, z)
Error인 경우 NULL
5 Data3 4 Byte Float 디바이스정보인 경우, 착용상태
센서인 경우 z축 측정값
동작인식정보인 경우 z축 움직임 패턴
버퍼 데이터 정보인 경우 센서축 측정값
Error인 경우 NULL
상기 표 1에서, 동작 인식 정보는 동작 인식 모듈(130, 230)에 의해 인식된 동작 인식 결과로서, 움직임 패턴을 나타내며, 센서값은, 센싱값 수집 모듈(110, 210)에서 수집된 특정 센서의 센싱값으로, 제1,2 디바이스(10, 20)간의 정보 공유 시에 전송되며, 버퍼 데이터 정보는, 연산 모듈(220)에 의해서 특정 시간대에 산출된 움직임 정보로서, 상호 보완적 동작 인식을 수행하는 경우 전송된다.
상술한 표 1과 같은 데이터 포맷을 통해서, 본 발명에 따른 제1,2 디바이스(10, 20)는 상호보완적 동작 인식을 위한 정보들을 공유할 수 있다.
더하여, 연동 장치 관리 모듈(160)은, 연동하는 타 장치가 구비된 디바이스의 상태(배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 등)을 관리하기 위한 구성으로서, 상기 상태 정보를 타 장치로부터 수신하여 저장한다.
상기 연동 장치 관리 모듈(160)은, 주 디바이스인 제1 디바이스(10)에 탑재되는 제1 동작 인식 장치(100)에 포함되나, 필요에 따라서 제2 동작 인식 장치(200)에도 포함될 수 있다.
그리고, 스케쥴 관리 모듈(270)은, 보조 디바이스인 제2 디바이스(20)에 탑재되는 제2 동작 인식 장치(200)에 포함되는 구성으로서, 제1 동작 인식 장치(100)로 상태 정보(예를 들어, 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 등)를 타 장치로 전송하고, 이에 따른 시스템 자원 및 스케쥴을 관리한다.
또한, 배터리 관리 모듈(280)도, 보조 디바이스인 제2 디바이스(20)에 탑재되는 제2 동작 인식 장치(200)에 포함되는 구성으로서, 데이터 전송 빈도 등의 제어 정보를 변경할 수 있도록, 제2 디바이스(20)의 배터리 잔량을 체크하여 상기 스케쥴 관리 모듈(270)로 제공한다.
즉, 스케쥴 관리 모듈(270)은, 상기 배터리 관리 모듈(280)에 의해 확인된 배터리 잔량에 따라서, 상기 데이터 전송 빈도를 설정하고, 설정된 데이터 전송 빈도를 상기 주 디바이스인 제1 디바이스(10)에 탑재된 제1 동작 인식 장치(100)로 전송할 수 있다.
이어서 상술한 바와 같이, 구성된 제1 동작 인식 장치(100)와 제2 동작 인식 장치(200) 간의 연동을 통해 이루어지는 상호 보완적 동작 인식 과정을 도 5 및 도 6의 순서도를 참조하여 설명한다.
도 5는 본 발명에 따른 제1 동작 인식 장치(100) 에 의해 수행되는 상호 보완적 동작 인식 방법을 나타낸 순서도이다.
참고로, 상기 제1 동작 인식 장치(100)를 구비한 제1 디바이스(10)는 통신부(13)를 통해 근접해 있는 제2 디바이스(20)와의 탐색 또는 연결 과정을 수행하여, 연동 가능한 제2 디바이스(20)를 인지하여 연결한다. 상기 과정은, 예를 들어, 블루투스 통신 규격의 페어링(Paring) 절차에 따라 이루어질 수 있는 것으로서, 이러한 연결 과정은 해당 근거리 통신 방식에 설정된 절차에 따라 이루어지는 것이므로, 그에 대한 구체적인 설명은 생략한다.
상기 상태에서, 본 발명에 따른 제1 동작 인식 장치(100)는, 상술한 paring 절차를 통해 연결된 제2 디바이스(20)의 제2 동작 인식 장치(200)를 인식하고 상기 인식된 제2 동작 인식 장치(200)로부터 동작 인식 연동을 위한 상태 정보를 수신한다(S110). 상기 상태 정보는, 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 정보로서, 동작 인식을 위한 데이터 공유 및 공유한 데이터를 기반으로 움직임의 패턴 변화를 판단하는데 필요한 정보이다.
더불어, 상기 제1 동작 인식 장치(100)는, 제1 디바이스(10)에 구비된 센서부(15)로부터 하나 이상의 센싱값을 일정 주기로 수집하고, 수집된 센싱값으로부터 움직임 정보를 산출하고, 동작 인식 모듈(130)을 산출된 움직임 정보를 기 설정된 동작에 대한 동작 인식 조건과 비교하여 기 설정된 동작을 인식하는 동작 인식 처리를 수행한다(S120, S130). 상기 동작 인식 과정에서 기 설정된 주기로 발생하는 움직임 정보는 해당 값에 대응하는 시간 정보(예를 들어, 타임 스탬프)와 함께 상기 버퍼(121)에 저장된다. 상기 단계 S130 및 S130은 상기 단계 S110와 동시에 이루어질 수 도 있고, 상기 단계 S110 이후에 이루어질 수 도 있다.
더불어, 상기 제1 동작 인식 장치(100)는, 상술한 단계 S120 내지 S130를 통해서 동작 인식을 수행하는 중에, 오인식 가능성이 있는 지를 확인한다(S140). 이는 상기 일정 주기로 산출되는 움직임 정보들을 기 설정된 동작 인식 조건과 비교하여, 연속된 하나 이상의 단위 동작으로 이루어지는 동작 중 일부가 상기 동작 인식 조건과 매칭되지 않거나, 비교가 불가능한 경우 오인식 가능성이 있는 것으로 인식한다. 더불어, 상기 단계 S140에서, 상기 제1 동작 인식 장치(100)는 상기 일정 주기로 움직임 정보 중, 상기 오인식 가능성이 있거나 동작 인식의 판단이 불확실한 보완 구간을 검출한다(S150).
도 7 및 도 8은 본 발명에 따른 상호 보완적 동작 인식 방법에 있어서, 보완 구간의 검출 과정을 나타낸 도면이다. 도 7을 참조하면, 제1 동작 인식 장치(100)가 제1 디바이스(10)의 움직임을 감지한 센싱값을 수집하여 움직임 정보를 산출하는 시간(T)을 일정 시간 단위로 나누어 다수의 타임슬롯(t0~tn)으로 구분한다. 상기 일정 시간 단위는 예를 들어, 센싱값이 수집되는 샘플링 주기와 동일하거나, 그보다 클 수 있다. 리고, 각 타임슬롯(t0~tn) 별로, 산출된 움직임 정보와 동작 인식 결과를 분석하여, 오인식 가능성이 있는 지를 판단한다. 예를 들어, 도 7 및 도 8의 실시 예에서는, 타임슬롯(t2) 구간의 움직임 정보가 기 설정된 동작 인식 조건과 매칭되지 않거나, 비교 가능 범위를 벗어나 판단이 불가능한 것으로 가정한다. 이렇게 오인식 가능성이 있는 타임슬롯(t2)을 보완 구간으로 추출할 수 있다.
이어서, 본 발명에 따른 제1 동작 인식 장치(100)는, 상기 보완 구간으로 판단된 타임슬롯(t2)에 대한 센싱값을 상기 인식된 제2 동작 인식 장치(200)에 요청하여 수신한다(S160). 상기 요청은 동작 인식 모듈(130)에 의해 타임슬롯(t2)에 대해 보완구간으로 판단되면, 연동 제어 모듈(150)이 상기 타임슬롯(t2)에 대한 정보(예를 들어, 타임스탬프)를 포함하는 공유 요청 메시지를 생성하고, 이벤트 송수신 모듈(140)이 상기 생성된 공유 요청 메시지를 제1 디바이스(10)의 통신부(13)를 통해서 제2 디바이스(20)의 제2 동작 인식 장치(200)로 전송함에 의해 이루어질 수 있다.
한편 상기 요청에 의해, 제2 동작 인식 장치(200)에서 타임슬롯(t2)에 대응하는 시간에 감지된 움직임 정보가 수신되면, 상기 제1 동작 인식 장치(100)는, 동작 인식 모듈(130)을 통해서 상기 수신한 움직임 정보를 기반으로 상기 보완 구간의 인식 결과가 정상인식 인지를 판단한다(S170). 구체적으로, 동작 인식 모듈(130)은, 상기 제2 동작 인식 장치(200)로부터 수신된 움직임 정보의 값 혹은 변화 패턴을 상기 제1 동작 인식 장치(100)에서 동일 타임슬롯에서 검출된 움직임 정보와 비교하여, 그 차이가 일정 범위를 벗어나지 않는 경우, 정상 인식으로 판단하고, 그 반대이면 비정상 인식으로 판단한다.
예를 들어, 도 7의 실시 예를 참조하면, 제1 디바이스(10)의 제1 동작 인식 장치(100)는 보완 구간으로 판단된 타임슬롯(t2)에서 검출된 움직임 정보와, 상기 제2 디바이스(20)의 제2 동작 인식 장치(200)가 동일 타임슬롯에서 검출된 센싱값 혹은 움직임 정보와 비교하여, 정상 인식 여부를 판단할 수 있다.
또한, 도 8의 실시 예에서와 같이, 제1 디바이스(10)의 제1 동작 인식 장치(100)는 타임슬롯(t2)가 보완 구간으로 판단된 경우, 상기 제2 디바이스(20)의 제2 동작 인식 장치(200)로부터 상기 타임슬롯(tk, 예를 들어, k=2임)를 기준으로 전후 소정 범위의 타임슬롯(tk±α)(α는 0 이상의 자연수임) 구간에서 검출된 움직임 정보를 수신하고, 이들을 각각 제1 디바이스(10)에서 동일 시간대에 검출된 센싱값 혹은 움직임 정보를 비교하여, 정상 인식 여부를 판단할 수 있다.
그리고, 상기 제1 동작 인식 장치(100)는 상기 제2 디바이스(10)의 제2 동작 인식 장치(200)로부터 수신한 움직임 정보를 기반으로 한 판단 결과를 고려하여, 동작 인식 결과를 출력한다(S180).
다음으로 도 6은 상기 제1 동작 인식 장치(100)의 동작에 대응하여, 연동하는 제2 디바이스(20)의 제2 동작 인식 장치(200)에 의해 이루어지는 동작 과정을 나타낸 순서도이다.
앞서와 마찬가지로, 상기 제2 동작 인식 장치(200)를 구비한 제2 디바이스(20)도 통신부(23)를 통해 근접해 있는 제1 디바이스(10)와의 탐색 또는 연결 과정을 수행하여, 연동 가능한 제1 디바이스(10)를 인식한다(S210).
상기 상태에서, 본 발명에 따른 제2 동작 인식 장치(200)는, 상술한 제1 디바이스(10)가 제1 디바이스(10)의 움직임 정보를 공유하여 동작 인식을 수행할 수 있도록, 제2 디바이스(20)의 시스템 자원 및 스케쥴을 분석하여, 상호 보완적 동작 인식을 위해 필요한 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 정보를 포함하는 상태 정보를 추출하고, 상기 상태 정보를 제1 디바이스(10)의 제1 동작 인식 장치(100)로 전송한다(S220).
그리고, 상기 제2 동작 인식 장치(200)는, 제2 디바이스(20)에 구비된 센서부(25)로부터 하나 이상의 센싱값을 일정 주기로 수집하고, 수집된 센싱값으로부터 움직임 정보를 산출할 수 있다(S230). 이에 더불어, 상기 제2 동작 인식 장치(200)는 동작 인식 모듈(230)을 통해서, 상기 산출된 움직임 정보를 기 설정된 동작에 대한 동작 인식 조건과 비교하여 기 설정된 동작을 인식하는 동작 인식 처리를 수행할 수 도 있다. 상기 과정에서 기 설정된 주기로 발생하는 움직임 정보는 해당 값에 대응하는 시간 정보(예를 들어, 타임 스탬프)와 함께 상기 버퍼(221)에 저장된다.
아울러, 상기 제2 동작 인식 장치(200)는 상기 제1 디바이스(10)의 제1 동작 인식 장치(100)로부터 공유 요청 메시지가 수신되는 지를 확인한다(S240). 이때, 상기 공유 요청 메시지는 제1 동작 인식 장치(100)에서 보완 구간으로 검출된 타임슬롯에 대응하는 정보를 포함한다.
그리고, 제1 동작 인식 장치(100)로부터 공유 요청 메시지가 수신되면, 상기 제2 동작 인식 장치(200)는 상기 버퍼(221)로부터 요청된 타임슬롯에 대응하는 시간에 수집되거나 산출된 움직임 정보를 추출하여, 상기 제1 동작 인식 장치(100)로 전송한다(S250).
본 발명에 따른 상호 보완적 동작 인식 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
아울러, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명에 따른 동작 인식 장치는, 소정의 디바이스에 탑재되어 상기 디바이스의 움직임을 감지하여 기 설정된 동작을 인식하는데 있어서, 상기 디바이스와 근접한 다른 디바이스의 동작 인식 장치와 움직임 정보를 공유하고, 상기 움직임 정보를 이용하여 보다 정확한 동작 인식을 수행할 수 있다.
특히, 본 발명에 따른 동작 인식 장치는, 일정 주기로 센싱값을 수집하고, 움직임 정보를 검출하여, 검출된 움직임 정보를 기 설정된 동작 인식 조건과 비교하여 동작 인식을 수행하는 중에, 움직임이 이루어지는 시간을 일정 타임슬롯을 나누어, 각 타임슬롯 단위로 오인식이 가능하거나 판단이 불확실한 보완 구간을 검출하고, 상기 검출된 보완 구간과 동일한 시간 대의 센싱값 혹은 움직임 정보를 타 장치에 요청하여 수신함으로써, 불필요한 트래픽 발생을 최소화하면서 필요한 정보를 획득하여 동작 인식의 정확도를 향상시킬 수 있다.
10: 제1 디바이스 20: 제2 디바이스
100: 제1 동작 인식 장치 200: 제2 동작 인식 장치
110, 210: 센싱값 수집 모듈 120, 220: 연산 모듈
121, 221: 버퍼 130, 230: 동작 인식 모듈
140, 240: 이벤트 송수신 모듈 150, 250: 연동 제어 모듈
160: 연동 장치 관리 모듈 270: 스케쥴 관리 모듈
280: 배터리 관리 모듈

Claims (9)

  1. 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱값을 일정 주기로 수집하는 센싱값 수집 모듈;
    상기 수집한 센싱값으로부터 움직임 정보를 산출하는 연산 모듈;
    다른 장치와 데이터를 송수신하는 이벤트 송수신 모듈;
    상기 이벤트 송수신 모듈을 통해 상기 움직임 정보를 다른 장치로 송신하거나, 상기 다른 장치에서 검출된 움직임 정보를 수신하도록 제어하는 연동 제어 모듈; 및
    상기 연산 모듈에서 산출된 움직임 정보를 기 정의된 동작의 동작 인식 조건과 비교하여 상기 동작을 인식하되, 상기 다른 장치에서 검출된 움직임 정보를 이용하여 상기 동작 인식 결과를 보정하는 동작 인식 모듈을 포함하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치.
  2. 제1항에 있어서, 상기 연산 모듈은
    기 설정된 타임슬롯 단위로 상기 움직임 정보를 버퍼에 일정 시간동안 저장하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치.
  3. 제2항에 있어서,
    상기 동작 인식 모듈은, 동작 인식이 수행되는 동안, 상기 타임슬롯 단위로 오인식 가능성을 판단하여 타임슬롯 단위로 보완 구간을 검출하고,
    상기 연동 제어 모듈은, 상기 보완 구간에 대응하는 시간대에 대한 움직임 정보를 상기 다른 장치로 요청하는 공유 요청 메시지를 생성하여 전송하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치.
  4. 제3항에 있어서, 상기 동작 인식 모듈은,
    상기 보완 구간에 대응하는 시간대에 상기 다른 장치에서 검출된 움직임 정보를 이용하여 상기 보완 구간의 정상 인식 여부를 판단하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치.
  5. 제2항에 있어서, 상기 연동 제어 모듈은
    상기 이벤트 송수신 모듈을 통해 상기 다른 장치로부터 공유 요청 메시지를 수신하면, 상기 버퍼에 저장된 움직임 정보 중 공유 요청 메시지에서 요청된 타임슬롯의 움직임 정보를 추출하여 상기 다른 장치로 전송하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치.
  6. 제1항에 있어서,
    배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 다른 장치의 상태 정보를 관리하는 연동 장치 관리 모듈을 더 포함하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치.
  7. 제1항에 있어서,
    상기 장치의 배터리 잔량을 확인하는 배터리 관리 모듈; 및
    상기 장치의 시스템 자원을 관리하여, 상기 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 상태 정보를 추출하여 상기 다른 장치로 전송하고, 상기 센싱값 수집 및 데이터 전송 스케쥴을 관리하는 스케쥴 관리 모듈을 더 포함하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치.
  8. 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱값을 수집하는 단계;
    상기 수집한 센싱값으로부터 움직임 정보를 산출하는 단계;
    상기 산출한 움직임 정보를 기 설정된 동작 인식 조건과 비교하여, 하나 이상의 단위 동작이 연속되어 이루어지는 동작을 인식하는 단계;
    동작 인식이 수행되는 동안, 기 설정된 타임슬롯 단위로 오인식 가능성을 판단하여 오인식 가능성이 있는 보완 구간을 검출하는 단계;
    상기 보완 구간에 대응하는 시간대의 움직임 정보를 다른 장치에 요청하여 수신하는 단계;
    상기 다른 장치의 움직임 정보를 이용하여 상기 보완 구간에 대한 정상 인식 여부를 판단하는 단계;
    를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  9. 제8항에 있어서,
    상기 산출된 움직임 정보는 버퍼에 일정 시간 동안 저장되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020140146094A 2014-10-27 2014-10-27 상호 보완적 동작 인식을 위한 장치 및 기록 매체 KR101934930B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140146094A KR101934930B1 (ko) 2014-10-27 2014-10-27 상호 보완적 동작 인식을 위한 장치 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140146094A KR101934930B1 (ko) 2014-10-27 2014-10-27 상호 보완적 동작 인식을 위한 장치 및 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180093583A Division KR101998662B1 (ko) 2018-08-10 2018-08-10 동작 인식을 위한 장치 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20160049269A KR20160049269A (ko) 2016-05-09
KR101934930B1 true KR101934930B1 (ko) 2019-01-04

Family

ID=56020320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140146094A KR101934930B1 (ko) 2014-10-27 2014-10-27 상호 보완적 동작 인식을 위한 장치 및 기록 매체

Country Status (1)

Country Link
KR (1) KR101934930B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982929B1 (ko) 2017-09-08 2019-05-27 연세대학교 산학협력단 행동 인식 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153342A1 (en) 2007-12-12 2009-06-18 Sony Ericsson Mobile Communications Ab Interacting with devices based on physical device-to-device contact
JP2010056642A (ja) 2008-08-26 2010-03-11 Nec Corp 加速度センサ利用ペアリング方法、システム、及び装置、並びに加速度センサ利用ペアリング用プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090153342A1 (en) 2007-12-12 2009-06-18 Sony Ericsson Mobile Communications Ab Interacting with devices based on physical device-to-device contact
JP2010056642A (ja) 2008-08-26 2010-03-11 Nec Corp 加速度センサ利用ペアリング方法、システム、及び装置、並びに加速度センサ利用ペアリング用プログラム

Also Published As

Publication number Publication date
KR20160049269A (ko) 2016-05-09

Similar Documents

Publication Publication Date Title
KR101477442B1 (ko) 모바일 디바이스에서 제스처-기반의 사용자 입력 검출을 위한 방법들 및 장치들
CN104898829A (zh) 体感交互系统
US20130055103A1 (en) Apparatus and method for controlling three-dimensional graphical user interface (3d gui)
CN105388994A (zh) 可穿戴手表及其操作方法
CN103677259A (zh) 用于引导控制器的方法、多媒体装置及其目标跟踪装置
US10725550B2 (en) Methods and apparatus for recognition of a plurality of gestures using roll pitch yaw data
US20240031678A1 (en) Pose tracking for rolling shutter camera
KR101685388B1 (ko) 복수의 센서를 이용한 동작 인식 방법 및 장치
WO2017005070A1 (zh) 显示控制方法及装置
KR101998662B1 (ko) 동작 인식을 위한 장치 및 기록 매체
US20140194147A1 (en) Apparatus and method for reducing battery consumption of mobile terminal
JP5708362B2 (ja) 携帯端末及び位置及び方位推定プログラム
KR101934930B1 (ko) 상호 보완적 동작 인식을 위한 장치 및 기록 매체
CN104156070A (zh) 一种人体智能输入体感操控系统及方法
US10908695B2 (en) Gesture detection using external sensors
KR20160050863A (ko) 동작 인식을 위한 센서 값 처리 방법 및 이를 적용한 동작 인식 장치
CN112711335B (zh) 虚拟环境画面的显示方法、装置、设备及存储介质
KR101886033B1 (ko) 사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치
KR20160047710A (ko) 사용자 동작 인식 방법 및 이를 적용한 동작 인식 장치
KR101900754B1 (ko) 사용자 동작 정의 방법 및 이를 적용한 동작 인식 장치
KR20210112664A (ko) 위치 판단 방법 및 이를 지원하는 전자 장치
KR102081966B1 (ko) 상황 인지 기반의 동작 인식 장치 및 이를 위한 기록 매체
US11979038B2 (en) Wireless charging alignment
US20200287426A1 (en) Wireless charging alignment
KR101696607B1 (ko) 가상현실 인터페이스 시스템 내 오브젝트의 실시간 제어를 위한 기록매체에 저장된 컴퓨터 프로그램

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right