KR101998662B1 - Apparatus and storage medium for mutually complementary motion recognition - Google Patents
Apparatus and storage medium for mutually complementary motion recognition Download PDFInfo
- Publication number
- KR101998662B1 KR101998662B1 KR1020180093583A KR20180093583A KR101998662B1 KR 101998662 B1 KR101998662 B1 KR 101998662B1 KR 1020180093583 A KR1020180093583 A KR 1020180093583A KR 20180093583 A KR20180093583 A KR 20180093583A KR 101998662 B1 KR101998662 B1 KR 101998662B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- motion information
- information
- recognition
- module
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H04M1/72569—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
- G01R31/3644—Constructional arrangements
- G01R31/3646—Constructional arrangements for indicating electrical conditions or variables, e.g. visual or audible indicators
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
- G01R31/382—Arrangements for monitoring battery or accumulator variables, e.g. SoC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 하나 이상의 센서의 센싱 값을 기반으로 기 설정된 동작이 발생하였는 지를 인식하는데 있어서, 타 장치와의 상호 작용을 통해 움직임 정보를 공유하고, 공유한 움직임 정보를 이용하여 오인식률을 줄일 수 있는 상호 보완적 동작 인식 방법 및 이를 위한 장치에 관한 것으로서, 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱 값을 일정 주기로 수집하고, 상기 수집한 센싱 값으로부터 움직임 정보를 산출한 후, 상기 산출한 움직임 정보를 기 설정된 동작 인식 조건과 비교하여, 하나 이상의 단위 동작이 연속되어 이루어지는 동작을 인식하되, 동작 인식이 수행되는 동안, 기 설정된 타임슬롯 단위로 오인식 가능성을 판단하여 오인식 가능성이 있는 보완 구간을 검출하고, 상기 보완 구간에 대응하는 시간대의 움직임 정보를 다른 장치에 요청하여, 상기 다른 장치의 움직임 정보를 이용하여 상기 보완 구간에 대한 정상 인식 여부를 판단함으로써, 동작 인식의 신뢰성을 더 향상시키는 것이다.In the present invention, in recognizing whether a predetermined operation has occurred based on a sensing value of one or more sensors, it is possible to share motion information through interaction with other apparatuses and reduce misrecognition rate using the shared motion information A method for recognizing a complementary motion and an apparatus therefor, the method comprising: collecting sensed sensed values from at least one sensor that senses a physical change at regular intervals; calculating motion information from the sensed sensed values; The method of claim 1, further comprising the steps of: recognizing an operation in which one or more unit operations are consecutively performed by comparing information with a predetermined operation recognition condition, The motion information of the time zone corresponding to the supplementary interval By requesting the device to using the motion information of the other apparatus that by determining whether the normal recognition of the complementary region, more improving the reliability of the motion recognition.
Description
본 발명은 사용자의 동작을 인식하는 동작 인식 방법 및 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 타 장치와의 상호 보완을 통해 하나 이상의 단위 동작으로 이루어지는 동작에 대한 오인식율을 줄일 수 있는 상호 보완적 동작 인식을 위한 장치 및 기록매체에 관한 것이다.The present invention relates to an apparatus and method for recognizing an operation of a user, and more particularly, to an apparatus and method for recognizing an operation of a user, To an apparatus and a recording medium for motion recognition.
최근에는 개방형 OS를 탑재함으로써, 휴대전화에 PC의 고기능을 결합시킨 스마트폰(Smart Phone)이 대중화되면서, 고기능, 고성능의 스마트폰의 활용 방향에 대한 다양한 시도가 이루어지고 있다.In recent years, with the introduction of an open OS, a smart phone combining a high function of a PC with a mobile phone has become popular, and various attempts have been made to utilize a high-function and high-performance smart phone.
특히, 초소형 제작 기술의 발달과 함께 첨단 센서들이 더욱 소형화되고 저렴해지면서 스마트폰에 더 많은 센서들이 탑재될 수 있으며, 이에 증강현실이나 3D 게임 등과 같이 이러한 센서들을 활용한 지능형 애플리케이션들이 많이 개발되고 있다.In particular, with the development of micro-fabrication technology, advanced sensors become smaller and cheaper, and more sensors can be mounted on smart phones, and intelligent applications utilizing such sensors, such as augmented reality and 3D games, are being developed .
아울러, 스마트폰에 탑재되는 센서들이 단순히 주변환경을 감지하는 장치에서 사용자의 신체 변화, 감정상태까지 고려하는 지능형 센서로서 진화하여 인간과 감성을 교감할 수 있는 핵심 매개체 역할을 담당할 수 있을 것으로 전망됨에 따라서, 센서들을 활용한 지능형 애플리케이션들은 더 많이 증대될 것으로 예측된다.In addition, sensors mounted on smart phones will be able to play a key role in communicating emotions with human beings by evolving into an intelligent sensor that takes into consideration user's physical changes and emotional states in a device that senses the surrounding environment. As a result, intelligent applications utilizing sensors are expected to grow even more.
스마트폰에 탑재되는 센서로서, 카메라(이미지) 센서, 음향 센서, 근접 센서, 조도 센서, 중력 센서, GPS 센서, 가속도 센서, 자이로 센서, 지자기 센서 등이 있다.There are camera (image) sensor, acoustic sensor, proximity sensor, illuminance sensor, gravity sensor, GPS sensor, acceleration sensor, gyro sensor, and geomagnetic sensor.
이 중에서, 카메라(이미지) 센서는, 빛을 감지해 그 세기의 정도를 디지털 영상 데이터로 변환해 주는 센서로, 얼굴 인식 등에 이용될 수 있으며, 음향센서는, 물리적인 소리를 공기 압력의 변화에 의해 전기적인 신호로 변환하는 센서로서, 음성인식 기반의 서비스에 이용될 수 있으며, 근접센서는, 기계적인 접촉에 의한 검출방식이 아니라 검출체가 가까이 근접했을 때 검출 대상물체의 유무를 판별하는 무첩촉 방식의 검출 센서로서, 보통 통화를 위해 스마트폰을 얼굴에 가까이 가져가거나 주머니 등에 넣는 경우 화면이 자동으로 꺼지게끔 하는 기능 등에 활용된다.Among them, a camera (image) sensor is a sensor that detects light and converts the intensity of the light into digital image data, which can be used for face recognition and the like. The proximity sensor is not a detection system based on mechanical contact but a proximity sensor that detects the presence or absence of an object to be detected when the detection object comes close to the proximity sensor Detection sensor that can be used to automatically turn off the screen when the smartphone is brought close to the face or placed in a pocket for a normal call.
그리고, 조도센서는, 주변 밝기를 감지하는 센서로서, 통상 모바일 단말의 전력소모량을 줄이고 눈의 피로감을 덜 수 있도록 밝은 곳에서는 화면 조도를 높이고 어두운 곳에서는 낮추도록 설정하는데 이용되고, 중력센서는, 중력이 어느 방향으로 작용하는 지를 탐지해 물체 움직임을 감지하는 센서로서, 스마트폰의 디스플레이 방향(가로, 세로)을 판단해 스크린의 방향을 자동으로 보정해 주는 역할 등에 사용된다.The illuminance sensor is a sensor for sensing the ambient brightness. Normally, the illuminance sensor is used to reduce the power consumption of the mobile terminal and to reduce the fatigue of the eyes. It is a sensor that detects the direction of gravity and detects movement of objects. It is used to automatically correct the direction of the screen by determining the display direction (horizontal and vertical) of the smartphone.
또한, GPS센서는 위성위치 확인 시스템을 통해 물체의 시간 및 위치 정보 수집이 가능한 센서로서, 다양한 위치 기반 서비스에 활용되고, 가속도 센서는, 단위시간당 물체 속도의 변화, 충격 등 동적 힘의 변화를 감지하는 센서로서, 최근에는 MEMS 기술을 적용한 3축 가속도 센서가 보편화되고 있으며 기울기 변화, 흔들림 등 물체 움직임까지도 감지가 가능해졌으며, 지자기 센서는, 지구 자기장의 흐름을 파악해 나침반처럼 방위각을 탐지하는 센서이고, 자이로 센서는, 물체의 관성력을 전기신호로 검출하며, 주로 회전각을 감지하는 센서로서, 높이와 회전, 기울기 등을 직접 감지할 수 있어 3축 가속도 센서와 연계할 경우, 보다 정교한 동작 인식이 가능하다.In addition, the GPS sensor is a sensor capable of collecting time and position information of an object through a satellite positioning system, and is utilized for various location-based services. The acceleration sensor detects changes in object speed per unit time, In recent years, three-axis acceleration sensors using MEMS technology have become popular, and even object movements such as tilt changes and shakes can be detected. A geomagnetic sensor is a sensor that detects the azimuth angle like a compass by grasping the flow of the earth's magnetic field, The gyro sensor detects the inertial force of an object as an electric signal and mainly detects the rotation angle. It can detect the height, the rotation, and the tilt directly, so that it can recognize more precise motion when connected with the 3-axis acceleration sensor. Do.
이러한 다양한 센서 중, 근접 센서나 조도 센서를 활용한 동작 인식은 인식법이 간단하여 동작 인식의 오차가 크지 않으나, 인식 가능한 동작의 종류가 제한되며, 가속도센서, 지자기 센서, 자이로 센서를 활용한 동작 인식은, 근접센서나 조도 센서보다는 보다 다양한 동작을 인식할 수 있으나, 명확하게 값의 범위를 지정하지 않으면 인식률이 낮아지며, 방향, 속도, 시간 등이 다른 단위 동작들이 연결되어 이루어지는 복잡한 동작을 인식하기 어렵다.Among these various sensors, motion recognition using a proximity sensor or an illuminance sensor has a small recognition error due to a simple recognition method, but the types of recognizable operations are limited, and an operation using an acceleration sensor, a geomagnetic sensor, a gyro sensor Recognition can recognize more diverse actions than proximity sensors or illuminance sensors, but recognizes complex actions in which the recognition rate is lowered without explicitly specifying a range of values, and unit movements of different directions, speeds, and times are connected it's difficult.
그런데 최근의 동작 인식 기술은, 그 응용 분야가 점차 확대됨에 따라서, 단순한 흔들림 감지로부터 특정 패턴 모양의 움직임까지 동작 인식 범위의 확장이 요구되고 있다.However, as the application fields of the recent motion recognition technology are gradually expanded, it is required to expand the motion recognition range from simple motion detection to motion of a specific pattern shape.
본 발명은 하나 이상의 센서에서 감지한 센싱 값을 기반으로 기 설정된 동작이 발생하였는 지를 인식하는데 있어서, 타 장치와의 상호 작용을 통해 움직임 정보를 공유하고, 공유한 움직임 정보를 이용하여 오인식률을 줄일 수 있는 상호 보완적 동작 인식을 위한 장치 및 기록 매체를 제공하고자 한다.In the present invention, in recognizing whether a predetermined operation has occurred based on a sensing value sensed by one or more sensors, motion information is shared through interaction with another device, and the erroneous recognition rate is reduced using shared motion information And to provide a device and a recording medium for mutually complementary motion recognition.
본 발명은 상술한 과제의 해결 수단으로서, 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱 값을 수집하는 센싱 값 수집 모듈; 상기 수집한 센싱 값으로부터 움직임 정보를 산출하는 연산 모듈; 다른 장치와 데이터를 송수신하는 이벤트 송수신 모듈; 상기 이벤트 송수신 모듈을 통해 상기 움직임 정보를 다른 장치로 송신하거나, 상기 다른 장치에서 검출된 움직임 정보를 수신하도록 제어하는 연동 제어 모듈; 및 상기 연산 모듈에서 산출된 움직임 정보를 기 정의된 동작의 동작 인식 조건과 비교하여 상기 동작을 인식하되, 상기 다른 장치에서 검출된 움직임 정보 또는 동작 인식 정보를 이용하여 상기 동작 인식 결과를 보정하는 동작 인식 모듈을 포함하는 것을 특징으로 하는 상호 보완적 동작 인식을 위한 장치를 제공한다.The present invention provides, as a solution to the above-mentioned problems, a sensing value collection module for collecting sensed sensed values from at least one sensor that senses a physical change; A calculation module for calculating motion information from the collected sensing values; An event transmission / reception module for transmitting / receiving data to / from another device; An interworking control module for transmitting the motion information to another device through the event transmission / reception module or for receiving motion information detected by the other device; And an operation of recognizing the motion by comparing motion information calculated by the calculation module with motion recognition conditions of a predetermined motion, and correcting the motion recognition result using motion information or motion recognition information detected by the other device And a recognition module for recognizing the motion of the robot.
본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 연산 모듈은, 기 설정된 타임슬롯 단위로 상기 움직임 정보를 버퍼에 일정 시간동안 저장하는 것을 특징으로 한다.In the apparatus for complementary motion recognition according to the present invention, the calculation module may store the motion information in a buffer for a predetermined time period in units of preset time slots.
또한, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 동작 인식 모듈은, 동작 인식이 수행되는 동안, 상기 타임슬롯 단위로 오인식 가능성을 판단하여 타임슬롯 단위로 보완 구간을 검출하고, 상기 연동 제어 모듈은, 상기 보완 구간에 대응하는 시간대에 대한 움직임 정보를 요청하는 공유 요청 메시지를 생성하여 전송하는 것을 특징으로 한다.In addition, in the apparatus for recognizing complementary motion according to the present invention, the motion recognition module may determine a possibility of misrecognition in units of time slots during motion recognition, detect a complementary interval in units of time slots, The interworking control module generates and transmits a sharing request message for requesting motion information for a time zone corresponding to the supplementary interval.
또한, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 동작 인식 모듈은, 상기 보완 구간에 대응하는 시간대에 상기 다른 장치에서 검출된 움직임 정보를 이용하여 상기 보완 구간의 정상 인식 여부를 판단할 수 있다.In addition, in the apparatus for recognizing complementary motion according to the present invention, the motion recognition module may determine whether or not the supplementary section is normally recognized by using motion information detected by the other apparatus at a time zone corresponding to the supplementary section It can be judged.
또한, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치에 있어서, 상기 연동 제어 모듈은, 상기 이벤트 송수신 모듈을 통해 상기 다른 장치로부터 공유 요청 메시지를 수신하면, 상기 버퍼에 저장된 움직임 정보 중 공유 요청 메시지에서 요청된 타임슬롯의 움직임 정보를 추출하여 상기 다른 장치로 전송할 수 있다.In addition, in the apparatus for mutually complementary motion recognition according to the present invention, the interworking control module, when receiving a sharing request message from the other device through the event sending / receiving module, The motion information of the requested time slot can be extracted and transmitted to the other device.
더하여, 본 발명에 따른 상호 보완적 동작 인식을 위한 장치는, 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 다른 장치의 상태 정보를 관리하는 연동 장치 관리 모듈을 더 포함하거나, 상기 장치의 배터리 잔량을 확인하는 배터리 관리 모듈; 및 상기 장치의 시스템 자원을 관리하여, 상기 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 상태 정보를 추출하여 상기 다른 장치로 전송하고, 상기 센싱 값 수집 및 데이터 전송 스케쥴을 관리하는 스케쥴 관리 모듈을 더 포함할 수 있다.In addition, the apparatus for complementary motion recognition according to the present invention may further include an interlock device management module for managing status information of another device including at least one of a remaining battery level, a data transmission frequency, a movement pattern, A battery management module for checking the remaining battery power of the device; And a controller for managing system resources of the apparatus and extracting state information including at least one of a battery remaining amount, a data transmission frequency, a movement pattern, and a wear state and transmitting the extracted state information to the other apparatus, And a schedule management module for managing the schedule management module.
더하여, 본 발명은 상술한 과제의 다른 해결 수단으로서, 물리적 변화를 감지하는 하나 이상의 센서로부터 감지된 센싱 값을 일정 주기로 수집하는 단계; 상기 수집한 센싱 값으로부터 움직임 정보를 산출하는 단계; 상기 산출한 움직임 정보를 기 설정된 동작 인식 조건과 비교하여, 하나 이상의 단위 동작이 연속되어 이루어지는 동작을 인식하는 단계; 동작 인식이 수행되는 동안, 기 설정된 타임슬롯 단위로 오인식 가능성을 판단하여 오인식 가능성이 있는 보완 구간을 검출하는 단계; 상기 보완 구간에 대응하는 시간대의 움직임 정보를 다른 장치에 요청하여 수신하는 단계; 상기 다른 장치의 움직임 정보를 이용하여 상기 보완 구간에 대한 정상 인식 여부를 판단하는 단계;를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.In addition, the present invention provides, as another solution to the above-mentioned problem, a method for detecting a physical change, comprising: collecting, at regular intervals, sensing values sensed by at least one sensor for sensing a physical change; Calculating motion information from the collected sensing values; Comparing the calculated motion information with a predetermined motion recognition condition, and recognizing an operation in which one or more unit operations are consecutively performed; Detecting a possibility of erroneous recognition by determining a possibility of erroneous recognition in units of a predetermined time slot while the operation recognition is performed; Requesting another device for motion information in a time zone corresponding to the supplementary interval and receiving the motion information; And determining whether the supplementary section is normally recognized by using motion information of the other apparatus.
본 발명에 따른 동작 인식 장치는, 소정의 디바이스에 탑재되어 상기 디바이스의 움직임을 감지하여 기 설정된 동작을 인식하는데 있어서, 상기 디바이스와 근접한 다른 디바이스에 탑재된 다른 동작 인식 장치에서 감지한 움직임 정보를 공유하고, 상기 움직임 정보를 이용하여 보다 정확한 동작 인식을 수행할 수 있다.The motion recognition apparatus according to the present invention is a device for recognizing a motion of a device mounted on a predetermined device and recognizing a motion of the device so as to share motion information sensed by another motion recognition device mounted on another device close to the device And more accurate motion recognition can be performed using the motion information.
특히, 본 발명에 따른 동작 인식 장치는, 일정 주기로 센싱 값을 수집하고, 움직임 정보를 검출하여, 검출된 움직임 정보를 기 설정된 동작 인식 조건과 비교하여 동작 인식을 수행하는 중에, 움직임이 이루어지는 시간을 일정 타임슬롯을 나누어, 각 타임슬롯 단위로 오인식이 가능하거나 판단이 불확실한 보완 구간을 검출하고, 상기 검출된 보완 구간과 동일한 시간 대의 센싱 값 혹은 움직임 정보를 타 장치에 요청하여 수신함으로써, 불필요한 트래픽 발생을 최소화하면서 필요한 정보를 획득하여 동작 인식의 정확도를 향상시킬 수 있다.In particular, the motion recognition apparatus according to the present invention collects sensing values at predetermined intervals, detects motion information, compares the detected motion information with predetermined motion recognition conditions, The method includes detecting a complementary interval in which a certain time slot can be erroneously recognized or uncertain in each time slot unit and a sensing value or motion information of the same time period as the detected complementary interval is requested and received from another device, It is possible to acquire necessary information while improving the accuracy of motion recognition.
도 1은 본 발명에 따른 상호 보완적 동작 인식 장치의 적용 가능한 예를 나타낸 모식도이다.
도 2는 도 1에 도시된 제1,2 디바이스에서 동작 인식을 위해 적용된 기준 좌표계를 설명하는 도면이다.
도 3은 본 발명에 따른 상호 보완적 동작 인식 장치가 구비되는 디바이스의 구성을 나타낸 블럭도이다.
도 4는 본 발명에 따른 상호 보완적 동작 인식 장치의 구성을 나타낸 블럭도이다.
도 5 및 도 6은 본 발명에 따른 상호 보완적 동작 인식 방법을 나타낸 순서도이다.
도 7 및 도 8은 본 발명에 따른 상호 보완적 동작 인식 방법에 따른 센싱 값 공유 과정을 설명하기 위한 도면이다.FIG. 1 is a schematic diagram showing an example of application of a complementary motion recognition apparatus according to the present invention.
2 is a view for explaining a reference coordinate system applied for recognition of an operation in the first and second devices shown in FIG.
3 is a block diagram illustrating a configuration of a device having a complementary motion recognition apparatus according to the present invention.
4 is a block diagram illustrating the structure of a complementary motion recognition apparatus according to the present invention.
5 and 6 are flowcharts illustrating a complementary motion recognition method according to the present invention.
7 and 8 are views for explaining a sensing value sharing process according to the complementary motion recognition method according to the present invention.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed to be limited to ordinary or dictionary meanings and the inventor is not limited to the concept of terminology for describing his or her invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. Also, terms including ordinal numbers such as first, second, etc. are used to describe various elements, and are used only for the purpose of distinguishing one element from another, Not used. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.In addition, when referring to an element as being "connected" or "connected" to another element, it means that it can be connected or connected logically or physically. In other words, it is to be understood that although an element may be directly connected or connected to another element, there may be other elements in between, or indirectly connected or connected.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Also, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. It is also to be understood that the terms such as " comprising "or" having ", as used herein, are intended to specify the presence of stated features, integers, It should be understood that the foregoing does not preclude the presence or addition of other features, numbers, steps, operations, elements, parts, or combinations thereof.
본 발명에 따른 상호 보완적 동작 인식 장치는 도 1에 도시된 바와 같이, 일정 거리 이내에 위치하고, 하나 이상의 센서를 구비한 두 디바이스(10, 20)에 적용될 수 있다. 본 발명에 따른 상호 보완적 동작 인식 장치는 두 디바이스(10, 20)에 각각 구비되어, 디바이스의 움직임에 따라서 센싱 값이 변화되는 하나 이상의 센서의 센싱 값을 이용하여 동작 인식을 수행하되, 각각 인식한 디바이스의 움직임 정보를 서로 공유하고, 공유된 움직임 정보를 이용하여 동작 인식 결과를 보완할 수 있도록 하기 위한 것이다. 이하의 설명에서는 편의상 동작 인식을 수행하는 주 기기를 제1 디바이스(10)라 하고, 제1 디바이스(10)에서 동작 인식 결과를 보완하기 위해 사용할 센싱 값을 제공하는 보조기기를 제2 디바이스(20)로 구분하나, 제1,2 디바이스 간에 그 역할이 바뀔 수 있다.The complementary motion recognition apparatus according to the present invention can be applied to two devices (10, 20) located within a certain distance and having one or more sensors as shown in FIG. The complementary motion recognizing apparatus according to the present invention is provided in each of the two
참고로, 본 발명에서 사용될 상기 제1 디바이스(10)와 제2 디바이스(20)는 동일 사용자가 소지한 상태이며, 상호 일정 거리 이내로 근접해 있는 것이 바람직하다. 상기 제1,2 디바이스(10, 20)는 스마트폰, PDA, 시계 혹은 안경형태의 웨어러블 디바이스, 태블릿 PC 중 어느 하나가 될 수 있다.For reference, it is preferable that the
예를 들어, 도 1에 도시된 바와 같이, 제1 디바이스(100)는 스마트폰이고, 제2 디바이스(200)는 스마트 워치가 될 수 있으며, 그 반대로 가능하다.For example, as shown in FIG. 1, the
상기 제1,2 디바이스(10, 20)는 기 정의된 특정 움직임(뒤집기, 특정 방향으로 흔들기, 특정 패턴 그리기, 사용자 접근)을 인식하는 동작 인식 기능을 구비한 것으로서, 이때, 제1,2 디바이스(10, 20)에서 감지되는 동작은, 3차원 직각 좌표계 상에 정의된 방위각, 피치(Pitch), 롤(Roll)로 나타낼 수 있다.The first and
즉, 도 2에 도시된 바와 같이, 제1,2 디바이스(10, 20)의 가로 방향을 X축, 세로 방향을 Y축, 폭 방향을 Z축이라 할 때, 방위각은, 제1,2 디바이스(10, 20)가 향하는 방향(동, 서, 남, 북)에 따라서 Z축을 기준으로 0~360°(또는 -180°~180°)로 나타내며, 피치는 가로축 기준 회전각으로서, 제1,2 디바이스(10, 20)가 세워진 형태에 따라서 -90°~90°로 나타내며, 롤은 세로축 기준 회전각으로서, 제1,2 디바이스(10, 20)가 뉘어진 형태에 따라서 -180°~180°로 나타낸다. 물론, 동작 인식에 있어서, 기준 좌표계 및 움직임의 표현 방법은 달라질 수 있는 것으로서, 상술한 정의는 예시에 불과하다.2, when the horizontal direction of the first and
상술한 바와 같이, 본 발명에 따른 동작 인식 장치를 구비한 제1,2 디바이스(10, 20)를 사용자가 착용하거나 소지한 경우, 사용자의 움직임에 따라서, 제1,2 디바이스(10, 20)는 상기 사용자의 움직임에 대응하는 하나 이상의 센싱 값을 감지할 수 있으며, 이렇게 감지된 하나 이상의 센싱 값을 기반으로 각각 동작 인식을 수행할 수 있다. 본 발명은 상기 제1 디바이스(10)와 제2 디바이스(20)에서 수집한 하나 이상의 센싱 값이 동일한 움직임에 대응하는 것임에 착안하여, 제1 디바이스(10)가 동작 인식을 수행하는 중에, 제2 디바이스(20)에서 검출된 움직임 정보를 이용하여 동작 인식 결과가 불확실하거나 오인식 가능성이 있는 구간에 대한 정상 인식 여부를 판단하도록 함으로써, 오인식률을 줄여 동작 인식 결과를 신뢰도를 높일 수 있도록 한 것이다. 여기서, 제1,2 디바이스(10, 20) 간에 공유되는 움직임 정보는, 각 디바이스에서 검출된 회전 각도, 각속도, 움직임 패턴(+,-) 중 하나 이상을 포함할 수 있다.As described above, when the first and
도 3은 본 발명에 따른 상호 보완적 동작 인식 장치가 구비되는 제1,2 디바이스(10, 20)의 구성을 나타낸 블럭도이다.FIG. 3 is a block diagram illustrating the configuration of first and
상기 제1,2 디바이스(10, 20)는, 사용자가 이용하는 장치로서, 용도에 따라서 다양한 기능 및 구성을 포함할 수 있으나, 기본적으로, 도 2에 도시된 바와 같이, 입력부(11, 21), 출력부(12, 22), 통신부(13, 23), 저장부(14, 24), 센서부(15, 25) 및 제어부(16, 26)를 포함할 수 있다. 물론, 경우에 따라서 입력부(11, 21)나 출력부(12, 22)를 구비하지 않을 수 있다.The first and
상기 입력부(11, 21)는, 제1,2 디바이스(10, 20)로 사용자 명령 및 데이터를 입력하기 위한 수단으로서, 사용자 조작에 따라서 숫자, 문자, 및 기호를 포함하는 다양한 입력 데이터를 생성하여 제어부(16, 26)로 전달하고, 또한 사용자 조작에 따라서 제1,2 디바이스(10, 20)의 기능 설정 및 기능 제어와 관련된 명령을 제어부(16, 26)로 전달한다. 하나 이상의 버튼, 키패드, 터치 패드, 마우스 등 다양한 형태의 입력 수단으로 구현될 수 있다.The
상기 출력부(12, 22)는 제1,2 디바이스(10, 20)의 동작에 따라 발생되는 정보를 사용자가 인지할 수 있는 형태로 출력하기 위한 수단이다. 이러한 출력부(12, 22)는 시각적인 정보를 출력하는 표시 장치, 청각적인 정보를 출력하는 오디오 장치(스피커), 촉각적인 정보를 출력하는 햅틱 장치 중 하나 이상을 포함할 수 있다. 더하여, 상기 표시 장치는 터치스크린(touch screen)이 될 수 있으며, 이와 같이, 터치스크린 형태로 표시 장치가 형성된 경우, 표시 장치는 입력부(11, 21)의 기능 중 일부 또는 전부를 수행할 수 있다. 오디오 장치는 대표적으로 스피커를 예시할 수 있다.The
상기 통신부(13, 23)는 다른 디바이스와 데이터를 송수신하기 위한 구성으로서, 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식 중 하나 이상의 통신 방식에 따라서 데이터를 송수신할 수 있다. 이를 위하여 통신부(13, 23)는 각각 서로 다른 통신 방식에 따라서 데이터를 송수신하도록 구현된 하나 이상의 네트워크 접속부 및 네트워크 접속 제어 모듈을 포함할 수 있다. 여기서, 네트워크 접속부는 네트워크 접속을 위한 하드웨어 구성을 의미하며, 네트워크 접속 제어 모듈은, 설정된 통신 방식에 따른 데이터 송수신 처리를 수행하는 소프트웨어 구성을 나타낸다. 더 바람직하게, 상기 통신부(12, 23)는 일정 거리 이내에 근접한 디바이스와 데이터를 교환하기 위한 것으로서, Wi-Fi, Bluetooth, NFC 등과 같은 근거리 통신 방식을 이용하여 데이터를 송수신할 수 있다.The
특히, 본 발명에 따른 상호보완적 동작 인식 장치를 구비한 제1,2 디바이스(10, 20)는 상기 통신부(13, 23)를 통해서 상대 디바이스를 인식하고, 상호 보완적 동작 인식을 위한 움직임 정보를 송수신하게 된다. In particular, the first and
상기 저장부(14, 24)는 제1,2 디바이스(10, 20)의 동작에 필요한 프로그램 및 데이터를 저장하기 위한 구성이다. 저장부(14, 24)는, 기본적으로 단말 장치(10)의 운영(OS: Operating System) 프로그램이 저장되며, 더불어, 상기 OS 환경을 기반으로 동작하는 하나 이상의 애플리케이션 및 그의 실행에 필요하거나 실행 중에 생성된 데이터를 저장할 수 있다. 특히, 본 발명에 있어서, 상기 저장부(14, 24)는 상호 보완적 동작 인식 과정에서 공유되는 움직임 정보를 저장할 수 있다.The
이러한 저장부(14, 24)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 등을 포함할 수 있다.The
상기 센서부(15, 25)는 제1,2 디바이스(10, 20)의 주변 환경 혹은 물리적인 변화를 감지하기 위한 하나 이상의 센서를 포함하여, 동작 인식을 위한 하나 이상의 센싱 값을 감지하여 출력한다. 예를 들어, 상기 센서부(15, 25)는 단위시간당 물체 속도의 변화, 충격 등 동적 힘의 변화를 감지하는 가속도 센서, 지구 자기장의 흐름을 파악해 나침반처럼 방위각을 탐지하는 지자기 센서, 물체의 관성력을 전기신호로 검출하며, 주로 회전각을 감지하는 자이로 센서 등 다양한 종류의 센서를 포함할 수 있다. 동작 인식에 이용되는 대표적인 센서로서, 가속도 센서, 지자기 센서 및 자이로 센서를 예시하였으나, 물론 이에 한정되지 않는다. 상기 센서부(15, 25)는 이외에도, 빛을 감지해 그 세기의 정도를 디지털 영상 데이터로 변환해 주는 카메라(이미지) 센서, 물리적인 소리를 공기 압력의 변화에 의해 전기적인 신호로 변환하는 음향센서, 기계적인 접촉에 의한 검출방식이 아니라 검출체가 가까이 근접했을 때 검출 대상물체의 유무를 판별하는 근접센서, 주변 밝기를 감지하는 조도센서, 중력이 어느 방향으로 작용하는 지를 탐지해 물체 움직임을 감지하는 중력센서, 위성위치 확인 시스템을 통해 물체의 시간 및 위치 정보 수집이 가능한 GPS센서 등을 포함할 수 있으며, 이러한 다양한 센서에서 감지된 센싱 값을 동작 인식에 이용할 수 있다.The
마지막으로, 상기 제어부(16, 26)는 제1,2 디바이스(10, 20)의 동작 전반을 제어하고 처리하는 구성으로서, 제어부(16, 26)는 하나 이상의 프로세서(Processor) 및 RAM(Read Access Memory)과 같은 시스템 메모리를 포함하여 구현될 수 있다. 상기 시스템 메모리로 로드된 하나 이상의 프로그램 모듈을 상기 프로세서로 실행함에 의해 소정의 기능 및 동작을 수행한다.The
상기 본 발명에 따른 제어부(16, 26)에서 실행되는 프로그램 모듈은, 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 상기 프로그램 모듈은, 파일 시스템의 파일에 반드시 대응하는 것은 아니며, 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다. 상기 제어부(16, 26)의 프로세서와 시스템 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.The program modules executed by the
본 발명에 따른 상호 보완적 동작 인식 장치는, 상술한 프로그램 모듈 형태로 구현되어, 상기 제1,2 디바이스(10, 20)에 탑재된 후, 제어부(16, 26)의 프로세서에 의해 실행되어, 센서부(15)로부터 하나 이상의 센싱 값을 수집하고, 수집한 하나 이상의 센싱 값으로부터 움직임 정보를 산출하고, 산출된 움직임 정보를 기 설정된 동작 정의 정보와 비교하여, 하나 이상의 단위 동작으로 이루어지는 동작을 인식하고, 더불어, 오인식 가능성이 있는 보완 구간을 추출하고, 통신부(13, 23)를 통해서 상기 보완 구간에 대응되는 시점에서 다른 디바이스의 동작 인식 장치에서 감지된 움직임 정보를 획득하고, 이를 통해 상기 보완 구간이 정상 인식되는 지를 판단함으로써, 동작 인식 결과를 보완할 수 있다.The complementary motion recognizing device according to the present invention is implemented in the form of the program module described above and is mounted on the first and
도 4는 상술한 제1,2 디바이스(10, 20)에 구비될 수 있는 본 발명에 따른 상호 보완적 동작 인식 장치의 구성을 나타낸 블럭도이다. 참고로, 이하에서 제1 디바이스(10)에 탑재된 동작 인식 장치를 제1 동작 인식 장치(100)로, 제2 디바이스(20)에 탑재된 동작 인식 장치를 제2 동작 인식 장치(200)로 구분하여 설명하나, 이는 단지 설명의 편의를 위한 것으로서, 발명을 제한하기 위한 것은 아니다.FIG. 4 is a block diagram illustrating a configuration of a complementary motion recognition apparatus according to the present invention, which may be provided in the first and
도 4를 참조하면, 제1,2 동작 인식 장치(100, 200)는, 센싱 값 수집 모듈(110, 210), 연산 모듈(120, 220), 동작 인식 모듈(130, 230), 이벤트 송수신 모듈(140, 240), 연동 제어 모듈(150, 250)을 공통적으로 포함한다. Referring to FIG. 4, the first and second
이에 더하여, 주 디바이스인 제1 디바이스(10)에 탑재되는 제1 동작 인식 장치(100)는 연동 장치 관리 모듈(160)을 더 포함할 수 있고, 보조 디바이스인 제2 디바이스(20)에 탑재되는 제2 동작 인식 장치(200)는 스케쥴 관리 모듈(270) 및 배터리 관리 모듈(280)을 더 포함할 수 있다.In addition, the first
상기 센싱 값 수집 모듈(110, 210)은 센서부(15, 25)로부터 하나 이상의 센싱 값을 수집한다. 이때, 수집되는 센싱 값은, 센서에 따라서 상이한 단위 및 크기를 갖을 수 있다. 예를 들어, 조도 센서의 센싱 값은, 조도의 양(Lux)를 나타내고, 근접 센서의 센싱 값은, 근접한 사물과의 거리 및/또는 근접 여부를 나타내며, 3축 가속도 센서의 센싱 값은, 3축(X, Y, Z) 방향으로의 가속도값을 나타내며, 3축 자이로 센서의 센싱 값은, 3축(X, Y, Z)에 방향으로의 각속도를 나타내며, 지자기 센서의 센싱 값은 지자기의 방향을 나타낸다. 상기 센싱 값 수집 모듈(100)은 기 설정된 복수의 센서(10)로부터 센싱 값을 수집하거나, 인식 모듈(300)의 제어에 따라서 복수의 센서(10) 중에서 선택된 하나 이상의 센서로부터 센싱 값을 수집할 수 있다. 이때, 상기 센싱 값 수집 모듈(110, 210)은 일정 시간 주기, 즉, 기 설정된 샘플링 주기로 상기 센싱 값을 수집할 수 있다. The sensing
상기 연산 모듈(120, 220)은 상기 센싱 값 수집 모듈(110, 220)이 수집한 하나 이상의 센싱 값으로부터 인식 모듈(300)에서 인식할 수 있는 움직임 정보를 산출한다. 더 구체적으로 설명하면, 상기 연산 모듈(120, 220)은 회전 벡터와 회전 행렬 연산을 통해서, 수집한 센싱 값으로부터 도 2와 같은 움직임 정보, 즉, 방위각, 피치 각도, 롤 각도 등에 대한 회전각도, 각속도, 움직임 패턴을 산출한다. 또한, 상기 연산 모듈(120, 220)은, 조도 센서의 센싱 값을 조도 측정값 혹은 조도 변화량으로 변환하거나, 근접 센서의 센싱 값을 기반으로 근접 횟수, 근접 거리를 산출할 수 있다. 더하여, 본 발명에 따른 상기 연산 모듈(120, 220)은 일정 크기의 버퍼(121, 221)를 포함하여, 소정 시간 범위 내에서 산출된 움직임 정보 혹은 센싱 값을 소정 시간 동안 저장한다. 예를 들어, 상기 버퍼(121, 221)는 현재 시점을 기준으로 전후 소정 시간 구간내의 움직임 정보를 저장할 수 있다. 더하여, 상기 움직임 정보 및 센싱 값을 버퍼에 저장할 때, 상기 움직임 정보 및 센싱 값과 함께 대응되는 시간 정보가 함께 저장될 수 있다.The
상기 동작 인식 모듈(130, 230)은 상기 연산 모듈(120, 220)로부터 산출된 움직임 정보를 이용하여 기 정의된 동작을 인식하기 위한 구성이다. 특히, 상기 동작 인식 모듈(130, 230)은, 상기 연산 모듈(120, 220)로부터 산출된 움직임 정보를 기 설정된 동작 인식 조건과 비교하여, 상기 움직임 정보가 특정 동작 인식 조건을 만족할 때, 특정 동작 인식 조건에 매칭되는 동작이 인식된 것으로 판단한다.The
여기서, 상기 동작 인식 모듈(130, 230)에 의해 인식되는 동작은, 하나 이상 단위 동작으로 이루어질 수 있다. 여기서, 단위 동작은, 기 정의된 동작을 방향, 시간, 속도 중 하나 이상을 기준으로 세분화한 동작으로서, 상기 동작 인식 모듈(130, 230)은 상기 하나 이상의 단위 동작을 순차적으로 인식하여, 해당 동작에 포함된 하나 이상의 단위 동작이 정해진 순서대로 순차로 모두 인식되면, 해당 동작이 인식된 것으로 판단할 수 있다.Here, the operations recognized by the
아울러, 상기 동작 인식 조건은, 하나 이상의 단위 동작 별로 설정될 수 있으며, 예를 들어, 회전각도, 회전 속도 및 움직인 시간 중 하나 이상을 포함할 수 있다.In addition, the motion recognition condition may be set for each one or more unit operations, and may include at least one of a rotation angle, a rotation speed, and a movement time, for example.
아울러, 본 발명에 따른 동작 인식 모듈(130, 230)은 상술한 동작 인식을 수행하는 중에, 오인식 가능성이 있는 지를 판단한다. 상기 판단은 기 설정된 타임슬롯 단위로, 예를 들어, 상기 센싱 값 수집 모듈(110)의 샘플링 주기보다 큰 주기의 타임슬롯 단위로 이루어질 수 있다.In addition, the
즉, 상기 센싱 값 수집 모듈(110)로부터 기 설정된 샘플링 주기로 센싱 값이 수집되면, 마찬가지로, 상기 연산 모듈(120)은 상기 샘플링 주기 별로 각 주기에서 수집된 센싱 값으로부터 움직임 정보를 산출하게 된다. That is, when the sensing value is collected from the sensing
그리고, 동작 인식 모듈(130, 230)은 이렇게 일정한 샘플링 주기로 연속 산출된 움직임 정보를 기 설정된 동작 인식 조건과 대비하여, 연속적인 움직임의 변화에 대응하는 동작을 인식하게 된다.Then, the
동작 인식 모듈(130, 230)은 이러한 연속적으로 이루어지는 동작 인식이 이루어지는 연속된 과정을 기 설정된 t 시간 단위로 나누어, 오인식 가능성이 높은 보완 구간을 추출한다. 더 구체적으로, 동작 인식 모듈(130, 230)은 하나 이상의 단위 동작으로 이루어지는 동작의 일부만 인식되거나, 일부 단위동작이 매칭되지 않는 동작이 발생할 때, 해당 구간을 보완 구간으로 추출할 수 있다.The
그리고, 상기 동작 인식 모듈(130, 230)은 연동 제어 모듈(150, 250)을 통해서 상기 보완 구간에 대한 다른 디바이스의 움직임 정보를 획득한다.The
그리고, 획득한 다른 장치의 움직임 정보를 기반으로, 상기 보완 구간을 다시 판단하여, 정상 인식 여부를 추출한다. 더 구체적으로, 상기 동작 인식 모듈(130, 230)은, 상기 보완 구간에 대응하는 다른 장치의 움직임 정보의 값 혹은 패턴 변화가 동일한 시점에 이루어졌는 지를 판단할 수 있다. 여기서, 다른 장치에서 동일한 움직임 변화가 감지되었다면, 정상인식으로 판단할 수 있고, 다른 장치에서 동일하거나 유사한 움직임 변화가 이루어지지 않았다면, 정상 인식이 아닌 것으로 판단할 수 있다.Then, based on the acquired motion information of the other apparatus, the supplementary section is re-determined to extract whether it is normal recognition. More specifically, the
이를 위해서, 상기 제1,2 동작 인식 장치(100, 200) 간에 시간 동기화가 이루어질 수 있다.For this purpose, time synchronization between the first and second
그리고, 이벤트 송수신 모듈(140, 240) 및 연동 제어 모듈(150)은, 제1,2 동작 인식 장치(100, 200) 간의 연동을 수행하기 위한 구성으로서, 이벤트 송수신 모듈(140, 240)은, 제1,2 디바이스(10, 20)의 통신부(13, 23)를 통해서 타 장치로 동작 인식과 관련된 데이터 혹은 메시지의 송수신을 수행하며, 연동 제어 모듈(150, 250)은, 타 장치와의 연동을 제어하기 위한 구성이다. 구체적으로, 연동 제어 모듈(150, 250)은 상기 동작 인식 모듈(130, 230)의 요청에 따라서, 보완 구간에 대한 공유 요청 메시지를 생성하여 상기 이벤트 송수신 모듈(140, 240)을 통해 송신되도록 제어하고, 상기 이벤트 송수신 모듈(140, 240)을 통해 특정 보완 구간에 대한 공유 요청 메시지가 수신되면, 상기 버퍼(121, 221)에 저장된 움직임 정보 중 요청된 보완 구간과 동일한 시간 구간에 대응하는 움직임 정보를 추출하여, 기 설정된 형태로 가공한 후 상기 이벤트 송수신 모듈(140, 240)을 통해 송신하도록 제어한다.The event transmission /
더하여, 상기 연동 제어 모듈(150, 250)은 기 설정된 스케쥴에 따라서 센싱 값 수집 모듈(110, 210)에서 수집한 센싱 값 혹은 동작 인식 모듈(130, 230)에 의해 인식된 동작 인식 정보를 타 장치와 공유하도록 제어할 수 있다.In addition, the
상기 이벤트 송수신 모듈(140, 240)을 통해 공유되는 데이터는, 데이터를 송신한 주체를 기록하는 제1 필드, 데이터 종류를 기록하는 제2 필드, 센싱 값 및 상태 정보 등이 기록되는 제3~제5필드로 이루어질 수 있으며, 상기 각 필드별 상세 정보는 하기의 표 1과 같이 정의될 수 있다.The data shared through the event transmission /
1~254: 웨어러블 디바이스
255: Error0: Device
1 to 254: a wearable device
255:
2: 버퍼 데이터 정보
3: 가속도 센서
4: 지자기 센서
5: 자이로 센서
6~254: 기타 센서
255: Error0: Device information 1: Motion recognition information
2: Buffer data information
3: Accelerometer
4: Geomagnetic sensor
5: Gyro sensor
6 ~ 254: Other sensors
255: Error
동작인식정보인 경우 x축 움직임 패턴
버퍼 데이터 정보인 경우 timestamp
Error인 경우 Error codeIn case of device information, in case of remaining battery (1 ~ 100%) sensor, x axis measurement value
In the case of motion recognition information, the x-
For buffer data information, timestamp
Error code
동작인식정보인 경우 y축 움직임 패턴
버퍼 데이터 정보인 경우 센서 축(x, y, z)
Error인 경우 NULLIn case of device information, data transmission frequency (1 ~ 100 msec) In case of sensor, measurement value of y axis
In the case of motion recognition information, the y-
In the case of buffer data information, the sensor axis (x, y, z)
NULL if Error
동작인식정보인 경우 z축 움직임 패턴
버퍼 데이터 정보인 경우 센서축 측정값
Error인 경우 NULLIn the case of the device information, in case of the worn state sensor, the z axis measurement value
In the case of motion recognition information,
In the case of buffer data information, the sensor axis measurement value
NULL if Error
상기 표 1에서, 동작 인식 정보는 동작 인식 모듈(130, 230)에 의해 인식된 동작 인식 결과로서, 움직임 패턴을 나타내며, 센서값은, 센싱 값 수집 모듈(110, 210)에서 수집된 특정 센서의 센싱 값으로, 제1,2 디바이스(10, 20)간의 정보 공유 시에 전송되며, 버퍼 데이터 정보는, 연산 모듈(220)에 의해서 특정 시간대에 산출된 움직임 정보로서, 상호 보완적 동작 인식을 수행하는 경우 전송된다.상술한 표 1과 같은 데이터 포맷을 통해서, 본 발명에 따른 제1,2 디바이스(10, 20)는 상호보완적 동작 인식을 위한 정보들을 공유할 수 있다.In Table 1, the motion recognition information indicates a motion pattern as a result of motion recognition recognized by the
더하여, 연동 장치 관리 모듈(160)은, 연동하는 타 장치가 구비된 디바이스의 상태(배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 등)을 관리하기 위한 구성으로서, 상기 상태 정보를 타 장치로부터 수신하여 저장한다.In addition, the interlocking
상기 연동 장치 관리 모듈(160)은, 주 디바이스인 제1 디바이스(10)에 탑재되는 제1 동작 인식 장치(100)에 포함되나, 필요에 따라서 제2 동작 인식 장치(200)에도 포함될 수 있다.The interlocking
그리고, 스케쥴 관리 모듈(270)은, 보조 디바이스인 제2 디바이스(20)에 탑재되는 제2 동작 인식 장치(200)에 포함되는 구성으로서, 제1 동작 인식 장치(100)로 상태 정보(예를 들어, 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 등)를 타 장치로 전송하고, 이에 따른 시스템 자원 및 스케쥴을 관리한다.The
또한, 배터리 관리 모듈(280)도, 보조 디바이스인 제2 디바이스(20)에 탑재되는 제2 동작 인식 장치(200)에 포함되는 구성으로서, 데이터 전송 빈도 등의 제어 정보를 변경할 수 있도록, 제2 디바이스(20)의 배터리 잔량을 체크하여 상기 스케쥴 관리 모듈(270)로 제공한다.The
즉, 스케쥴 관리 모듈(270)은, 상기 배터리 관리 모듈(280)에 의해 확인된 배터리 잔량에 따라서, 상기 데이터 전송 빈도를 설정하고, 설정된 데이터 전송 빈도를 상기 주 디바이스인 제1 디바이스(10)에 탑재된 제1 동작 인식 장치(100)로 전송할 수 있다.That is, the
이어서 상술한 바와 같이, 구성된 제1 동작 인식 장치(100)와 제2 동작 인식 장치(200) 간의 연동을 통해 이루어지는 상호 보완적 동작 인식 과정을 도 5 및 도 6의 순서도를 참조하여 설명한다.Next, a mutually complementary operation recognition process performed through interlocking between the first
도 5는 본 발명에 따른 제1 동작 인식 장치(100) 에 의해 수행되는 상호 보완적 동작 인식 방법을 나타낸 순서도이다.5 is a flowchart illustrating a complementary motion recognition method performed by the first
참고로, 상기 제1 동작 인식 장치(100)를 구비한 제1 디바이스(10)는 통신부(13)를 통해 근접해 있는 제2 디바이스(20)와의 탐색 또는 연결 과정을 수행하여, 연동 가능한 제2 디바이스(20)를 인지하여 연결한다. 상기 과정은, 예를 들어, 블루투스 통신 규격의 페어링(Paring) 절차에 따라 이루어질 수 있는 것으로서, 이러한 연결 과정은 해당 근거리 통신 방식에 설정된 절차에 따라 이루어지는 것이므로, 그에 대한 구체적인 설명은 생략한다.For reference, the
상기 상태에서, 본 발명에 따른 제1 동작 인식 장치(100)는, 상술한 paring 절차를 통해 연결된 제2 디바이스(20)의 제2 동작 인식 장치(200)를 인식하고 상기 인식된 제2 동작 인식 장치(200)로부터 동작 인식 연동을 위한 상태 정보를 수신한다(S110). 상기 상태 정보는, 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 정보로서, 동작 인식을 위한 데이터 공유 및 공유한 데이터를 기반으로 움직임의 패턴 변화를 판단하는데 필요한 정보이다.In this state, the first
더불어, 상기 제1 동작 인식 장치(100)는, 제1 디바이스(10)에 구비된 센서부(15)로부터 하나 이상의 센싱 값을 일정 주기로 수집하고, 수집된 센싱 값으로부터 움직임 정보를 산출하고, 동작 인식 모듈(130)을 산출된 움직임 정보를 기 설정된 동작에 대한 동작 인식 조건과 비교하여 기 설정된 동작을 인식하는 동작 인식 처리를 수행한다(S120, S130). 상기 동작 인식 과정에서 기 설정된 주기로 발생하는 움직임 정보는 해당 값에 대응하는 시간 정보(예를 들어, 타임 스탬프)와 함께 상기 버퍼(121)에 저장된다. 상기 단계 S130 및 S130은 상기 단계 S110와 동시에 이루어질 수 도 있고, 상기 단계 S110 이후에 이루어질 수 도 있다.In addition, the first
더불어, 상기 제1 동작 인식 장치(100)는, 상술한 단계 S120 내지 S130를 통해서 동작 인식을 수행하는 중에, 오인식 가능성이 있는 지를 확인한다(S140). 이는 상기 일정 주기로 산출되는 움직임 정보들을 기 설정된 동작 인식 조건과 비교하여, 연속된 하나 이상의 단위 동작으로 이루어지는 동작 중 일부가 상기 동작 인식 조건과 매칭되지 않거나, 비교가 불가능한 경우 오인식 가능성이 있는 것으로 인식한다. 더불어, 상기 단계 S140에서, 상기 제1 동작 인식 장치(100)는 상기 일정 주기로 움직임 정보 중, 상기 오인식 가능성이 있거나 동작 인식의 판단이 불확실한 보완 구간을 검출한다(S150).In addition, the first
도 7 및 도 8은 본 발명에 따른 상호 보완적 동작 인식 방법에 있어서, 보완 구간의 검출 과정을 나타낸 도면이다. 도 7을 참조하면, 제1 동작 인식 장치(100)가 제1 디바이스(10)의 움직임을 감지한 센싱 값을 수집하여 움직임 정보를 산출하는 시간(T)을 일정 시간 단위로 나누어 다수의 타임슬롯(t0~tn)으로 구분한다. 상기 일정 시간 단위는 예를 들어, 센싱 값이 수집되는 샘플링 주기와 동일하거나, 그보다 클 수 있다. 리고, 각 타임슬롯(t0~tn) 별로, 산출된 움직임 정보와 동작 인식 결과를 분석하여, 오인식 가능성이 있는 지를 판단한다. 예를 들어, 도 7 및 도 8의 실시 예에서는, 타임슬롯(t2) 구간의 움직임 정보가 기 설정된 동작 인식 조건과 매칭되지 않거나, 비교 가능 범위를 벗어나 판단이 불가능한 것으로 가정한다. 이렇게 오인식 가능성이 있는 타임슬롯(t2)을 보완 구간으로 추출할 수 있다.FIG. 7 and FIG. 8 are diagrams illustrating a process of detecting a complementary interval in the mutually complementary motion recognition method according to the present invention. Referring to FIG. 7, the first
이어서, 본 발명에 따른 제1 동작 인식 장치(100)는, 상기 보완 구간으로 판단된 타임슬롯(t2)에 대한 센싱 값을 상기 인식된 제2 동작 인식 장치(200)에 요청하여 수신한다(S160). 상기 요청은 동작 인식 모듈(130)에 의해 타임슬롯(t2)에 대해 보완구간으로 판단되면, 연동 제어 모듈(150)이 상기 타임슬롯(t2)에 대한 정보(예를 들어, 타임스탬프)를 포함하는 공유 요청 메시지를 생성하고, 이벤트 송수신 모듈(140)이 상기 생성된 공유 요청 메시지를 제1 디바이스(10)의 통신부(13)를 통해서 제2 디바이스(20)의 제2 동작 인식 장치(200)로 전송함에 의해 이루어질 수 있다.Then, the first
한편 상기 요청에 의해, 제2 동작 인식 장치(200)에서 타임슬롯(t2)에 대응하는 시간에 감지된 움직임 정보가 수신되면, 상기 제1 동작 인식 장치(100)는, 동작 인식 모듈(130)을 통해서 상기 수신한 움직임 정보를 기반으로 상기 보완 구간의 인식 결과가 정상인식 인지를 판단한다(S170). 구체적으로, 동작 인식 모듈(130)은, 상기 제2 동작 인식 장치(200)로부터 수신된 움직임 정보의 값 혹은 변화 패턴을 상기 제1 동작 인식 장치(100)에서 동일 타임슬롯에서 검출된 움직임 정보와 비교하여, 그 차이가 일정 범위를 벗어나지 않는 경우, 정상 인식으로 판단하고, 그 반대이면 비정상 인식으로 판단한다.Meanwhile, when the second
예를 들어, 도 7의 실시 예를 참조하면, 제1 디바이스(10)의 제1 동작 인식 장치(100)는 보완 구간으로 판단된 타임슬롯(t2)에서 검출된 움직임 정보와, 상기 제2 디바이스(20)의 제2 동작 인식 장치(200)가 동일 타임슬롯에서 검출된 센싱 값 혹은 움직임 정보와 비교하여, 정상 인식 여부를 판단할 수 있다. For example, referring to the embodiment of FIG. 7, the first
또한, 도 8의 실시 예에서와 같이, 제1 디바이스(10)의 제1 동작 인식 장치(100)는 타임슬롯(t2)가 보완 구간으로 판단된 경우, 상기 제2 디바이스(20)의 제2 동작 인식 장치(200)로부터 상기 타임슬롯(tk, 예를 들어, k=2임)를 기준으로 전후 소정 범위의 타임슬롯(tk±α)(α는 0 이상의 자연수임) 구간에서 검출된 움직임 정보를 수신하고, 이들을 각각 제1 디바이스(10)에서 동일 시간대에 검출된 센싱 값 혹은 움직임 정보를 비교하여, 정상 인식 여부를 판단할 수 있다. 8, the first
그리고, 상기 제1 동작 인식 장치(100)는 상기 제2 디바이스(10)의 제2 동작 인식 장치(200)로부터 수신한 움직임 정보를 기반으로 한 판단 결과를 고려하여, 동작 인식 결과를 출력한다(S180).The first
다음으로 도 6은 상기 제1 동작 인식 장치(100)의 동작에 대응하여, 연동하는 제2 디바이스(20)의 제2 동작 인식 장치(200)에 의해 이루어지는 동작 과정을 나타낸 순서도이다.6 is a flowchart showing an operation process performed by the second
앞서와 마찬가지로, 상기 제2 동작 인식 장치(200)를 구비한 제2 디바이스(20)도 통신부(23)를 통해 근접해 있는 제1 디바이스(10)와의 탐색 또는 연결 과정을 수행하여, 연동 가능한 제1 디바이스(10)를 인식한다(S210).The
상기 상태에서, 본 발명에 따른 제2 동작 인식 장치(200)는, 상술한 제1 디바이스(10)가 제1 디바이스(10)의 움직임 정보를 공유하여 동작 인식을 수행할 수 있도록, 제2 디바이스(20)의 시스템 자원 및 스케쥴을 분석하여, 상호 보완적 동작 인식을 위해 필요한 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 정보를 포함하는 상태 정보를 추출하고, 상기 상태 정보를 제1 디바이스(10)의 제1 동작 인식 장치(100)로 전송한다(S220). In this state, the second
그리고, 상기 제2 동작 인식 장치(200)는, 제2 디바이스(20)에 구비된 센서부(25)로부터 하나 이상의 센싱 값을 일정 주기로 수집하고, 수집된 센싱 값으로부터 움직임 정보를 산출할 수 있다(S230). 이에 더불어, 상기 제2 동작 인식 장치(200)는 동작 인식 모듈(230)을 통해서, 상기 산출된 움직임 정보를 기 설정된 동작에 대한 동작 인식 조건과 비교하여 기 설정된 동작을 인식하는 동작 인식 처리를 수행할 수 도 있다. 상기 과정에서 기 설정된 주기로 발생하는 움직임 정보는 해당 값에 대응하는 시간 정보(예를 들어, 타임 스탬프)와 함께 상기 버퍼(221)에 저장된다.The second
아울러, 상기 제2 동작 인식 장치(200)는 상기 제1 디바이스(10)의 제1 동작 인식 장치(100)로부터 공유 요청 메시지가 수신되는 지를 확인한다(S240). 이때, 상기 공유 요청 메시지는 제1 동작 인식 장치(100)에서 보완 구간으로 검출된 타임슬롯에 대응하는 정보를 포함한다.In addition, the second
그리고, 제1 동작 인식 장치(100)로부터 공유 요청 메시지가 수신되면, 상기 제2 동작 인식 장치(200)는 상기 버퍼(221)로부터 요청된 타임슬롯에 대응하는 시간에 수집되거나 산출된 움직임 정보를 추출하여, 상기 제1 동작 인식 장치(100)로 전송한다(S250). When the second
본 발명에 따른 상호 보완적 동작 인식 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The complementary motion recognition method according to the present invention may be implemented in a form of software readable by various computer means and recorded in a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. For example, the recording medium may be an optical recording medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, a compact disk read only memory (CD-ROM), a digital video disk (DVD) Includes a hardware device that is specially configured to store and execute program instructions such as a magneto-optical medium such as a floppy disk and a ROM, a random access memory (RAM), a flash memory, do. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
또한, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.Further, the functional operations and subject matter implementations described herein may be implemented in other types of digital electronic circuitry, or may be implemented in computer software, firmware, or hardware, including the structures disclosed herein and their structural equivalents, ≪ / RTI > Implementations of the subject matter described herein may be embodied in one or more computer program products, i. E. One for computer program instructions encoded on a program storage medium of the type for < RTI ID = 0.0 & And can be implemented as a module as described above. The computer-readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter that affects the machine readable propagation type signal, or a combination of one or more of the foregoing.
아울러, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.In addition, while the specification contains a number of specific implementation details, it should be understood that they are not to be construed as limitations on the scope of any invention or claim, but rather on the features that may be specific to a particular embodiment of a particular invention Should be understood as an explanation. Certain features described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Further, although the features may operate in a particular combination and may be initially described as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, Or a variant of a subcombination.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a particular order, it should be understood that such operations must be performed in that particular order or sequential order shown to achieve the desired result, or that all illustrated operations should be performed. In certain cases, multitasking and parallel processing may be advantageous. Also, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products It should be understood.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.Certain embodiments of the subject matter described herein have been described. Other embodiments are within the scope of the following claims. For example, the operations recited in the claims may be performed in a different order and still achieve desirable results. By way of example, the process illustrated in the accompanying drawings does not necessarily require that particular illustrated or sequential order to obtain the desired results. In certain implementations, multitasking and parallel processing may be advantageous.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The description sets forth the best mode of the invention, and is provided to illustrate the invention and to enable those skilled in the art to make and use the invention. The written description is not intended to limit the invention to the specific terminology presented. Thus, while the present invention has been described in detail with reference to the above examples, those skilled in the art will be able to make adaptations, modifications, and variations on these examples without departing from the scope of the present invention.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be limited by the described embodiments but should be defined by the claims.
본 발명에 따른 동작 인식 장치는, 소정의 디바이스에 탑재되어 상기 디바이스의 움직임을 감지하여 기 설정된 동작을 인식하는데 있어서, 상기 디바이스와 근접한 다른 디바이스의 동작 인식 장치와 움직임 정보를 공유하고, 상기 움직임 정보를 이용하여 보다 정확한 동작 인식을 수행할 수 있다.The motion recognition apparatus according to the present invention is a device for recognizing a motion of a device mounted on a predetermined device and recognizing a motion of the device by sharing motion information with an motion recognition device of another device close to the device, So that more accurate motion recognition can be performed.
특히, 본 발명에 따른 동작 인식 장치는, 일정 주기로 센싱 값을 수집하고, 움직임 정보를 검출하여, 검출된 움직임 정보를 기 설정된 동작 인식 조건과 비교하여 동작 인식을 수행하는 중에, 움직임이 이루어지는 시간을 일정 타임슬롯을 나누어, 각 타임슬롯 단위로 오인식이 가능하거나 판단이 불확실한 보완 구간을 검출하고, 상기 검출된 보완 구간과 동일한 시간 대의 센싱 값 혹은 움직임 정보를 타 장치에 요청하여 수신함으로써, 불필요한 트래픽 발생을 최소화하면서 필요한 정보를 획득하여 동작 인식의 정확도를 향상시킬 수 있다.In particular, the motion recognition apparatus according to the present invention collects sensing values at predetermined intervals, detects motion information, compares the detected motion information with predetermined motion recognition conditions, The method includes detecting a complementary interval in which a certain time slot can be erroneously recognized or uncertain in each time slot unit and a sensing value or motion information of the same time period as the detected complementary interval is requested and received from another device, It is possible to acquire necessary information while improving the accuracy of motion recognition.
10: 제1 디바이스 20: 제2 디바이스
100: 제1 동작 인식 장치 200: 제2 동작 인식 장치
110, 210: 센싱 값 수집 모듈 120, 220: 연산 모듈
121, 221: 버퍼 130, 230: 동작 인식 모듈
140, 240: 이벤트 송수신 모듈 150, 250: 연동 제어 모듈
160: 연동 장치 관리 모듈 270: 스케쥴 관리 모듈
280: 배터리 관리 모듈10: first device 20: second device
100: first motion recognition device 200: second motion recognition device
110, 210: Sensing
121, 221:
140, 240: an event transmission /
160: Interlocking device management module 270: Schedule management module
280: Battery management module
Claims (9)
상기 수집한 센싱 값으로부터 움직임 정보를 산출하는 연산 모듈;
다른 장치와 데이터를 송수신하는 이벤트 송수신 모듈;
상기 이벤트 송수신 모듈을 통해 상기 움직임 정보 또는 센싱 값을 다른 장치로 송신하거나, 상기 다른 장치에서 검출된 움직임 정보 또는 센싱 값을 수신하도록 제어하는 연동 제어 모듈; 및
상기 연산 모듈에서 산출된 움직임 정보를 이용하여 기 정의된 동작을 인식하거나, 오인식 가능성 여부를 판단하여 오인식 가능성이 있는 것으로 판단되면, 상기 산출된 움직임 정보와 더불어 상기 다른 장치에서 검출된 움직임 정보 또는 센싱 값을 함께 이용하여 기 정의된 동작을 인식하는 동작 인식 모듈을 포함하는 것을 특징으로 하는 동작 인식을 위한 장치.A sensing value collection module for collecting sensed sensed values from at least one sensor that senses a physical change;
A calculation module for calculating motion information from the collected sensing values;
An event transmission / reception module for transmitting / receiving data to / from another device;
An interworking control module for transmitting the motion information or the sensing value to another device through the event transmission / reception module or for receiving motion information or sensing value detected by the other device; And
And a motion estimation unit for estimating motion information or sensing information detected by the other device in addition to the calculated motion information if it is determined that there is a possibility of erroneous recognition by recognizing a predefined motion based on the motion information calculated by the calculation module, And a motion recognition module for recognizing a predefined motion by using a motion vector and a motion vector together.
기 설정된 타임슬롯 단위로 상기 움직임 정보를 버퍼에 일정 시간동안 저장하고,
상기 동작 인식 모듈은, 상기 타임슬롯 단위로 오인식 가능성을 판단하여 타임슬롯 단위로 보완 구간을 검출하고, 상기 다른 장치로 상기 보완 구간에 대응하는 움직임 정보 또는 센싱 값을 요청하는 것을 특징으로 하는 동작 인식을 위한 장치.2. The apparatus of claim 1,
Storing the motion information in a buffer for a predetermined time slot in a predetermined time slot unit,
Wherein the motion recognition module detects a possibility of erroneous recognition in units of the time slots and detects a complementary interval in units of time slots and requests the other device for motion information or a sensing value corresponding to the supplementary interval, Lt; / RTI >
상기 연동 제어 모듈은, 상기 연산 모듈에서 산출된 움직임 정보와 기 정의된 동작 인식 조건을 대비하여 상기 다른 장치의 움직임 정보 또는 센싱 값이 추가로 필요한지 판단하고, 상기 다른 장치로 상기 움직임 정보 또는 센싱 값을 요청하는 것을 특징으로 하는 동작 인식을 위한 장치.The method according to claim 1,
The interworking control module determines whether motion information or a sensing value of the other device is necessary by comparing the motion information calculated in the calculation module with a predefined motion recognition condition and outputs the motion information or the sensing value Wherein the controller is configured to:
상기 보완 구간에 대응하는 시간대에 상기 다른 장치에서 검출된 움직임 정보를 이용하여 상기 보완 구간의 정상 인식 여부를 판단하되,
상기 연산 모듈에서 산출된 움직임 정보와 상기 다른 장치의 움직임 정보의 값 혹은 변환 패턴을 비교하여 차이가 일정 범위를 벗어나지 않는 경우, 정상 인식으로 판단하고, 차이가 일정 범위를 벗어나는 경우, 비정상 인식으로 판단하는 것을 특징으로 하는 동작 인식을 위한 장치.The apparatus according to claim 2,
Determining whether the supplemental section is normally recognized by using the motion information detected by the other apparatus at a time zone corresponding to the supplemental section,
The motion information calculated by the calculation module is compared with a value or a conversion pattern of motion information of the other apparatus. If the difference does not deviate from a predetermined range, it is determined as normal recognition. If the difference is out of a predetermined range, Wherein the device is a device for recognizing motion.
상기 이벤트 송수신 모듈을 통해 상기 다른 장치로부터 공유 요청 메시지를 수신하면, 상기 버퍼에 저장된 움직임 정보 중 공유 요청 메시지에서 요청된 타임슬롯의 움직임 정보를 추출하여 상기 다른 장치로 전송하는 것을 특징으로 하는 동작 인식을 위한 장치.3. The system of claim 2, wherein the interworking control module
Receiving a sharing request message from the other device through the event transmission / reception module, extracting motion information of a time slot requested in a sharing request message among the motion information stored in the buffer, and transmitting the motion information to the other device Lt; / RTI >
배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 다른 장치의 상태 정보를 관리하는 연동 장치 관리 모듈을 더 포함하는 것을 특징으로 하는 동작 인식을 위한 장치.The method according to claim 1,
Further comprising an interlock device management module for managing status information of another device including at least one of a remaining battery level, a data transmission frequency, a movement pattern, and a wear status.
상기 장치의 배터리 잔량을 확인하는 배터리 관리 모듈; 및
상기 장치의 시스템 자원을 관리하여, 상기 배터리 잔량, 데이터 전송 빈도, 움직임 패턴, 착용 상태 중 하나 이상을 포함하는 상태 정보를 추출하여 상기 다른 장치로 전송하고, 상기 센싱 값 수집 및 데이터 전송 스케쥴을 관리하는 스케쥴 관리 모듈을 더 포함하는 것을 특징으로 하는 동작 인식을 위한 장치. The method according to claim 1,
A battery management module for checking the remaining battery power of the device; And
The system resource of the apparatus is managed to extract state information including at least one of the battery remaining amount, the data transmission frequency, the movement pattern, and the wear state, and transmits the extracted state information to the other apparatus, And a schedule management module for managing the schedule management module.
상기 수집한 센싱 값으로부터 움직임 정보를 산출하는 단계;
상기 산출한 움직임 정보 또는 센싱 값을 다른 장치로 송신하거나, 다른 장치에서 검출된 움직임 정보 또는 센싱 값을 수신하는 단계; 및
상기 산출된 움직임 정보를 이용하여 기 정의된 동작을 인식하거나, 오인식 가능성 여부를 판단하여 오인식 가능성이 있는 것으로 판단되면, 상기 산출된 움직임 정보와 더불어 상기 다른 장치에서 검출된 움직임 정보 또는 센싱 값을 함께 이용하여 기 정의된 동작을 인식하는 단계;
를 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.Collecting sensed sensed values from at least one sensor that senses a physical change;
Calculating motion information from the collected sensing values;
Transmitting the calculated motion information or sensing value to another device, or receiving motion information or a sensing value detected by another device; And
If it is determined that there is a possibility of erroneous recognition by judging the possibility of misunderstanding by using the calculated motion information, motion information or sensed value detected by the other device, together with the calculated motion information, Recognizing a predefined motion using the motion;
And a recording medium storing the program.
상기 산출된 움직임 정보는 버퍼에 일정 시간 동안 저장되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.9. The method of claim 8,
And the calculated motion information is stored in the buffer for a predetermined period of time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180093583A KR101998662B1 (en) | 2018-08-10 | 2018-08-10 | Apparatus and storage medium for mutually complementary motion recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180093583A KR101998662B1 (en) | 2018-08-10 | 2018-08-10 | Apparatus and storage medium for mutually complementary motion recognition |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140146094A Division KR101934930B1 (en) | 2014-10-27 | 2014-10-27 | Apparatus and storage medium for mutually complementary motion recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180094816A KR20180094816A (en) | 2018-08-24 |
| KR101998662B1 true KR101998662B1 (en) | 2019-07-10 |
Family
ID=63454489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180093583A KR101998662B1 (en) | 2018-08-10 | 2018-08-10 | Apparatus and storage medium for mutually complementary motion recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101998662B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110109021B (en) * | 2019-06-20 | 2024-04-09 | 珠海优特电力科技股份有限公司 | Battery electric quantity acquisition system, method and device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101511160B1 (en) | 2009-01-06 | 2015-04-13 | 삼성전자주식회사 | Charge pump circuit and voltage converting apparatus using the same |
| KR101637939B1 (en) * | 2010-01-22 | 2016-07-20 | 삼성전자주식회사 | Apparatus and method for motion detecting in mobile communication terminal |
-
2018
- 2018-08-10 KR KR1020180093583A patent/KR101998662B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180094816A (en) | 2018-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110967011A (en) | Positioning method, device, equipment and storage medium | |
| US11979038B2 (en) | Wireless charging alignment | |
| CN111983559A (en) | Indoor positioning navigation method and device | |
| US20130055103A1 (en) | Apparatus and method for controlling three-dimensional graphical user interface (3d gui) | |
| CN112711335B (en) | Virtual environment picture display method, device, equipment and storage medium | |
| US11301052B2 (en) | Gesture detection using external sensors | |
| US20240031678A1 (en) | Pose tracking for rolling shutter camera | |
| KR101685388B1 (en) | Method and apparatus for recognizing motion using a plurality of sensors | |
| WO2017005070A1 (en) | Display control method and device | |
| KR101998662B1 (en) | Apparatus and storage medium for mutually complementary motion recognition | |
| JP5708362B2 (en) | Portable terminal and position / orientation estimation program | |
| KR101934930B1 (en) | Apparatus and storage medium for mutually complementary motion recognition | |
| KR20160050863A (en) | Method for processing sensor value to motion recognition and apparatus using the same | |
| CN104156070A (en) | Body intelligent input somatosensory control system and method | |
| KR20160047710A (en) | Method for recognizing user motion and motion recognition apparatus using the same | |
| KR101886033B1 (en) | Method for establishing user definition motion and motion recognition apparatus using the same | |
| KR101900754B1 (en) | Method for establishing user definition motion and motion recognition apparatus using the same | |
| KR20210112664A (en) | Method for determining a location and electronic device supporting the same | |
| KR102081966B1 (en) | Apparatus for motion recognition based on context awareness and storage medium therefor | |
| CN112506337B (en) | Operation request processing method, device, computer equipment and storage medium | |
| KR101703645B1 (en) | Method and apparatus for recognizing motion with adjustable sensitivity | |
| CN118227019A (en) | Interactive method, system, electronic device and computer readable storage medium | |
| KR20220151328A (en) | Electronic device and control method of the same | |
| CN115996352A (en) | Position determining method and device of UWB (ultra Wide band) tag, terminal and UWB tag | |
| KR20160050864A (en) | Method for providing standby mode for motion recognition and motion recognition apparatus using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |