KR20120074471A - Method of testing motion recognition algorithm for multi sensor mobile device - Google Patents

Method of testing motion recognition algorithm for multi sensor mobile device Download PDF

Info

Publication number
KR20120074471A
KR20120074471A KR1020100136312A KR20100136312A KR20120074471A KR 20120074471 A KR20120074471 A KR 20120074471A KR 1020100136312 A KR1020100136312 A KR 1020100136312A KR 20100136312 A KR20100136312 A KR 20100136312A KR 20120074471 A KR20120074471 A KR 20120074471A
Authority
KR
South Korea
Prior art keywords
sensor
sensing data
algorithm
mobile device
developer
Prior art date
Application number
KR1020100136312A
Other languages
Korean (ko)
Other versions
KR101191720B1 (en
Inventor
장태환
Original Assignee
네무스텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네무스텍(주) filed Critical 네무스텍(주)
Priority to KR1020100136312A priority Critical patent/KR101191720B1/en
Publication of KR20120074471A publication Critical patent/KR20120074471A/en
Application granted granted Critical
Publication of KR101191720B1 publication Critical patent/KR101191720B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A motion recognition algorithm verification interfacing method is provided to efficiently perform the verification of an operation sensing algorithm for sensing an operation of a user. CONSTITUTION: Sensing data is collected from sensors in a mobile device according to an operation of a user(110). The sensing data is stored in a storing module(120). A reproducing module inquires the sensing data which is stored in the storing module(140). A noise of the reproduced sensing data is filtered by using a filtering module(150). An analysis algorithm extracts a pattern from the filtered sensing data(200).

Description

모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법{METHOD OF TESTING MOTION RECOGNITION ALGORITHM FOR MULTI SENSOR MOBILE DEVICE}Automatic verification method of motion recognition algorithm using multi-sensor of mobile device {METHOD OF TESTING MOTION RECOGNITION ALGORITHM FOR MULTI SENSOR MOBILE DEVICE}

본 발명은 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법에 관한 것으로서, 더욱 상세하게는 모바일 기기에 설치된 복수의 센서에서 감지된 데이터를 이용하여 사용자의 동작을 인식하는 동작 인식 시스템을 효과적으로 검증하기 위한 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법이다.The present invention relates to a method for automatically verifying a motion recognition algorithm using a multi-sensor of a mobile device, and more particularly, to effectively verify a motion recognition system that recognizes a user's motion by using data sensed by a plurality of sensors installed in a mobile device. It is a method for automatically verifying a motion recognition algorithm using a multi-sensor of a mobile device.

최근에는 모바일 기기에 가속도 센서, 지자기 센서, 중력 센서, 자이로 센서 등의 다양한 센서가 설치되어 판매되고 있다. 이러한 모바일 기기의 다양한 센서들을 이용하여 여러가지 서비스를 제공하는 다양한 응용 프로그램이 개발되고 있다.Recently, various sensors such as acceleration sensors, geomagnetic sensors, gravity sensors, and gyro sensors have been installed and sold in mobile devices. Various applications that provide various services using various sensors of the mobile device have been developed.

이러한 애플리케이션을 개발하기 위해서는 각 센서들에서 감지된 센싱 데이터를 종합적으로 분석하여 입력정보를 정확하게 인식할 수 있는 기술이 중요하다.In order to develop such an application, a technique for comprehensively analyzing sensing data sensed by each sensor and accurately recognizing input information is important.

특히 사용자가 모바일 기기를 흔들거나, 잡아 채는 등 다양한 동작을 수행하고 그 동작의 유형을 분석하여 그에 따른 다양한 이벤트를 제공하는 응용 프로그램을 개발하기 위해서는, 각 센서들로부터 감지된 데이터로부터 사용자의 동작의 유형을 정확하게 인식하는 기술의 개발이 매우 중요하다. 특히, 동작 인식 응용 프로그램이 다양하게 발전하면서 하나의 센서만을 이용하는 것이 아니라 2개 이상의 센서에서 얻어진 데이터를 복합적으로 이용하여 동작의 유형을 파악하는 기술이 필요하게 되었다.In particular, in order to develop an application that performs various actions such as shaking or grabbing a mobile device, analyzes the types of actions, and provides various events accordingly, the user's actions may be determined from data sensed by each sensor. The development of technology that correctly recognizes types is very important. In particular, as the motion recognition application program has been developed in various ways, a technology for identifying a type of motion by using data obtained from two or more sensors, rather than using only one sensor, is needed.

이와 같이 멀티 센서로부터 동작을 인식하는 알고리즘을 개발하는 경우, 사용자가 모바일 기기를 이용하여 특정 동작을 취하고, 그 동작에 의해 센서로부터 얻어진 데이터를 동작 인식 알고리즘에 입력하여, 그 특정 동작을 인식하는지 여부를 확인하게 된다. 동작의 특징과 패턴을 인식하는 동작 인식 알고리즘이 특정 동작을 정확하게 인식하지 못하는 경우 개발자는 동작 인식 알고리즘을 수정하고 다시 모바일 기기로 동작을 취하여 동작 인식 알고리즘을 테스트한다.When developing an algorithm for recognizing a motion from a multi-sensor as described above, whether a user takes a specific motion using a mobile device, inputs data obtained from the sensor by the motion into a motion recognition algorithm, and recognizes the specific motion. Will be confirmed. If the motion recognition algorithm that recognizes the features and patterns of the motion does not correctly recognize the specific motion, the developer modifies the motion recognition algorithm and takes the action back to the mobile device to test the motion recognition algorithm.

수정된 동작 인식 알고리즘을 검증하거나 테스트하기 위해서 다시 센싱 데이터를 입력시키기 위해서는, 사용자가 모바일 기기를 이용하여 다시 동일한 동작을 취하는 방법으로 동작 인식 알고리즘에 센싱 데이터를 입력하게 된다. 그런데 사람이 취하는 동작이 매번 동일하지 않고 그 동작을 취할 때마다 조금씩 동작의 특성이 다른 것이 일반적이기 때문에, 동작 인식 알고리즘에 입력되는 데이터가 매번 달라지는 문제점이 있다. In order to input the sensing data again to verify or test the modified gesture recognition algorithm, the user inputs the sensing data to the gesture recognition algorithm in such a manner that the user takes the same gesture again using the mobile device. However, since the actions taken by a person are not the same every time and the characteristics of the actions are slightly different each time the actions are taken, there is a problem that the data input to the motion recognition algorithm is different each time.

이와 같이 동작 인식 알고리즘을 이용한 동작 인식 시스템을 개발하는 과정에서 그 동작 인식 알고리즘을 검증하기 위한 기준 데이터가 일정하지 않은 문제로 인해, 동작 인식 시스템을 개발하는 과정이 비효율적이고 일관성 없게 진행되는 문제점이 있다.As such, in the process of developing a motion recognition system using the motion recognition algorithm, the reference data for verifying the motion recognition algorithm is not constant. Therefore, the process of developing the motion recognition system is inefficient and inconsistent. .

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 모바일 기기에 설치된 복수의 센서를 이용하여 사용자의 동작을 인식하는 알고리즘을 개발하는 과정을 효과적으로 수행하는데 사용할 수 있는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법을 제공하는 것을 목적으로 한다.The present invention has been made to solve the above-described problems, a multi-sensor of a mobile device that can be used to effectively perform the process of developing an algorithm for recognizing a user's motion using a plurality of sensors installed in the mobile device An object of the present invention is to provide a method for automatically verifying an operation recognition algorithm.

이와 같은 목적을 달성하기 위하여 본 발명은, (a) 모바일 기기에 설치된 복수의 센서로부터 사용자의 동작에 따른 각 센서의 센싱 데이터를 수집하는 단계; (b) 상기 (a) 단계에서 수집된 각 센서의 센싱 데이터를 저장 모듈에 저장하는 단계; (c) 상기 저장 모듈에 저장된 센싱 데이터 중 적어도 하나의 센서에서 수집된 센싱 데이터를 조회(access)하여 재생 모듈에 의해 재생하는 단계; (d) 필터링 모듈을 이용하여 (c) 단계에서 재생된 센싱 데이터에서 노이즈를 필터링하는 단계; (e) 상기 (d) 단계에서 필터링된 센싱 데이터를 수신하여 그 센싱 데이터의 특징과 패턴을 추출하고 그 특징과 패턴을 이용하여 동작을 인식하는 분석 알고리즘에 의해 분석 모듈에서 상기 사용자의 동작의 유형을 인식하는 단계; 및 (f) 상기 (e) 단계에서 동작의 유형 인식한 결과를 개발자가 파악할 수 있도록 표시하는 단계;를 포함하는 점에 특징이 있다.In order to achieve the above object, the present invention, (a) collecting the sensing data of each sensor according to the user's operation from a plurality of sensors installed in the mobile device; (b) storing the sensing data of each sensor collected in step (a) in a storage module; (c) accessing the sensing data collected by at least one sensor among the sensing data stored in the storage module and reproducing it by the reproducing module; (d) filtering noise in the sensed data reproduced in step (c) using a filtering module; (e) the type of the user's motion in the analysis module by an analysis algorithm that receives the sensing data filtered in step (d), extracts the feature and pattern of the sensed data, and recognizes the motion using the feature and pattern Recognizing; And (f) displaying the result of the type recognition in the step (e) so that the developer can grasp the result.

본 발명의 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법은, 모바일 기기에 설치된 복수의 센서로부터 감지된 데이터를 이용하여 사용자의 동작을 감지하는 동작 감지 알고리즘을 검증하거나 테스트하는 작업을 합리적으로 효과적으로 수행하는 것이 가능하게 하는 효과가 있다.In the method for automatically verifying a motion recognition algorithm using a multi-sensor of a mobile device of the present invention, a task of verifying or testing a motion detection algorithm for detecting a user's motion by using data detected from a plurality of sensors installed in the mobile device is reasonably performed. There is an effect that makes it possible to perform effectively.

도 1은 본 발명에 따른 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법의 일 실시예의 순서도이다.
도 2는 도 1에 도시된 순서도를 수행하기 위한 시스템의 블록도이다.1 is a flowchart of an embodiment of a method for automatically verifying a motion recognition algorithm using a multi-sensor of a mobile device according to the present invention.
FIG. 2 is a block diagram of a system for performing the flowchart shown in FIG. 1.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

모바일 기기에 설치된 복수의 센서를 이용하여 응용 프로그램을 개발하기 위해서는 각 센서들로부터 얻어진 센싱 데이터를 이용하여 사용자의 동작을 인식하는 프로그램의 개발이 필수적이다. 본 발명은 이와 같이 여러 센서들로부터 얻어진 센싱 데이터를 이용하여 사용자의 동작의 유형을 인식하는 프로그램을 개발하는 과정을 효율적으로 수행하기 위한 것이다.In order to develop an application program using a plurality of sensors installed in a mobile device, it is essential to develop a program that recognizes a user's motion by using sensing data obtained from each sensor. The present invention is to efficiently perform the process of developing a program for recognizing the type of the user's motion using the sensing data obtained from the various sensors as described above.

이하, 모바일 기기를 이용하여 동작을 수행함으로써 각 센서에 센싱 데이터가 입력되도록 하는 각 개인(즉, 동작을 수행하는 자)을 '사용자'라 칭하기로 한다. 사용자의 동작으로부터 센싱된 센싱 데이터를 분석하여 동작의 유형을 인식하는 프로그램을 개발하는 사람은 '개발자'라 칭하기로 한다.Hereinafter, each individual (that is, a person performing an operation) that causes sensing data to be input to each sensor by performing an operation using a mobile device will be referred to as a 'user'. A person who develops a program that analyzes sensing data sensed from a user's motion and recognizes the type of motion will be referred to as a developer.

도 1은 본 발명에 따른 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법의 일 실시예의 순서도이고, 도 2는 도 1에 도시된 순서도를 수행하기 위한 시스템의 블록도이다.1 is a flowchart of an embodiment of a method for automatically verifying a motion recognition algorithm using a multi-sensor of a mobile device according to the present invention, and FIG. 2 is a block diagram of a system for performing the flowchart shown in FIG.

도 2를 참조하면, 모바일 기기에는 복수의 센서들(1, 2, 3)이 설치되어 있다. 이와 같은 센서는 가속도 센서, 중력 센서, 지자기 센서, 온도 센서, 조도 센서, 카메라 등 다양한 센서들이 사용될 수 있다. 또한, 터치 패드나 터치 스크린 사용자의 동작을 감지하는 센서로 사용된다.2, a plurality of sensors 1, 2, and 3 are installed in a mobile device. Such a sensor may be various sensors such as an acceleration sensor, a gravity sensor, a geomagnetic sensor, a temperature sensor, an illuminance sensor, a camera, and the like. It is also used as a sensor to detect the motion of a touch pad or a touch screen user.

먼저, 모바일 기기에 설치된 복수의 센서(1, 2, 3)로부터 사용자의 동작에 따른 각 센서(1, 2, 3)의 센싱 데이터를 수집 모듈(10)에 의해 수집하는 단계를 수행한다((a) 단계; 110). 이와 같은 각 센서(1, 2, 3)의 센싱 데이터는 저장 모듈(20)에 저장된다((b) 단계: 120). First, the sensing module 10 collects sensing data of each sensor 1, 2, 3 according to a user's operation from the plurality of sensors 1, 2, 3 installed in the mobile device (( a) step 110). The sensing data of each of the sensors 1, 2, and 3 is stored in the storage module 20 ((b) step 120).

센싱 데이터를 수집하여 저장하는 과정은 다양한 사례별로 센싱 데이터를 수집하여 데이터 베이스화하는 방법으로 진행하는 것이 좋다. 예를 들어, 사용자마다 동작의 유형이 다를 수 있기 때문에 다양한 사용자의 동작에 다른 데이터를 저장할 수 있다. 또한, 동일한 동작의 유형에 대해서도 그 동작을 수행하는 주변 상황에 따라 센싱 데이터가 다를 수 있으므로 각 상황별로 센싱 데이터를 수집하여 데이터 베이스화 한다. 모바일 기기를 흔드는 동작의 경우를 예로 들면, 사용자가 의자에 앉아 정지한 상태, 사용자가 보행중인 상태, 사용자가 주행중인 차량에 탑승중인 상태 등의 다양한 상황에서 센싱 데이터를 수집하여 데이터 베이스화 한다. 또한, 동일한 동작에 대해서도, 좁은 방, 넓은 방, 야외 등의 장소에 따라 마이크로 폰에 수집된 데이터가 달라질 수 있으므로, 장소에 따라 센싱 데이터를 수집하여 데이터 베이스화 할 수 있다. 이와 같이 데이터 베이스를 구축하는 과정은 사용하는 센서(1, 2, 3)의 종류에 따라 다양하게 설정될 수 있다. 온도 센서를 사용하는 경우는 온도에 따라 각각 센싱 데이터를 수집하여 저장하게 된다. 상술한 바와 같은 다앙한 센싱 데이터는 각 케이스별로 식별번호가 부여되어 저장 모듈(20)에 저장된다.In the process of collecting and storing sensing data, it is recommended to proceed with a method of collecting and sensing the sensing data in various cases. For example, different types of actions may be stored for different users, so different data may be stored in actions of various users. In addition, since the sensing data may be different depending on the surrounding situation of performing the same operation type, the sensing data is collected and databased for each situation. For example, in the case of shaking the mobile device, the sensing data is collected and made into a database in various situations, such as a state where the user is sitting on a chair, a state in which the user is walking, and a state in which the user is in a driving vehicle. In addition, since the data collected by the microphone may vary according to a place such as a narrow room, a large room, or an outdoor place, sensing data may be collected and databased according to a place. As described above, the process of constructing the database may be variously set according to the type of the sensors 1, 2, and 3 used. In the case of using a temperature sensor, sensing data is collected and stored according to temperature. Various sensing data as described above are assigned an identification number for each case and stored in the storage module 20.

상술한바와 같은 센싱 데이터는 동작이 취해진 소정 시간 구간 내에서의 각 센서(1, 2, 3)별로 감지한 데이터의 변화를 그래프로 표시할 수 있는 형태로 수집되고 저장된다.The sensing data as described above is collected and stored in a form capable of displaying a change in data detected by each sensor 1, 2, 3 within a predetermined time interval in which an operation is taken.

다음으로, 저장 모듈(20)에 저장된 센싱 데이터 중에서 센서(1, 2, 3)의 종류와 동작의 유형과 그 동작을 수행한 사용자와 그 동작을 수행한 주위 상황에 따른 센싱 데이터를 개발자가 선택할 수 있도록 선택 도구(30)를 개발자에게 제공하는 단계를 수행한다((h) 단계: 130). 개발자는 자신이 개발한 동작 인식 프로그램이 정상적으로 사용자의 동작을 인식하는지 테스트하기 위하여, 그에 필요한 센싱 데이터를 선택 도구(30)를 이용하여 선택하게 된다. 선택 도구(30)는 저장 모듈(20)에 저장된 센싱 데이터를 사용자별, 센서(1, 2, 3)의 종류별, 동작의 유형별 등등 다양한 조건에 따라 개발자가 선택할 수 있는 환경을 제공한다. Next, the developer selects the sensing data according to the types and types of the sensors 1, 2, and 3, the user who performed the operation, and the surrounding situation in which the operation is performed, among the sensing data stored in the storage module 20. Providing the selection tool 30 to the developer so that it can be performed ((h) step 130). The developer selects the sensing data necessary for the motion recognition program developed by the developer using the selection tool 30 to test whether the motion recognition program developed by the developer recognizes the user's motion normally. The selection tool 30 provides an environment in which a developer can select sensing data stored in the storage module 20 according to various conditions, such as by user, by type of sensors 1, 2, and 3, by operation type, and the like.

선택 도구(30)를 이용하여 개발자가 선택하고자 하는 센싱 데이터의 식별번호를 입력 받으면, 저장 모듈(20)에서 해당 센싱 데이터를 조회(access)하여 재생 모듈(40)에 의해 재생하는 단계를 수행한다((c) 단계: 140).When the developer receives an identification number of the sensing data to be selected by the developer using the selection tool 30, the storage module 20 accesses the sensing data and plays the data by the playback module 40. (step (c): 140).

이때, (c) 단계(140)는, (h) 단계(130)에서 개발자에 의해 선택된 센싱 데이터만을 저장 모듈(20)로부터 조회(access)하여 재생한다. 개발자가 동작 인식 알고리즘에 의하여 인식하고자 하는 사용자 동작의 유형에 따라, 필요한 센서의 종류가 다를 수 있으므로 개발자에 의해 선택된 센서(1, 2, 3)의 종류에 대응되는 센싱 데이터를 이용하여 센싱 데이터를 엑세스하고 이를 재생한다. (c) 단계(140)는 재생 모듈(40)에서 수행된다. 재생 모듈(40)은 각 센싱 데이터를 시간의 흐름에 따라 출력하는 방법으로 센싱 데이터를 재생한다.At this time, in step (c) 140, only the sensing data selected by the developer in step (h) 130 is accessed from the storage module 20 and reproduced. Depending on the type of user's motion that the developer wants to recognize by the motion recognition algorithm, the type of sensor required may be different. Access and play it. (c) Step 140 is performed in the playback module 40. The reproduction module 40 reproduces the sensing data by outputting each sensing data over time.

다음으로, 필터링 모듈(50)을 이용하여 재생 모듈(40)에서 재생된 센싱 데이터에서 노이즈를 필터링하는 단계를 수행한다((d) 단계; 150). 필터링 모듈(50)은 로 패스 필터(low pass filter) 등을 이용하여 노이즈를 제거한다. Next, the step of filtering the noise in the sensing data reproduced by the reproduction module 40 using the filtering module 50 (step (d); 150). The filtering module 50 removes noise by using a low pass filter.

노이즈가 제거된 센싱 데이터는 분석 모듈(60)로 전달되어 사용자에 의한 동작의 유형이 분석된다. 즉, 센싱 데이터의 특징과 패턴을 추출하고 그 특징과 패턴을 이용하여 동작을 인식하는 분석 알고리즘에 의해 분석 모듈(60)에서 사용자의 동작의 유형을 인식하는 단계를 수행하게 된다((e) 단계; 160). The noise-sensed sensing data is transmitted to the analysis module 60 to analyze the type of operation by the user. That is, the analysis module 60 performs the step of recognizing the type of the user's motion by an analysis algorithm that extracts the feature and pattern of the sensing data and recognizes the motion using the feature and pattern (step (e)). ; 160).

필터링 모듈(50)에서 센싱 데이터의 노이즈를 제거하는 필터링 알고리즘과 분석 모듈(60)에서 사용자의 동작의 유형을 인식하는 분석 알고리즘은 개발자에 의해 개발된 프로그램이고, 본 발명에 의해 검증 또는 테스트가 수행되는 대상이 된다.A filtering algorithm for removing noise of sensing data in the filtering module 50 and an analysis algorithm for recognizing a type of a user's operation in the analysis module 60 are programs developed by a developer, and verification or testing is performed by the present invention. To become a target.

분석 모듈(60)은 센싱 데이터의 특성에 따라 적절한 알고리즘에 의해 동작의 유형을 인식한다. 개발자에 의해 미리 설정된 기준 패턴과 센싱 데이터의 패턴을 비교하여 유사한 정도를 이용하여 사용자의 동작의 유형을 판단할 수도 있고, 센싱 데이터가 미리 정해진 범위 내에 있는지 여부를 이용하여 동작의 유형을 판단할 수도 있다. 또한, 단순히 하나의 센서로부터 얻어진 센싱 데이터만을 이용하는 것이 아니라 2개 이상의 센서(1, 2, 3)로부터 얻어진 센싱 데이터를 복합적으로 이용하여 동작의 유형을 판단할 수도 있다.The analysis module 60 recognizes the type of operation by an appropriate algorithm according to the characteristics of the sensing data. The type of the user's motion may be determined using a similar degree by comparing the reference pattern preset by the developer and the pattern of the sensing data, or the type of the motion may be determined using whether the sensing data is within a predetermined range. have. In addition, the type of operation may be determined by using not only the sensing data obtained from one sensor but a combination of the sensing data obtained from two or more sensors 1, 2, and 3.

필터링 알고리즘과 분석 알고리즘이 타당하게 개발된 경우 사용자의 동작의 유형을 정확하게 인식하게 된다.If the filtering and analysis algorithms are reasonably developed, the user's type of operation is accurately recognized.

개발자가 필터링 알고리즘과 분석 알고리즘을 개발하는데 참고할 수 있도록, 필터링 알고리즘 및 분석 알고리즘을 테스트하는 데에 사용된 센싱 데이터의 식별번호, 각 필터링 알고리즘과 분석 알고리즘의 식별번호, 테스트의 결과 등을 컴퓨터 시스템에 의해 자동으로 저장 모듈(20)에 저장하는 단계를 수행된다((i) 단계; 170). 이와 같이 매번 테스트를 수행하는 과정과 관련된 데이터를 저장하여 히스토리를 남겨둠으로써 수없이 여러 번 반복과정을 거치는 테스트 과정에서 인식 효율이 높은 필터링 알고리즘과 분석 알고리즘을 쉽게 선별할 수 있다.To help developers develop filtering and analysis algorithms, the identification numbers of the sensing data used to test the filtering and analysis algorithms, the identification numbers of each filtering and analysis algorithms, and the results of the tests are provided to the computer system. And automatically storing in the storage module 20 (step (i); 170). As such, by storing the data related to the test process each time and leaving the history, it is easy to select a filtering algorithm and an analysis algorithm having high recognition efficiency in the test process that is repeated several times.

다음으로, 모니터 등과 같은 표시 모듈(60)을 통하여 각 센싱 데이터의 시간에 따른 변화를 그래프로 표시하는 단계를 수행한다((j) 단계; 180). 개발자는 표시 모듈(60)을 통해 시각적으로 센싱 데이터의 변화를 파악함으로써 필터링 알고리즘과 분석 알고리즘을 개발하는데 참고할 수 있다.Next, a step of displaying a change over time of each sensing data as a graph through the display module 60 such as a monitor is performed (step (j); 180). The developer may refer to developing the filtering algorithm and the analysis algorithm by visually identifying the change of the sensing data through the display module 60.

동시에, 시스템은 디스플레이 화면을 통해서 필터링 알고리즘과 분석 알고리즘에 의해 사용자의 동작의 유형을 인식한 결과를 표시 모듈(60)을 통하여 표시하는 단계를 수행한다((f) 단계; 190).At the same time, the system performs a step of displaying through the display module 60 the result of recognizing the type of the user's motion by the filtering algorithm and the analysis algorithm through the display screen (step (f); 190).

필터링 알고리즘과 분석 알고리즘에 의해 사용자의 동작의 유형을 인식하는데 성공하였으면 프로그램의 작동은 종료하게 된다(200). 필터링 알고리즘과 분석 알고리즘에 의해 사용자의 동작의 유형을 인식하는데 실패하였으면, 입력 모듈(80)을 통하여 개발자로부터 새로운 필터링 알고리즘과 분석 알고리즘을 입력 받을 수 있도록 대기하게 된다.If it succeeds in recognizing the type of the user's operation by the filtering algorithm and the analysis algorithm, the operation of the program is terminated (200). If it fails to recognize the type of the user's motion by the filtering algorithm and the analysis algorithm, the input module 80 is waiting to receive a new filtering algorithm and analysis algorithm from the developer.

개발자는 표시 모듈(60)을 통하여 표시된 각 센싱 데이터의 변화의 추이와 패턴을 참고하여 필터링 알고리즘과 분석 알고리즘을 수정하고, 수정된 필터링 알고리즘과 분석 알고리즘을 입력 모듈(80)을 통하여 입력한다. The developer modifies the filtering algorithm and the analysis algorithm by referring to the trend and pattern of the change of each sensing data displayed through the display module 60, and inputs the modified filtering algorithm and the analysis algorithm through the input module 80.

즉, 시스템은 입력 모듈(80)을 통하여 새로운 필터링 알고리즘과 분석 알고리즘을 입력 받고, 이를 이용하여 각각 필터링 모듈(50)과 분석 모듈(60)의 필터링 알고리즘과 분석 알고리즘을 갱신하는 단계를 수행한다((g) 단계; 210, 220). 갱신되는 각 필터링 알고리즘과 분석 알고리즘에는 식별번호가 부여되어 있어서, 갱신 전후를 구별할 수 있도록 한다.That is, the system receives a new filtering algorithm and analysis algorithm through the input module 80 and updates the filtering algorithm and analysis algorithm of the filtering module 50 and the analysis module 60 by using the same. (g) step 210, 220). Each filtering algorithm and analysis algorithm to be updated are assigned an identification number to distinguish between before and after the update.

재생 모듈(40)은 다시 센싱 데이터를 재생하는 단계를 수행하고((c) 단계; 140), 필터링 모듈(50)과 분석 모듈(60)은 각각 갱신된 알고리즘에 의해 센싱 데이터를 필터링하고 분석하는 단계를 다시 수행한다((d, e) 단계; 150, 160). The regeneration module 40 performs the step of reproducing the sensing data again (step (c); 140), and the filtering module 50 and the analysis module 60 respectively filter and analyze the sensing data by the updated algorithm. Perform the step again (steps (d, e); 150, 160).

필터링 단계(150)와 분석 단계(160)를 수행한 결과를 저장 모듈(20)에 저장하고(170) 표시 모듈(60)을 통해 표시하는 단계(180)를 다시 수행한다.The result of performing the filtering step 150 and the analyzing step 160 is stored in the storage module 20 (170) and the step 180 of displaying through the display module 60 is performed again.

이와 같이 동작 인식에 실패한 경우, 개발자에 의해 수정된 필터링 알고리즘과 분석 알고리즘으로 필터링 모듈(50)과 분석 모듈(60)을 갱신하여 동작 인식 여부를 테스트하는 과정을 반복함으로써, 사용자의 동작의 유형을 인식하는 프로그램의 개발을 효율적으로 수행할 수 있다.In the case of failing to recognize the motion as described above, the filtering module 50 and the analysis module 60 are updated with the filtering algorithm and the analysis algorithm modified by the developer to test whether the motion is recognized. Developing a recognized program can be carried out efficiently.

상술한 방법으로 필터링 알고리즘과 분석 알고리즘을 테스트하면서 개발하는 경우, 저장 모듈(20)에 저장되어 있는 센싱 데이터를 필요에 따라 다양하게 재생 모듈(40)에 의해 재생하여 사용할 수 있는 장점이 있다. 또한, 저장 모듈(20)에 저장된 센싱 데이터를 이용하므로 특정 센싱 데이터에 대해서 항상 동일한 값으로 출력되도록 재생하는 것이 가능하므로, 갱신된 필터링 알고리즘과 분석 알고리즘이 특정한 센싱 데이터를 인식하는지 여부를 일관성 있게 테스트하는 것이 가능한 장점이 있다.When developing while testing the filtering algorithm and the analysis algorithm in the above-described method, there is an advantage that the sensing data stored in the storage module 20 can be reproduced and used by the reproduction module 40 as needed. In addition, since the sensing data stored in the storage module 20 is used, the data can be reproduced to always output the same value with respect to the specific sensing data, thereby consistently testing whether the updated filtering algorithm and the analysis algorithm recognize the specific sensing data. There are advantages to being possible.

즉, 필터링 알고리즘과 분석 알고리즘을 테스트 할 때마다, 사용자가 특정동작을 실시하고 그 결과를 센서(1, 2, 3)로 센싱하여 테스트하는 것이 아니라, 다양한 경우의 데이터를 저장 모듈(20)에 저장하여 두고, 선택 도구(30)를 이용하여 데이터의 종류를 특정하여 테스트를 수행할 수 있으므로, 개발자의 시행 착오를 줄이고 시간과 노력을 절감할 수 있는 장점이 있다. That is, whenever the filtering algorithm and the analysis algorithm are tested, the user does not perform a specific operation and senses the result by the sensors 1, 2, and 3, and tests the data in various cases in the storage module 20. Since the test can be performed by specifying the type of data by using the selection tool 30, the test tool can reduce trial and error of a developer and save time and effort.

또한, 개발자가 선택 도구(30)를 이용하여 재생 모듈(40)에 의해 재생될 센싱 데이터에 포함될 각 센서(1, 2, 3)의 종류에 따른 데이터를 추가하거나 제외하는 것이 용이하므로 동작 인식 프로그램 개발의 효율을 향상시킬 수 있는 장점이 있다. 예컨데, 사용자의 동작을 인식하는 프로그램을 테스트 함에 있어서, 선택 도구(30)를 이용하여 가속도 센서, 자이로 센서의 센싱 데이터만을 이용하여 테스트를 수행하다가 지자기 센서의 센싱 데이터를 추가하여 테스트하는 것이 쉽게 가능해 진다.In addition, it is easy for a developer to add or exclude data according to the type of each sensor 1, 2, 3 to be included in the sensing data to be reproduced by the reproducing module 40 using the selection tool 30. There is an advantage that can improve the efficiency of development. For example, in testing a program that recognizes a user's motion, it is possible to easily perform the test using only the sensing data of the acceleration sensor and the gyro sensor using the selection tool 30, and then add the sensing data of the geomagnetic sensor. Lose.

이상 본 발명의 바람직한 실시예에 대하여 도면을 참조하여 설명하였으나, 본 발명의 범위가 앞에서 설명하고 도시한 형태로 한정되는 것은 아니다.As mentioned above, although the preferred embodiment of this invention was described with reference to drawings, the scope of the present invention is not limited to the form demonstrated above and shown.

예를 들어, 사용자 별로, 또는 상황 별로 얻어진 센싱 데이터의 조합에 의한 여러 개의 센싱 데이터 세트에 한꺼번에 순차적으로 (c), (d), (e), (f), (i) 단계를 수행하여 그 결과를 분석함으로써, 필터링 모듈(50)과 분석 모듈(60)의 성능을 확률적, 통계적으로 테스트할 수도 있다.For example, steps (c), (d), (e), (f) and (i) may be sequentially performed on several sensing data sets by a combination of sensing data obtained by user or by situation. By analyzing the results, the performance of the filtering module 50 and the analysis module 60 may be tested probabilistically and statistically.

1, 2, 3: 센서 10: 수집 모듈
20: 저장 모듈 30: 선택 도구
40: 재생 모듈 50: 필터링 모듈
60: 분석 모듈 70: 표시 모듈
80: 입력 모듈1, 2, 3: sensor 10: acquisition module
20: storage module 30: selection tool
40: playback module 50: filtering module
60: analysis module 70: display module
80: input module

Claims (10)

(a) 모바일 기기에 설치된 복수의 센서로부터 사용자의 동작에 따른 각 센서의 센싱 데이터를 수집하는 단계;
(b) 상기 (a) 단계에서 수집된 각 센서의 센싱 데이터를 저장 모듈에 저장하는 단계;
(c) 상기 저장 모듈에 저장된 센싱 데이터 중 적어도 하나의 센서에서 수집된 센싱 데이터를 조회(access)하여 재생 모듈에 의해 재생하는 단계;
(d) 필터링 모듈을 이용하여 (c) 단계에서 재생된 센싱 데이터에서 노이즈를 필터링하는 단계;
(e) 상기 (d) 단계에서 필터링된 센싱 데이터를 수신하여 그 센싱 데이터의 특징과 패턴을 추출하고 그 특징과 패턴을 이용하여 동작을 인식하는 분석 알고리즘에 의해 분석 모듈에서 상기 사용자의 동작의 유형을 인식하는 단계; 및
(f) 상기 (e) 단계에서 동작의 유형 인식한 결과를 개발자가 파악할 수 있도록 표시하는 단계;를 포함하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.(a) collecting sensing data of each sensor according to a user's motion from a plurality of sensors installed in the mobile device;
(b) storing the sensing data of each sensor collected in step (a) in a storage module;
(c) accessing the sensing data collected by at least one sensor among the sensing data stored in the storage module and reproducing it by the reproducing module;
(d) filtering noise in the sensed data reproduced in step (c) using a filtering module;
(e) the type of the user's motion in the analysis module by an analysis algorithm that receives the sensing data filtered in step (d), extracts the feature and pattern of the sensed data, and recognizes the motion using the feature and pattern Recognizing; And
(f) displaying the result of the type recognition in the step (e) so that the developer can grasp the motion recognition algorithm using the multi-sensor of the mobile device. 제1항에 있어서,
(g) 상기 (d) 단계의 필터링 알고리즘과 상기 (e) 단계의 분석 알고리즘을중 적어도 하나를 개발자가 제공하는 새로운 필터링 알고리즘과 분석 알고리즘으로 갱신하는 단계;를 더 포함하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method of claim 1,
(g) updating at least one of the filtering algorithm of step (d) and the analysis algorithm of step (e) with a new filtering algorithm and analysis algorithm provided by a developer. Automatic Verification Method of Motion Recognition Algorithm Using Multi Sensors. 제1항 또는 제2항에 있어서,
상기 (a) 단계는, 동작의 유형과 그 동작을 수행하는 사용자와 그 동작을 수행하는 주위 상황에 따라 각 센서별로 센싱 데이터를 수집하고,
상기 (b) 단계는, 동작의 유형과 그 동작을 수행하는 사용자와 그 동작을 수행하는 주위 상황에 따라 각각 식별번호를 부여하여 각 센서별로 상기 센싱 데이터를 상기 저장 모듈에 저장하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method according to claim 1 or 2,
In the step (a), the sensing data is collected for each sensor according to the type of operation, the user performing the operation, and the surrounding situation for performing the operation.
In the step (b), the sensing data is stored in the storage module for each sensor by assigning an identification number according to the type of operation, the user who performs the operation, and the surrounding situation in which the operation is performed. Automatic verification method of motion recognition algorithm using multi-sensor of mobile device. 제3항에 있어서,
(h) 상기 저장 모듈에 저장된 상기 센싱 데이터 중에서 센서의 종류와 동작의 유형과 그 동작을 수행한 사용자와 그 동작을 수행한 주위 상황에 따른 센싱 데이터를 개발자가 선택할 수 있도록 선택 도구를 개발자에게 제공하는 단계;를 더 포함하며,
상기 (c), (d), (e), (f) 단계는, 상기 (h) 단계에서 개발자에 의해 선택된 센싱 데이터를 이용하여 수행하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method of claim 3,
(h) Providing a developer with a selection tool so that the developer can select the sensing data according to the type of sensor and the type of the sensor, the user who performed the operation, and the surrounding situation in which the operation is performed among the sensing data stored in the storage module. Further comprising;
The steps (c), (d), (e), and (f) are performed using the sensing data selected by the developer in the step (h) using a multi-sensor motion recognition algorithm of the mobile device. Automated verification method. 제4항에 있어서,
(i) 상기 (h) 단계에서 개발자에 의해 선택된 센싱 데이터의 식별번호와, 상기 (d) 단계와 (e) 단계에서 각각 사용한 필터링 알고리즘과 분석 알고리즘의 식별번호 및 상기 (e) 단계에 의해 동작의 유형을 인식하였는지 여부를 상기 저장 모듈에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method of claim 4, wherein
(i) the identification number of the sensing data selected by the developer in step (h), the identification number of the filtering and analysis algorithms used in steps (d) and (e), respectively, and the step (e) And storing, in the storage module, whether the type is recognized or not. The automatic recognition method of a motion recognition algorithm using the multi-sensor of the mobile device. 제2항에 있어서,
(j) 개발자가 상기 필터링 알고리즘과 분석 알고리즘을 개발하는 것을 도울수 있도록 각 센싱 데이터의 시간에 따른 변화를 그래프로 표시하는 단계;를 더 포함하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method of claim 2,
(j) graphically displaying a change over time of each sensing data to help a developer develop the filtering algorithm and analysis algorithm. Algorithm automatic verification method. 제3항에 있어서,
상기 동작을 수행하는 주위 상황은, 사용자가 정지 상태에서 동작을 수행하는 상황, 사용자가 보행중에 동작을 수행하는 상황, 사용자가 주행중인 차량에 탑승한 상태에서 동작을 수행하는 상황 중 적어도 하나를 포함하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method of claim 3,
The surrounding situation for performing the operation may include at least one of a situation in which the user performs an operation in a stopped state, a situation in which the user performs an operation while walking, and a situation in which the user performs an operation in a state of being in a driving vehicle. Method for automatically verifying the motion recognition algorithm using a multi-sensor of the mobile device, characterized in that. 제1항에 있어서,
상기 (e) 단계는, 상기 개발자에 설정된 기준패턴과 상기 센싱 데이터로부터 얻어진 데이터 패턴과의 유사 정도를 이용하여 수행하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method of claim 1,
In the step (e), the motion recognition algorithm automatic verification method using the multi-sensor of the mobile device, characterized in that performed using the degree of similarity between the reference pattern set in the developer and the data pattern obtained from the sensing data. 제5항에 있어서,
개발자로부터 상기 (h) 단계의 선택 도구를 이용하여 복수의 센싱 데이터의 조합에 의해 구성되는 센싱 데이터 세트를 다수개 입력 받고,
각 센싱 데이터 세트에 대해 상기 (c), (d), (e), (f), (i) 단계를 순차적으로 수행하는 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.The method of claim 5,
Receiving a plurality of sensing data sets composed of a combination of a plurality of sensing data using the selection tool of step (h) from the developer,
Method (c), (d), (e), (f), (i) is sequentially performed for each sensing data set method for automatically verifying the motion recognition algorithm using a multi-sensor of the mobile device. 제9항에 있어서,
상기 복수의 센서는, 가속도 센서와 중력 센서와 기울기 센서와 자이로 센서와 조도 센서와 카메라와 온도 센서와 지자기 센서 중 적어도 2 개 이상인 것을 특징으로 하는 모바일 기기의 멀티 센서를 이용한 동작 인식 알고리즘 자동 검증 방법.10. The method of claim 9,
The plurality of sensors may include at least two of an acceleration sensor, a gravity sensor, a tilt sensor, a gyro sensor, an illuminance sensor, a camera, a temperature sensor, and a geomagnetic sensor. .
KR1020100136312A 2010-12-28 2010-12-28 Interfacing method of testing motion recognition algorithm for multi sensor mobile device KR101191720B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100136312A KR101191720B1 (en) 2010-12-28 2010-12-28 Interfacing method of testing motion recognition algorithm for multi sensor mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100136312A KR101191720B1 (en) 2010-12-28 2010-12-28 Interfacing method of testing motion recognition algorithm for multi sensor mobile device

Publications (2)

Publication Number Publication Date
KR20120074471A true KR20120074471A (en) 2012-07-06
KR101191720B1 KR101191720B1 (en) 2012-10-16

Family

ID=46708583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100136312A KR101191720B1 (en) 2010-12-28 2010-12-28 Interfacing method of testing motion recognition algorithm for multi sensor mobile device

Country Status (1)

Country Link
KR (1) KR101191720B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580052B1 (en) * 2014-08-06 2015-12-24 한국과학기술원 Apparatus and method for determining user using mobile terminal and depth camera
KR102267250B1 (en) * 2020-09-09 2021-06-22 근로복지공단 Verification system for walking algorithm

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101580052B1 (en) * 2014-08-06 2015-12-24 한국과학기술원 Apparatus and method for determining user using mobile terminal and depth camera
KR102267250B1 (en) * 2020-09-09 2021-06-22 근로복지공단 Verification system for walking algorithm

Also Published As

Publication number Publication date
KR101191720B1 (en) 2012-10-16

Similar Documents

Publication Publication Date Title
US9412035B2 (en) Place-based image organization
US7877734B2 (en) Selective profiling of program code executing in a runtime environment
US20210191971A1 (en) Electronic apparatus for searching related image and control method therefor
EP2725494A1 (en) Automatic testing apparatus for embedded software, automatic testing method thereof and test scenario composing method
KR101312446B1 (en) Analysis apparatus and method for usability of mobile application using user bebavior log
US20130067497A1 (en) Apparatus and method for setting a user-defined pattern for an application
CN111868686B (en) Method for exporting application program and export equipment using the same
CN104915290A (en) Application testing method and device
CN109597755A (en) Detection method, device, storage medium and the electronic equipment that text is shown
US10909224B2 (en) Information processing device, information processing method, and program for tampering detection
CN105224448B (en) The method and apparatus for recording test scene
KR101191720B1 (en) Interfacing method of testing motion recognition algorithm for multi sensor mobile device
CN108509348A (en) A kind of test method and mobile terminal of system aging
CN103713995B (en) Method and apparatus for determining test data
US20180232643A1 (en) Identifying user engagement based upon emotional state
RU2703152C1 (en) System and method of displaying objects movement scheme
CN112783764B (en) Automatic testing method and device for application program, storage medium and terminal
CN106547340A (en) Method, device and the intelligent terminal of web page element are quickly hidden based on gravity sensing
CN109783259A (en) Slow disk detection method and device, storage medium
CN114064510A (en) Function testing method and device, electronic equipment and storage medium
CN106649096B (en) The method and device of change facility information based on automatic test
JP2018502390A (en) stress test
CN111597119A (en) Test script updating method and device, storage medium and processor
US20220129148A1 (en) Representation of user interface interactive regions
JP7354568B2 (en) Detection program, detection method and detection device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151006

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161005

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181010

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191008

Year of fee payment: 8