KR101676176B1 - 사용자 행위를 인식하기 위한 센싱 방법 및 장치 - Google Patents

사용자 행위를 인식하기 위한 센싱 방법 및 장치 Download PDF

Info

Publication number
KR101676176B1
KR101676176B1 KR1020150086671A KR20150086671A KR101676176B1 KR 101676176 B1 KR101676176 B1 KR 101676176B1 KR 1020150086671 A KR1020150086671 A KR 1020150086671A KR 20150086671 A KR20150086671 A KR 20150086671A KR 101676176 B1 KR101676176 B1 KR 101676176B1
Authority
KR
South Korea
Prior art keywords
type
window size
sampling frequency
action
user
Prior art date
Application number
KR1020150086671A
Other languages
English (en)
Inventor
김정선
이진
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020150086671A priority Critical patent/KR101676176B1/ko
Application granted granted Critical
Publication of KR101676176B1 publication Critical patent/KR101676176B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G06K9/00362—
    • H04M1/72563—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

보다 적은 전력을 소모하며 사용자 행위를 인식하기 위한 센싱 방법 및 장치가 개시된다. 개시된 센싱 방법은, 센서에 대한 샘플링 주파수 및 윈도우 사이즈의 초기 값을 설정하는 단계; 상기 윈도우마다, 상기 윈도우에 포함되는 센싱 데이터를 이용하여, 상기 사용자의 행위 종류를 판단하는 단계; 상기 판단 결과를 이용하여, 상기 사용자 행위를 동적 타입 또는 정적 타입으로 결정하는 단계; 및 상기 결정된 행위 타입에 따라, 상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계를 포함하며, 상기 센서는 상기 샘플링 주파수에 따라 상기 센싱 데이터를 생성한다.

Description

사용자 행위를 인식하기 위한 센싱 방법 및 장치{Sensing Method and Device for Recognizing User Activity}
본 발명은 사용자 행위를 인식하기 위한 센싱 방법 및 장치에 관한 것으로, 더욱 상세하게는 보다 적은 전력을 소모하며 사용자 행위를 인식할 수 있는 센싱 방법 및 장치에 관한 것이다.
최근 스마트 디바이스의 발달과 함께 다양한 단말기 센서를 이용하는 기술 및 어플리케이션들이 연구되고 있다. 그 중 사회적으로 유헬스 및 웰니스에 대한 관심이 증가하면서 센서를 이용하여 사용자의 물리적인 행동을 실시간으로 인식하는 연구가 활발하게 이루어지고 있다. 하지만 실시간으로 행동을 인식하기 위해서, 센서를 지속적으로 사용하기 때문에 전력 소모가 증가하는 문제가 있다.
관련 선행문헌으로 대한민국 등록특허 제10-1489619호가 있다.
본 발명은 보다 적은 전력을 소모하며 사용자 행위를 인식하기 위한 센싱 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 사용자 행위를 인식하기 위한 센싱 방법에 있어서, 센서에 대한 샘플링 주파수 및 윈도우 사이즈의 초기 값을 설정하는 단계; 상기 윈도우마다, 상기 윈도우에 포함되는 센싱 데이터를 이용하여, 상기 사용자의 행위 종류를 판단하는 단계; 상기 판단 결과를 이용하여, 상기 사용자 행위를 동적 타입 또는 정적 타입으로 결정하는 단계; 및 상기 결정된 행위 타입에 따라, 상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계를 포함하며, 상기 센서는 상기 샘플링 주파수에 따라 상기 센싱 데이터를 생성하는 센싱 방법을 제공한다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 샘플링 주파수에 따라 센싱 데이터를 생성하는 센서를 이용하여 사용자 행위를 인식하기 위한 센싱 방법에 있어서, 상기 샘플링 주파수 및 윈도우 사이즈 설정 인터페이스를 제공하는 단계; 상기 인터페이스를 통해 사용자로부터 설정 정보를 입력받는 단계; 상기 윈도우마다, 상기 윈도우에 포함되는 상기 센싱 데이터를 이용하여, 상기 사용자의 행위 종류를 판단하는 단계; 상기 판단 결과를 이용하여, 상기 사용자 행위를 동적 타입 또는 정적 타입으로 결정하는 단계; 및 상기 결정된 행위 타입에 따라, 상기 설정 정보를 이용하여 상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계를 포함하는 센싱 방법을 제공한다.
또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 사용자 행위를 인식하기 위한 센싱 장치에 있어서, 샘플링 주파수에 따라 센싱 데이터를 생성하는 가속도 센서; 윈도우마다, 상기 윈도우에 포함되는 상기 센싱 데이터를 이용하여, 상기 사용자의 행위 종류를 판단하는 행위 판단부; 상기 판단 결과를 이용하여, 상기 사용자 행위를 동적 타입 또는 정적 타입으로 결정하는 타입 결정부; 및 상기 결정된 행위 타입에 따라, 상기 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절하는 제어부를 포함하는 센싱 장치를 제공한다.
본 발명에 따르면, 사용자의 행위 타입에 따라 센서에 대한 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 동적으로 조절함으로써, 사용자 행위 인식에 소모되는 전력 소모를 감소시킬 수 있다.
또한 본 발명은 사용자의 동일한 행위를 유지하는 시간에 따라 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절함으로써, 높은 행위 인식률을 제공함과 동시에 불필요한 전력 소모를 방지할 수 있다.
도 1은 본 발명의 일실시예에 따른 사용자 행위를 인식하기 위한 센싱 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 센싱 방법의 상태 기계도를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 사용자 행위를 인식하기 위한 센싱 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 사용자 행위를 인식하기 위한 센싱 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 샘플링 주파수 및 윈도우 사이즈 설정 인터페이스를 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 사용자 행위의 종류를 판단하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 전력 절감 효과를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 사용자 행위 인식 정확도를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명은 저전력으로 사용자의 행위를 인식할 수 있는 센싱 방법 및 장치를 제공한다. 전력 절감을 위해 본 발명은, 센서의 실행 주기를 사용자의 행위 타입에 따라 조절하며, 실행 주기 조절을 위해 센서에 대한 샘플링 주파수(smapling frequency, SF) 및 윈도우 사이즈(window size, WS) 중 적어도 하나를 조절한다.
센서는 샘플링 주파수에 따라 센싱 데이터를 생성하며, 본 발명은 윈도우에 포함된 센싱 데이터를 이용하여 사용자의 행위를 판단한다. 즉, 샘플링 주파수는 단위 시간당 생성되는 센싱 데이터의 개수를 나타낸다. 그리고 윈도우는 사용자의 행위를 결정하는 주기를 나타내며, 윈도우 사이즈는 사용자의 행위를 결정하는데 필요한 센싱 데이터의 개수를 나타낸다. 예를 들어, 샘플링 주파수가 100Hz인 경우 센서는 1초에 100개의 센싱 데이터를 생성한다. 그리고 윈도우 사이즈가 128일 경우, 본 발명은 128개의 센싱 데이터를 이용하여 사용자의 행위를 판단하며, 128개의 센싱 데이터가 생성될 때마다 사용자의 행위를 판단한다.
본 발명은 아래와 같은 전제를 기반으로 한다.
1. 사람은 일정시간동안 하나의 행위를 유지하려는 성향이 강하다.
2. 움직임이 적고 휴식 상태와 동일한 정적인 행위보다 움직임이 활발한 동적인 행위가 더 의미가 있기 때문에, 만약 정적 행위 상태에서 발생하는 동적 행위를 빠르고 정확하게 인식해야한다.
3. 정적인 행위가 유지될 때에는 최소한의 전력을 소모해야한다.
4. 동적인 행위가 유지될 때에도 전력의 소모를 줄여야한다.
한편, 본 발명에 따른 센싱 방법은 실시예에 따라서 프로그램 또는 어플리케이션 형태로 제공될 수 있다. 또한 본 발명에 따른 센싱 장치는 별도의 칩으로 제공되거나 또는 프로세서 및 센서를 탑재한 장치일 수 있으며, 예를 들어 스마트 디바이스 또는 모바일 단말일 수 있다. 그리고 이하에서는 센서가 가속도 센서인 경우가 일실시예로서 설명되나, 실시예에 따라서 다양한 센서가 이용될 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 사용자 행위를 인식하기 위한 센싱 장치를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 센싱 장치(100)는 행위 판단부(110), 타입 결정부(120) 및 제어부(130)를 포함한다. 실시예에 따라서, 센싱 장치는 가속도 센서(140)를 더 포함할 수 있다.
행위 판단부(110)는 윈도우마다, 윈도우에 포함되는 센싱 데이터를 이용하여, 사용자의 행위 종류를 판단한다. 행위 판단부(110)는 센싱 데이터에 포함된 가속도의 크기 및 방향을, 행위 분류 모델과 비교하여 행위 종류를 판단할 수 있다. 이 때, 센싱 데이터는 샘플링 주파수에 따라 센싱 데이터를 생성하는 가속도 센서(140)로부터 제공될 수 있다.
즉, 행위 판단부(110)는 각각의 윈도우에 포함된 센싱 데이터를 이용하여, 윈도우마다 사용자의 행위를 인식하고 종류를 판단한다. 예를 들어, 윈도우 사이즈가 128일 경우 행위 판단부(110)는 최초 128개의 센싱 데이터를 이용하여 사용자의 행위 종류를 판단하고, 다음 128개의 센싱 데이터를 이용하여 사용자의 행위 종류를 판단한다. 즉, 128개의 센싱 데이터를 주기로 사용자의 행위 종류를 판단한다.
타입 결정부(120)는 행위 판단부(110)의 판단 결과를 이용하여, 사용자 행위를 동적 타입(dynamic type) 또는 정적 타입(static type)으로 결정한다. 타입 결정부(120)는 행위 판단부(110)의 판단 결과에 따라 행위 타입(activity type)을 사용자의 움직임이 큰 동적 타입 또는 움직임이 작거나 없는 정적 타입으로 결정할 수 있다. 즉, 사용자의 움직임 정도에 따라 행위 타입은 동적 타입 또는 정적 타입으로 분류될 수 있다.
행위 판단부(110)에 의해 사용자의 행위는, 예를 들어 가만히 있기, 앉기, 서기, 걷기, 뛰기, 계단 오르기 및 계단 내려오기 등으로 판단될 수 있다. 그리고 타입 결정부(120)는 가만히 있기, 앉기, 서기 등을 정적 타입으로 결정하고, 걷기, 뛰기, 계단 오르기 및 계단 내려오기 등은 동적 타입으로 결정할 수 있다. 실시예에 따라서, 동적 타입 또는 정적 타입에 포함되는 행위는 달라질 수 있다.
제어부(130)는 타입 결정부(120)에 의해 결정된 행위 타입에 따라, 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절한다. 일실시예로서, 제어부(130)는 [표 1]과 같이 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절할 수 있다. 이하 동적 타입 및 정적 타입에 따라서, 샘플링 주파수 및 윈도우 사이즈 조절 방법을 설명하기로 한다.
Activity Type SF WS
Static Type 100 Hz 512
100 Hz 256
100 Hz 128
Dynamic Type 100 Hz 128
50 Hz 128
50 Hz 256
50 Hz 512
<동적 타입>
제어부(130)는 동적 행위가 임계 시간 이상 유지되는지 카운팅하고, 동적 행위가 임계 시간 이상 유지되는 경우, 샘플링 주파수를 감소시키거나 또는 윈도우 사이즈를 증가시킬 수 있다. 보다 구체적으로, 제어부(130)는 윈도우마다 카운팅 값을 증가시키며 동적 행위가 임계 시간 이상 유지되는지 여부를 판단한다. 즉, 임계 시간은 샘플링 주파수 및 윈도우 사이즈에 따라 결정될 수 있다.
카운팅 값이 임계값 이상인 경우, 제어부(130)는 샘플링 주파수를 감소시키거나 또는 윈도우 사이즈를 증가시킨다. 이후 카운팅 값을 리셋한 후 다시 윈도우마다 카운팅 값을 증가시켜, 카운팅 값이 임계값 이상인 경우 다시 샘플링 주파수를 감소시키거나 또는 윈도우 사이즈를 증가시킨다.
샘플링 주파수가 클수록 초당 샘플링 횟수가 증가하고, 윈도우 사이즈가 작을수록 행위 인식을 위한 주기 길이가 짧아지므로, 샘플링 주파수가 크고 윈도우 사이즈가 작을 수록 행위 인식률이 좋은 반면 전력 소모는 증가한다.
예를 들어, 사용자의 행위가 100초동안 지속되며, 샘플링 주파수 및 윈도우 사이즈가 각각 100 및 128일 경우, 1.28초마다 행위의 종류가 판단되고 따라서 100초동안 약 78회 정도 행위의 종류가 판단된다. 반면, 샘플링 주파수 및 윈도우 사이즈가 각각 50 및 256일 경우, 약 5초마다 행위의 종류가 판단되고 따라서 100초 동안 약 20회 정도 행위의 종류가 판단된다. 즉, 샘플링 주파수가 크고 윈도우 사이즈가 작을수록 보다 적은 횟수동안 사용자의 행위가 인식되므로 행위 인식률은 떨어지는 반면 전력 소모는 감소할 수 있다.
전술된 전제와 같이, 사람은 하나의 행위를 유지하려는 성향이 강하므로, 제어부(130)는 동적 행위가 지속적으로 유지되는 경우 샘플링 주파수를 감소시키거나 또는 윈도우 사이즈를 증가시킴으로써 전력 소모를 감소시킬 수 있다. 샘플링 주파수 및 윈도우 사이즈의 초기 값이 100, 128로 설정되어 있을 경우, 제어부(130)는 [표 1]과 같이, 샘플링 주파수를 50으로 감소시키고, 동적 행위가 계속 유지될 경우 윈도우 사이즈를 256, 512로 증가시킨다.
<정적 타입>
제어부(130)는 행위 타입이 정적 타입인 경우, 휴식 상태로 진입하여 가속도 센서(140)를 기 설정된 휴식 시간동안 디스에이블시키고, 휴식 상태(sleeping state)로의 진입 횟수를 카운팅한다. 그리고 진입 횟수가 임계값 이상인 경우, 윈도우 사이즈를 감소시킨다. 따라서, 행위 타입이 정적 타입인 경우, 센서는 반복적으로 디스에이블 및 인에이블되며, 휴식 시간 이후 인에이블될 때 센싱 데이터를 생성한다. 행위 판단부(110)는 센서가 인에이블될 때, 센싱 데이터를 이용하여 사용자의 행위 종류를 판단할 수 있다.
보다 구체적으로 제어부(130)는 사용자의 행위가 정적 행위를 연속적으로 유지하는 경우, 윈도우 사이즈를 감소시키며, 진입 횟수가 임계값 이하인 상태에서 사용자의 행위가 동적 행위로 판단될 경우 카운팅 값을 리셋시킨다.
한편, 제어부(130)는 윈도우 사이즈를 이용하여, 휴식 시간을 설정하며, 윈도우 사이즈에 반비례하도록 휴식 시간을 설정할 수 있다. 따라서, 윈도우 사이즈가 감소될수록 휴식 시간은 증가하므로 센서의 전력 소모가 감소될 수 있다. 제어부(130)는 [표 1]과 같이, 윈도우 사이즈를 521, 256 및 128 순으로 감소시킬 수 있다. 윈도우 사이즈가 클수록 전력 소모는 증가하지만 행위 판단부(110)는 보다 많은 데이터를 이용하여 행위를 판단할 수 있으며, 따라서 제어부(130)는 동적 행위를 인식하기 위해 큰 윈도우 사이즈에서 작은 윈도우 사이즈로 윈도우 사이즈를 감소시킨다.
결국, 본 발명에 따르면, 사용자의 행위 타입에 따라 센서에 대한 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 동적으로 조절함으로써, 사용자 행위 인식에 소모되는 전력 소모를 감소시킬 수 있다.
또한 본 발명은 사용자의 동일한 행위를 유지하는 시간에 따라 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절함으로써, 높은 행위 인식률을 제공함과 동시에 불필요한 전력 소모를 방지할 수 있다.
이하, 본 발명에 따른 센싱 장치의 센싱 방법을 도 2 내지 도 5에서 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 센싱 방법의 상태 기계도(state machine)를 나타내는 도면이다.
초기 상태(idel state)에서 센서에 대한 이벤트 리스너(event listener)가 등록되면, 센싱 장치는 액티브 상태(active state)로 진입하여 샘플링 주파수 및 윈도우 사이즈의 초기값을 설정한다. 그리고 샘플링 주파수 및 윈도우 사이즈에 따라 행위 인식률에 차이가 있기 때문에, 행위 분류 모델(classification model)은 샘플링 주파수 및 윈도우 사이즈에 따라 갱신될 수 있다. 행위 분류 모델은 행위 판단부(110)가 사용자의 행위 종류를 판단하기 위한 기준 값으로, 각각의 행위에 대한 가속도 크기 및 방향에 대한 정보를 포함한다.
이후 센싱 장치는 휴식 상태의 카운터를 초기화하고, 센서는 센싱 데이터를 수집(collecting) 즉, 생성한다. 전처리된(preprocessing) 센싱 데이터로부터 가속도 크기 및 방향과 같은 특징(feature)이 추출(extraction)되고 행위 분류 모델과의 비교를 통해 행위 타입이 결정된다.
행위 타입이 동적 타입일 경우 센싱 장치는, 사용자의 동적 행위가 임계 시간 이상 유지되는지를 카운팅하여, 결과에 따라 샘플링 주파수 또는 윈도우 사이즈를 갱신한다. 연속적으로 동적 행위가 유지되지 않을 경우 카운터는 리셋된다.
행위 타입이 정적 타입일 경우 센싱 장치는, 휴식 상태로 진입하여 센서를 기 설정된 휴식 시간동안 비활성화시킨다. 휴식 시간이 종료(expired timer of sleeping)되면, 센서는 활성화되어 센싱 데이터를 수집한다. 사용자의 정적 행위가 지속적으로 유지되어 휴식 상태로 진입한 횟수가 임계값 이상이 되면, 센싱 장치는 윈도우 사이즈를 감소시키고, 휴식 시간을 조절한다. 실시예에 따라서 샘플링 주파수 또한 조절될 수 있다.
즉, 본 발명에 따른 센싱 장치는 윈도우마다 사용자의 행위를 지속적으로 판단하며, 행위 타입의 종류를 결정한다. 이 때, 샘플링 주파수 또는 윈도우 사이즈가 갱신된 경우, 갱신된 샘플링 주파수 또는 윈도우 사이즈에 따라 사용자의 행위를 인식한다. 또한 행위 타입이 정적 타입인 경우, 기 설정된 휴식 시간동안 센서가 비활성화되고 이 때, 센싱 장치는 사용자 행위를 판단하지 않을 수 있다.
도 3은 본 발명의 일실시예에 따른 사용자 행위를 인식하기 위한 센싱 방법을 설명하기 위한 도면이다.
본 발명에 따른 센싱 장치는 센서에 대한 샘플링 주파수 및 윈도우 사이즈의 초기 값을 설정(S310)한다. 예를 들어, 초기 값은 사용자에 의해 설정되거나 [표 1]의 어느 값 하나로 설정되어 있을 수 있다. 그리고 센서는 샘플링 주파수에 따라 센싱 데이터를 생성한다.
센싱 장치는 윈도우마다, 윈도우에 포함되는 센싱 데이터를 이용하여, 사용자의 행위 종류를 판단(S320)하며, 판단 결과를 이용하여, 사용자 행위를 동적 타입 또는 정적 타입으로 결정(S330)한다.
그리고 센싱 장치는 결정된 행위 타입에 따라, 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절(S340)한다. 행위 타입이 동적 타입인 경우, 센싱 장치는 동적 행위가 임계 시간 이상 유지되는지 카운팅하고, 동적 행위가 임계 시간 이상 유지되는 경우, 샘플링 주파수를 감소시키거나 또는 윈도우 사이즈를 증가시킬 수 있다.
행위 타입이 정적 타입인 경우, 센싱 장치는 휴식 상태로 진입하여 센서를 기 설정된 휴식 시간동안 디스에이블, 즉 비활성화시키고, 휴식 상태로의 진입 횟수를 카운팅한다. 그리고 진입 횟수가 임계값 이상인 경우, 윈도우 사이즈를 감소시킬 수 있다. 이 때, 센싱 장치는 윈도우 사이즈를 이용하여, 휴식 시간을 설정하며, 일실시예로서 [수학식 1] 및 [수학식 2]를 이용하여 윈도우 사이즈에 반비례하도록 휴식 시간을 설정할 수 있다.
Figure 112015059094186-pat00001
Figure 112015059094186-pat00002
여기서,
Figure 112015059094186-pat00003
는 샘플링 주파수, n은 윈도우 사이즈, T는 표본 시간을 나타낸다. 그리고 K는 안정된 행위 인식률을 확보할 수 있는 샘플 수, tse는 센싱 시간, tsl은 휴식 시간을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 사용자 행위를 인식하기 위한 센싱 방법을 설명하기 위한 도면이다. 그리고 도 5는 본 발명에 따른 샘플링 주파수 및 윈도우 사이즈 설정 인터페이스(500)를 나타내는 도면이다.
본 발명에 따른 센싱 장치는 샘플링 주파수 및 윈도우 사이즈 설정 인터페이스를 제공(S410)하고, 인터페이스를 통해 사용자로부터 설정 정보를 수신(S420), 즉 입력받는다.
센싱 장치는 윈도우마다, 윈도우에 포함되는 센싱 데이터를 이용하여, 사용자의 행위 종류를 판단(S430)하며, 판단 결과를 이용하여, 사용자 행위를 동적 타입 또는 정적 타입으로 결정(S440)한다. 그리고 결정된 행위 타입에 따라, 설정 정보를 이용하여 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절(S450)한다.
일실시예로서 센싱 장치는 도 5와 같이, 인터페이스(500)를 제공할 수 있다. 사용자는 초기값, 동적 타입 및 정적 타입 항목 별로 주어진 박스에 샘플링 주파수 및 윈도우 사이즈를 입력할 수 있으며, 예를 들어, [표 1]과 같이 샘플링 주파수 및 윈도우 사이즈가 입력될 수 있다. 즉, 설정 정보는 행위 타입에 대한 샘플링 주파수 및 윈도우 사이즈의 조절 규칙 정보이거나 또는 초기값 정보일 수 있다. 즉, 동적 타입 및 정적 타입 항목에는 스텝 별로 샘플링 주파수 및 윈도우 사이즈가 입력될 수 있다.
조절 규칙 정보는 행위 타입이 동적 타입이며 동적 행위가 제1임계시간 이상 유지되는 경우에 대한, 샘플링 주파수의 감소 규칙 또는 윈도우 사이즈의 증가 규칙 정보를 포함할 수 있으며 예를 들어, [표 1]과 같은 규칙일 수 있다. 센싱 장치는 조절 규칙 정보에 따라 샘플링 주파수를 감소시키거나 윈도우 사이즈를 증가시킬 수 있다.
또는 조절 규칙 정보는 행위 타입이 정적 타입이며 정적 행위가 제2임계시간 이상 유지되는 경우에 대한, 윈도우 사이즈의 감소 규칙 정보를 포함할 수 있으며, 예를 들어, [표 1]과 같은 규칙일 수 있다. 센싱 장치는 조절 규칙 정보에 따라 윈도우 사이즈를 감소시킬 수 있다.
이 때, 센싱 장치는 행위 타입이 정적 타입인 경우, 휴식 상태로 진입하여 센서를 기 설정된 휴식 시간동안 디스에이블시키고, 휴식 상태로의 진입 횟수에 따라, 윈도우 사이즈를 감소시킬 수 있다. 그리고, 휴식 시간은 윈도우 사이즈에 반비례할 수 있다.
센싱 장치는, 임계시간 이상 유지되는 횟수가 증가함에 따라 스텝을 증가시키고, 해당 스텝의 박스에 입력된 값을 이용하여 윈도우 사이즈 및 샘플링 주파수를 조절할 수 있다.
실시예에 따라 인터페이스는 샘플링 주파수 및 윈도우 사이즈 각각의 증감 스텝 사이즈를 사용자로부터 입력받도록 제공될 수 있다. 이 때, 센싱 장치는 동적 타입 또는 정적 타입에 따라서, 증감 스텝 사이즈만큼 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절할 수 있다.
센싱 장치는 샘플링 주파수 및 윈도우 사이즈 설정 인터페이스(500)를 사용자에게 제공하고, 인터페이스를 통해 사용자로부터 설정 정보를 입력받는 디스플레이부를 더 포함할 수 있다. 디스플레이부는 터치 디스플레이일 수 있다.
도 6은 본 발명의 일실시예에 따른 사용자 행위의 종류를 판단하는 방법을 설명하기 위한 도면으로서, 도 6에서는, 도 1에서 설명된 행위 판단부(110)의 사용자 행위 종류 판단 방법이 일실시예로서 설명된다.
도 6(a)는 윈도우 사이즈가 128인 경우에, 윈도우마다 사용자의 행위에 대한 가속도 센싱 값을 나타내는 도면으로서, 파란 선은 X축에 대한 가속도 센싱 값, 초록 선은 Y축에 대한 가속도 센싱값, 빨간 선은 Z축에 대한 가속도 센싱 값을 나타낸다. 도 6(b)는 3축(X, Y, Z)에 대한 가속도 센싱 값 및 총 매그니튜드에 대한 정규화된 값을 나타내는 도면이며, 도 6(c)는 정규화된 값에 대한 FFT 결과를 나타내는 도면이다.
도 6(a)에 도시된 바와 같이, 사용자의 행위(앉기, 서기, 걷기, 뛰기, 계단 오르기, 계단 내려오기)에 따라, 3축 별로 가속도 센싱 값에 차이가 발생한다.
행위 판단부(110)는 도 6(b)와 같이. 축별 가속도 센싱 값에 대해 정규화를 수행하는데, 축별로 절대값이 최대인 값을 이용하여 정규화를 수행할 수 있다. 또한 행위 판단부(110)는 축별 가속도 센싱 값의 매그니튜드에 대해 백터 합을 이용하여, 예를 들어, [수학식 3]을 이용하여 총 매그니튜드(Total Magnitude, TM)를 생성하고, 절대값이 최대인 값을 이용하여 정규화를 수행한다.
Figure 112015059094186-pat00004
여기서, Ax, Ay, Az 각각은 X, Y, Z 축의 센싱 값의 매그니튜드를 나타낸다.
그리고 행위 판단부(110)는 도 6(c)와 같이, 정규화된 값에 대해 주파수 분석을 수행한다. 행위 판단부(110)는 FFT를 수행하고 주파수 분석 결과를 행위 분류 모델과 비교하여 행위 종류를 판단할 수 있다. 이 때, 도 6(c)에 도시된 바와 같이, 저주파 성분이 행위의 특징을 가장 잘 나타내고 있으므로, 행위 판단부(110)는 기 설정된 구간에 포함된 저주파 성분을 행위 분류 모델과 비교하여 행위 종류를 판단할 수 있다. 예를 들어, 행위 판단부(110)는 각 축 및 총 매그니튜드 각각에 대한 최초 5개의 FFT 계수(coefficient)를 이용하여 행위 종류를 판단할 수 있다.
실시예에 따라서, 행위 판단부(110)는 총 매그니튜드를 이용하지 않을 수 있으며, 총 매그니튜드가 이용될 경우 보다 정확성이 향상될 수 있다.
도 7은 본 발명에 따른 전력 절감 효과를 설명하기 위한 도면으로서, 네트워크 인터페이스와 디스플레이가 비활성화된 상태인 단말기의 전력 소모량을 나타낸다.
도 7에서 "NO HAR(Human Activity Recognition)"은 사용자 행위 인식 기능을 제공하지 않는 단말기를 나타내며, "Non VaDCA"는 샘플링 주파수가 100Hz, 윈도우 사이즈가 128로 고정된 상태로 사용자 행위 인식 기능을 수행하는 단말기를 나타낸다. 그리고 "VaDCA with dynamic activity type only"는 모든 사용자 행위를 동적 타입으로 가정하여 사용자 행위 인식 기능을 수행하는 단말기를 나타내며, "VaDCA with static activity type only"는 모든 사용자 행위를 정적 타입으로 가정하여 사용자 행위 인식 기능을 수행하는 단말기를 나타낸다. 마지막으로 "VaDCA with daily activities"는 본 발명에 따라서 사용자 행위 인식 기능을 수행하는 단말기를 나타낸다.
도 7에 도시된 바와 같이, "No HAR" 단말기의 전력 소모량이 가장 적으며, "Non VaDCA" 단말기의 전력 소모량이 가장 큰 것을 알 수 있다. 사용자 행위 인식 기능을 제공하는 단말기 중에는 "VaDCA with static activity type only" 단말기의 전력 소모량이 가장 작으며, 휴식 상태로 진입하여 센서가 비활성화되는 경우가 가장 많기 때문이다. 그리고 "VaDCA with daily activities" 단말기의 전력 소모량은 "VaDCA with static activity type only" 단말기보다는 많지만 "VaDCA with dynamic activity type only" 단말기보다는 적다.
본 발명에 따르면, 샘플링 주파수 및 윈도우 사이즈 조절 기능을 제공하지 않는 "NonVaDCA" 단말기와 비교하여, "VaDCA with daily activities" 단말기의 전력 소모량은 약 69% 감소된다. 또한 "VaDCA with static activity type only" 단말기의 전력 소모량은 약 79% 감소되며, "VaDCA with dynamic activity type only" 단말기의 전력 소모량은 약 44% 감소된다.
실시예에 따라서, 본 발명에 따른 센싱 장치는 동적 타입 또는 정적 타입의 경우에만 샘플링 주파수 또는 윈도우 사이즈를 조절할 수 있으며, 사용자의 요청에 따라 동적 타입 또는 정적 타입에서의 샘플링 주파수 또는 윈도우 사이즈 조절 기능을 비활성화할 수 있다.
도 8은 본 발명에 따른 사용자 행위 인식 정확도를 설명하기 위한 도면으로서, 사용자의 실제 행위에 대한 본 발명의 인식 행위를 나타내는 도면이다.
사용자의 실제 행위는 앉기, 서기, 걷기, 뛰기, 계단 오르기 및 계단 내려가기를 포함하며, 각각 100번씩 수행되었을 때의 인식된 행위의 결과를 나타낸다. 평균 92.17%의 정확도를 나타내며, 앉기 및 서기를 정적 타입으로 설정할 경우 정확도는 99.5%로 향상될 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 사용자 행위를 인식하기 위한 센싱 방법에 있어서,
    센서에 대한 샘플링 주파수 및 윈도우 사이즈의 초기 값을 설정하는 단계;
    상기 윈도우마다, 상기 윈도우에 포함되는 센싱 데이터를 이용하여, 상기 사용자의 행위 종류를 판단하는 단계;
    상기 판단 결과를 이용하여, 상기 사용자 행위를 동적 타입 또는 정적 타입으로 결정하는 단계; 및
    상기 결정된 행위 타입에 따라, 상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계를 포함하며,
    상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계는
    상기 행위 타입이 정적 타입인 경우, 휴식 상태로 진입하여 상기 센서를 기 설정된 휴식 시간동안 디스에이블시키는 단계;
    상기 휴식 상태로의 진입 횟수를 카운팅하는 단계; 및
    상기 진입 횟수가 임계값 이상인 경우, 상기 윈도우 사이즈를 감소시키는 단계를 포함하며,
    상기 센서는 상기 샘플링 주파수에 따라 상기 센싱 데이터를 생성하는
    센싱 방법.
  2. 제 1항에 있어서,
    상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계는
    상기 행위 타입이 동적 타입인 경우, 동적 행위가 임계 시간 이상 유지되는지 카운팅하는 단계; 및
    상기 동적 행위가 상기 임계 시간 이상 유지되는 경우, 상기 샘플링 주파수를 감소시키거나 또는 상기 윈도우 사이즈를 증가시키는 단계
    를 포함하는 센싱 방법.
  3. 제 2항에 있어서,
    상기 임계 시간은
    상기 샘플링 주파수 및 상기 윈도우 사이즈에 따라 결정되는
    센싱 방법.
  4. 삭제
  5. 제 1항에 있어서,
    상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계는
    상기 윈도우 사이즈를 이용하여, 상기 휴식 시간을 설정하는 단계
    를 더 포함하는 센싱 방법.
  6. 제 5항에 있어서,
    상기 휴식 시간은 상기 윈도우 사이즈에 반비례하는
    센싱 방법.
  7. 샘플링 주파수에 따라 센싱 데이터를 생성하는 센서를 이용하여 사용자 행위를 인식하기 위한 센싱 방법에 있어서,
    상기 샘플링 주파수 및 윈도우 사이즈 설정 인터페이스를 제공하는 단계;
    상기 인터페이스를 통해 사용자로부터 설정 정보를 입력받는 단계;
    상기 윈도우마다, 상기 윈도우에 포함되는 상기 센싱 데이터를 이용하여, 상기 사용자의 행위 종류를 판단하는 단계;
    상기 판단 결과를 이용하여, 상기 사용자 행위를 동적 타입 또는 정적 타입으로 결정하는 단계; 및
    상기 결정된 행위 타입에 따라, 상기 설정 정보를 이용하여 상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계를 포함하며,
    상기 샘플링 주파수 및 상기 윈도우 사이즈 중 적어도 하나를 조절하는 단계는
    상기 행위 타입이 정적 타입인 경우, 휴식 상태로 진입하여 상기 센서를 기 설정된 휴식 시간동안 디스에이블시키는 단계; 및
    상기 휴식 상태로의 진입 횟수에 따라, 상기 윈도우 사이즈를 감소시키는 단계를 포함하는
    센싱 방법.
  8. 제 7항에 있어서,
    상기 설정 정보는
    상기 행위 타입에 대한 상기 샘플링 주파수 및 윈도우 사이즈의 조절 규칙 정보를 포함하는
    센싱 방법.
  9. 제 8항에 있어서,
    상기 조절 규칙 정보는
    상기 행위 타입이 동적 타입이며 상기 동적 행위가 제1임계시간 이상 유지되는 경우에 대한, 상기 샘플링 주파수의 감소 규칙 또는 상기 윈도우 사이즈의 증가 규칙 정보를 포함하는
    센싱 방법.
  10. 제 8항에 있어서,
    상기 조절 규칙 정보는
    상기 행위 타입이 정적 타입이며 상기 정적 행위가 제2임계시간 이상 유지되는 경우에 대한, 상기 윈도우 사이즈의 감소 규칙 정보를 포함하는
    센싱 방법.
  11. 삭제
  12. 제 7항에 있어서,
    상기 휴식 시간은 상기 윈도우 사이즈에 반비례하는
    센싱 방법.
  13. 사용자 행위를 인식하기 위한 센싱 장치에 있어서,
    샘플링 주파수에 따라 센싱 데이터를 생성하는 가속도 센서;
    윈도우마다, 상기 윈도우에 포함되는 상기 센싱 데이터를 이용하여, 상기 사용자의 행위 종류를 판단하는 행위 판단부;
    상기 판단 결과를 이용하여, 상기 사용자 행위를 동적 타입 또는 정적 타입으로 결정하는 타입 결정부; 및
    상기 결정된 행위 타입에 따라, 상기 샘플링 주파수 및 윈도우 사이즈 중 적어도 하나를 조절하는 제어부를 포함하며,
    상기 제어부는
    상기 행위 타입이 정적 타입인 경우, 휴식 상태로 진입하여 상기 센서를 기 설정된 휴식 시간동안 디스에이블시키고, 상기 휴식 상태로의 진입 횟수에 따라, 상기 윈도우 사이즈를 감소시키는
    를 포함하는 센싱 장치.
  14. 제 13항에 있어서,
    상기 행위 판단부는
    행위 분류 모델과, 상기 센싱 데이터에 포함된 가속도 크기 및 방향을 비교하여, 상기 사용자의 행위 종류를 판단하며,
    상기 행위 분류 모델은 상기 샘플링 주파수 및 상기 윈도우 사이즈에 따라 갱신되는
    센싱 장치.
  15. 제 13항에 있어서,
    상기 센싱 장치는
    상기 샘플링 주파수 및 윈도우 사이즈 설정 인터페이스를 제공하고, 인터페이스를 통해 사용자로부터 설정 정보를 입력받는 디스플레이부를 더 포함하며,
    상기 설정 정보는
    상기 행위 타입에 대한 상기 샘플링 주파수 및 윈도우 사이즈의 조절 규칙 정보를 포함하는
    센싱 장치.
KR1020150086671A 2015-06-18 2015-06-18 사용자 행위를 인식하기 위한 센싱 방법 및 장치 KR101676176B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150086671A KR101676176B1 (ko) 2015-06-18 2015-06-18 사용자 행위를 인식하기 위한 센싱 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150086671A KR101676176B1 (ko) 2015-06-18 2015-06-18 사용자 행위를 인식하기 위한 센싱 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101676176B1 true KR101676176B1 (ko) 2016-11-14

Family

ID=57528481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086671A KR101676176B1 (ko) 2015-06-18 2015-06-18 사용자 행위를 인식하기 위한 센싱 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101676176B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898062A (zh) * 2018-05-31 2018-11-27 电子科技大学 一种基于改进的信号片段提取算法的手部动作识别方法
WO2021137533A1 (en) * 2019-12-30 2021-07-08 Samsung Electronics Co., Ltd. Video sampling method and apparatus using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110022917A (ko) * 2009-08-28 2011-03-08 한국전자통신연구원 사용자 적응형 행위 감지 장치 및 그 방법
KR20130078109A (ko) * 2011-12-30 2013-07-10 삼성전기주식회사 자이로센서 구동회로 및 구동방법
KR20130079885A (ko) * 2012-01-03 2013-07-11 인하대학교 산학협력단 장애물 감지를 위한 휴대용 감지 장치
JP2014115130A (ja) * 2012-12-07 2014-06-26 Hitachi Advanced Systems Corp 移動端末装置及び測位システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110022917A (ko) * 2009-08-28 2011-03-08 한국전자통신연구원 사용자 적응형 행위 감지 장치 및 그 방법
KR20130078109A (ko) * 2011-12-30 2013-07-10 삼성전기주식회사 자이로센서 구동회로 및 구동방법
KR20130079885A (ko) * 2012-01-03 2013-07-11 인하대학교 산학협력단 장애물 감지를 위한 휴대용 감지 장치
JP2014115130A (ja) * 2012-12-07 2014-06-26 Hitachi Advanced Systems Corp 移動端末装置及び測位システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898062A (zh) * 2018-05-31 2018-11-27 电子科技大学 一种基于改进的信号片段提取算法的手部动作识别方法
CN108898062B (zh) * 2018-05-31 2021-12-10 电子科技大学 一种基于改进的信号片段提取算法的手部动作识别方法
WO2021137533A1 (en) * 2019-12-30 2021-07-08 Samsung Electronics Co., Ltd. Video sampling method and apparatus using the same
US11790655B2 (en) 2019-12-30 2023-10-17 Samsung Electronics Co., Ltd. Video sampling method and apparatus using the same

Similar Documents

Publication Publication Date Title
US11561621B2 (en) Multi media computing or entertainment system for responding to user presence and activity
CN103455170B (zh) 一种基于传感器的移动终端运动识别装置及方法
EP3203712B1 (en) Thermal control device and method
US10286548B2 (en) Robot control system and recording medium
US8849605B2 (en) Method and apparatus for sensor based pedestrian motion detection in hand-held devices
WO2015036245A1 (en) Fall detection system and method
CN106510720B (zh) 一种用户状态的提示方法及装置
CN110335593B (zh) 语音端点检测方法、装置、设备及存储介质
KR101676176B1 (ko) 사용자 행위를 인식하기 위한 센싱 방법 및 장치
CN108509225B (zh) 一种信息处理方法及电子设备
CN106126177A (zh) 一种目标声音的音量调节系统及方法
US20230233794A1 (en) Deep learning-based sleep assistance system through optimization of ultradian rhythm
WO2023029503A1 (zh) 监测睡眠状态的方法、装置、电子设备和存储介质
CN107016996B (zh) 一种音频数据的处理方法及装置
KR20150021842A (ko) 시스템 사용성 증진 장치, 방법 및 휴대 기기
JP6031972B2 (ja) 知覚反応分析装置，その方法及びプログラム
JP2011156132A (ja) モード識別装置、モード識別方法、およびプログラム
KR20190058289A (ko) 적응형 저역 통과 필터를 사용하여 오디오에서 호흡 속도를 검출하는 기법
JP2013202101A (ja) 無呼吸状態判定装置，無呼吸状態判定方法，及び無呼吸状態判定プログラム
CN107122767B (zh) 一种基于信息熵的人体活动端点检测方法
CN108937852B (zh) 一种智能计步运算方法
CN106021086A (zh) 一种自动识别沉迷应用的方法、装置及终端设备
CN111814523A (zh) 人体活动识别方法及装置
JP2020154922A (ja) サービス提供装置、決済情報処理装置、および、サービス提供方法
KR102377920B1 (ko) 수면 힐링 서비스 제공 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4