KR101773140B1

KR101773140B1 - 식사 시간 산출 방법 및 장치

Info

Publication number: KR101773140B1
Application number: KR1020160099373A
Authority: KR
Inventors: 조위덕; 박경찬; 최선탁
Original assignee: 아주대학교산학협력단
Priority date: 2016-04-29
Filing date: 2016-08-04
Publication date: 2017-08-30
Also published as: US10755597B2; US20170316715A1

Abstract

손목 가속도 산출부가, 중력 가속도를 기준으로 하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값인 손목 가속도 변동값을 산출하는 단계, 손목 각도 산출부가, 손목 가속도 변동값을 이용하여, 중력 방향을 기준으로 사용자의 손목까지의 각도의 변동값인 손목 각도 변동값을 산출하는 단계, 식사 행위 후보 패턴 검출부가, 손목 각도 변동값에 하나 이상의 임계값을 적용하여 소정의 기준에 따라 식사 행위 후보 패턴을 검출하는 단계 및 식사 시간 산출부가, 식사 행위 후보 패턴의 발생 횟수에 기초하여 식사 시간을 산출하는 단계를 포함하는, 식사 시간 산출 방법 및 장치에 관한 것이다.

Description

식사 시간 산출 방법 및 장치{METHOD AND APPARATUS FOR CACULATING MEAL TIME}

본 발명의 실시예들은 중력 가속도를 기준으로 측정된 사용자의 손목 움직임에 대한 가속도의 변동값을 이용하여 식사 시간을 산출하는 식사 시간 산출 방법 및 장치에 관한 것이다.

최근 스마트 폰을 비롯한 각종 스마트 기기들이 발달함에 따라, 이러한 스마트 기기들과 연동하거나 독자적으로 구동하는 웨어러블 디바이스(wearable device)에 대한 관심이 날이 갈수록 증대되고 있다. 이러한 관심의 증대는 웨어러블 디바이스의 보급률 향상에 직접적인 영향을 미치고 있으며, 이렇듯 웨어러블 디바이스의 보급률이 높아짐과 동시에 웨어러블 디바이스에 대한 접근성이 개선되어 이를 이용한 다양한 연구들이 진행되고 있다.

웨어러블 디바이스는 사용자가 항상 휴대하게 되며, 특히나 사용자의 신체 일부에 장착되어 사용될 수 있으며, 이러한 웨어러블 디바이스에는 가속도 센서, 자이로 센서를 비롯한 다양한 센서가 내장되어 있기 때문에 일상생활을 영위하는 사용자의 움직임 정보를 비롯한 각종 정보를 지속적으로 받아올 수 있다는 장점이 있다.

이러한 웨어러블 디바이스를 활용하여, 사용자의 식사 시간을 비롯한 각종 식사 습관을 판단하는 방법들이 연구되어 왔으나, 이러한 방법들은 복수 개의 센서를 복합적으로 사용하여야 했기 때문에, 알고리즘이 복잡해지고, 웨어러블 디바이스의 비용이 증가하는 문제가 있어 왔다.

한편, 웨어러블 디바이스를 활용하여, 사용자의 식사 시간을 비롯한 각종 식사 습관을 판단하기 위하여, 하나의 센서를 이용하는 경우, 그 판단의 정확도가 떨어지는 문제가 있어 왔다.

따라서, 가속도 센서만을 활용하여, 사용자의 식사 시간을 비롯한 각종 식사 습관을 파악할 수 있는 식사 시간 산출 방법 및 장치가 필요한 실정이다.

한국 등록특허공보 제10-0981137호(2010.09.02)

본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 손목에 착용하는 장치를 활용하여, 사용자의 식사 시간을 보다 정확하게 산출하기 위한 것이다.

또한, 본 발명의 목적은, 하나의 센서만을 이용해서 사용자의 식사 시간을 산출함으로써, 복수 개의 센서를 이용하는 경우에 비해 그 비용을 절감할 수 있도록 하기 위한 것이다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 식사 시간 산출 방법은, 손목 가속도 산출부가, 중력 가속도를 기준으로 하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값인 손목 가속도 변동값을 산출하는 단계, 손목 각도 산출부가, 손목 가속도 변동값을 이용하여, 중력 방향을 기준으로 사용자의 손목까지의 각도의 변동값인 손목 각도 변동값을 산출하는 단계, 식사 행위 후보 패턴 검출부가, 손목 각도 변동값에 하나 이상의 임계값을 적용하여 소정의 기준에 따라 식사 행위 후보 패턴을 검출하는 단계 및 식사 시간 산출부가, 식사 행위 후보 패턴의 발생 횟수에 기초하여 식사 시간을 산출하는 단계를 포함한다.

일 실시예에 따라, 사용자의 손목 움직임에 대한 가속도는 3축의 가속도 센서를 이용하여 측정되며, 손목 가속도 변동값을 산출하는 단계는, 손목 가속도 산출부가, 가속도 센서의 3축 중에서 한 개 축이 지면을 향하도록 위치시킨 초기 상태에서, 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 측정하는 단계, 손목 가속도 산출부가, 측정된 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 이용하여, 가속도 센서의 3축 중 한 개 축과 중력 방향간의 초기 각도를 산출하는 단계, 손목 가속도 산출부가, 산출된 초기 각도를 이용하여, 가속도 센서의 3축 각각에서 실시간으로 측정되는 중력 가속도를 중력 방향을 기준 축으로 하는 3축인 중력 3축에 대한 중력 가속도인 변환 중력 가속도로 변환하는 단계 및 손목 가속도 산출부가, 사용자의 손목 움직임에 대응하여 변동되는 기준 축에 대응되는 변환 중력 가속도의 변동값을 손목 가속도 변동값으로 산출하는 단계를 포함한다.

예컨대, 손목 가속도 변동값을 산출하는 단계는, 손목 가속도 산출부가, 사용자의 손목 움직임에 대한 가속도의 변동값 중 기설정된 길이보다 짧은 주기를 가지는 사용자의 손목 움직임에 대한 가속도의 변동값을 제거한 변형 손목 가속도 변동값을 산출하는 단계를 더 포함하며, 손목 각도 변동값을 산출하는 단계는 변형 손목 가속도 변동값에 기초하여 수행될 수 있다.

예를 들어, 손목 가속도 산출부는, 저역통과필터(Low Pass Filter, LPF)를 이용하여, 기설정된 길이보다 짧은 주기를 가지는 사용자의 손목 움직임에 대한 가속도의 변동값을 제거하는 것을 특징으로 한다.

일 실시예에 따라, 손목 각도 변동값을 산출하는 단계에서, 손목 각도 산출부는, 손목 가속도 변동값을 정규화한 정규화 손목 가속도 변동값을 산출한 뒤, 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 손목 각도 변동값을 산출하는 것을 특징으로 한다.

예컨대, 식사 행위 후보 패턴을 검출하는 단계에서, 하나 이상의 임계값은 제1임계값과 제1임계값보다 큰 각도값인 제2임계값을 포함하며, 식사 행위 후보 패턴 검출부는, 손목 각도 변동값이 제1임계값보다 작은 각도값에서 시작하여, 제2임계값보다 큰 각도값으로 상승한 후, 손목 각도 변동값이, 제2임계값보다 큰 각도값에서 시작하여 제1 임계값보다 작은 각도값으로 하강하는 패턴을 식사 행위 후보 패턴으로 검출하는 것을 특징으로 한다.

일 실시예에 따라, 식사 행위 후보 패턴은, 제1임계값보다 작은 각도값인 최저 한계값과 제2임계값보다 큰 각도값인 최대 한계값 사이의 각도값을 가지는 것을 특징으로 한다.

예컨대, 식사 시간을 산출하는 단계는, 식사 시간 산출부가, 식사 행위 후보 패턴의 발생 횟수를 누적하여 식사 행위 후보 패턴에 대한 누적 결과를 산출하는 단계, 식사 시간 산출부가, 누적 결과에서, 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수 이상 발생하는 경우를 사용자의 상기 전체 식사 행동의 일부분인 부분 식사 행동으로 판단하는 단계 및 식사 시간 산출부가, 판단된 사용자의 부분 식사 행동을 포함하는 전체 식사 행동을 판단하고, 전체 식사 행동의 총 지속시간을 식사 시간으로 산출하는 단계를 포함한다.

예를 들어, 식사 시간으로 산출하는 단계에서, 식사 시간 산출부는, 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간을 산출된 식사 시간에 더 추가하여 보정 식사 시간을 산출하는 것을 특징으로 한다.

상기한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 식사 시간 산출 장치는, 중력 가속도를 기준으로 하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값인 손목 가속도 변동값을 산출하는 손목 가속도 산출부, 손목 가속도 변동값을 이용하여, 중력 방향을 기준으로 사용자의 손목까지의 각도의 변동값인 손목 각도 변동값을 산출하는 손목 각도 산출부, 손목 각도 변동값에 하나 이상의 임계값을 적용하여 소정의 기준에 따라 식사 행위 후보 패턴을 검출하는 식사 행위 후보 패턴 검출부 및 식사 행위 후보 패턴의 발생 횟수에 기초하여 식사 시간을 산출하는 식사 시간 산출부를 포함한다.

예컨대, 본 발명의 실시예에 따른 식사 시간 산출 장치는 사용자의 손목 움직임에 대한 가속도를 측정하는 3축의 가속도 센서를 더 포함하며, 손목 가속도 산출부는, 가속도 센서의 3축 중에서 한 개 축이 지면을 향하도록 위치시킨 초기 상태에서, 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 측정하고, 측정된 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 이용하여, 가속도 센서의 3축 중 한 개 축과 중력 방향간의 초기 각도를 산출하고, 산출된 초기 각도를 이용하여, 가속도 센서의 3축 각각에서 실시간으로 측정되는 중력 가속도를 중력 방향을 기준 축으로 하는 3축인 중력 3축에 대한 중력 가속도인 변환 중력 가속도로 변환하고, 사용자의 손목 움직임에 대응하여 변동되는 기준 축에 대응되는 변환 중력 가속도의 변동값을 손목 가속도 변동값으로 산출하는 것을 특징으로 한다.

예컨대, 손목 가속도 산출부는, 사용자의 손목 움직임에 대한 가속도의 변동값 중 기설정된 길이보다 짧은 주기를 가지는 사용자의 손목 움직임에 대한 가속도의 변동값을 제거한 변형 손목 가속도 변동값을 산출하고, 손목 각도 산출부는 변형 손목 가속도 변동값에 기초하여 손목 각도 변동값을 산출하는 것을 특징으로 한다.

일 실시예에 따라, 손목 가속도 산출부는, 저역통과필터(Low Pass Filter, LPF)를 이용하여, 기설정된 길이보다 짧은 주기를 가지는 사용자의 손목 움직임에 대한 가속도의 변동값을 제거하는 것을 특징으로 한다.

일 실시예에 따라, 손목 각도 산출부는, 손목 가속도 변동값을 정규화한 정규화 손목 가속도 변동값을 산출한 뒤, 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 손목 각도 변동값을 산출하는 것을 특징으로 한다.

예컨대, 하나 이상의 임계값은 제1임계값과 상기 제1임계값보다 큰 각도값인 제2임계값을 포함하며, 식사 행위 후보 패턴 검출부는, 손목 각도 변동값이 제1임계값보다 작은 각도값에서 시작하여, 제2임계값보다 큰 각도값으로 상승한 후, 손목 각도 변동값이, 제2임계값보다 큰 각도값에서 시작하여 제1 임계값보다 작은 각도값으로 하강하는 패턴을 식사 행위 후보 패턴으로 검출하는 것을 특징으로 한다.

예를 들어, 식사 행위 후보 패턴은, 제1임계값보다 작은 각도값인 최저 한계값과 제2임계값보다 큰 각도값인 최대 한계값 사이의 각도값을 가지는 것을 특징으로 한다.

일 실시예에 따라, 식사 시간 산출부는, 식사 행위 후보 패턴의 발생 횟수를 누적하여 식사 행위 후보 패턴에 대한 누적 결과를 산출하고, 누적 결과에서, 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수 이상 발생하는 경우를 사용자의 전체 식사 행동의 일부분인 부분 식사 행동으로 판단하고, 판단된 사용자의 부분 식사 행동을 포함하는 전체 식사 행동을 판단하고, 전체 식사 행동의 총 지속시간을 식사 시간으로 산출하는 것을 특징으로 한다.

일 실시예에 따라, 식사 시간 산출부는, 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간을 산출된 식사 시간에 더 추가하여 보정 식사 시간을 산출하는 것을 특징으로 한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.

본 발명의 일 실시예에 따르면, 손목에 착용하는 장치를 활용하여, 사용자의 식사 시간을 보다 정확하게 산출할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 하나의 센서만을 이용해서 사용자의 식사 시간을 산출함으로써, 복수 개의 센서를 이용하는 경우에 비해 그 비용을 절감할 수 있다.

나아가, 본 발명의 일 실시예에 따르면, 중력의 방향과 손목의 방향 간의 각도를 측정함으로써, 사용자의 식사 시간을 산출할 수 있고, 운동 가속도 성분이 없고 불규칙적인 행동들의 인식 모델을 설계하는 데 적용할 수 있다.

도 1은 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치의 동작 원리를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치가 식사 시간을 산출하기 위해 활용되는 식사 시 손목의 각도 범위를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른, 식사 시간 산출 장치를 설명하기 위한 구성도이다.
도 4는 본 발명의 실시예에 따른, 식사 시간 산출 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 가속도 변동값 산출 단계를 설명하기 위한 순서도이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 중력 가속도 및 중력 3축에 대한 중력 가속도를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 가속도 변동값 산출 단계에서 변형 손목 가속도 변동값을 산출하는 특징을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 각도 변동값 산출 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 가속도 변동값과 손목 각도 변동값의 관계를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 식사 행위 후보 패턴 검출 단계를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 식사 행위 후보 패턴 검출 단계를 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 식사 시간 산출 단계를 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 식사 시간 산출 단계를 설명하기 위한 순서도이다.
도 14a 및 도 14b는 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치에 따라 산출된 식사 시간을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치에서 식사 시간 산출의 정확도를 설명하기 위한 도면이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하, 본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.

도 1은 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치의 동작 원리를 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치가 식사 시간을 산출하기 위해 활용되는 식사 시 손목의 각도 범위를 설명하기 위한 도면이다.

도 1을 참조하면, 식사 시간 동안 발생하는 식사 동작은 크게 3가지로 구분될 수 있다.

예컨대, 식사 시간 동안 발생되는 총 3가지의 식사 동작은 식사 시작 동작인 식기로부터 음식물을 입에 가져가는 행동, 식사 종료 동작인 테이블에 손을 얹는 행동 및 반찬 집기 동작일 수 있다.

이러한 식사 동작들은 식사를 하는 사람들의 식사 습관에 따라 일부 차이가 있을 수 있으나, 도 2에 도시된 바와 같이, 중력 방향을 기준(0도)으로 하여 식사 시 손목의 각도 범위는 70도 내지 150도에서 나타날 수 있다.

일 실시예에 따라, 사용자의 식사습관, 손의 떨림 등으로 인해 나타나는 오차를 보정하기 위해, 본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치는 기설정된 오차범위를 이용하여 식사 시간을 산출할 수 있다.

예컨대, 기설정된 오차범위는 20도일 수 있다.

여기서, 본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치는 식사 시간 동안 발생하는 중력 방향을 기준으로 한 식사 시 손목의 각도 범위를 이용하여 식사 행위 후보 패턴을 검출한 뒤, 검출된 식사 행위 후보 패턴의 발생 횟수를 누적하여 식사 행위 후보 패턴의 반복 횟수가 기설정된 조건을 만족하는 경우를 통해 식사 시간을 검출할 수 있다.

따라서, 본 발명의 실시예에 따른 식사 시간 산출 장치는 사용자의 손목에 착용되어 식사 시간 동안 발생하는 중력 방향을 기준으로 한 식사 시 손목의 가속도 및 각도를 각각 산출하게 되는 것이다.

일 실시예에 따라, 식사 행위 후보 패턴은 도 1에 도시된 식사 시작 동작인 식기로부터 음식물을 입에 가져가는 행동으로부터 식사 종료 동작인 테이블에 손을 얹는 행동까지의 일련의 과정이 1회 진행된 패턴을 의미할 수 있다.

예컨대, 식사 시간은 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수만큼 반복되는 부분 식사 행동을 하나 이상 포함하는 전체 식사 행동의 총 지속시간을 의미할 수 있다.

바람직하게는, 본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치는 다음과 같은 가정을 만족하는 경우 이상적으로 동작할 수 있으나, 본 발명은 이에 한정되지 않는다.

첫 번째 가정은, 식사 행동을 하는 중 손목의 운동 가속도 성분은 없다는 것이다. 두 번째 가정은, 식사 행동은 수저, 포크, 나이프를 비롯한 각종 식기를 이용하여 이루어진다는 것이다. 세 번째 가정은, 사용자는 각종 식기를 올바른 파지법으로 사용한다는 것이다.

본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치는 상술한 가정을 만족한 조건에서 구동할 수 있으나, 상술한 가정을 만족하지 않는 상황에서도 마찬가지로 식사 시간을 산출할 수도 있다.

이제, 도 3 내지 도 15를 참조하여 본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치를 설명하도록 한다.

도 3은 본 발명의 실시예에 따른, 식사 시간 산출 장치를 설명하기 위한 구성도이다.

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 식사 시간 산출 장치는 손목 가속도 산출부(100), 손목 각도 산출부(200), 식사 행위 후보 패턴 검출부(300) 및 식사 시간 산출부(400)를 포함할 수 있다.

일 실시예에 따라, 본 발명의 실시예에 따른 식사 시간 산출 장치는 가속도 센서(미도시)를 더 포함할 수도 있다.

가속도 센서(미도시)는 x축, y축 및 z축의 총 3개의 축 각각에 대해 중력 가속도를 기준으로 한 사용자의 손목 움직임에 대한 가속도를 측정할 수 있다.

손목 가속도 산출부(100)는 중력 가속도를 기준으로 하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값인 손목 가속도 변동값을 산출할 수 있다.

일 실시예에 따라, 손목 가속도 산출부(100)는 가속도 센서(미도시)를 포함할 수도 있다.

손목 각도 산출부(200)는 손목 가속도 변동값을 이용하여, 중력 방향을 기준으로 사용자의 손목까지의 각도의 변동값인 손목 각도 변동값을 산출할 수 있다.

식사 행위 후보 패턴 검출부(300)는 손목 각도 변동값에 하나 이상의 임계값을 적용하여 소정의 기준에 따라 식사 행위 후보 패턴을 검출할 수 있다.

식사 시간 산출부(400)는 식사 행위 후보 패턴의 발생 횟수에 기초하여 식사 시간을 산출할 수 있다.

본 발명의 실시예에 따른 식사 시간 산출 장치의 각각의 구성들에 대한 구체적인 설명은 이하, 도 4 내지 도 15를 참조하여 상세히 설명하도록 하며, 중복되는 설명은 생략한다.

도 4는 본 발명의 실시예에 따른, 식사 시간 산출 방법을 설명하기 위한 순서도이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른, 식사 시간 산출 방법은 손목 가속도 변동값 산출 단계(S100), 손목 각도 변동값 산출 단계(S200), 식사 행위 후보 패턴 검출 단계(S300) 및 식사 시간 산출 단계(S400)를 포함할 수 있다.

단계 S100에서 손목 가속도 산출부(100)는 가속도 센서(미도시)가 중력 가속도를 기준으로 하여 측정한 사용자의 손목 움직임에 대한 가속도의 변동 값인 손목 가속도 변동값을 산출한다.

일 실시예에 따라, 단계 S100에서, 본 발명의 실시예에 따른 식사 시간 산출 장치는 사용자 손목에 착용한 3축의 가속도 센서(미도시)를 이용하여, 사용자 손목의 움직임에 대응하여 사용자 손목에 대해 중력 방향을 기준으로 가해지는 중력 가속도의 변동 값인 손목 가속도 변동값을 산출할 수 있다.

이때, 사용자가 식사 행동을 하기에 앞서, 지면 쪽으로 손목을 내려 손목을 중력 방향과 일치하도록 위치시키는 경우에는 사용자의 손목에 중력 가속도가 온전히 모두 가해지므로 손목에 가해지는 중력 가속도인 손목 가속도는 1G이라 할 수 있다.

이어서, 사용자가 식사 행동을 시작하여, 음식을 입에 넣기 위해 입가쪽으로 식기를 서서히 이동시키게 되면 손목에 가해지는 중력 가속도도 서서히 줄어들어 손목 가속도가 점점 감소하다가 어느 순간부터는 손목 가속도가 마이너스로 나타나게 된다.

사용자가 음식을 입에 넣으면서 손목 동작을 멈추게 되면 그 손목 위치에 해당하는 마이너스의 중력 가속도 값을 유지하게 된다. 이와 같이, 본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치에서는 시간에 따른 사용자의 손목 움직임에 대응하여 변동되는 손목 가속도 값을 손목 가속도 변동값이라고 하고, 이에 기초하여 식사 시간을 산출하게 된다.

일 실시예에 따라, 단계 S100에서 손목 가속도 산출부(100)는 가속도 센서(미도시)의 3축(x, y, z축)인 센서 3축 중에서 한개 축이 지면을 향하도록 위치시킨 초기 상태에서 산출되는 센서 3축 중 한개 축과 중력 방향간의 각도인 초기 각도의 변동에 기초하여 손목 가속도 변동 값을 산출할 수 있다.

예컨대, 단계 S100에서 손목 가속도 산출부(100)는 사용자의 손목에 착용된 3축의 가속도 센서(미도시)에서 x축 방향이 지면을 향하도록 위치시킨 초기 상태에서 x축과 중력 방향간의 초기 각도를 산출하고, 그 산출된 초기 각도의 변동에 기초하여 손목 가속도 변동값을 산출할 수 있으며, 손목 가속도 변동값 산출 단계(S100)에서 손목 가속도 산출부(100)가 손목 가속도 변동값을 산출하는 구체적인 방법은 이하 도 5를 참조하여 후술하도록 한다.

이제, 단계 S100에서 변형 손목 가속도 변동값을 이용하는 경우를 도 4 및 도 7을 동시에 참조하여 설명한다.

도 7은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 가속도 변동값 산출 단계에서 변형 손목 가속도 변동값을 산출하는 특징을 설명하기 위한 도면이다.

일 실시예에 따라, 단계 S100에서 손목 가속도 산출부(100)는 가속도 센서(미도시)가 중력 가속도를 기준으로 하여 측정한 사용자의 손목 움직임에 대한 가속도의 변동값을 변형한 변형 손목 가속도 변동값 산출할 수 있다.

이 경우, 손목 가속도 산출부(100)는 사용자의 손목 움직임에 대한 가속도의 변동값 중 기설정된 길이보다 짧은 주기를 가지는 사용자의 손목 움직임에 대한 가속도의 변동값을 제거한 변형 손목 가속도 변동값을 산출할 수 있으며, 손목 가속도 산출부(100)가 변형 손목 가속도 변동값을 산출하는 경우, 단계 S200은 산출된 변형 손목 가속도 변동값에 기초하여 수행될 수 있다.

이 때, 단계 S100에서 손목 가속도 산출부(100)가 변형 손목 가속도 변동값을 산출하는 이유는, 중력 가속도를 기준으로 하여 측정한 사용자의 손목 움직임에 대한 가속도의 변동값에서 노이즈를 제거한 변형 손목 가속도 변동값을 활용하기 위함이다.

이 때, 중력 가속도를 기준으로 하여 측정한 사용자의 손목 움직임에 대한 가속도의 변동값에서 노이즈는, 사용자가 본 발명의 실시예에 따른 식사 시간 산출 장치를 착용하고 식사 행동을 제외한 다른 행동을 하는 경우에 발생하게 된다.

이 때, 노이즈는 걷기 및 뛰기와 같은 짧은 주기를 갖는 행동들로부터 발생하며, 단계 S100에서 손목 가속도 산출부(100)는 변형 손목 가속도 변동값을 산출하기 위하여, 기설정된 길이보다 짧은 주기를 가지는 사용자의 손목 움직임에 대한 가속도의 변동값을 제거할 수 있다.

일 실시예에 따라, 단계 S100에서 손목 가속도 산출부(100)는 변형 손목 가속도 변동값을 산출하기 위하여, 중력 가속도를 기준으로 하여 가속도 센서(미도시)의 각각의 3축 각각에 대하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값에 저역통과필터(Low Pass Filter, LPF)를 적용하여, 기설정된 길이보다 짧은 주기를 가지는 사용자의 손목 움직임에 대한 가속도의 변동값을 제거할 수 있으며, 3축 각각에 대하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값에 저역통과필터(Low Pass Filter, LPF)를 적용한 결과는 도 7에 도시된 바와 같이 x축, y축 및 z축 각각에 대한 시간에 따른 가속도값으로 나타날 수 있다.

이제, 단계 S200을 도 4, 도 8 및 도 9를 동시에 참조하여 설명하도록 한다.

도 8은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 각도 변동값 산출 단계를 설명하기 위한 도면이다. 도 9는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 가속도 변동값과 손목 각도 변동값의 관계를 설명하기 위한 도면이다.

단계 S200에서 손목 각도 산출부(200)는 단계 S100에서 산출된 손목 가속도 변동값을 이용하여, 중력 방향을 기준으로 사용자의 손목까지의 각도의 변동값인 손목 각도 변동값을 산출할 수 있다.

도 9에 도시된 바와 같이, 중력 방향을 기준으로 할 때, 손목 가속도 변동값과 손목 각도 변동값은 서로 코사인 역함수의 관계에 놓이게 된다.

따라서, 단계 S200에서 손목 각도 산출부(200)는 손목 가속도 변동값을 정규화한 정규화 손목 가속도 변동값을 산출한 뒤, 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 손목 각도 변동값을 산출할 수 있다.

일 실시예에 따라, 손목 가속도 변동값이 m/s²의 단위로 측정되는 경우, 단계 S200에서 손목 각도 산출부(200)는 손목 가속도 변동값(w)을 1G(약, 9.8 m/s2)로 나누어 정규화하여, 정규화 손목 가속도 변동값을 산출한 뒤, 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 손목 각도 변동값을 산출할 수 있으며, 그 구체적인 방법은 아래 수학식 1과 같이 나타난다.

[수학식 1]

여기서,

는 손목 각도 변동값, w는 손목 가속도 변동값이다.

일 실시예에 따라, 디지털 시스템으로 구현된 가속도 센서(미도시)는 가속도를 기설정된 분해능(resolution)에 따라 측정할 수 있으며, 가속도 센서(미도시)의 분해능이 Res인 경우, 단계 S200에서 손목 각도 산출부(200)는 손목 가속도 변동값(W)을 해당 가속도 센서(미도시)의 중력가속도 1G에서의 출력값(

)으로 나누어 정규화하여, 정규화 손목 가속도 변동값을 산출한 뒤, 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 손목 각도 변동값을 산출할 수 있다.

여기서, 해당 가속도 센서(미도시)의 중력가속도 1G에서의 출력값(

)은 가속도 센서(미도시)의 분해능(Res)과 가속도 센서의 측정 범위의 크기(R)를 이용하여 산출될 수 있다.

예컨대, 가속도 센서(미도시)의 분해능이 10bit이고 가속도 센서(미도시)의 측정범위가 -8g 내지 8g인 경우, 가속도 센서(미도시)의 측정범위의 크기는 16g이며, 해당 가속도 센서(미도시)의 중력가속도 1G에서의 출력값(

)은 2¹⁰/16인 64로 나타나게 될 수 있다.

이 경우, 손목 각도 변동값을 산출하는 구체적인 방법은 아래 수학식 2와 같이 나타난다.

[수학식 2]

이때,

는 손목 각도 변동값, w는 손목 가속도 변동값, Res는 가속도 센서의 분해능, R은 가속도 센서의 측정 범위의 크기이다.

일 실시예에 따라, 손목 가속도 변동값이 m/s²의 단위로 측정되는 경우, 단계 S200에서 손목 각도 산출부(200)는 손목 가속도 변동값(w)을 1G(약, 9.8 m/s2)로 나누어 정규화하는 대신에, 초기 중력 가속도 x_ini, y_ini, z_ini를 이용하여 정규화 손목 가속도 변동값을 산출한 뒤, 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 손목 각도 변동값을 산출할 수 있으며, 그 구체적인 방법은 아래 수학식 3과 같이 나타난다.

[수학식 3]

이때,

는 손목 각도 변동값, w는 손목 가속도 변동값, x_ini는 x축 방향 초기 중력 가속도, y_ini는 y축 방향 초기 중력 가속도, z_ini는 z축 방향 초기 중력 가속도이다.

이제, 단계 S200에서 손목 각도 산출부(200)가 손목 가속도 변동값을 정규화한 정규화 손목 가속도 변동값을 산출하는 이유를 설명한다.

운동 가속도가 없는 경우에, 도 9에 도시된 바와 같이, 손목 각도 변동값과 손목 가속도 변동값은 코사인 함수와 역함수 관계이며, 코사인 역함수의 정의역은 [-1,1]이므로 손목 가속도 변동값의 코사인 역함수를 취하기 위해서는 가속도 단위(m/s²)를 갖는 손목 가속도 변동값의 단위를 조정해야 하기 때문에, 단계 S200에서 손목 각도 산출부(200)는 정규화 손목 가속도 변동값을 상기한 수학식 1 내지 수학식 3을 활용하여 산출할 수 있는 것이다.

한편, 수학식 1 내지 수학식 3을 적용하는 과정에서 가속도 센서에 운동 가속도 성분이 측정되어 손목 가속도가 [-1G, 1G]를 넘는 값을 가지게 되는 경우에, 손목 각도 산출부(200)는 -1G를 최소 값, 1G를 최대 값으로 간주하고 손목 각도를 산출할 수 있다.

단계 S200에서 손목 각도 산출부(200)가 산출한 손목 각도 변동값은 도 8에 도시된 바와 같이, x축, y축 및 z축 각각에 대한 시간에 따른 각도값으로 나타날 수 있다.

이제, 단계 S300을 도 4, 도 10 및 도 11을 동시에 참조하여 설명하도록 한다.

도 10 및 도 11은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 식사 행위 후보 패턴 검출 단계를 설명하기 위한 도면이다.

단계 S300에서 식사 행위 후보 패턴 검출부(300)는 손목 각도 변동값에 하나 이상의 임계값을 적용하여 소정의 기준에 따라 식사 행위 후보 패턴을 검출한다.

도 10에 도시된 바와 같이, 단계 S300에서 식사 행위 후보 패턴 검출부(300)가 손목 각도 변동값에 적용하는 하나 이상의 임계값은 제1임계값과 상기 제1임계값보다 큰 각도값인 제2임계값을 포함하며, 식사 행위 후보 패턴 검출부(300)는, 손목 각도 변동값이 제1임계값보다 작은 각도값에서 시작하여, 제2임계값보다 큰 각도값으로 상승한 후, 손목 각도 변동값이, 제2임계값보다 큰 각도값에서 시작하여 제1 임계값보다 작은 각도값으로 하강하는 패턴을 식사 행위 후보 패턴으로 검출할 수 있다.

도 10에 도시된 바와 같이, 제1임계값이 90도이고 제2임계값이 110도인 경우를 예를 들어 단계 S300을 설명한다.

이 경우, 식사 행위 후보 패턴 검출부(300)는 손목 각도 산출부(200)가 산출한 손목 각도 변동값 중 손목의 회전에 영향을 받지 않으며 중력 방향을 기준으로 손목의 각도 변화만을 측정하는 손목 각도 변동값의 x축에 대한 시간에 따른 각도값을 이용할 수 있다.

식사 행위 후보 패턴 검출부(300)는 시간의 흐름에 따라 x축에 대한 손목 각도 변동값이 제1임계값인 90도보다 작은 각도값에서 시작하여 제1임계값인 90도보다 큰 각도값으로 상승한 뒤, 이어서 x축에 대한 손목 각도 변동값이 제1임계값인 90도보다 큰 각도값에서 제2임계값인 110도보다 큰 각도값으로 상승한 후, 제2임계값인 110도보다 큰 각도값에서 제2임계값인 110도보다 작은 각도값으로 하강한 뒤, 제2임계값인 110도보다 작은 각도값에서 제1임계값이 90도보다 작은 각도값으로 하강하는 패턴을 보이는 경우, 이를 식사 행위 후보 패턴으로 검출할 수 있다.

나아가, 식사 행위 후보 패턴 검출부(300)는 상술한 과정을 반복하여 x축에 대한 손목 각도 변동값 중에서 복수 회의 식사 행위 후보 패턴을 각각 검출할 수 있다.

다시 말해, 단계 S300에서 식사 행위 후보 패턴 검출부(300)는 손목 각도 변동값에서 손목 각도 변동값이 제1임계값 및 제2임계값을 순차적으로 지나 상승한 뒤, 제2임계값 및 제1임계값을 순차적으로 지나 하강하는 패턴을 각각 검출하여 1회의 식사 행위 후보 패턴으로 검출할 수 있는 것이다.

한편, 단계 S300에서 식사 행위 후보 패턴 검출부(300)는 도 10의 좌측 3번째 봉우리와 같이 손목 각도 변동값이 제1임계값을 지나 상승했으나, 제2임계값을 지나지 못한 채 하강하여 다시 제1임계값을 지나 하강하는 패턴은 식사 행위 후보 패턴이 아닌 것으로 검출할 수도 있다.

일 실시예에 따라, 단계 S300에서 검출되는 식사 행위 후보 패턴은, 제1임계값보다 작은 각도값인 최저 한계값과 제2임계값보다 큰 각도값인 최대 한계값 사이의 각도값을 가질 수 있다.

도 10에 도시된 바와 같이, 식사 행위 후보 패턴 검출부(300)는 식사 행위 후보 패턴을 검출하기 위하여, 170도의 최대 한계값과 50도의 최저 한계값을 적용할 수 있다.

다시 말해, 식사 행위 후보 패턴 검출부(300)가 검출한 복수 개의 식사 행위 후보 패턴 각각은 50도 내지 170도 범위를 만족하도록 설정될 수 있다.

일 실시예에 따라, 단계 S300에서 식사 행위 후보 패턴 검출부(300)는 손목 각도 변동값이 최저 한계값보다 작아지는 경우, 그 다음 행동이 식사 행동이 아니라고 판단할 수 있다.

예컨대, 단계 S300에서 식사 행위 후보 패턴 검출부(300)는 손목 각도 변동값이 최대 한계값보다 커지는 경우, 해당되는 사용자의 손목의 움직임은 식사 행동이 아니라고 판단할 수 있다.

단계 S300에서 식사 행위 후보 패턴 검출부(300)가 검출한 복수 개의 식사 행위 후보 패턴은 도 11의 하단 그래프에 도시된 바와 같이 나타날 수 있다.

도 11을 참조하여, 단계 S300을 설명하면, 식사 행위 후보 패턴 검출부(300)는 도 11의 상단 그래프에 도시된 바와 같은 손목 각도 변동값에서, 도 11의 하단 그래프에 도시된 바와 같이 상술한 임계값 조건을 만족하는 복수 개의 식사 행위 후보 패턴을 검출할 수 있다.

이제, 단계 S400에 대하여 도 4를 참조하여, 설명하도록 한다.

단계 S400에서 식사 시간 산출부(400)는 단계 S300에서 산출된 식사 행위 후보 패턴의 발생 횟수에 기초하여 식사 시간을 산출할 수 있다.

이때, 식사 행위 후보 패턴은 사용자의 손목 각도 변동값을 이용해 산출되기 때문에, 산출된 복수 개의 식사 행위 후보 패턴 중 일부는 식사 행동을 제외한 다른 행동으로부터 발생한 것일 수 있다.

따라서, 단계 S400에서 식사 시간 산출부(400)는 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수 이상 발생하는 경우를 사용자의 전체 식사 행동의 일부분인 부분 식사 행동으로 판단하여 식사 시간을 산출할 수 있다.

예컨대, 식사 시간 산출부(400)는 식사 행위 후보 패턴이 3분 동안 7회 이상 검출된 경우 이를 부분 식사 행동으로 판단할 수 있으며, 그 구체적인 동작은 이하 도 13을 참조하여 후술하도록 한다.

이제, 단계 S100에서 손목 가속도 산출부(100)가 손목 가속도 변동값을 산출하는 구체적인 방법을 도 5 및 도 6을 동시에 참조하여 설명하도록 한다.

도 5는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 손목 가속도 변동값 산출 단계를 설명하기 위한 순서도이다.

도 5에 도시된 바와 같이, 단계 S100은 초기 중력가속도 측정 단계(S110), 가속도 센서의 3축 중 한 개의 축과 중력 방향 간 초기 각도 산출 단계(S120), 가속도 센서의 3축 각각에서 실시간으로 측정되는 중력 가속도를 변환 중력 가속도로 변환하는 단계(S130) 및 변환 중력 가속도의 변동값을 손목 가속도의 변동값으로 산출하는 단계(S140)를 포함한다.

일 실시예에 따라, 사용자의 손목 움직임에 대한 가속도는 3축의 가속도 센서(미도시)를 이용하여 측정될 수 있다.

단계 S110에서 손목 가속도 산출부(100)는, 가속도 센서(미도시)의 3축 중에서 한 개 축이 지면을 향하도록 위치시킨 초기 상태에서, 가속도 센서(미도시)의 3축 각각에 대한 초기 중력 가속도를 측정할 수 있다.

단계 S120에서 손목 가속도 산출부(100)는, 측정된 가속도 센서(미도시)의 3축 각각에 대한 초기 중력 가속도를 이용하여, 가속도 센서의 3축 중 한 개 축과 중력 방향간의 초기 각도를 산출할 수 있다.

단계 S130에서 손목 가속도 산출부(100)는, 산출된 초기 각도를 이용하여, 가속도 센서(미도시)의 3축 각각에서 실시간으로 측정되는 중력 가속도를 중력 방향을 기준 축으로 하는 3축인 중력 3축에 대한 중력 가속도인 변환 중력 가속도로 변환할 수 있다.

단계 S140에서 손목 가속도 산출부(100)는, 사용자의 손목 움직임에 대응하여 변동되는 기준 축에 대응되는 변환 중력 가속도의 변동값을 손목 가속도 변동값으로 산출할 수 있다.

일 실시예에 따라, 단계 S110에서 손목 가속도 산출부(100)는 가속도 센서(미도시)를 활용하여 가속도 센서(미도시)의 3축인 센서 3축 중에서 한개 축이 지면을 향하도록 위치시킨 초기 상태에서, 3축 각각에 대한 초기 중력 가속도를 측정할 수 있다.

예컨대, 단계 S110에서 손목 가속도 산출부(100)는 사용자의 손목에 착용된 3축의 가속도 센서(미도시)에서 x축 방향이 지면을 향하도록 위치시킨 초기 상태에서 3축에 대한 초기 중력 가속도 (x_ini, y_ini, z_ini)를 측정할 수 있다.

다른 실시예에서는, 단계 S110에서 손목 가속도 산출부(100)는 초기 중력 가속도를 측정을 통해 획득하는 대신, 가속도 센서(미도시)의 3축인 센서 3축 중에서 한개 축이 지면을 향하도록 위치시킨 초기 상태에서 미리 측정되어 저장된 3축 각각에 대한 초기 중력 가속도 (x_ini, y_ini, z_ini)를 독출할 수 있다.

단계 S120에서 손목 가속도 산출부(100)는 측정된 3축 각각에 대한 초기 중력 가속도를 이용하여, 센서 3축 중 한개 축과 중력 방향간의 초기 각도를 산출할 수 있다.

보다 구체적으로, 손목 가속도 산출부(100)는 사용자가 자신의 손목에 착용한 3축의 가속도 센서에서 x축 방향이 지면을 향하도록 위치시킨 초기 상태에서 x축과 중력 방향간의 초기 각도를 산출하는 경우에는 아래 수학식 4와 같이 사인(sin) 역함수를 이용하여 초기 각도(θ, ρ)를 산출할 수 있다.

[수학식 4]

이때, θ는 카르테시안 좌표계에서의 수평 방향 각도, ρ는 카르테시안 좌표계에서의 수직 방향 각도, x_ini는 x축 방향 초기 중력 가속도, y_ini는 y축 방향 초기 중력 가속도, z_ini는 z축 방향 초기 중력 가속도이다.

다른 실시예에서는, 본 발명의 실시예에 따른 식사 시간 산출 장치가 자신에게 저장된 초기 중력 가속도를 독출한 경우라면, 그 독출된 3축 각각에 대한 초기 중력 가속도를 이용하여 센서 3축 중 한개 축과 중력 방향간의 초기 각도를 산출할 수도 있다.

이와 같이, 단계 S120에서 중력 방향과 가속도 센서(미도시)의 3축 중 한개 축간의 초기 각도를 산출하는 이유는 중력 방향을 기준으로 사용자의 손목 움직임을 검출하기 위한 것으로, 중력 방향을 기준으로 하는 초기 각도를 이용하지 않으면 사용자가 손목을 몸 앞쪽으로 뻗었다가 접는 동작과 식사를 위해 손목을 기설정된 각도 범위 내에서 움직이는 동작을 구분할 수 없게 된다.

또한, 본 발명의 실시예에 따른 식사 시간 산출 장치가 좌우 구분이 없이 착용이 가능한 경우에 있어서, 가속도 센서(미도시)의 한개 축과 중력 방향간의 초기 각도를 산출하여 활용함으로써 사용자 전체 식사 행동을 정확히 검출할 수 있게 된다.

단계 S130에서 손목 가속도 산출부(100)는, 산출된 초기 각도를 이용하여, 센서 3축 각각에서 실시간으로 측정되는 중력 가속도를 중력 방향을 기준 축으로 하는 3축인 중력 3축에 대한 중력 가속도인 변환 중력 가속도로 변환할 수 있다.

보다 구체적으로, 손목 가속도 산출부(100)는 아래 수학식 5와 같이 초기 각도(θ, ρ)를 이용하여 3축 가속도 센서에서 실시간으로 측정되는 중력 가속도 (X, Y, Z)를 변환 중력 가속도 (X†,Y†,Z†)로 변환할 수 있다.

[수학식 5]

이때, Z†는 중력 방향에 해당하는 기준 축에 대응되는 변환 중력 가속도, X†,Y†는 각각 Z†와 직교하는 축들의 변환 중력 가속도, θ는 카르테시안 좌표계에서의 수평 방향 각도, ρ는 카르테시안 좌표계에서의 수직 방향 각도이다.

이제 도 5, 도 6a 및 도6b를 동시에 참조하여, 중력 가속도 (X, Y, Z)와 변환 중력 가속도 (X†,Y†,Z†)간의 관계를 설명한다.

도 6a 및 도 6b는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 중력 가속도 및 중력 3축에 대한 중력 가속도를 설명하기 위한 도면이다.

도 6a는 센서 3축에 대한 중력 가속도를 도시한 도면으로, 3축의 가속도 센서(미도시)에서 측정한 중력 가속도(X, Y, Z)가 도시되어 있으며, 가로축은 분(min) 단위를 가진 시간축을 나타내고 세로축은 G 단위를 가진 중력 가속도의 크기를 나타낸다. 손목 가속도 산출부(100)는 이와 같이 측정된 가속도 센서의 3축에 대한 중력 가속도 (X, Y, Z)를 수학식 5를 통해 조합함으로써 변환 중력 가속도 (X†,Y†,Z†)로 변환할 수 있다.

도 6b는 중력 3축에 대한 중력 가속도를 도시한 도면으로, 측정된 중력 가속도(X, Y, Z)로부터 변환되어 산출된 변환 중력 가속도(X†,Y†,Z†)가 도시된다.

여기서, 중력 방향에 대응되는 중력 가속도는 Z†이고, 중력 방향에 직교하는 좌우 방향에 해당하는 중력 가속도는 X†이고, 중력 방향과 좌우 방향 모두에 직교하는 나머지 하나의 방향에 해당하는 중력 가속도는 Y†를 의미할 수 있다.

단계 S140에서 손목 가속도 산출부(100)는 사용자의 손목의 움직임에 대응하여 변동되는 기준 축에 대응되는 변환 중력 가속도의 변동 값을 손목 가속도 변동 값으로서 산출할 수 있다.

예컨대, 손목 가속도 산출부(100)는 변환 중력 가속도 (X†,Y†,Z†) 중 적어도 하나를 손목에 가해지는 중력 가속도인 손목 가속도 W로 결정할 수 있고, 변환 중력 가속도 (X†,Y†,Z†) 중 적어도 하나의 변동 값을 손목 가속도 W의 변동 값으로서 산출할 수 있다.

이제 단계 S400에 대하여 도 12 및 도 13을 동시에 참조하여 보다 상세히 설명하도록 한다.

도 12는 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 식사 시간 산출 단계를 설명하기 위한 도면이다. 도 13은 본 발명의 실시예에 따른, 식사 시간 산출 방법에서 식사 시간 산출 단계를 설명하기 위한 순서도이다.

도 13을 참조하면, 단계 S400는 식사 행위 후보 패턴에 대한 누적결과를 산출하는 단계(S410), 부분 식사 행동을 판단하는 단계(S420) 및 전체 식사 행동의 총 지속시간을 식사 시간으로 산출하는 단계(S430)를 포함한다.

보다 상세하게, 단계 S410에서, 식사 시간 산출부(400)는, 단계 S300을 통해 검출된 식사 행위 후보 패턴의 발생 횟수를 누적하여 식사 행위 후보 패턴에 대한 누적 결과를 산출할 수 있다.

그 뒤, 단계 S420에서 식사 시간 산출부(400)는, 누적 결과에서, 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수 이상 발생하는 경우를 사용자의 전체 식사 행동의 일부분인 부분 식사 행동으로 판단할 수 있다.

예컨대, 식사 시간 산출부(400)는 도 12의 상단 그래프에 도시된 바와 같은 식사 행위 후보 패턴의 발생 횟수를 누적한 누적 결과 그래프에서, 도 12의 하단 그래프의 누적값(Accumulation(3min))으로 도시된 바와 같은 식사 행위 후보 패턴이 3분 동안 발생하는 횟수를 각각 산출한 뒤, 산출된 식사 행위 후보 패턴이 3분 동안 발생하는 횟수가 도12의 하단 그래프의 임계값(Threshold(Count7))로 도시된 바와 같이 7회를 초과하는 각각의 지점들을 산출할 수 있다.

예를 들면, 식사 시간 산출부(400)는, 특정 시점 이전 최근 3분 간 검출된 손목 움직임의 발생 횟수를 누적하여 누적 결과를 산출하고, 누적 횟수가 최근 3분 동안 7회 이상일 경우 식사 행동으로 결정할 수 있게 되는 것이다.

다시 말해, 식사 시간 산출부(400)는 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수를 초과하는 각각의 지점들을 산출하여, 산출된 각각의 지점들을 부분 식사 행동으로 판단할 수 있다.

그 뒤, 단계 S430에서 식사 시간 산출부(400)는 판단된 사용자의 부분 식사 행동을 포함하는 전체 식사 행동을 판단하고, 전체 식사 행동의 총 지속시간을 식사 시간으로 산출할 수 있다.

예컨대, 식사 시간 산출부(400)는 도 12의 하단 그래프의 누적값(Accumulation(3min))이 임계값(Threshold(Count7))을 초과하는 각각의 지점들을 합하여, 전체 식사 행동을 판단할 수 있으며, 전체 식사 행동의 총 지속시간을 식사 시간으로 산출할 수 있다.

일 실시예에 따라, 전체 식사 행동은 도 12의 하단 그래프에서 누적값(Accumulation(3min))이 임계값(Threshold(Count7))을 초과하는 연속된 지점들에서 나타날 수 있으며, 이들 연속된 지점들의 총 지속시간이 식사 시간으로 산출될 수 있는 것이다.

다시 말해, 도 12의 하단 그래프에서 누적값(Accumulation(3min))이 임계값(Threshold(Count7))을 초과하는 각각의 지점들은 부분 식사 행동이라 할 수 있고, 누적값(Accumulation(3min))이 임계값(Threshold(Count7))을 초과하는 연속된 지점들을 전체 식사 행동이라 할 수 있으며, 식사 시간 산출부(400)는 전체 식사 행동의 총 지속시간을 식사 시간으로 산출할 수 있는 것이다.

본 발명의 또 다른 실시예에 따르면, 단계 S430에서, 식사 시간 산출부(400)는, 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간을 산출된 식사 시간에 더 추가하여 보정 식사 시간을 산출할 수도 있다.

이때, 보정 식사 시간을 산출하는 이유는, 사용자가 식사를 하는 도중 담소를 나누거나, 생각을 하는 등 다양한 이유로 손목 움직임의 간격이 긴 경우가 발생할 수 있기 때문이다.

이에 따라, 본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치는 이러한 손목 움직임의 간격이 긴 경우도 식사시간으로 포함하기 위하여, 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간을 산출된 식사 시간에 더 추가할 수 있다.

이때, 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간은 2분일 수 있다.

예컨대, 단계 S430에서, 식사 시간 산출부(400)가 보정 식사 시간을 산출하기 위하여 불림(Dilation)기법을 이용할 수 있다.

이, 불림 기법은 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간을 산출된 식사 시간에 더 추가하는 기법을 의미할 수 있다.

본 발명의 또 다른 실시예에 따르면, 단계 S430에서, 식사 시간 산출부(400)는 산출된 식사 시간이 기설정된 시간보다 긴 경우만을 식사 시간으로 결정할 수도 있다.

이는, 식사 시간은 일정 시간 동안 지속되기 때문이며, 예를 들면, 식사 시간 산출부(400)는 산출된 식사 시간이 10분 보다 긴 경우만을 식사 시간으로 결정할 수도 있는 것이다.

도 14a 및 도 14b는 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치에 따라 산출된 식사 시간을 설명하기 위한 도면이다.

단계 S430에서 산출된 식사 시간은 도 14a의 상단 그래프에 도시된 바와 같이 나타날 수 있으며, 단계 S430에서 산출된 식사 시간에 불림 기법과 산출된 식사 시간이 기설정된 시간보다 긴 경우만을 식사 시간으로 결정하는 알고리즘을 적용하면 도 14a의 하단 그래프에 도시된 바와 같이 나타나게 된다.

도 14b를 참조하면, 도 14b의 상단 그래프에 도시된 실제 식사 시간과 도 14b의 하단 그래프에 도시된 바와 같은 산출된 식사 시간은 비슷한 결과를 나타냄을 확인할 수 있다.

도 15는 본 발명의 실시예에 따른, 식사 시간 산출 방법 및 장치에서 식사 시간 산출의 정확도를 설명하기 위한 도면이다.

본 발명의 실시예에 따른 식사 시간 산출 방법 및 장치를 활용하는 경우, 도 15에 도시된 바와 같이 높은 정확도가 나타남을 확인할 수 있다.

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.

100: 손목 가속도 산출부
200: 손목 각도 산출부
300: 식사 행위 후보 패턴 검출부
400: 식사 시간 산출부

Claims

손목 가속도 산출부가, 중력 가속도를 기준으로 하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값인 손목 가속도 변동값을 산출하는 단계;
손목 각도 산출부가, 상기 손목 가속도 변동값을 이용하여, 중력 방향을 기준으로 상기 사용자의 손목까지의 각도의 변동값인 손목 각도 변동값을 산출하는 단계;
식사 행위 후보 패턴 검출부가, 상기 손목 각도 변동값에 하나 이상의 임계값을 적용하여 소정의 기준에 따라 식사 행위 후보 패턴을 검출하는 단계; 및
식사 시간 산출부가, 상기 식사 행위 후보 패턴의 발생 횟수에 기초하여 식사 시간을 산출하는 단계를 포함하는,
식사 시간 산출 방법.
제1항에 있어서,
상기 사용자의 손목 움직임에 대한 가속도는 3축의 가속도 센서를 이용하여 측정되며,
상기 손목 가속도 변동값을 산출하는 단계는,
상기 손목 가속도 산출부가, 상기 가속도 센서의 3축 중에서 한 개 축이 지면을 향하도록 위치시킨 초기 상태에서, 상기 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 측정하는 단계;
상기 손목 가속도 산출부가, 측정된 상기 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 이용하여, 상기 가속도 센서의 3축 중 한 개 축과 중력 방향간의 초기 각도를 산출하는 단계;
상기 손목 가속도 산출부가, 산출된 상기 초기 각도를 이용하여, 상기 가속도 센서의 3축 각각에서 실시간으로 측정되는 중력 가속도를 중력 방향을 기준 축으로 하는 3축인 중력 3축에 대한 중력 가속도인 변환 중력 가속도로 변환하는 단계; 및
상기 손목 가속도 산출부가, 상기 사용자의 손목 움직임에 대응하여 변동되는 상기 기준 축에 대응되는 변환 중력 가속도의 변동값을 상기 손목 가속도 변동값으로 산출하는 단계를 포함하는 것을 특징으로 하는,
식사 시간 산출 방법.
제1항에 있어서,
상기 손목 가속도 변동값을 산출하는 단계는,
상기 손목 가속도 산출부가, 상기 사용자의 손목 움직임에 대한 가속도의 변동값 중 기설정된 길이보다 짧은 주기를 가지는 상기 사용자의 손목 움직임에 대한 가속도의 변동값을 제거한 변형 손목 가속도 변동값을 산출하는 단계를 더 포함하며,
상기 손목 각도 변동값을 산출하는 단계는 상기 변형 손목 가속도 변동값에 기초하여 수행되는,
식사 시간 산출 방법.
제3항에 있어서,
상기 손목 가속도 산출부는, 저역통과필터(Low Pass Filter, LPF)를 이용하여, 상기 기설정된 길이보다 짧은 주기를 가지는 상기 사용자의 손목 움직임에 대한 가속도의 변동값을 제거하는 것을 특징으로 하는,
식사 시간 산출 방법.
제1항에 있어서,
상기 손목 각도 변동값을 산출하는 단계에서,
상기 손목 각도 산출부는, 상기 손목 가속도 변동값을 정규화한 정규화 손목 가속도 변동값을 산출한 뒤,
상기 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 상기 손목 각도 변동값을 산출하는 것을 특징으로 하는,
식사 시간 산출 방법.
제1항에 있어서,
상기 식사 행위 후보 패턴을 검출하는 단계에서,
상기 하나 이상의 임계값은 제1임계값과 상기 제1임계값보다 큰 각도값인 제2임계값을 포함하며,
상기 식사 행위 후보 패턴 검출부는, 상기 손목 각도 변동값이 상기 제1임계값보다 작은 각도값에서 시작하여, 상기 제2임계값보다 큰 각도값으로 상승한 후,
상기 손목 각도 변동값이, 상기 제2임계값보다 큰 각도값에서 시작하여 상기 제1 임계값보다 작은 각도값으로 하강하는 패턴을 상기 식사 행위 후보 패턴으로 검출하는 것을 특징으로 하는,
식사 시간 산출 방법.
제6항에 있어서,
상기 식사 행위 후보 패턴은,
상기 제1임계값보다 작은 각도값인 최저 한계값과 상기 제2임계값보다 큰 각도값인 최대 한계값 사이의 각도값을 가지는 것을 특징으로 하는,
식사 시간 산출 방법.
제1항에 있어서,
상기 식사 시간을 산출하는 단계는,
상기 식사 시간 산출부가, 상기 식사 행위 후보 패턴의 발생 횟수를 누적하여 상기 식사 행위 후보 패턴에 대한 누적 결과를 산출하는 단계;
상기 식사 시간 산출부가, 상기 누적 결과에서, 상기 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수 이상 발생하는 경우를 상기 사용자의 전체 식사 행동의 일부분인 부분 식사 행동으로 판단하는 단계; 및
상기 식사 시간 산출부가, 판단된 상기 사용자의 부분 식사 행동을 포함하는 전체 식사 행동을 판단하고, 상기 전체 식사 행동의 총 지속시간을 상기 식사 시간으로 산출하는 단계를 포함하는,
식사 시간 산출 방법.
제8항에 있어서,
상기 식사 시간으로 산출하는 단계에서,
상기 식사 시간 산출부는, 상기 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간을 산출된 상기 식사 시간에 더 추가하여 보정 식사 시간을 산출하는 것을 특징으로 하는,
식사 시간 산출 방법.
중력 가속도를 기준으로 하여 측정된 사용자의 손목 움직임에 대한 가속도의 변동값인 손목 가속도 변동값을 산출하는 손목 가속도 산출부;
상기 손목 가속도 변동값을 이용하여, 중력 방향을 기준으로 상기 사용자의 손목까지의 각도의 변동값인 손목 각도 변동값을 산출하는 손목 각도 산출부;
상기 손목 각도 변동값에 하나 이상의 임계값을 적용하여 소정의 기준에 따라 식사 행위 후보 패턴을 검출하는 식사 행위 후보 패턴 검출부; 및
상기 식사 행위 후보 패턴의 발생 횟수에 기초하여 식사 시간을 산출하는 식사 시간 산출부를 포함하는,
식사 시간 산출 장치.
제10항에 있어서,
상기 사용자의 손목 움직임에 대한 가속도를 측정하는 3축의 가속도 센서를 더 포함하며,
상기 손목 가속도 산출부는,
상기 가속도 센서의 3축 중에서 한 개 축이 지면을 향하도록 위치시킨 초기 상태에서, 상기 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 측정하고,
측정된 상기 가속도 센서의 3축 각각에 대한 초기 중력 가속도를 이용하여, 상기 가속도 센서의 3축 중 한 개 축과 중력 방향간의 초기 각도를 산출하고,
산출된 상기 초기 각도를 이용하여, 상기 가속도 센서의 3축 각각에서 실시간으로 측정되는 중력 가속도를 중력 방향을 기준 축으로 하는 3축인 중력 3축에 대한 중력 가속도인 변환 중력 가속도로 변환하고,
상기 사용자의 손목 움직임에 대응하여 변동되는 상기 기준 축에 대응되는 변환 중력 가속도의 변동값을 상기 손목 가속도 변동값으로 산출하는 것을 특징으로 하는,
식사 시간 산출 장치.
제10항에 있어서,
상기 손목 가속도 산출부는,
상기 사용자의 손목 움직임에 대한 가속도의 변동값 중 기설정된 길이보다 짧은 주기를 가지는 상기 사용자의 손목 움직임에 대한 가속도의 변동값을 제거한 변형 손목 가속도 변동값을 산출하고,
상기 손목 각도 산출부는 상기 변형 손목 가속도 변동값에 기초하여 상기 손목 각도 변동값을 산출하는 것을 특징으로 하는,
식사 시간 산출 장치.
제12항에 있어서,
상기 손목 가속도 산출부는,
저역통과필터(Low Pass Filter, LPF)를 이용하여, 상기 기설정된 길이보다 짧은 주기를 가지는 상기 사용자의 손목 움직임에 대한 가속도의 변동값을 제거하는 것을 특징으로 하는,
식사 시간 산출 장치.
제10항에 있어서,
상기 손목 각도 산출부는,
상기 손목 가속도 변동값을 정규화한 정규화 손목 가속도 변동값을 산출한 뒤,
상기 정규화 손목 가속도 변동값에 대한 코사인(cosine) 역함수를 산출하여 상기 손목 각도 변동값을 산출하는 것을 특징으로 하는,
식사 시간 산출 장치.
제10항에 있어서,
상기 하나 이상의 임계값은 제1임계값과 상기 제1임계값보다 큰 각도값인 제2임계값을 포함하며,
상기 식사 행위 후보 패턴 검출부는, 상기 손목 각도 변동값이 상기 제1임계값보다 작은 각도값에서 시작하여, 상기 제2임계값보다 큰 각도값으로 상승한 후,
상기 손목 각도 변동값이, 상기 제2임계값보다 큰 각도값에서 시작하여 상기 제1 임계값보다 작은 각도값으로 하강하는 패턴을 상기 식사 행위 후보 패턴으로 검출하는 것을 특징으로 하는,
식사 시간 산출 장치.
제15항에 있어서,
상기 식사 행위 후보 패턴은,
상기 제1임계값보다 작은 각도값인 최저 한계값과 상기 제2임계값보다 큰 각도값인 최대 한계값 사이의 각도값을 가지는 것을 특징으로 하는,
식사 시간 산출 장치.
제10항에 있어서,
상기 식사 시간 산출부는,
상기 식사 행위 후보 패턴의 발생 횟수를 누적하여 상기 식사 행위 후보 패턴에 대한 누적 결과를 산출하고,
상기 누적 결과에서, 상기 식사 행위 후보 패턴이 기설정된 시간 동안 기설정된 횟수 이상 발생하는 경우를 상기 사용자의 전체 식사 행동의 일부분인 부분 식사 행동으로 판단하고,
판단된 상기 사용자의 부분 식사 행동을 포함하는 전체 식사 행동을 판단하고, 상기 전체 식사 행동의 총 지속시간을 상기 식사 시간으로 산출하는 것을 특징으로 하는,
식사 시간 산출 장치.
제17항에 있어서,
상기 식사 시간 산출부는,
상기 전체 식사 행동의 초기 검출 시점 이전의 기설정된 시간을 산출된 상기 식사 시간에 더 추가하여 보정 식사 시간을 산출하는 것을 특징으로 하는,
식사 시간 산출 장치.