KR101751304B1 - 일상 활동 분류 시스템 및 방법 - Google Patents

일상 활동 분류 시스템 및 방법 Download PDF

Info

Publication number
KR101751304B1
KR101751304B1 KR1020160020502A KR20160020502A KR101751304B1 KR 101751304 B1 KR101751304 B1 KR 101751304B1 KR 1020160020502 A KR1020160020502 A KR 1020160020502A KR 20160020502 A KR20160020502 A KR 20160020502A KR 101751304 B1 KR101751304 B1 KR 101751304B1
Authority
KR
South Korea
Prior art keywords
clock
feature
acceleration
value
mobile
Prior art date
Application number
KR1020160020502A
Other languages
English (en)
Inventor
이선우
송창근
칸 웡후
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020160020502A priority Critical patent/KR101751304B1/ko
Application granted granted Critical
Publication of KR101751304B1 publication Critical patent/KR101751304B1/ko

Links

Images

Classifications

    • G06F17/30705—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G06K9/00335—
    • H04L67/22—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 일상 활동 분류 시스템 및 방법에 관한 것으로, 본 발명에 따른 일상 활동 분류 시스템은 시계 가속도 센서에서 출력된 가속도 벡터와 시계 지자기 센서에서 출력된 지자기 벡터를 이용하여 일상 활동 관련 특징값 또는 특징코드를 추출하는 시계 특징 추출부와, 시계 특징 추출부에서 추출된 특징값 또는 특징코드를 송신하는 시계 통신 모듈부를 포함하는 손목형 전자 디바이스와, 모바일 가속도 센서에서 출력된 가속도 벡터 및 모바일 지자기 센서에서 출력된 지자기 벡터를 이용하여 사용자의 움직임이 실제 이동인지 아니면 제자리 움직임인지를 판단하는 걸음 동작 판단부와, 걸음 동작 판단부로부터 입력된 사용자의 움직임 정보와 모바일 통신 모듈부로부터 입력된 특징값 또는 특징코드를 이용하여 사용자의 일상 활동을 분류하는 일상 활동 분류부를 포함하는 모바일 디바이스를 제공함으로써, 사용자의 일상생활에서의 주요 활동을 자동으로 분류할 수 있다.

Description

일상 활동 분류 시스템 및 방법{SYSTEM AND METHOD FOR CLASSIFYING A DAILY ACTIVITY}
본 발명은 일상 활동 분류 시스템 및 방법에 관한 것으로, 특히 손목형 전자 디바이스와 모바일 디바이스를 협력적으로 이용하여 사용자의 일상생활에서의 활동을 자동으로 분류하여 기록하는 일상 활동 분류 시스템 및 방법에 관한 것이다.
모바일 헬스케어(Mobile Healthcare) 또는 모바일 헬스(Mobile Health : 'mHealth'라고도 함)는 모바일 기기로 지원받는 의학 및 공중 건강 업무를 뜻한다. 모바일 헬스케어는 무선 통신기술 및 웨어러블 스마트기기의 발달과 바이오센서의 소형화·고집적화 등 ICT와 의료기기의 융합이 활발해지면서 더욱 주목받고 있다.
한편, MEMS 기반 가속도 센서의 저가격화 및 성능 향상에 따라 여러 분야에서 이 가속도 센서를 이용하고 있다. 그 중에서 특히 착용자의 일상 활동 중에서 운동을 자동으로 감지하여 기록하고 이 정보를 다양하게 활용하는 장치 및 방법들이 개발되고 있다. 일례로 수면 장애 환자의 치료를 위해 환자의 활동성을 감지하는 활동도 검사(actigraphy) 장치가 대표적이다.
또한, 최근에는 가속도 센서 외에도 각속도 센서('자이로스코프'라고도 함) 및 지자기 센서('자기장 센서'라고도 함)도 저가격화 및 소형화되면서 이 3가지 종류 센서가 통합되어 구현되고 있는데, 이들 관성 센서를 구비한 스마트폰을 이용하여 사용자의 여러 일상 활동을 자동으로 인식, 저장 및 활용하는 시스템 및 방법이 많이 개발되고 있다.
하지만, 사용자가 스마트폰을 들고 운동하는 것이 용이하지 않기 때문에, 많은 사용자들이 스마트폰을 놔두고 운동을 하게 되므로, 사용자의 정확한 운동량 및 일상 활동을 분류하는 것이 용이하지 않다는 문제가 있다.
본 발명은 이들 관성 센서를 각각 장착한 2개의 장치(스마트폰 및 스마트워치)를 동시에 사용하여 더 적은 에너지를 소비하고 더 많은 일상 활동을 더 정확하게 인식하는 장치 및 방법을 제안한다. 따라서 각 장치의 특징에 적합한 기능을 부여하고 이를 통해 일상생활을 최적으로 분류할 수 있는 방법을 제안하고자 한다.
상술한 문제점을 해결하기 위한 것으로, 본 발명은 손목형 전자 디바이스와 모바일 디바이스를 협력적으로 이용하여 사용자의 일상생활에서의 활동을 자동으로 분류할 수 있는 일상 활동 분류 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 적은 에너지를 사용하여 더 많은 일상 활동을 더 정확하게 분류하고 기록할 수 있는 일상 활동 분류 시스템 및 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해, 본 발명의 일실시예에 따른 일상 활동 분류 시스템은, 시계 가속도 센서 및 시계 지자기 센서를 포함하는 시계 관성 센서부와, 상기 시계 가속도 센서에서 출력된 가속도 벡터와 상기 시계 지자기 센서에서 출력된 지자기 벡터를 이용하여 일상 활동 관련 특징값 또는 특징코드를 추출하는 시계 특징 추출부와, 상기 시계 특징 추출부에서 추출된 특징값 또는 특징코드를 송신하는 시계 통신 모듈부를 포함하는 손목형 전자 디바이스와, 모바일 가속도 센서 및 모바일 지자기 센서를 포함하는 모바일 관성 센서부와, 상기 모바일 가속도 센서에서 출력된 가속도 벡터 및 상기 모바일 지자기 센서에서 출력된 지자기 벡터를 이용하여 사용자의 움직임이 실제 이동인지 아니면 제자리 움직임인지를 판단하는 걸음 동작 판단부와, 상기 시계 통신 모듈부에서 송신된 특징값 또는 특징코드를 수신하는 모바일 통신 모듈부와, 상기 걸음 동작 판단부로부터 입력된 사용자의 움직임 정보와 상기 모바일 통신 모듈부로부터 입력된 특징값 또는 특징코드를 이용하여 사용자의 일상 활동을 분류하는 일상 활동 분류부를 포함하는 모바일 디바이스를 제공할 수 있다.
상기 시계 특징 추출부는 일상 활동 관련 특징값 또는 특징코드로, 상기 시계 가속도 센서에서 출력된 가속도 벡터를 이용하여, 얻은 (1) X축 및 Y축의 가속도 평균값과, (2) X축의 가속도 값과, 그리고 선형 가속도 벡터를 구하여 선형 가속도의 크기 값을 계산하고 얻은 (3) 소정 개수의 크기 값들 중에서의 최대값과, 그리고 상기 최대값과 상기 시계 지자기 센서에서 출력된 지자기 벡터로부터 지자기 벡터의 크기 값을 계산하고 소정 개수의 크기 값들에 대한 분산값을 이용하여 구한 (4) 움직임 값을 출력할 수 있다.
상기 걸음 동작 판단부는 상기 모바일 가속도 센서에서 출력된 가속도 벡터에서 중력 가속도를 제거하여 얻은 선형 가속도 벡터로부터 구한 선형 가속도의 크기와 상기 모바일 지자기 센서에서 출력된 지자기 벡터의 크기 값과 관련된 분산값을, 상보 필터링하여 얻은 필터링 값을 이용하여 사용자의 움직임이 실제 이동인지 아니면 제자리 움직임인지를 판단할 수 있다.
시계 관성 센서부는 시계 자이로 센서를 더 포함하고, 상기 시계 특징 추출부는 상기 시계 자이로 센서에서 출력된 각속도 벡터의 크기 값을 계산하여 일상 활동 관련 특징값 또는 특징코드로 출력할 수 있다.
상기 일상 활동 분류부는 앉아있음, 서있음, 걷기, 천천히 뛰기, 빨리 뛰기, 푸시업 및 줄넘기 중 어느 하나로 사용자의 일상 활동을 분류할 수 있다.
상기 시계 통신 모듈부는 상기 시계 특징 추출부에서 추출된 특징값 또는 특징코드를 소정의 시간 간격 동안 버퍼에 저장하고, 소정의 시간이 되면 이들 특징값 또는 특징코드를 상기 모바일 디바이스로 송신하고, 그리고 상기 일상 활동 분류부는 상기 소정의 시간 간격마다 사용자의 일상 활동을 분류하고, 상기 소정의 시간 간격의 수십 배마다 분류된 일상 활동의 데이터들 중에서 가장 활동 빈도가 많은 활동을 최종 활동으로 저장할 수 있다.
본 발명의 다른 실시예에 따른, 시계 가속도 센서 및 시계 지자기 센서를 포함하는 손목형 전자 디바이스와 모바일 가속도 센서 및 모바일 지자기 센서를 포함하는 모바일 디바이스를 포함하는 시스템에서의 일상 활동 분류 방법은, 상기 시계 가속도 센서에서 출력된 가속도 벡터와 상기 시계 지자기 센서에서 출력된 지자기 벡터를 이용하여 일상 활동 관련 특징값 또는 특징코드를 추출하는 단계와, 상기 특징값 또는 특징코드를 추출하는 단계에서 추출된 특징값 또는 특징코드를 송신하는 단계와, 상기 모바일 가속도 센서에서 출력된 가속도 벡터 및 상기 모바일 지자기 센서에서 출력된 지자기 벡터를 이용하여 사용자의 움직임이 실제 이동인지 아니면 제자리 움직임인지를 판단하는 단계와, 상기 판단하는 단계에서 출력된 사용자의 움직임 정보와 상기 송신하는 단계에서 송신된 특징값 또는 특징코드를 이용하여 사용자의 일상 활동을 분류하는 단계를 제공함으로써, 상술한 목적을 달성할 수 있다.
상술한 구성에 의해, 본 발명은 손목형 전자 디바이스와 모바일 디바이스가 서로 보완적으로 이용되어 사용자의 일상생활에서의 주요 활동을 자동으로 분류할 수 있다.
또한, 본 발명은 적은 에너지를 사용하여 더 많은 일상 활동을 더 정확하게 분류하고 기록할 수 있다.
도 1은 본 발명의 일실시예에 따른 일상 활동 분류 시스템의 블록도를 도시한 도면이다.
도 2는 도 1에 도시된 손목형 전자 디바이스의 블록도를 보다 상세하게 도시한 도면이다.
도 3은 도 2에 도시된 움직임 특성 계산 파트를 보다 상세하게 도시한 도면이다.
도 4(a), 도 4(b) 및 도 4(c)는 본 발명의 일실시예에 따른 그래프들을 도시한 도면이다.
도 5는 도 1에 도시된 모바일 디바이스의 블록도를 보다 상세하게 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 손목형 전자 디바이스에서의 특징값들 추출의 흐름도를 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따른 모바일 디바이스에서의 일상 활동 모니터링의 흐름도를 도시하는 도면이다.
도 8은 본 발명에 따른 특징값들을 이용하여 일상 활동을 분류를 보여주는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 일상 활동 분류 시스템 및 방법의 실시예들을 설명한다. 참고로, 아래에서 본 발명을 설명함에 있어, 본 발명의 구성요소를 지칭하는 용어들은 각각의 구성 요소들의 기능을 고려하여 명명된 것이므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 안 될 것이다.
도 1은 본 발명의 일실시예에 따른 일상 활동 분류 시스템의 블록도를 도시한 도면이다.
도 1에 도시된 바와 같이, 일상 활동 분류 시스템은 손목형 전자 디바이스(10) 및 모바일 디바이스(20)를 포함한다. 여기서 손목형 디바이스는 손목형 전자시계 디바이스일 수 있으며, 모바일 디바이스(20)는 스마트폰일 수 있다.
손목형 전자 디바이스(10)는 시계 관성 센서부(110), 시계 특징 추출부(120) 및 시계 통신 모듈부(130)를 포함한다.
시계 관성 센서부(110)는 손목형 전자 디바이스(10)에 구비된 관성 센서들로, 팔의 움직임에 따른 관성 데이터를 출력한다. 시계 관성 센서부(110)는 소정의 샘플링 시간, 예를 들어 50msec 마다, 즉 20Hz의 샘플링 주파수로 관성 데이터를 출력할 수 있다.
시계 특징 추출부(120)는 시계 관성 센서부(110)에서 출력된 관성 데이터를 이용하여 인체의 움직임 특징을 추출하여 특징값 및/또는 특징 코드를 출력할 수 있다. 시계 통신 모듈부(130)는 시계 특징 추출부(120)에서 출력된 특징값 및/또는 특징 코드를 모바일 다바이스로 송신할 수 있다. 시계 통신 모듈부(130)는 1초마다 특징값 및/또는 특징 코드를 모바일 다바이스로 송신하는 것이 바람직하다.
모바일 디바이스(20)는 모바일 관성 센서부(140), 소지 방식 검출부(150), 걸음 동작 판단부(160), 모바일 통신 모듈부(170), 일상 활동 분류부(180) 및 모바일 저장부(190)를 포함한다.
모바일 관성 센서부(140)는 모바일 디바이스(20)에 구비된 관성 센서들로, 모바일 디바이스(20)의 소지 부분에 따른 관성 데이터를 출력한다. 모바일 관성 센서부(140)는 시계 관성 센서부(110)와 동일하게 소정의 샘플링 시간, 예를 들어 50msec 마다 관성 데이터를 출력할 수 있다.
소지 방식 검출부(150)는 모바일 관성 센서부(140)로부터 출력된 관성 데이터, 예를 들면 관성 데이터를 이용하여 스마트폰의 소지 방식을 검출한다. 스마트폰을 갖고 다니는 자세는 여러 형태가 있을 수 있는데, 일반적으로 바지 주머니(앞/뒤)에 넣는 사람, 손에 들고 다니는 사람, 가방에 넣고 다니는 사람 등 다양하다. 따라서 스마트폰의 현재 소지 방식을 검출하여 알 수 있다면, 실제로 걸어서 이동하고 있는지 아니면 제자리 뛰기 등인지를 정확하게 판단할 수 있다.
걸음 동작 판단부(160)는 모바일 디바이스(20)의 소지 방식에 따른 걸음 이동, 즉 실제로 이동하기 위해 움직이고 있는지를 판단할 수 있다. 소지 방식 검출부(150)에 의해 모바일 디바이스(20)의 소지 방식이 검출되면, 걸음 동작 판단부(160)는 걷기 동작의 한 걸음이 있었는지에 대한 검출을 수행한다.
모바일 통신 모듈부(170)는 시계 통신 모듈부(130)로부터 송신된 특징값 및/또는 특징 코드를 수신하여 일상 활동 분류부(180)로 출력한다.
일상 활동 분류부(180)는 모바일 통신 모듈부(170)에서 출력된 특징값 및/또는 특징 코드와 걸음 동작 판단부(160)에서 판단된 걸음 이동 정보를 이용하여 일상생활에서 하는 활동이 어떤 활동인지를 분류한다. 본 실시예에서의 분류 대상의 활동들은 앉아있음(Sitting : 이하 "SI"라고도 함), 서있음(Standing : 이하 "STA"라고도 함), 걷기(Walking : 이하 "WA"라고도 함), 천천히 뛰기(Jogging : 이하 "JO"라고도 함), 빨리 뛰기(Running : 이하 "RU"라고도 함), 푸시업(Pushing Up : 이하 "PU"라고도 함) 및 줄넘기(Rope Jumping : 이하 "RJ"라고도 함)일 수 있다.
일상 활동 분류부(180)는 1초마다 현재의 활동을 분류하여 버퍼에 저장하며, 30초 동안 가장 빈도가 많은 활동을 찾아 이 활동으로 최종 분류할 수 있다.
모바일 저장부(190)에는 일상 활동 분류부(180)에 분류된 분류 대상의 활동들이 소정의 시간 간격, 예를 들어 30초 간격으로 저장될 수 있다.
상술한 실시예를 통해 알 수 있듯이, 본 발명에 따른 일상생활의 활동을 분류하기 위해서는 모바일 디바이스(20)의 관성 센서 정보 이외에 손목형 전자 디바이스(10)의 관성 센서 정보도 필요하다. 일반적으로 일상생활의 많은 경우에 스마트폰을 휴대하고 있지만, 일을 하거나 운동을 할 때에는 스마트폰을 휴대하고 있지 않는 경우가 대부분이다. 따라서 모바일 다비이스(20)의 관성 센서 정보만으로는 일상생활의 활동을 분류하는 것이 불가능하다.
도 2는 도 1에 도시된 손목형 전자 디바이스의 블록도를 보다 상세하게 도시한 도면이고, 도 3은 도 2에 도시된 움직임 특성 계산 파트를 보다 상세하게 도시한 도면이고, 도 4(a), 도 4(b) 및 도 4(c)는 본 발명의 일실시예에 따른 그래프들을 도시한 도면이다.
도 2에 도시된 바와 같이, 시계 관성 센서부(110)는 시계 가속도 센서(212), 시계 자이로 센서(214) 및 시계 지자기 센서(216)를 포함할 수 있다.
시계 가속도 센서(accelerometer)(212)는 손목형 전자 디바이스(10)의 X축, Y축 및 Z축 각각에 대한 가속도(중력 가속도 + 선형 가속도)를 측정하는 센서로, 시계 가속도 센서(212)에서 출력되는 가속도 벡터는
Figure 112016017157169-pat00001
이며, 여기서 ax, ay 및 az는 X축, Y축 및 Z축 각각의 가속도 성분을 나타낸다.
시계 자이로 센서(gyroscope sensor)(214)는 손목형 전자 디바이스(10)의 X축, Y축 및 Z축 각각에 대한 각속도를 측정하는 센서로, 시계 자이로 센서(214)에서 출력되는 각속도 벡터는
Figure 112016017157169-pat00002
이며, 여기서 wx, wy 및 wz는 X축, Y축 및 Z축 각각의 각속도 성분을 나타낸다.
시계 지자기 센서(geo-magnetic sensor)(216)는 손목형 전자 디바이스(10)에서 지구 자기장을 이용해 방위각을 측정할 수 있는 전자 나침반으로, 시계 지자기 센서(216)에서 출력되는 지자기 벡터는
Figure 112016017157169-pat00003
이며, 여기서 mx, my 및 mz는 X축, Y축 및 Z축 각각의 지자기 성분을 나타낸다.
또한, 도 2에 도시된 바와 같이, 시계 특징 추출부(120)는 가속도 평균 계산 파트(222), 가속도 x축 출력 파트(224), 선형 가속도 크기 계산 파트(226), 반복 횟수 계산 파트(228), 각속도 크기 계산 파트(232), 걸음 이동 수 계산 파트(234) 및 움직임 특성 계산 파트(242)를 포함할 수 있다.
가속도 평균 계산 파트(222)는 시계 가속도 센서(212)로부터 입력된 X축, Y축 및 Z축 성분들 중에서 X축 및 Y축 성분들의 평균값을 계산하며, 이 가속도 평균값은
Figure 112016017157169-pat00004
이다.
가속도 X축 값 출력 파트는 시계 가속도 센서(212)로부터 입력된 X축, Y축 및 Z축 성분들 중에서 X축 성분만을 구하여 출력한다.
선형 가속도 크기 계산 파트(226)는 선형 가속도 벡터의 소정 개수의 크기 값들 중에서 가장 큰 값을 최대값으로 출력한다. 선형 가속도 크기 계산 파트(226)는 0.5Hz의 LPF(Low Pass Filter)을 포함하며, 시계 가속도 센서(212)로부터 입력된 X축, Y축 및 Z축 성분들에서 중력 성분을 필터링하여 선형 가속도 벡터를 얻을 수 있으며, 선형 가속도 벡터는
Figure 112016017157169-pat00005
이다. 그리고 선형 가속도 크기 계산 파트(226)는 지난 12개의 선형 가속도 벡터의 크기 값들 중에서 가장 큰 최대값
Figure 112016017157169-pat00006
을 출력한다.
반복 횟수 계산 파트는 선형 가속도 크기 계산 파트(226)에서 출력되는 선형 가속도 벡터의 최대값을 이용하여 푸시업과 줄넘기의 반복 횟수를 계산한다.
각속도 크기 계산 파트(232)는 시계 자이로 센서(214)로부터 입력된 각속도 벡터를 이용하여 각속도 벡터의 크기를 계산하며, 이 각속도 벡터의 크기는
Figure 112016017157169-pat00007
이다.
걸음 이동 수 계산 파트(234)는 각속도 크기 계산 파트(232)에서 계산된 각속도 크기를 이용하여 걷기, 천천히 뛰기 및 빨리 뛰기에 따른 걸음 이동 수를 계산한다.
그리고 움직임 특성 계산 파트(242)는 시계 지자기 센서(216)로부터 입력된 지자기 값과 시계 가속도 센서(212)로부터 입력된 가속도 값을 이용하여 움직임 특성을 계산한다. 이 움직임 특성 계산 파트(242)의 상세한 구성이 도 3에 도시되어 있다.
도 3에 도시된 바와 같이, 움직임 특성 계산 파트(242)는 지자기 크기 분산 계산 모듈(312), 선형 가속도 크기 합 계산 모듈(314), 상보 필터 모듈(316), 필터 출력 분산 계산 모듈(318), 평균 계산 모듈(320), 임계값 모듈(322) 및 특성값 비교 모듈(324)을 포함할 수 있다.
지자기 크기 분산 계산 모듈(312)은 시계 지자기 센서(216)로부터 입력된 지자기 벡터의 크기 값의 과거 12개 데이터 집합에 대한 분산값을 계산하며, 이 분산값은
Figure 112016017157169-pat00008
로 표시되며, 이 분산값의 그래프가 도 4(a)에 도시되어 있다.
한편, 선형 가속도 크기 합 계산 모듈(314)은 선형 가속도 크기 계산 파트(226)에서 출력된 선형 가속도 벡터의 크기 값의 12개의 데이터 합을 계산한다. 이 데이터 합
Figure 112016017157169-pat00009
은 다음의 수식을 이용하여 계산되며, 이 데이터 합의 그래프가 도 4(b)에 도시되어 있으며, 여기서 k는 스케일링 계수이다.
Figure 112016017157169-pat00010
상보 필터 모듈(316)은 지자기 크기 분산 계산 모듈(312)로부터 입력된 분산 값 및 선형 가속도 크기 합 계산 모듈(314)로부터 입력된 데이터 합에 대해 상보 필터를 적용하여 필터 출력값
Figure 112016017157169-pat00011
을 얻을 수 있으며, 여기서 필터 상수 α는 0.2±0.1인 것이 바람직하다.
Figure 112016017157169-pat00012
상보 필터 모듈(316)은 매 샘플링 시점에 필터 출력값
Figure 112016017157169-pat00013
을 계산하고 버퍼에 저장된다.
필터 출력 분산 계산 모듈(318)은 버퍼에 저장된 12개의 필터 출력값들의 분산값
Figure 112016017157169-pat00014
을 계산한다.
평균 계산 모듈(320)은 필터 출력 분산 계산 모듈(318)에서 계산된 마지막 4개의 분산값들
Figure 112016017157169-pat00015
의 평균값
Figure 112016017157169-pat00016
을 계산한다. 이 평균값이 움직임 특성 계산 파트(242)에서 얻어지는 최종적인 움직임 특성값이다.
도 4(c)는 실제 걸음과 제자리 움직임에 따른 움직임 특성값들을 도시한 도면이다. 도 4(c)에서 실제 걸음과 제자리 움직임은 경계 값(Threshold)을 기준으로 뚜렷하게 구분되고 있음을 알 수 있다.
그리고 도 3에 도시된 바와 같이 움직임 특성 계산 파트(242)는 임계값 모듈(322) 및 특성값 비교 모듈(324)을 더 포함할 수 있다. 임계값 모듈(322)은 임계값이 저장된 저장부 또는 레지스터 등으로 이루어질 수 있으며, 특성값 비교모듈은 평균 계산 모듈(320)에서 얻어진 최종적인 움직임 특성값과 임계값 모듈(322)에서의 임계값을 비교하여 특징 코드, 예를 들어 111 또는 333을 출력할 수 있다.
도 5는 도 1에 도시된 모바일 디바이스의 블록도를 보다 상세하게 도시한 도면이다.
도 5에 도시된 바와 같이, 모바일 관성 센서부(140)는 모바일 가속도 센서(512), 모바일 자이로 센서(514) 및 모바일 지자기 센서(516)를 포함할 수 있다.
모바일 가속도 센서(512)는 모바일 디바이스(20)의 X축, Y축 및 Z축 각각에 대한 가속도(중력 가속도 + 운동 가속도)를 측정하는 센서로, 모바일 가속도 센서(512)에서 출력되는 가속도 벡터는
Figure 112016017157169-pat00017
이며, 여기서 ax, ay 및 az는 X축, Y축 및 Z축 각각의 가속도 성분을 나타낸다.
모바일 자이로 센서(514)는 모바일 디바이스(20)의 X축, Y축 및 Z축 각각에 대한 각속도를 측정하는 센서로, 모바일 자이로 센서(514)에서 출력되는 각속도 벡터는
Figure 112016017157169-pat00018
이며, 여기서 wx, wy 및 wz는 X축, Y축 및 Z축 각각의 각속도 성분을 나타낸다.
모바일 지자기 센서(516)는 모바일 디바이스(20)에서 지구 자기장을 이용해 방위각을 측정할 수 있는 전자 나침반으로, 모바일 지자기 센서(516)에서 출력되는 지자기 벡터는
Figure 112016017157169-pat00019
이며, 여기서 mx, my 및 mz는 X축, Y축 및 Z축 각각의 지자기 성분을 나타낸다.
또한, 도 5에 도시된 바와 같이, 소지 방식 검출부(150)는 현재 사용자가 모바일 디바이스(20)를 소지한 방식을 검출하기 위한 것으로 각속도 특징 계산 파트(522) 및 중력 가속도 특징 계산 파트(524)를 포함할 수 있고, 걸음 동작 판단부(160)는 실제 걸음인지 제자리 움직임인지를 판단하기 위해 선형 가속도 크기 계산 파트(532) 및 움직임 특성 계산 파트(534)를 포함할 수 있다.
각속도 특징 계산 파트(522)는 각속도 벡터의 크기
Figure 112016017157169-pat00020
및 각속도 벡터 크기 값의 일정한 개수(N1)의 과거 샘플들의 분산값
Figure 112016017157169-pat00021
을 계산하며, 또한 X축 각속도 성분의 일정 개수의 분산값
Figure 112016017157169-pat00022
을 계산한다.
중력 가속도 특징 계산 파트(524)는 일정시간 동안의 중력 가속도 벡터의 특징값들을 계산한다. 중력 가속도 특징 계산 파트(524)는 모바일 가속도 센서(512)로부터 입력된 가속도 벡터로부터 중력 가속도 벡터를 구하고, 현재시각 기준 일정시간의 중력 가속도 벡터의 X축 및 Y축 각각의 평균값들
Figure 112016017157169-pat00023
을 계산한다. 예를 들면, 샘플링 시간 50msec인 경우에 1.5초 동안 샘플링을 하면 N=30이다. 중력 가속도 특징 계산 파트(524)는 또한, 중력 가속도 벡터로부터 X축 및 Y축의 중력 가속도 평균값
Figure 112016017157169-pat00024
을 계산하고, 아울러 Z축 중력 가속도 성분의 일정 개수의 분산 값
Figure 112016017157169-pat00025
을 계산한다.
소지 방식 검출부(150)는 각속도 특징 계산 파트(522)에서 계산된 특징값들 및 중력 가속도 특징 계산 파트(524)에서 계산된 특징 값들을 소정의 임계값들과의 비교를 통해 소지 방식을 검출한다.
걸음 동작 판단부(160)는 손목형 전자 디바이스(10)에서 설명한 선형 가속도 크기 계산 파트(226) 및 움직임 특성 계산 파트(242)와 동일하므로, 여기서는 이들에 대해 설명을 생략한다. 다만, 걸음 동작 판단부(160)의 움직임 특성 계산 파트(534)는 소지 방식 검출부(150)에서 검출한 소지 방식에 따라 임계값 모듈(322)의 임계값을 변경할 수 있다.
도 6은 본 발명의 일실시예에 따른 손목형 전자 디바이스에서의 특징값들 추출의 흐름도를 도시하는 도면이다.
먼저, 손목형 전자 디바이스(10)는 모바일 디바이스(20)로부터 일상생활의 활동 정보를 수집하기 위한 시작 정보가 수신되었는지를 확인한다(S602). 손목형 전자 디바이스(10)는 모바일 디바이스로부터 시작 정보를 수신하지 않으면 메시지를 기다린다(S604).
손목형 전자 디바이스(10)는 모바일 디바이스(20)로부터 시작 정보가 수신되면, 시계 가속도 센서(212), 시계 자이로 센서(214) 및 시계 지자기 센서(216)는 50msec 마다 각각의 관성 데이터를 출력한다(S606).
가속도 X축 값 출력 파트는 시계 가속도 센서(212)로부터 입력된 X축, Y축 및 Z축 성분들 중에서 X축 성분만을 구하여 출력한다(S608).
선형 가속도 크기 계산 파트(226)는 시계 가속도 센서(212)로부터 입력된 X축, Y축 및 Z축 성분들에서 중력 성분을 필터링하여 선형 가속도 벡터를 구한다(S610). 선형 가속도 크기 계산 파트(226)는 선형 가속도 벡터의 크기를 계산한다(S612). 선형 가속도 크기 계산 파트(226)는 선형 가속도 벡터의 크기값들이 소정 개수, 예를 들면 20개보다 작으면(S614) 50msec 마다 선형 가속도 벡터의 크기를 계속 계산하고(S612), 소정 개수에 도달하면 지난 12개의 선형 가속도 벡터의 크기 값들 중에서 가장 큰 값을 최대값
Figure 112016017157169-pat00026
으로 하여 출력한다(S616). 한편, 선형 가속도 크기 계산 파트(226)는 선형 가속도의 최대값이 0-3m/s2 범위이면 코드 번호 4511, 3-6m/s2 범위이면 코드 번호 4522, 0-3m/s2 범위이면 코드 번호 4533 그리고 14m/s2이상이면 코드 번호 4544를 출력할 수 있다.
반복 횟수 계산 파트는 선형 가속도 크기 계산 파트(226)에서 출력되는 선형 가속도 벡터의 최대값을 이용하여 푸시업과 줄넘기의 반복 횟수를 계산한다(S618).
그리고 움직임 특성 계산 파트(242)는 시계 지자기 센서(216)로부터 입력된 지자기 값과 선형 가속도 크기 계산 파트(226)에서 입력된 최대값을 이용하여 움직임 특성을 계산한다(S620). 한편, 움직임 특성 계산 파트(242)는 임계값 모듈(322) 및 특성값 비교 모듈(324)을 더 포함하고, 특성값 비교모듈은 평균 계산 모듈(320)에서 얻어진 최종적인 움직임 특성 값이 임계값 모듈(322)에서의 임계값, 예를 들어 0.045보다 크면 특징 코드, 예를 들어 111 또는 333을 출력할 수 있다.
가속도 평균 계산 파트(222)는 시계 가속도 센서(212)로부터 입력된 X축, Y축 및 Z축 성분들 중에서 X축 및 Y축 성분들의 평균값을 계산한다(S622).
각속도 크기 계산 파트(232)는 시계 자이로 센서(214)로부터 입력된 각속도 벡터를 이용하여 각속도 벡터의 크기를 계산한다(S624). 각속도 크기 계산 파트(232)는 0-2.5rad/s 범위이면 코드 번호 451, 2.5rad/s 이상이면 코드번호 452를 출력할 수 있다.
걸음 이동 수 계산 파트(234)는 각속도 크기 계산 파트(232)에서 계산된 각속도 크기를 이용하여 걷기, 천천히 뛰기 및 빨리 뛰기에 따른 걸음 이동 수를 계산한다(S626).
시계 통신 모듈부(130)는 시계 특징 추출부(120)에서 출력된 특징값 및/또는 특징 코드를 모바일 다바이스(20)로 송신한다(S628).
상술한 바와 같이 일상생활의 기초적인 활동 인식을 손목형 전자 디바이스(10)에서 수행하는 이유는 위의 신호 특징값 계산 방법이 손목형 전자 디바이스(10)에서도 충분히 계산될 수 있을 정도의 적은 계산 방식을 요구하기도 하지만, 실제 활동들을 분류하기 위해 기초적인 활동 인식 추정이 필요하기 때문이다.
도 7은 본 발명의 일실시예에 따른 모바일 디바이스에서의 일상 활동 모니터링의 흐름도를 도시하는 도면이다.
사용자는 모바일 디바이스(20)의 디스플레이부에 표시된 일상 활동 분류 프로그램을 구동한다(S702). 일상 활동 분류 프로그램이 구동되면, 모바일 디바이스(20)의 모바일 가속도 센서(512), 모바일 자이로 센서(514) 및 모바일 지자기 센서(516)는 50msec 마다 각각의 관성 데이터를 출력한다(S704).
걸음 동작 판단부(160)는 선형 가속도 크기 계산 파트(532) 및 움직임 특성 계산 파트(534)를 포함하여 실제 걸음인지 제자리 움직임인지를 판단한다(S706).
한편, 모바일 디바이스(20)는 손목형 전자 디바이스(10)로부터 일상생활의 활동 정보를 수집하기 위해 손목형 전자 디바이스(10)로 "시작 정보"를 송신한다(S708). 그리고 모바일 디바이스(20)는 1초마다 손목형 전자 디바이스(10)로부터 송신되는 특징값 및/또는 특징 코드를 수신한다(S710).
일상 활동 분류부(180)는 모바일 통신 모듈부(170)에서 출력된 특징값 및/또는 특징 코드와 걸음 동작 판단부(160)에서 판단된 걸음 이동 정보를 이용하여 일상생활에서 하는 활동이 어떤 활동인지를 분류한다(S712). 본 실시예에서의 분류 대상의 활동들은 앉아있음(Sitting : 이하 "SI"라고도 함), 서있음(Standing : 이하 "STA"라고도 함), 걷기(Walking : 이하 "WA"라고도 함), 천천히 뛰기(Jogging : 이하 "JO"라고도 함), 빨리 뛰기(Running : 이하 "RU"라고도 함), 푸시업(Pushing Up : 이하 "PU"라고도 함) 및 줄넘기(Rope Jumping : 이하 "RJ"라고도 함)일 수 있다.
일상 활동 분류부(180)는 1초마다 현재의 활동을 분류하여 버퍼에 저장하며, 30초 동안(S714) 가장 빈도가 많은 활동을 찾아 이 활동으로 최종 분류할 수 있다(S716).
도 8은 본 발명에 따른 특징값들을 이용하여 일상 활동을 분류를 보여주는 도면이다.
도 8에서 SP는 모바일 디바이스(20), SW는 손목형 전자 디바이스(10)이다. 지금까지 설명한 상술한 모든 특징값들을 이용하여 일상생활의 활동을 7개의 활동으로 분류할 수 있다.
본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것인 바, 본 발명과 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 손목형 전자 디바이스 20: 모바일 디바이스
110: 시계 관성 센서부 120: 시계 특징 추출부
130: 시계 통신 모듈부 140: 모바일 관성 센서부
150: 소지 방식 검출부 160: 걸음 동작 판단부
170: 모바일 통신 모듈부 180: 일상 활동 분류부
190: 모바일 저장부

Claims (7)

  1. 시계 가속도 센서 및 시계 지자기 센서를 포함하는 시계 관성 센서부와, 상기 시계 가속도 센서에서 출력된 가속도 벡터와 상기 시계 지자기 센서에서 출력된 지자기 벡터를 이용하여 일상 활동 관련 특징값 또는 특징코드를 추출하는 시계 특징 추출부와, 상기 시계 특징 추출부에서 추출된 특징값 또는 특징코드를 송신하는 시계 통신 모듈부를 포함하는 손목형 전자 디바이스와,
    모바일 가속도 센서 및 모바일 지자기 센서를 포함하는 모바일 관성 센서부와, 상기 모바일 가속도 센서에서 출력된 가속도 벡터 및 상기 모바일 지자기 센서에서 출력된 지자기 벡터를 이용하여 사용자의 움직임이 실제 이동인지 아니면 제자리 움직임인지를 판단하는 걸음 동작 판단부와, 상기 시계 통신 모듈부에서 송신된 특징값 또는 특징코드를 수신하는 모바일 통신 모듈부와, 상기 걸음 동작 판단부로부터 입력된 사용자의 움직임 정보와 상기 모바일 통신 모듈부로부터 입력된 특징값 또는 특징코드를 이용하여 사용자의 일상 활동을 분류하는 일상 활동 분류부를 포함하는 모바일 디바이스를 포함하고,
    상기 시계 통신 모듈부는 상기 시계 특징 추출부에서 추출된 특징값 또는 특징코드를 소정의 시간 간격 동안 버퍼에 저장하고, 소정의 시간이 되면 이들 특징값 또는 특징코드를 상기 모바일 디바이스로 송신하고, 그리고
    상기 일상 활동 분류부는 상기 소정의 시간 간격마다 사용자의 일상 활동을 분류하고, 상기 소정의 시간 간격의 수십 배마다 분류된 일상 활동의 데이터들 중에서 가장 활동 빈도가 많은 활동을 최종 활동으로 저장하는 것을 특징으로 하는 일상 활동 분류 시스템.
  2. 제1항에 있어서,
    상기 시계 특징 추출부는 일상 활동 관련 특징값 또는 특징코드로, 상기 시계 가속도 센서에서 출력된 가속도 벡터를 이용하여, 얻은 (1) X축 및 Y축의 가속도 평균값과, (2) X축의 가속도 값과, 그리고 선형 가속도 벡터를 구하여 선형 가속도의 크기 값을 계산하고 얻은 (3) 소정 개수의 크기 값들 중에서의 최대값과, 그리고 상기 최대값과 상기 시계 지자기 센서에서 출력된 지자기 벡터로부터 지자기 벡터의 크기 값을 계산하고 소정 개수의 크기 값들에 대한 분산값을 이용하여 구한 (4) 움직임 값을 출력하는 것을 특징으로 하는 일상 활동 분류 시스템.
  3. 제2항에 있어서,
    상기 걸음 동작 판단부는 상기 모바일 가속도 센서에서 출력된 가속도 벡터에서 중력 가속도를 제거하여 얻은 선형 가속도 벡터로부터 구한 선형 가속도의 크기와 상기 모바일 지자기 센서에서 출력된 지자기 벡터의 크기 값과 관련된 분산값을, 상보 필터링하여 얻은 필터링 값을 이용하여 사용자의 움직임이 실제 이동인지 아니면 제자리 움직임인지를 판단하는 것을 특징으로 하는 일상 활동 분류 시스템.
  4. 제3항에 있어서,
    시계 관성 센서부는 시계 자이로 센서를 더 포함하고,
    상기 시계 특징 추출부는 상기 시계 자이로 센서에서 출력된 각속도 벡터의 크기 값을 계산하여 일상 활동 관련 특징값 또는 특징코드로 출력하는 것을 특징으로 하는 일상 활동 분류 시스템.
  5. 제4항에 있어서,
    상기 일상 활동 분류부는 앉아있음, 서있음, 걷기, 천천히 뛰기, 빨리 뛰기, 푸시업 및 줄넘기 중 어느 하나로 사용자의 일상 활동을 분류하는 것을 특징으로 하는 일상 활동 분류 시스템.
  6. 삭제
  7. 시계 가속도 센서 및 시계 지자기 센서를 포함하는 손목형 전자 디바이스와 모바일 가속도 센서 및 모바일 지자기 센서를 포함하는 모바일 디바이스를 포함하는 시스템에서의 일상 활동 분류 방법에 있어서,
    상기 시계 가속도 센서에서 출력된 가속도 벡터와 상기 시계 지자기 센서에서 출력된 지자기 벡터를 이용하여 일상 활동 관련 특징값 또는 특징코드를 추출하는 단계와,
    상기 특징값 또는 특징코드를 추출하는 단계에서 추출된 특징값 또는 특징코드를 송신하는 단계와,
    상기 모바일 가속도 센서에서 출력된 가속도 벡터 및 상기 모바일 지자기 센서에서 출력된 지자기 벡터를 이용하여 사용자의 움직임이 실제 이동인지 아니면 제자리 움직임인지를 판단하는 단계와,
    상기 판단하는 단계에서 출력된 사용자의 움직임 정보와 상기 송신하는 단계에서 송신된 특징값 또는 특징코드를 이용하여 사용자의 일상 활동을 분류하는 단계를 포함하고,
    상기 특징값 또는 특징코드를 송신하는 단계는 상기 특징값 또는 특징코드를 추출하는 단계에서 추출된 특징값 또는 특징코드를 소정의 시간 간격 동안 버퍼에 저장하고, 소정의 시간이 되면 이들 특징값 또는 특징코드를 상기 모바일 디바이스로 송신하고, 그리고
    상기 일상 활동을 분류하는 단계는 상기 소정의 시간 간격마다 사용자의 일상 활동을 분류하고, 상기 소정의 시간 간격의 수십 배마다 분류된 일상 활동의 데이터들 중에서 가장 활동 빈도가 많은 활동을 최종 활동으로 저장하는 것을 특징으로 하는 일상 활동 분류 방법.
KR1020160020502A 2016-02-22 2016-02-22 일상 활동 분류 시스템 및 방법 KR101751304B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160020502A KR101751304B1 (ko) 2016-02-22 2016-02-22 일상 활동 분류 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160020502A KR101751304B1 (ko) 2016-02-22 2016-02-22 일상 활동 분류 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101751304B1 true KR101751304B1 (ko) 2017-06-27

Family

ID=59514393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160020502A KR101751304B1 (ko) 2016-02-22 2016-02-22 일상 활동 분류 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101751304B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937970B1 (ko) * 2017-07-07 2019-04-11 (주)키즈소프트 이상 행동 모니터링을 위한 웨어러블 기기, 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140288877A1 (en) 2013-03-15 2014-09-25 Aliphcom Intermediate motion signal extraction to determine activity
KR101461464B1 (ko) * 2014-06-18 2014-11-18 김경태 스마트밴드 및 이의 생체 인증 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140288877A1 (en) 2013-03-15 2014-09-25 Aliphcom Intermediate motion signal extraction to determine activity
KR101461464B1 (ko) * 2014-06-18 2014-11-18 김경태 스마트밴드 및 이의 생체 인증 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937970B1 (ko) * 2017-07-07 2019-04-11 (주)키즈소프트 이상 행동 모니터링을 위한 웨어러블 기기, 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR101690649B1 (ko) 다축 활동 모니터 디바이스로의 활동 분류
US10001386B2 (en) Automatic track selection for calibration of pedometer devices
JP6071069B2 (ja) 生体徴候を監視するためのジェスチャ制御
US10504031B2 (en) Method and apparatus for determining probabilistic context awareness of a mobile device user using a single sensor and/or multi-sensor data fusion
US20210068713A1 (en) Detecting swimming activities on a wearable device
US10302434B2 (en) Method and apparatus for determining walking direction for a pedestrian dead reckoning process
US10694980B2 (en) Exercise support device, exercise support method and exercise support program
WO2015148578A2 (en) Multi-functional smart mobility aid devices and methods of use
US20160123738A1 (en) Pedestrian Dead Reckoning Position Tracker
AU2015316575A1 (en) Inertial tracking based determination of the position of a mobile device carried by a user in a geographical area
JP6134872B1 (ja) 対象の周期的な運動のサイクル数を計数するデバイス、方法及びシステム
US20160189534A1 (en) Wearable system and method for balancing recognition accuracy and power consumption
WO2015152921A1 (en) Calibration of a primary pedometer device using a secondary pedometer device
Andò et al. A wearable device to support the pull test for postural instability assessment in Parkinson’s disease
Parnandi et al. Coarse in-building localization with smartphones
De Cillis et al. Indoor positioning system using walking pattern classification
JP2016010562A (ja) データ解析装置及びデータ解析方法、データ解析プログラム
Minh et al. Evaluation of smartphone and smartwatch accelerometer data in activity classification
KR101751304B1 (ko) 일상 활동 분류 시스템 및 방법
CN105142107B (zh) 一种室内定位方法
JP2016182160A (ja) 運動状態解析システムとその方法、装置及びプログラム
Singh et al. Implementation of safety alert system for elderly people using multi-sensors
CN113923293B (zh) 喝水提醒方法及电子设备
CN107203259B (zh) 用于使用单和/或多传感器数据融合确定移动设备使用者的概率性内容感知的方法和装置
KR101552724B1 (ko) 휴대단말기의 운동거리 측정 장치 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160222

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161218

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170619

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170621

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170622

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200406

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210324

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230321

Start annual number: 7

End annual number: 7