KR102236630B1 - 웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법 - Google Patents

웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR102236630B1
KR102236630B1 KR1020180143230A KR20180143230A KR102236630B1 KR 102236630 B1 KR102236630 B1 KR 102236630B1 KR 1020180143230 A KR1020180143230 A KR 1020180143230A KR 20180143230 A KR20180143230 A KR 20180143230A KR 102236630 B1 KR102236630 B1 KR 102236630B1
Authority
KR
South Korea
Prior art keywords
scratching
extracting
user
axis
data
Prior art date
Application number
KR1020180143230A
Other languages
English (en)
Other versions
KR20200058737A (ko
Inventor
이종인
Original Assignee
이종인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종인 filed Critical 이종인
Priority to KR1020180143230A priority Critical patent/KR102236630B1/ko
Publication of KR20200058737A publication Critical patent/KR20200058737A/ko
Application granted granted Critical
Publication of KR102236630B1 publication Critical patent/KR102236630B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법이 개시된다. 본 발명의 일 실시예에 따른 긁음 행위 인식 방법은 사용자의 팔의 일부 영역에 착용된 웨어러블 통신 단말로부터 상기 사용자의 움직임에 대한 센싱 데이터를 수신하는 단계; 상기 수신된 센싱 데이터에 기초하여 상기 사용자의 움직임에 대응하는 주기적인 패턴을 추출하는 단계; 상기 추출된 주기적인 패턴을 이용하여 적어도 하나 이상의 긁음 행위 이벤트를 추출하고, 상기 추출된 긁음 행위 이벤트에 기초하여 긁음 행위를 인식하는 단계; 및 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 발생한 부위를 특정하는 단계를 포함한다.

Description

웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법 {System for recognizing scratch motion based on a wearable communications terminal and method therefor}
본 발명은 긁음 행위 인식 기술에 관한 것으로, 보다 구체적으로는 웨어러블 통신 단말을 착용한 사용자의 긁음 행위를 인식하고, 긁음 행위 인식과 가려움 발생 요인 간의 상관 관계에 기초하여 사용자의 긁음 행위에 대한 발생 요인을 추정 및 제공할 수 있는 시스템 및 그 방법에 관한 것이다.
심한 가려움증은 삶의 질에 많은 영향을 미치므로, 아토피성 피부염 및 습진과 같은 만성 가려움증 환자는 가려움증 증상을 잘 관리해야 한다. 특히, 아토피성 피부염(AD)은 아동에게 흔히 발생하며, 선진국에서는 유병률(prevalence)이 점차 증가하고 있다. 이러한 가려움증 해결을 위해서는 가려운 정도와 위치, 그리고 가려움 발생 요인을 정확히 파악해야 한다.
그러나 환자가 짧은 진료 시간 동안 자신의 증상을 구체적이고 정확하게 의료진에 전달하기가 어려우며, 환자가 느끼는 가려움 정도는 환자의 주관적 판단에 전적으로 의존하고 있어, 환자가 느끼는 가려움 정도와 실제 질환 정도가 상이한 경우가 빈번히 발생하게 된다.
종래 일 실시예에 따른 기술은 적외선 비디오 및 수동 라벨링을 통해 긁은 행동을 모니터링하는 것으로, 해당 기술은 사용자 행동 반경이 한정되는 조건하에서만 수행되며, 손의 위치가 잘못되어 있거나 숨겨 있는 경우 예를 들어, 손이 담요로 덮여있는 경우 긁은 행동을 인식하기 불가능한 한계가 있다. 즉 사용자의 야간 취침 시에는 긁은 행위를 추정 또는 인식하기 불가능해지는 단점을 가진다.
또한 가려움증은 매우 다양한 외부 요인에 발생하게 되므로 의료진이라 할지라도 환자 개개인의 가려움 발생 요인을 단번에 파악하기가 어렵기 때문에 반복적인 진료와 치료를 통해서만 정확한 가려움 발생 요인을 인지할 수 있는 단점이 있다.
본 발명의 실시예들은, 웨어러블 통신 단말을 착용한 사용자의 긁음 행위를 인식하고, 긁음 행위 인식과 가려움 발생 요인 간의 상관 관계에 기초하여 사용자의 긁음 행위에 대한 발생 요인을 추정 및 제공할 수 있는 시스템 및 그 방법을 제공한다.
본 발명의 실시예들은, 웨어러블 통신 단말을 이용하여 언제 어디서나 긁음 행위에 대한 객관적 정보를 수집 및 제공할 수 있도록 하는 긁음 행위 인식 방법 및 그 시스템을 제공한다.
본 발명의 실시예들은, 긁음 행위에 대한 정확도를 향상시킬 수 있는 긁음 행위 인식 방법 및 그 시스템을 제공한다.
본 발명의 일 실시예에 따른 긁음 행위 인식 방법은 사용자의 팔의 일부 영역에 착용된 웨어러블 통신 단말로부터 상기 사용자의 움직임에 대한 센싱 데이터를 수신하는 단계; 상기 수신된 센싱 데이터에 기초하여 상기 사용자의 움직임에 대응하는 주기적인 패턴을 추출하는 단계; 상기 추출된 주기적인 패턴을 이용하여 적어도 하나 이상의 긁음 행위 이벤트를 추출하고, 상기 추출된 긁음 행위 이벤트에 기초하여 긁음 행위를 인식하는 단계; 및 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 발생한 부위를 특정하는 단계를 포함한다.
상기 부위를 특정하는 단계는 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 팔에 대한 긁음 행위인지 판단하는 단계; 상기 긁음 행위가 팔에 대한 긁음 행위와 무관한 경우 상기 수신된 센싱 데이터에 기초하여 기준 헤딩 축(reference heading axis)을 추정하는 단계; 상기 추정된 기준 헤딩 축에 기초하여 방향 상태 시퀀스를 추출하는 단계; 및 상기 추출된 방향 상태 시퀀스와 미리 설정된 학습 모델에 기초하여 상기 긁음 행위가 머리(head), 몸통(trunk), 다리(legs) 중 어느 하나의 부위에 대한 긁음 행위로 특정하는 단계를 포함한다.
상기 기준 헤딩 축을 추정하는 단계는 상기 수신된 센싱 데이터를 이용하여 다리 대 머리 움직임(leg-to-head movement) 데이터를 추출하고, 상기 추출된 다리 대 머리 움직임 데이터에 기초하여 헤딩 축 후보들을 추출하며, 상기 추출된 헤딩 축 후보들을 이용하여 상기 기준 헤딩 축을 추정할 수 있다.
상기 주기적인 패턴을 추출하는 단계는 상기 센싱 데이터를 다수의 윈도우로 분할한 후 노이즈 윈도우를 제거하는 단계; 상기 윈도우 각각의 특징 값을 추출하는 단계; 상기 윈도우 각각의 특징 값을 랜덤 포레스트 알고리즘을 통해 분석하여 긁음 행위가 센싱된 윈도우를 검출하는 단계; 및 상기 검출된 윈도우의 개수에 기반하여 긁음 횟수를 산출하고, 상기 검출된 윈도우의 신호 강도에 기반하여 긁음 강도를 산출하며, 상기 긁음 횟수와 상기 긁음 강도 중 적어도 하나에 대한 정보를 포함하는 긁음 패턴에 대응하는 주기적인 패턴을 추출하는 단계를 포함할 수 있다.
상기 윈도우 각각의 특징 값을 추출하는 단계는 상기 센싱 데이터를 3축 데이터에서 1축 데이터로 변환하는 단계; 상기 1측 데이터를 자기 상관 신호로 변환하는 단계; 및 상기 자기 상관 신호의 특징값을 기반으로 상기 윈도우 각각의 특징 값을 추출하는 단계를 포함할 수 있다.
상기 센싱 데이터를 수신하는 단계는 상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고, 상기 주기적인 패턴을 추출하는 단계는 상기 3축 가속도 센싱 신호들 중 가장 큰 주기성을 가지는 하나의 센싱 신호를 선택하며, 상기 선택된 센싱 신호를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
상기 센싱 데이터를 수신하는 단계는 상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들과 방향 센싱 신호를 수신하고, 상기 주기적인 패턴을 추출하는 단계는 상기 3축 가속도 센싱 신호들에 대응하는 방향 센싱 신호들 중 가장 큰 주기성을 가지는 방향 센싱 신호를 선택하며, 상기 선택된 방향 센싱 신호를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
상기 센싱 데이터를 수신하는 단계는 상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고, 상기 주기적인 패턴을 추출하는 단계는 상기 3축 가속도 센싱 신호들의 윈도우들 중 주기성을 가지는 윈도우를 선택하며, 상기 선택된 윈도우를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
나아가, 본 발명의 일 실시예에 따른 긁음 행위 인식 방법은 상기 긁음 행위에 대한 분석을 통해 상기 사용자의 긁음 행위에 대한 콘텐츠를 제공하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 긁음 행위 인식 시스템은 사용자의 팔의 일부 영역에 착용된 웨어러블 통신 단말로부터 상기 사용자의 움직임에 대한 센싱 데이터를 수신하는 수신부; 상기 수신된 센싱 데이터에 기초하여 상기 사용자의 움직임에 대응하는 주기적인 패턴을 추출하는 추출부; 상기 추출된 주기적인 패턴을 이용하여 적어도 하나 이상의 긁음 행위 이벤트를 추출하고, 상기 추출된 긁음 행위 이벤트에 기초하여 긁음 행위를 인식하는 인식부; 및 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 발생한 부위를 특정하는 특정부를 포함한다.
상기 특정부는 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 팔에 대한 긁음 행위인지 판단하고, 상기 긁음 행위가 팔에 대한 긁음 행위와 무관한 경우 상기 수신된 센싱 데이터에 기초하여 기준 헤딩 축(reference heading axis)을 추정하며, 상기 추정된 기준 헤딩 축에 기초하여 방향 상태 시퀀스를 추출하고, 상기 추출된 방향 상태 시퀀스와 미리 설정된 학습 모델에 기초하여 상기 긁음 행위가 머리(head), 몸통(trunk), 다리(legs) 중 어느 하나의 부위에 대한 긁음 행위로 특정할 수 있다.
상기 특정부는 상기 수신된 센싱 데이터를 이용하여 다리 대 머리 움직임(leg-to-head movement) 데이터를 추출하고, 상기 추출된 다리 대 머리 움직임 데이터에 기초하여 헤딩 축 후보들을 추출하며, 상기 추출된 헤딩 축 후보들을 이용하여 상기 기준 헤딩 축을 추정할 수 있다.
상기 추출부는 상기 센싱 데이터를 다수의 윈도우로 분할한 후 노이즈 윈도우를 제거하고, 상기 윈도우 각각의 특징 값을 추출하며, 상기 윈도우 각각의 특징 값을 랜덤 포레스트 알고리즘을 통해 분석하여 긁음 행위가 센싱된 윈도우를 검출하고, 상기 검출된 윈도우의 개수에 기반하여 긁음 횟수를 산출하고, 상기 검출된 윈도우의 신호 강도에 기반하여 긁음 강도를 산출하며, 상기 긁음 횟수와 상기 긁음 강도 중 적어도 하나에 대한 정보를 포함하는 긁음 패턴에 대응하는 주기적인 패턴을 추출할 수 있다.
상기 추출부는 상기 센싱 데이터를 3축 데이터에서 1축 데이터로 변환하고, 상기 1측 데이터를 자기 상관 신호로 변환하며, 상기 자기 상관 신호의 특징값을 기반으로 상기 윈도우 각각의 특징 값을 추출할 수 있다.
상기 수신부는 상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고, 상기 추출부는 상기 3축 가속도 센싱 신호들 중 가장 큰 주기성을 가지는 하나의 센싱 신호를 선택하며, 상기 선택된 센싱 신호를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
상기 수신부는 상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들과 방향 센싱 신호를 수신하고, 상기 추출부는 상기 3축 가속도 센싱 신호들에 대응하는 방향 센싱 신호들 중 가장 큰 주기성을 가지는 방향 센싱 신호를 선택하며, 상기 선택된 방향 센싱 신호를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
상기 수신부는 상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고, 상기 추출부는 상기 3축 가속도 센싱 신호들의 윈도우들 중 주기성을 가지는 윈도우를 선택하며, 상기 선택된 윈도우를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
나아가, 본 발명의 일 실시예에 따른 긁음 행위 인식 시스템은 상기 긁음 행위에 대한 분석을 통해 상기 사용자의 긁음 행위에 대한 콘텐츠를 제공하는 제공부를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 웨어러블 통신 단말을 착용한 사용자의 긁음 행위를 인식하고, 긁음 행위 인식과 가려움 발생 요인 간의 상관 관계에 기초하여 사용자의 긁음 행위에 대한 발생 요인을 추정 및 제공할 수 있다.
본 발명의 실시예들에 따르면, 웨어러블 통신 단말을 이용하여 언제 어디서나 긁음 행위에 대한 객관적 정보를 수집 및 제공할 수 있다.
본 발명의 실시예들에 따르면, 긁음 행위에 대한 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 도 2의 전처리 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 주기적인 패턴을 추출하는 과정을 설명하기 위한 예시도들을 나타낸 것이다.
도 5는 긁음 행위에 대한 부위를 특정하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 6은 방향 상태 시퀀스를 추출하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 7은 긁음 행위 이벤트 강도에 대한 분포의 일 예시도를 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 시스템을 설명하기 위한 일 예시도를 나타낸 것으로, 도 2는 본 발명의 일 실시예에 따른 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1과 도 2를 참조하면, 본 발명의 시스템은 웨어러블 통신 단말, 사용자 단말 및 서버를 포함하며, 본 발명에 따른 방법은 이러한 시스템에서의 동작을 의미하며, 사용자 단말(mobile client)와 서버(server) 간은 네트워크를 통해 연결될 수 있다.
네트워크는 사용자 단말과 서버 간을 연결하는 통신망으로 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 인터넷은 PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
본 발명에서의 방법은 사용자 단말에서 이루어질 수도 있고, 서버에서 이루어질 수도 있으며, 사용자 단말과 서버의 조합을 통해 이루어질 수도 있다. 이하 본 발명에 대한 설명의 편의를 위하여 사용자 단말에서 긁음 행위를 인식하는 것으로 설명하고, 서버에서 사용자의 긁음 행위와 관련된 정보 예를 들어, 콘텐츠 정보 등을 사용자 단말에게 제공하는 것으로 설명한다. 물론, 사용자 단말에서 이루어지는 동작이 서버에서 이루어질 수 있다는 것은 본 발명의 기술 분야에 종사하는 당업자에게 있어서 자명하다.
사용자 단말은 서버 및 웨어러블 통신 단말과 통신할 수 있으며, 웨어러블 통신 단말로부터 수신되는 센싱 데이터를 이용하여 긁음 행위를 인식하거나 센싱 데이터를 서버로 제공하여 긁음 행위에 대한 분석 정보 등을 서버로부터 제공받기 위한 어플리케이션이 설치된 단말을 포함할 수 있으며, 스마트 폰, PDA, 노트북 등 본 발명에 적용할 수 있는 모든 단말을 포함할 수 있다.
웨어러블 통신 단말은 사용자의 신체 부위 예를 들어, 팔의 일부 영역(사용자 손목)에 착용되어 사용자의 움직임 즉, 긁음 행위에 대한 센싱 데이터를 획득하고, 획득된 센싱 데이터를 사용자 단말로 제공한다.
여기서, 웨어러블 통신 단말은 3축 선형 가속계, 3축 자이로스코프 및 방향 센서와 같은 3축 움직임 센서를 구비할 수 있으며, 사용자의 손목 움직임에 대한 센싱 데이터의 제공을 통해 사용자 단말로부터 수신되는 사용자의 긁음 행위와 관련된 각종 정보를 수신하여 사용자에게 제공할 수 있다.
사용자 단말은 블루투스와 같은 근거리 무선 통신 방식으로 웨어러블 통신 단말과 통신함과 동시에 서버와의 연동을 지원하는 어플리케이션을 다운로드 받아 설치하고, 어플리케이션을 실행한다.
사용자 단말은 웨어러블 통신 단말로부터 수신되는 센싱 데이터를 분석하여 긁음 행위에 대응하는 주기적인 패턴 예를 들어, 긁음 횟수, 긁음 강도를 생성하거나 추출하고, 이렇게 추출된 주기적인 패턴에 기초하여 사용자의 긁음 행위를 인식할 수 있다. 이 때, 사용자 단말은 수신된 센싱 데이터 예를 들어, 3축 센싱 데이터 각각에 대하여 센싱된 신호를 하나 이상의 메인 진동 신호와 하나 이상의 미세 진동 신호로 나눌 수 있으며, 하나 이상의 메인 진동 신호와 하나 이상의 미세 진동 신호를 처리함으로써, 긁음 행위에 대한 이벤트가 있는지를 판단할 수 있다.
나아가, 사용자 단말은 긁음 행위가 인식되면 수신된 센싱 데이터에 기초하여 긁음 행위가 발생된 사용자의 신체 부위 예를 들어, 팔, 몸통, 머리, 다리 등의 부위를 특정할 수 있다.
더 나아가, 사용자 단말은 분석을 통해 생성된 정보 등을 웨어러블 통신 단말 또는 서버로 제공할 수 있으며, 이러한 정보와 주변 환경 정보 그리고 사용자에 대한 의료적인 이력 정보에 기초하여 분석된 분석 정보를 서버로부터 수신하여 사용자에게 제공할 수도 있다.
또한, 사용자 단말은 수신된 센싱 데이터에 기초하여 상기 사용자의 움직임에 대응하는 주기적인 패턴을 추출하고, 상기 추출된 주기적인 패턴을 이용하여 적어도 하나 이상의 긁음 행위 이벤트를 추출하며, 상기 추출된 긁음 행위 이벤트에 기초하여 긁음 행위를 인식하고, 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 발생한 부위를 특정할 수 있다.
구체적으로, 사용자 단말은 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 팔에 대한 긁음 행위인지 판단하고, 상기 긁음 행위가 팔에 대한 긁음 행위와 무관한 경우 상기 수신된 센싱 데이터에 기초하여 기준 헤딩 축(reference heading axis)을 추정하며, 상기 추정된 기준 헤딩 축에 기초하여 방향 상태 시퀀스를 추출하고, 상기 추출된 방향 상태 시퀀스와 미리 설정된 학습 모델 예를 들어, 마코브 체인 모델(Markov-chain model)에 대응하여 미리 학습된 딥 러닝 모델에 기초하여 상기 긁음 행위가 머리(head), 몸통(trunk), 다리(legs) 중 어느 하나의 부위에 대한 긁음 행위로 특정할 수 있다.
여기서, 사용자 단말은 상기 수신된 센싱 데이터를 이용하여 다리 대 머리 움직임(leg-to-head movement) 데이터를 추출하고, 상기 추출된 다리 대 머리 움직임 데이터에 기초하여 헤딩 축 후보들을 추출하며, 상기 추출된 헤딩 축 후보들을 이용하여 상기 기준 헤딩 축을 추정할 수 있다.
이러한 사용자 단말은 전처리 과정(preprocessing), 윈도우 분류 과정(window classification), 긁음 이벤트 인식 과정(scratch event recognition) 및 긁음 행위 특정 과정(scratch localization)을 포함한다.
본 발명에서의 긁음 행위는 손목을 크게 움직이는 패턴으로 수행될 수도 있고, 손가락만을 움직이는 패턴으로 수행될 수도 있으며, 3축 선형 가속계는 높은 진폭을 갖는 긁기 행동 감지에 유리하며, 3축 자이로스코프는 매우 작은 긁기 행동(예를 들어, 손가락만으로 긁는 행동) 감지에 유리한 특징을 가지고 있다. 이에 본 발명에서의 웨어러블 기기는 3축 선형 가속계, 3축 자이로스코프 및 방향 센서를 포함할 수 있다.
전처리 과정에 대해 설명하면, 웨어러블 단말로부터 수신된 센싱 데이터 예를 들어, 3축 선형 가속계, 3축 자이로스코프 및 방향 센서 등을 센싱된 사용자의 긁음 행위에 대응되는 센싱 데이터 예를 들어, 손목 움직임에 대한 센싱 데이터가 수신되면, 센싱 데이터를 전처리 한다.
구체적으로, 3개 센서 예를 들어, 방향 센서, 가속도 센서, 자이로스코프를 웨어러블 단말로부터 수신하여 3초 단위로 윈도윙과 프레이밍(windowing/framing)을 수행하고, 이 후에 윈도우에 대한 크기 값을 구하여 움직인지 않는 윈도우(stationary window)를 제거한다. 그리고 남은 윈도우에 대하여 3개 축(x-axis, y-axis, z-axis) 에서, 각 축에서 사람이 움직임이 보일 수 있는 신호(12Hz 이하)와 사람이 보일 수 없지만 마찰력 등으로 나올 수 있는 미세 진동(50Hz 근처)으로 나누고, 모든 신호들에서 주기성이 가장 큰 신호를 하나 선택한다. Part Extraction도 여기서 나온 모든 신호에 적용한 후, 주기성이 가장 큰 파트를 선택할 수 있다.
예컨대, 사용자 단말은 센싱 데이터를 기 설정된 시간 길이를 가지는 다수의 윈도우로 분할한 후 신호값이 거의 없거나 전혀 없는 윈도우인 노이즈 윈도우를 제거하고, 긁음 행위와 관련된 윈도우에 기초하여 긁음 행위에 대한 주기적인 패턴을 추출한다.
이 때, 사용자 단말은 도 3a(비주기적 움직임을 센싱한 센싱 데이터의 변환 결과)와 도 3b(주기적 움직임을 센싱한 센싱 데이터의 변환 결과)에 도시된 바와 같이 센싱 데이터를 3축 데이터에서 1축 데이터로 변환하고, 1측 데이터를 자기 상관 신호로 변환함으로써, 긁음 행위에 대한 주기적인 패턴을 추출할 수 있다.
도 3을 통해 알 수 있듯이, 센싱 데이터를 자기 상관 신호를 변환하는 경우, 센싱 데이터의 주기성을 가지는 반복 패턴은 더 증폭되나, 주기성이 없는 패턴은 증폭되지 못함을 알 수 있다. 사용자 취침 중에 획득되는 센싱 데이터에는 뒤척이기와 같은 수면 움직임에 의해 생성되는 약한 주기적인 신호 잡음이 포함될 수 있으나, 자기 상관 신호로 변환됨에 따라 이러한 신호 잡음은 제거되고 긁음 행위에 관련된 주기적 신호만이 선별되며 증폭된다.
하지만, 현실에서의 긁음 행위와 시뮬레이션된 긁음 행위에 대한 주기적인 움직임은 실제 상이할 수 있기 때문에 긁음 행위에 대한 주기적인 패턴을 추출하는데 있어서 그 정확성을 향상시키기 위해 다양한 방법을 사용할 수 있다.
일 예로, 도 4a에 도시된 바와 같이 사용자 단말은 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하는 경우 상기 3축 가속도 센싱 신호들 중 가장 큰 주기성을 가지는 하나의 센싱 신호를 선택하며, 상기 선택된 센싱 신호를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
다른 일 예로, 도 4b에 도시된 바와 같이 사용자 단말은 주기성이 모호하며, 사용자의 움직임에 대한 3축 가속도 센싱 신호들과 방향 센싱 신호를 수신하는 경우 3축 가속도 센싱 신호들에 대응하는 방향 센싱 신호들 중 가장 큰 주기성을 가지는 방향 센싱 신호를 선택하며, 상기 선택된 방향 센싱 신호를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
또 다른 일 예로, 도 4c에 도시된 바와 같이 사용자 단말은 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하는 경우 상기 3축 가속도 센싱 신호들의 윈도우들 중 주기성을 가지는 윈도우 예를 들어, 3초 윈도우에서 주기적인 부분을 선택하며, 상기 선택된 윈도우를 이용하여 상기 주기적인 패턴을 추출할 수 있다.
그 다음, 윈도우 분류 과정에 대해 설명하면, 윈도우 각각의 특징 값을 추출하며, 상기 윈도우 각각의 특징 값을 랜덤 포레스트 알고리즘을 통해 분석하여 긁음 행위가 센싱된 윈도우를 검출하고, 상기 검출된 윈도우의 개수에 기반하여 긁음 횟수를 산출하고, 상기 검출된 윈도우의 신호 강도에 기반하여 긁음 강도를 산출하며, 상기 긁음 횟수와 상기 긁음 강도 중 적어도 하나에 대한 정보를 포함하는 긁음 패턴에 대응하는 주기적인 패턴을 추출할 수 있다. 구체적으로, 사용자 단말은 센싱 데이터를 3축 데이터에서 1축 데이터로 변환하고, 상기 1측 데이터를 자기 상관 신호로 변환하며, 상기 자기 상관 신호의 특징값을 기반으로 상기 윈도우 각각의 특징 값을 추출할 수 있다.
여기서, 윈도우는 인간의 활동을 시간 단위로 탐지하는 데 자주 사용되는 것으로, 본 발명에서는 윈도우가 3초의 시간 길이를 가지면서, 1 초씩 쉬프트되며 현재 윈도우의 마지막 2 초가 다음 윈도우의 일부로 사용될 수 있다. 물론, 사전 처리 완료된 윈도우들을 기반으로 긁음 행위의 반복적 움직임을 반영하는 특징값을 추출할 수 있으며, 특징값 추출 단계는 센싱 데이터를 3축 데이터에서 방향-불변 신호를 특성을 가지는 1축 데이터로 변환하는 1축 센싱 데이터로의 변환 단계, 자기 상관 신호로의 변환 단계, 및 자기 상관 신호의 특징값 추출 단계로 구성될 수 있다.
이 때, 1축 센싱 데이터는 크기 값과 방향 값을 포함할 수 있는데, 크기 값은 t 시점에서의 3축 데이터의 x,y,z 축 값을 입력으로 하는 미리 설정된 수학식을 통해 산출 가능하며, 방향 값은 3축 센싱 데이터에 대한 주성분 분석(Principal Component Analysis, PCA)을 통해 획득되는 첫 번째 성분(PC1)일 수 있다. PC1는 긁음 행위가 분명한 운동 방향성을 가진다면 손목 방향에 관계없이 긁음 행위의 주기적 패턴을 반영할 수 있기 때문이다. 자기 상관 신호로의 변환 단계에서는 센서 각각의 1축 센싱 데이터를 자기 상관 신호로 변환한다.
자기 상관 신호의 특징값 추출 과정에서는 자기 상관 신호의 특징 값을 추출할 수 있으며, 특징 값은 진폭(Amplitude power), 첨도(Kurtosis power), 고조파(Harmonics), 강한 피크(Prominent Peak), 및 약한 피크(Weak Peak) 중 적어도 하나를 포함할 수 있다.
또한, 자기 상관 신호의 특징값을 랜덤 포레스트 알고리즘에 따라 분석하여 긁음 패턴을 획득하고 출력할 수 있는데, 주기 변동의 에너지는 자기 상관 신호에서 측정되므로 자기 상관 신호의 신호 변화 패턴으로부터 주기적인 에너지 변동을 파악할 수 있다. 따라서, 본 발명은 여러 가지 긁음 행위에 상응하는 자기 상관 신호들의 특징값을 이용하여 랜덤 포레스트 알고리즘을 사전 학습시키고, 이를 이용하여 긁음 행위가 센싱된 윈도우를 추출할 수도 있다.
그리고 추출된 윈도우가 기 설정된 개수 예를 들어, 3개 연속 추출되면, 이들을 하나의 긁음 이벤트로 취급하고, 긁음 이벤트 발생 횟수를 카운팅하여 긁음 횟수를 산출하도록 한다. 나아가, 윈도우 각각의 신호 강도를 산출한 후 긁음 이벤트 단위로 분류할 수 있고, 동일 긁음 이벤트에 속한 윈도우들의 신호 강도 중에서 가장 센 신호 강도를 획득하며, 이를 해당 긁음 이벤트를 대표하는 긁음 강도로 설정할 수도 있는데, 이는 사용자가 가장 세게 긁었을 때는 통보할 수 있도록 하기 위함이다.
윈도우 분류 과정을 통해 긁음 횟수와 긁음 강도가 획득 완료되면, 이들 중 적어도 하나에 대한 정보를 포함하는 긁음 패턴을 생성하여 출력하도록 한다.
긁음 행위 이벤트 인식 과정은 윈도우 분류 과정을 통해 긁음 행위 이벤트가 추출되면, 추출된 긁음 행위 이벤트들에 기초하여 사용자의 긁음 행위를 인식한다.
여기서, 사용자의 긁음 행위를 인식하는 과정은 추출된 긁음 행위 이벤트들을 결합함으로써, 인식될 수 있다.
긁음 행위 이벤트 인식 과정은 3초 이상의 이벤트에 대한 유효 윈도우를 클러스터링하고, 이렇게 클러스터링된 유효 윈도우를 긁음 행위 이벤트로 인식할 수 있다. 또한, 인식된 두 개의 긁음 행위 이벤트가 5초 이내인 경우 두 긁음 행위 이벤트를 하나의 이벤트로 결합할 수도 있다.
본 발명은 사용자의 긁음 행위가 인식되면 수신된 센싱 데이터에 기초하여 긁음 행위가 발생한 부위를 특정하는 긁음 행위 특정 과정을 수행할 수 있다.
긁음 행위 특정 과정에 대해 도 5를 참조하여 설명하면, 먼저 긁음 행위가 팔에 대한 긁음 행위인지 판단하고 팔에 대한 긁음 행위인 것으로 판단되면 긁음 행위가 발생된 부분이 팔인 것으로 추정하고, 그렇지 않은 경우 긁음 행위가 발생된 부분이 머리인지 몸통인지 다리인지 추정하는 과정을 수행한다.
여기서, 팔에 대한 긁음 행위인지 판단하는 과정은 선형 가속계로부터 두 종류의 특징을 추출하고, 추출된 특징과 랜덤 포레스트 알고리즘에 기초하여 긁음 행위가 팔에 대한 긁음 행위인지 판단할 수 있다.
긁음 행위가 발생된 부분이 머리인지 몸통인지 다리인지 추정하는 과정에 대해 설명하면, 긁음 행위가 팔에 대한 긁음 행위와 무관한 경우 수신된 센싱 데이터에 기초하여 기준 헤딩 축(reference heading axis)을 추정하며, 추정된 기준 헤딩 축에 기초하여 방향 상태 시퀀스를 추출하고, 추출된 방향 상태 시퀀스와 미리 설정된 마코브 체인 모델(Markov-chain model)에 기초하여 긁음 행위가 머리(head), 몸통(trunk), 다리(legs) 중 어느 하나의 부위에 대한 긁음 행위로 특정할 수 있다.
여기서, 본 발명은 수신된 센싱 데이터를 이용하여 다리 대 머리 움직임(leg-to-head movement) 데이터를 추출하고, 추출된 다리 대 머리 움직임 데이터에 기초하여 헤딩 축 후보들을 추출하며, 추출된 헤딩 축 후보들을 이용하여 기준 헤딩 축을 추정할 수 있다.
방향 상태 시퀀스는 도 6a에 도시된 바와 같이 헤딩 축과 피치 축 센싱 데이터를 이용하여 추출될 수 있으며, 헤딩 축 후보들을 이용하여 가능한 모든 상태 시퀀스를 추출할 수 있다. 도 6a에 도시된 T, M1, M2, B 각각은 top, middle1, middle2, bottom을 의미할 수 있다.
이 때, 모든 방향 상태 시퀀스는 도 6b에 도시된 마코브 체인 모델에 의해 시뮬레이션될 수 있다.
본 발명에서 마코브 체인 모델 분류에 대응하는 학습 모델 예를 들어, 딥 러닝 학습 모델로 대체될 수 있다.
나아가, 본 발명의 일 실시예에 따른 긁음 행위 인식 시스템은 긁음 행위에 대한 분석을 통해 사용자의 긁음 행위에 대한 콘텐츠를 제공할 수도 있다.
또한, 사용자 단말은 사용자 긁음 위치에 대한 정보를 추가 획득하고, 서버에 통보할 수도 있는데, 사용자 긁음 위치는 사용자에 의해 수동으로 입력되는 값일 수 있으나, 사용자 단말에 내장된 카메라를 통해 사용자 영상을 획득하고, 영상 처리를 통해 사용자 영상으로부터 손 위치를 검출 및 추적함으로써 획득할 수도 있다.
나아가, 사용자 단말은 자신에 내장된 GPS 모듈을 통해 사용자 위치를 파악하고, 이를 사용자 상황 정보로써 서버에 추가 제공할 수도 있다.
서버는 사용자 단말, 센서 네트워크(미도시), 의료진 단말 등과의 상호 연동을 통해 사용자의 현재 상황을 확인하고, 사용자 현재 상황으로부터 적어도 하나의 가려움 발생 요인을 추정할 수 있으며, 사용자에게 긁음 행위, 가려움 발생 요인 그리고 이러한 분석 정보 중 적어도 하나를 포함하는 콘텐츠 정보를 제공할 수도 있다.
나아가, 서버는 사용자 단말이 제공하는 긁음 패턴을 가려움 발생 요인에 따라 분류 및 분석함으로써, 긁음 패턴 변화 추이 및 가려움 발생 요인과 긁음 패턴간 상관관계를 파악하고 안내할 수도 있다.
더 나아가, 서버는 사용자 단말을 통해 사용자 위치를 확인할 수 있고, 센서 네트워크 등을 통해 습도, 온도, 미세 먼지를 확인할 수 있으며, 의료진 단말 또는 의료 서버를 통해 사용자의 복용 약물 등을 확인할 수 있고, 이에 따라 가려움 발생 요인도 사용자 위치, 습도, 온도, 미세 먼지, 및 복용 약물 중 적어도 하나로 분석하여 제공할 수도 있다.
이 때, 서버가 센서 네트워크를 직접 구비할 수 없는 경우에는 외부 환경 정보를 제공할 수 있는 서버(미도시)를 통해 사용자 각각의 현재 위치에 대응되는 지역의 환경 정보를 검색하고 이를 획득할 수도 있다.
나아가, 필요한 경우 즉, 시스템 처리 용량 최소화가 필요한 경우에는 사용자 단말을 통해 상기의 환경 정보 획득 동작을 수행할 수도 있으며 이러한 경우, 사용자 단말 또한 자신과 연동되는 환경 센서를 통해 습도, 온도, 미세 먼지와 같은 환경 정보를 획득 및 제공하거나 외부의 환경 서버(미도시) 등에 접속하여 자신의 현재 위치에 대응되는 지역의 환경 정보를 검색함으로써, 제공할 수도 있다
또한 사용자 단말은 환경 센서 이외에 실내 공기질 측정 센서, 피부 상태 측정 센서 등을 더 구비하고, 이를 통해 사용자 위치 장소의 실내 공기질, 사용자의 피부 상태 즉, 유분, 수분, 거칠기 정도 등을 추가 센싱하여 통보할 수도 있다.
또한 서버는 의료진 단말로의 접속 및 검색 동작을 수행하고, 이를 통해 사용자 각각이 복용한 약물에 대한 정보를 획득할 수 있을 것이다. 물론, 사용자 단말이 약물 복용 이력을 저장 및 관리하는 경우에는 의료진 단말 대신에 사용자 단말을 통해 복용 약물 정보를 획득할 수도 있을 것이다.
사용자 단말에서 긁음 패턴 추출 방법을 수행하는 경우에 한하여 설명하였지만, 필요한 경우 사용자 단말이 센서 데이터를 서버에 제공하고, 서버에서 직접 상기의 긁음 패턴 추출 방법을 수행할 수도 있도록 한다. 또한, 사용자 단말이 센서 데이터의 사전 처리 즉, 노이즈 필터링만을 수행하고, 나머지 동작만을 서버에서 처리할 수도 있다.
즉, 본 발명은 사용자 프라이버시, 사용자 단말 처리 부하, 서버 처리 부하 등을 고려하여 긁음 패턴 추출 방법의 세부 단계 각각을 수행하는 주체를 달리할 수 있으며, 이는 당업자에게 있어서 자명하다.
또한, 본 발명은 도 7에 도시된 바와 같이 긁음 행위 이벤트 강도 분포 등을 이용하여 긁음 행위 이벤트에 대한 분석을 더 정확하게 할 수도 있다.
일 예로, 긁음 행위 이벤트 분포에 따른 주관적 인식 변화(트랜드)를 분석하고 이에 대한 결과에 따른 콘텐츠를 제공할 수 있다. 예컨대, 자기 전에 얼마나 가려웠는지 0~10로 점수화하고, 잘 때 데이터 수집한 이후 긁음 행위 이벤트 인식 과정을 수행할 수 있으며, 과소 평가하는 사람에게는 가려움 관리가 필요하다는 점을 인지 또는 콘텐츠(가려움 관리 방법 등)를 알려주거나 또는 병원 갈 시점을 알려주고, 과대 평가하는 사람에게는 괜찮다는 심리적 안정을 줄 수 있는 알람 또는 콘텐츠(예를 들어, 귀여운 이모티콘 등)을 보여줄 수 있다. 여기서, 과대 평가하는 사람은 주관적 평가 추세는 올라가는데, 분석된 긁음 행위 이벤트는 내려가거나 변화 없는 사람을 의미할 수 있고, 과소 평가하는 사람은 주관적 평가 추세는 그대로 또는 내려가는데, 분석된 긁음 행위 이벤트는 올라가는 사람을 의미할 수 있다.
다른 일 예로, 긁음 행위 이벤트 분포에 따른 스테로이드를 조절할 수 있다. 여기서, 탈스테로이드라는 방법을 쓰는데 있어서 환자 주관으로 조절하는 것이 아니라 인식된 긁음 행위 이벤트에 따라서 조절하는 방법을 제공할 수도 있다. 환자의 상태가 너무 각기 다른 상태라서, 그리고 환자의 심리가 불안해서 주관적으로 자신의 상태를 파악하는 것이 힘들 수 있기 때문에 긁음 행위 이벤트가 증가 하면 스테로이드 약을 줄이는 것을 조금 더 늘리거나, 긁음 행위 이벤트가 내려가면 그에 따라서 스테로이드 약을 줄일 수도 있다.
또 다른 일 예로, 긁음 행위 이벤트 분포에 따른 병의 초기 질환을 추측할 수 도 있다. 여기서, 긁음 행위 이벤트 분포 자체로는 피부 병을 진단하는 데는 한계가 있을 수 있지만, 어떤 특정 피부 질환(예를 들어, 지루성 피부염은 머리 부분이 많이 가렵다 등)의 가능성을 추측 할 수 있으므로 병원 가기 전에 환자들이 미리 자신의 상태를 가늠할 수도 있다. 또한, 의사들 또한 헷갈리기 쉬운 피부질환 (예를 들면 접촉성 피부염과 아토피)를 구분하는데 있어서 보조적 진단 수치로 사용할 수도 있다.
즉, 본 발명에 따른 방법 및 시스템은 이러한 향상된 긁음 행위 이벤트 분석을 통해 다양한 정보와 콘텐츠를 제공할 수도 있다.
또한, 본 발명에 따른 방법 및 시스템에서 서버는 최초 접속하는 사용자 단말을 감지하면, 사용자 계정 생성을 위한 사용자 정보 제공을 요청하고, 사용자 단말이 이에 응답하여 전송하는 사용자 정보(예를 들어, 회원 가입 정보, 로그인 정보)를 해당 사용자 계정에 저장함으로써, 해당 사용자를 모니터링 대상자로 등록할 수 있다.
사용자 등록이 완료된 상태에서 손목 착용형 단말이 센싱 데이터를 획득 및 제공하면, 사용자 단말은 센싱 데이터를 수신하고, 앞서 설명된 긁음 패턴 추출 방법을 통해 수신된 센싱 데이터로부터 긁음 패턴을 추출하고, 이를 서버에 제공한다. 그러면 모니터링 서버는 긁음 패턴을 일/주/달/년 등의 다양한 시간 단위로 분류 및 카운팅함으로써, 시간 경과에 따른 긁음 패턴 변화 추이를 산출하고, 이를 사용자 또는 의료진에 안내하기 위한 리포팅 정보를 생성하여 사용자 단말 및 의료진 단말 등에 전송할 수도 있다.
또한 .본 발명은 긁음 횟수를 다양한 시간 단위(즉, 일,주,월, 년)로 분류하고 분석함으로써, 사용자의 긁음 패턴 변화 추이를 다양한 시간 단위로 검색 및 안내받을 수도 있다. 이 때, 긁음 패턴 변화 추이는 그래프, 도형 크기, 도형 색상 중 어느 하나의 형태로 안내될 수 있다. 예를 들어, 본 발명은 긁음 패턴 변화 이력과 함께 약물 복용 이력에 대한 정보를 함께 제공함으로써, 사용자 또는 의료진이 이를 참고하여 복용 약물과 긁음 횟수간 상관관계를 손쉽게 파악할 수도 있다.
또한 본 발명은 사용자 단말이 긁음 패턴과 함께 긁음 위치에 대한 정보를 제공하는 경우에는 긁음 패턴을 신체 부위별로 분류 및 분석하고, 이를 사용자 또는 의료진에게 안내할 수도 있다.
더하여 본 발명은 온도, 습도, 미세 먼지, 사용자 위치에 대한 정보가 획득 가능한 경우에는, 온도, 습도, 미세 먼지 각각의 요인에 따라 긁음 횟수를 분류하고 분석함으로써, 온도와 긁음 패턴간 상관관계, 습도와 긁음 패턴간 상관관계, 미세 먼지와 긁음 패턴간 상관관계까지 산출하여 제공할 수도 있으며, 실내 공기질, 피부 상태 등에 대한 정보가 획득 가능한 경우에는, 실내 공기질과 긁음 패턴간의 상관관계, 피부 상태와 긁음 패턴간의 상관관계도 산출하여 제공할 수도 있다.
이와 같은 리포팅 정보는 사용자 단말 및 의료진 단말을 통해 사용자 안내될 수 있을 것이다. 물론 필요한 경우에는 웨어러블 단말이 서버로부터 해당 리포팅 정보를 직접 제공받거나, 사용자 단말로부터 경유받아 이를 사용자에게 제공할 수도 있다.
이와 같이, 본 발명의 실시예에 따른 시스템 및 그 방법은 웨어러블 통신 단말을 착용한 사용자의 긁음 행위를 인식하고, 긁음 행위 인식과 가려움 발생 요인 간의 상관 관계에 기초하여 사용자의 긁음 행위에 대한 발생 요인을 추정 및 제공할 수 있다.
또한, 본 발명의 실시예에 따른 시스템 및 그 방법은 웨어러블 통신 단말을 이용하여 언제 어디서나 긁음 행위에 대한 객관적 정보를 수집 및 제공할 수 있고, 긁음 행위에 대한 정확도를 향상시킬 수 있다.
이러한 본 발명에 따른 시스템은 웨어러블 통신 단말, 사용자 단말 및 서버의 구성 수단으로 구성될 수도 있지만, 이에 한정되지 않으며 하나의 시스템 또는 장치 등으로 이루어질 수도 있다.
예를 들어, 본 발명의 일 실시예에 따른 긁음 행위 인식 시스템 또는 장치는 사용자의 팔의 일부 영역에 착용된 웨어러블 통신 단말로부터 상기 사용자의 움직임에 대한 센싱 데이터를 수신하는 수신부; 상기 수신된 센싱 데이터에 기초하여 상기 사용자의 움직임에 대응하는 주기적인 패턴을 추출하는 추출부; 상기 추출된 주기적인 패턴을 이용하여 적어도 하나 이상의 긁음 행위 이벤트를 추출하고, 상기 추출된 긁음 행위 이벤트에 기초하여 긁음 행위를 인식하는 인식부; 및 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 발생한 부위를 특정하는 특정부를 포함할 수 있으며, 상기 긁음 행위에 대한 분석을 통해 상기 사용자의 긁음 행위에 대한 콘텐츠를 제공하는 제공부를 더 포함할 수 있다.
여기서, 제공부는 긁는 행동 방지를 위하여 실시간 긁는 행동 인식을 통한 웨어러블 통신 단말의 진동 알림을 제공할 수도 있으며, 이러한 제공부는 서버, 사용자 단말, 웨어러블 통신 단말 중 어느 하나에 구성될 수 있다.
물론, 이러한 장치 또는 시스템은 도 1 내지 도 7에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 수신부에서 사용자의 팔의 일부 영역에 착용된 웨어러블 통신 단말로부터 상기 사용자의 움직임에 대한 센싱 데이터를 수신하는 단계;
    추출부에서 상기 수신된 센싱 데이터에 기초하여 상기 사용자의 움직임에 대응하는 주기적인 패턴을 추출하는 단계;
    인식부에서 상기 추출된 주기적인 패턴을 이용하여 적어도 하나 이상의 긁음 행위 이벤트를 추출하고, 상기 추출된 긁음 행위 이벤트에 기초하여 긁음 행위를 인식하는 단계; 및
    특정부에서 상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 발생한 부위를 특정하는 단계
    를 포함하고,
    상기 부위를 특정하는 단계는
    상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 팔에 대한 긁음 행위인지 판단하는 단계;
    상기 긁음 행위가 팔에 대한 긁음 행위와 무관한 경우 상기 수신된 센싱 데이터에 기초하여 기준 헤딩 축(reference heading axis)을 추정하는 단계;
    상기 추정된 기준 헤딩 축에 기초하여 방향 상태 시퀀스를 추출하는 단계; 및
    상기 추출된 방향 상태 시퀀스와 미리 설정된 학습 모델에 기초하여 상기 긁음 행위가 머리(head), 몸통(trunk), 다리(legs) 중 어느 하나의 부위에 대한 긁음 행위로 특정하는 단계
    를 포함하는 긁음 행위 인식 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 기준 헤딩 축을 추정하는 단계는
    상기 수신된 센싱 데이터를 이용하여 다리 대 머리 움직임(leg-to-head movement) 데이터를 추출하고, 상기 추출된 다리 대 머리 움직임 데이터에 기초하여 헤딩 축 후보들을 추출하며, 상기 추출된 헤딩 축 후보들을 이용하여 상기 기준 헤딩 축을 추정하는 것을 특징으로 하는 긁음 행위 인식 방법.
  4. 제1항에 있어서,
    상기 주기적인 패턴을 추출하는 단계는
    상기 센싱 데이터를 다수의 윈도우로 분할한 후 노이즈 윈도우를 제거하는 단계;
    상기 윈도우 각각의 특징 값을 추출하는 단계;
    상기 윈도우 각각의 특징 값을 랜덤 포레스트 알고리즘을 통해 분석하여 긁음 행위가 센싱된 윈도우를 검출하는 단계; 및
    상기 검출된 윈도우의 개수에 기반하여 긁음 횟수를 산출하고, 상기 검출된 윈도우의 신호 강도에 기반하여 긁음 강도를 산출하며, 상기 긁음 횟수와 상기 긁음 강도 중 적어도 하나에 대한 정보를 포함하는 긁음 패턴에 대응하는 주기적인 패턴을 추출하는 단계
    를 포함하는 것을 특징으로 하는 긁음 행위 인식 방법.
  5. 제4항에 있어서,
    상기 윈도우 각각의 특징 값을 추출하는 단계는
    상기 센싱 데이터를 3축 데이터에서 1축 데이터로 변환하는 단계;
    상기 1축 데이터를 자기 상관 신호로 변환하는 단계; 및
    상기 자기 상관 신호의 특징값을 기반으로 상기 윈도우 각각의 특징 값을 추출하는 단계
    를 포함하는 것을 특징으로 하는 긁음 행위 인식 방법.
  6. 제1항에 있어서,
    상기 센싱 데이터를 수신하는 단계는
    상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고,
    상기 주기적인 패턴을 추출하는 단계는
    상기 3축 가속도 센싱 신호들 중 가장 큰 주기성을 가지는 하나의 센싱 신호를 선택하며, 상기 선택된 센싱 신호를 이용하여 상기 주기적인 패턴을 추출하는 것을 특징으로 하는 긁음 행위 인식 방법.
  7. 제1항에 있어서,
    상기 센싱 데이터를 수신하는 단계는
    상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들과 방향 센싱 신호를 수신하고,
    상기 주기적인 패턴을 추출하는 단계는
    상기 3축 가속도 센싱 신호들에 대응하는 방향 센싱 신호들 중 가장 큰 주기성을 가지는 방향 센싱 신호를 선택하며, 상기 선택된 방향 센싱 신호를 이용하여 상기 주기적인 패턴을 추출하는 것을 특징으로 하는 긁음 행위 인식 방법.
  8. 제1항에 있어서,
    상기 센싱 데이터를 수신하는 단계는
    상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고,
    상기 주기적인 패턴을 추출하는 단계는
    상기 3축 가속도 센싱 신호들의 윈도우들 중 주기성을 가지는 윈도우를 선택하며, 상기 선택된 윈도우를 이용하여 상기 주기적인 패턴을 추출하는 것을 특징으로 하는 긁음 행위 인식 방법.
  9. 제1항에 있어서,
    제공부에서 상기 긁음 행위에 대한 분석을 통해 상기 사용자의 긁음 행위에 대한 콘텐츠를 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 긁음 행위 인식 방법.
  10. 사용자의 팔의 일부 영역에 착용된 웨어러블 통신 단말로부터 상기 사용자의 움직임에 대한 센싱 데이터를 수신하는 수신부;
    상기 수신된 센싱 데이터에 기초하여 상기 사용자의 움직임에 대응하는 주기적인 패턴을 추출하는 추출부;
    상기 추출된 주기적인 패턴을 이용하여 적어도 하나 이상의 긁음 행위 이벤트를 추출하고, 상기 추출된 긁음 행위 이벤트에 기초하여 긁음 행위를 인식하는 인식부; 및
    상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 발생한 부위를 특정하는 특정부
    를 포함하고,
    상기 특정부는
    상기 긁음 행위가 인식되면 상기 수신된 센싱 데이터에 기초하여 상기 긁음 행위가 팔에 대한 긁음 행위인지 판단하고,
    상기 긁음 행위가 팔에 대한 긁음 행위와 무관한 경우 상기 수신된 센싱 데이터에 기초하여 기준 헤딩 축(reference heading axis)을 추정하며,
    상기 추정된 기준 헤딩 축에 기초하여 방향 상태 시퀀스를 추출하고,
    상기 추출된 방향 상태 시퀀스와 미리 설정된 학습 모델에 기초하여 상기 긁음 행위가 머리(head), 몸통(trunk), 다리(legs) 중 어느 하나의 부위에 대한 긁음 행위로 특정하는 긁음 행위 인식 시스템.
  11. 삭제
  12. 제10항에 있어서,
    상기 특정부는
    상기 수신된 센싱 데이터를 이용하여 다리 대 머리 움직임(leg-to-head movement) 데이터를 추출하고, 상기 추출된 다리 대 머리 움직임 데이터에 기초하여 헤딩 축 후보들을 추출하며, 상기 추출된 헤딩 축 후보들을 이용하여 상기 기준 헤딩 축을 추정하는 것을 특징으로 하는 긁음 행위 인식 시스템.
  13. 제10항에 있어서,
    상기 추출부는
    상기 센싱 데이터를 다수의 윈도우로 분할한 후 노이즈 윈도우를 제거하고,
    상기 윈도우 각각의 특징 값을 추출하며,
    상기 윈도우 각각의 특징 값을 랜덤 포레스트 알고리즘을 통해 분석하여 긁음 행위가 센싱된 윈도우를 검출하고,
    상기 검출된 윈도우의 개수에 기반하여 긁음 횟수를 산출하고, 상기 검출된 윈도우의 신호 강도에 기반하여 긁음 강도를 산출하며, 상기 긁음 횟수와 상기 긁음 강도 중 적어도 하나에 대한 정보를 포함하는 긁음 패턴에 대응하는 주기적인 패턴을 추출하는 것을 특징으로 하는 긁음 행위 인식 시스템.
  14. 제13항에 있어서,
    상기 추출부는
    상기 센싱 데이터를 3축 데이터에서 1축 데이터로 변환하고,
    상기 1축 데이터를 자기 상관 신호로 변환하며,
    상기 자기 상관 신호의 특징값을 기반으로 상기 윈도우 각각의 특징 값을 추출하는 것을 특징으로 하는 긁음 행위 인식 시스템.
  15. 제10항에 있어서,
    상기 수신부는
    상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고,
    상기 추출부는
    상기 3축 가속도 센싱 신호들 중 가장 큰 주기성을 가지는 하나의 센싱 신호를 선택하며, 상기 선택된 센싱 신호를 이용하여 상기 주기적인 패턴을 추출하는 것을 특징으로 하는 긁음 행위 인식 시스템.
  16. 제10항에 있어서,
    상기 수신부는
    상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들과 방향 센싱 신호를 수신하고,
    상기 추출부는
    상기 3축 가속도 센싱 신호들에 대응하는 방향 센싱 신호들 중 가장 큰 주기성을 가지는 방향 센싱 신호를 선택하며, 상기 선택된 방향 센싱 신호를 이용하여 상기 주기적인 패턴을 추출하는 것을 특징으로 하는 긁음 행위 인식 시스템.
  17. 제10항에 있어서,
    상기 수신부는
    상기 사용자의 움직임에 대한 3축 가속도 센싱 신호들을 수신하고,
    상기 추출부는
    상기 3축 가속도 센싱 신호들의 윈도우들 중 주기성을 가지는 윈도우를 선택하며, 상기 선택된 윈도우를 이용하여 상기 주기적인 패턴을 추출하는 것을 특징으로 하는 긁음 행위 인식 시스템.
  18. 제10항에 있어서,
    상기 긁음 행위에 대한 분석을 통해 상기 사용자의 긁음 행위에 대한 콘텐츠를 제공하는 제공부
    를 더 포함하는 것을 특징으로 하는 긁음 행위 인식 시스템.
KR1020180143230A 2018-11-20 2018-11-20 웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법 KR102236630B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180143230A KR102236630B1 (ko) 2018-11-20 2018-11-20 웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180143230A KR102236630B1 (ko) 2018-11-20 2018-11-20 웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200058737A KR20200058737A (ko) 2020-05-28
KR102236630B1 true KR102236630B1 (ko) 2021-04-06

Family

ID=70920357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180143230A KR102236630B1 (ko) 2018-11-20 2018-11-20 웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102236630B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433828B1 (ko) * 2020-08-20 2022-08-18 부산대학교 산학협력단 통증 행동 모니터링 시스템 및 이를 이용한 통증 관리 방법
WO2022216650A1 (en) * 2021-04-06 2022-10-13 Northwestern University Acousto-mechanic sensors and applications of same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101759621B1 (ko) * 2016-02-22 2017-07-21 주식회사 지파워 움직임 패턴 및 음향 패턴 감지 기능을 이용한 행동 분석 장치 및 이를 이용한 행동 분석 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101302138B1 (ko) * 2009-12-18 2013-08-30 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101759621B1 (ko) * 2016-02-22 2017-07-21 주식회사 지파워 움직임 패턴 및 음향 패턴 감지 기능을 이용한 행동 분석 장치 및 이를 이용한 행동 분석 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jong in Lee, "Wearable-based Mobile System for Managing Itching Conditions," 한국과학기술원 박사학위 논문, 2018.06.
ongin Lee et. al., "Itchtector: A Wearable-based Mobile System for Managing Itching Conditions," In Proc. of CHI 2017, pp. 893-905, 2017.05.11.

Also Published As

Publication number Publication date
KR20200058737A (ko) 2020-05-28

Similar Documents

Publication Publication Date Title
CN107209807B (zh) 疼痛管理可穿戴设备
Nahiduzzaman et al. Machine learning based early fall detection for elderly people with neurological disorder using multimodal data fusion
Senyurek et al. A CNN-LSTM neural network for recognition of puffing in smoking episodes using wearable sensors
US20090062679A1 (en) Categorizing perceptual stimuli by detecting subconcious responses
CN105528859A (zh) 基于人体跌倒检测技术的养老智能报警系统
KR101985161B1 (ko) 공사 현장 피해 저감을 위한 지능형 안전 관리 시스템
Ntanasis et al. Investigation of sensor placement for accurate fall detection
Mekruksavanich et al. Fallnext: A deep residual model based on multi-branch aggregation for sensor-based fall detection
KR102236630B1 (ko) 웨어러블 통신 단말 기반 긁음 행위 인식 시스템 및 그 방법
CN113397520A (zh) 室内对象的信息检测方法及装置、存储介质和处理器
Espinosa et al. Application of convolutional neural networks for fall detection using multiple cameras
Kambhampati et al. Unified framework for triaxial accelerometer‐based fall event detection and classification using cumulants and hierarchical decision tree classifier
Ramanujam et al. A vision-based posture monitoring system for the elderly using intelligent fall detection technique
Shahiduzzaman Fall detection by accelerometer and heart rate variability measurement
JP5143780B2 (ja) 監視装置及び監視方法
Ahamed et al. Intelligent fall detection with wearable IoT
JP6385470B2 (ja) 対象の健康状態を検出するデバイス、システム及びコンピュータプログラム
KR102212608B1 (ko) 웨어러블 통신 단말 기반 반대편 손의 긁음 행위 인식 시스템 및 그 방법
D’arco et al. Application of Smart Insoles for Recognition of Activities of Daily Living: A Systematic Review
Özel et al. Implementation of Artifact Removal Algorithms in Gait Signals for Diagnosis of Parkinson Disease.
Papagiannaki et al. Meeting challenges of activity recognition for ageing population in real life settings
KR20220001067A (ko) 웨어러블 통신 단말 기반 가려움 환자 상담 시스템 및 그 방법
Khowaja et al. AN EFFECTIVE THRESHOLD BASED MEASUREMENT TECHNIQUE FOR FALL DETECTION USING SMART DEVICES.
CN116115239A (zh) 基于多模态数据融合的建筑工人尴尬工作姿势识别方法
Nguyen et al. Detecting falls using a wearable accelerometer motion sensor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant