KR20240057756A - 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법 - Google Patents

실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법 Download PDF

Info

Publication number
KR20240057756A
KR20240057756A KR1020220138362A KR20220138362A KR20240057756A KR 20240057756 A KR20240057756 A KR 20240057756A KR 1020220138362 A KR1020220138362 A KR 1020220138362A KR 20220138362 A KR20220138362 A KR 20220138362A KR 20240057756 A KR20240057756 A KR 20240057756A
Authority
KR
South Korea
Prior art keywords
time
feature map
user
user activity
equation
Prior art date
Application number
KR1020220138362A
Other languages
English (en)
Inventor
이재성
김대원
박재균
이태원
박원규
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020220138362A priority Critical patent/KR20240057756A/ko
Publication of KR20240057756A publication Critical patent/KR20240057756A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0537—Measuring body composition by impedance, e.g. tissue hydration or fat content
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템은, 사용자의 활동을 측정할 수 있는 적어도 하나의 센서에 의해 수집되는 시계열 신호를 획득하는 신호 획득부; 상기 시계열 신호로부터 상기 사용자의 활동을 예측하기 위한 특징 맵을 생성하기 위해 다중 시간 샘플링을 수행하여 희소 샘플링 합성곱 연산을 획득하는 특징 맵 생성부; 및 상기 특징 맵을 이용하여 상기 사용자의 활동을 예측하는 사용자 활동 예측부;를 포함한다.

Description

실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법{Multitemporal sampling system and method for real-time user activity recognition}
본 발명은 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법에 관한 것으로, 특히, 센서에 의해 수집된 활동 데이터의 인식에서 시스템의 신속한 반응을 위하여 인식 모델의 경량화가 수행된 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법에 관한 것이다.
최근 개인화 된 피트니스 장치 등과 같은 모바일 퍼스널 헬스케어 디바이스들의 개발 및 판매가 지속적으로 증가하고 있는 추세이다. 개인화 헬스케어 디바이스를 사용하는 경우 사용자 개인이 자신의 신체 활동에 대한 정보를 직접 확인할 수 있는 장점이 존재한다. 이를 위해서 사용자 활동 인식 분야에서는 다양한 센서에 의해 수집된 시계열 신호로부터 매일의 활동을 인식하는 것을 목표로 하고 있다. 이를 위해 주로 기계학습 방법론이 사용되고 있으며, 기계학습 방법론은 활동 인식 분야에서 높은 수준의 성능을 보이고 있지만, 정교한 특징 공학(Feature Engeneering)을 위해 많은 시간이 소요된다는 문제점이 존재한다.
따라서, 최근에는 기계학습 방법론을 대체할 수 있는 딥러닝 방법론들이 이용되고 있으며, 대표적으로는 1D 합성곱 신경망이 좋은 성과를 달성하고 있다.
합성곱 신경망을 이용하여 활동 인식을 수행하는 경우, 전통적인 합성곱 신경망은 풀링 레이어에 의해 신호와 피쳐맵을 효율적으로 추출할 수 있는 장점이 존재하지만, 이상적인 샘플링 간격이 알려져있지 않기 때문에 활동 인식에서 최고의 효율성을 달성하기 어렵다는 문제점이 존재한다.
이러한 문제점을 해결하기 위한 방법중 하나인 직접적인 방법론은 복수 샘플링 간격을 동시에 고려하는 것이지만, 이는 풀링의 스트라이드가 고정되어 있고, 풀링이 합성곱 연산 이후에 적용되기 때문에 컴퓨팅 비용을 소비한다는 문제점이 존재한다.
한국등록특허 제10-2306064호
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 다중시간 샘플링 모듈을 적용하여 서로 다른 샘플링 간격으로 작동하는 희소 샘플링 합성곱 연산을 통해 각 레이어를 통과하는 정보를 감소시킴으로써 보다 빠르고 컴퓨팅 비용이 낮으며 효율이 높은 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템이 제공된다. 상기 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템은, 사용자의 활동을 측정할 수 있는 적어도 하나의 센서에 의해 수집되는 시계열 신호를 획득하는 신호 획득부; 상기 시계열 신호로부터 상기 사용자의 활동을 예측하기 위한 특징 맵을 생성하는 특징 맵 생성부; 및 상기 특징 맵을 이용하여 상기 사용자의 활동을 예측하는 사용자 활동 예측부;를 포함한다.
상기 특징 맵 생성부는, 특징 맵 와이즈 합성곱 신경망을 이용하여 상기 사용자의 신체의 지역적 특성을 획득하는 지역적 특성 획득 모듈; 시간 와이즈 합성곱 신경망을 이용하여 상기 사용자의 활동에 대한 시간적 특성을 획득하는 시간적 특성 획득 모듈; 및 상기 시계열 신호에 대한 고수준 특성을 추출하는 통합 특성 획득 모듈;을 포함할 수 있다.
상기 지역적 특성 획득 모듈은, 상기 지역적 특성인 특징 맵 와이즈 합성곱과 시간 t에서 m번째 특징 맵을 하기 식 1로 표현할 수 있다.
식 1
(여기서, : 재중심화된 시간 인덱스, 컴퓨팅 비용 : T×Dk×M×N)
상기 시간적 특성 획득 모듈은, 상기 시간적 특성인 시간 와이즈 합성곱과 n번째 특징맵을 하기 식 2로 표현할 수 있다.
식 2
상기 고수준 특성은, 희소 샘플링 함성곱 신경망을 통해 획득되며, 하기 식 3으로 표현될 수 있다.
식 3
상기 사용자 활동 예측부는, 상기 사용자의 활동을 예측하기 위해 치환된 시간 와이즈 합성곱 훈련 결과를 이용하며, 적어도 하나의 특징 맵 그룹을 식 4와 같이 샘플링할 수 있다.
식 4
본 발명의 일 측면에 따르면, 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법이 제공된다. 상기 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법은, 신호 획득부를 이용하여 사용자의 활동을 측정할 수 있는 적어도 하나의 센서에 의해 수집되는 시계열 신호를 획득하는 단계; 특징 맵 생성부를 이용하여 상기 시계열 신호로부터 상기 사용자의 활동을 예측하기 위한 특징 맵을 생성하는 단계; 및 사용자 활동 예측부를 통해 상기 특징 맵을 이용하여 상기 사용자의 활동을 예측하는 단계;를 포함한다.
상기 사용자의 활동을 예측하기 위한 특징 맵을 생성하는 단계는, 특징 맵 와이즈 합성곱 신경망을 이용하여 상기 사용자의 신체의 지역적 특성을 획득하는 단계; 시간 와이즈 합성곱 신경망을 이용하여 상기 사용자의 활동에 대한 시간적 특성을 획득하는 단계; 및 상기 시계열 신호에 대한 고수준 특성을 추출하는 단계;를 포함할 수 있다.
상기 지역적 특성을 획득하는 단계는, 상기 지역적 특성인 특징 맵 와이즈 합성곱과 시간 t에서 m번째 특징 맵을 하기 식 5로 표현할 수 있다.
식 5
(여기서, : 재중심화된 시간 인덱스, 컴퓨팅 비용 : T×Dk×M×N)
상기 시간적 특성을 획득하는 단계는, 상기 시간적 특성인 시간 와이즈 합성곱과 n번째 특징맵을 하기 식 6으로 표현할 수 있다.
식 6
상기 고수준 특성은, 희소 샘플링 함성곱 신경망을 통해 획득되며, 하기 식 7로 표현될 수 있다.
식 7
상기 사용자의 활동을 예측하는 단계는, 상기 사용자의 활동을 예측하기 위해 치환된 시간 와이즈 합성곱 훈련 결과를 이용하며, 적어도 하나의 특징 맵 그룹을 식 8과 같이 샘플링할 수 있다.
식 8
본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법은, 종래의 바닐라 합성곱을 사용하는 방법과 비교하여 컴퓨팅 비용 및 모델 크기를 감소시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템의 블록도이다.
도 2는 도 1의 특징 맵 생성부를 보다 상세히 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법의 순서도이다.
도 4는 도 3의 단계 S13을 보다 상세히 나타낸 순서도이다.
도 5는 본 발명의 일 실시예의 MTS 모듈을 설명한 도이다.
도 6은 본 발명의 일 실시예에 따른 신경 아키텍쳐를 나타낸 도이다.
도 7은 본 발명에 대한 모의실험 결과를 나타낸 도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템의 블록도이고, 도 2는 도 1의 특징 맵 생성부를 보다 상세히 나타낸 블록도이다. 이하에서는 도 1 및 도 2를 이용하여 본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템에 대해 상세히 설명하도록 한다.
본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템(1)은, 도 1에 도시된 바와 같이 신호 획득부(11), 특징 맵 생성부(13) 및 사용자 활동 예측부(15)를 포함하도록 형성된다. 본 발명의 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템(1)은 신호 획득부(11)를 이용하여 사용자에게 구비되는 센서로부터 인간 활동 인식 분야에 대한 시계열 신호를 획득하고, 특징 맵 생성부(13)를 이용하여 획득한 신호에 대한 특징 맵을 획득한 후, 사용자 활동 예측부(15)를 통해 특징 맵을 이용하여 활동 인식 효율성을 증가시키도록 형성된다.
신호 획득부(11)를 이용하여 사용자로부터 획득되는 활동 인식 분야에 대한 시계열 신호는, 시간 간격을 두고 측정되는 신체 정보일 수 있다. 시계열 신호는 규칙적 시계열 신호와 불규칙적 시계열 신호로 구분될 수 있다.
규칙적 시계열 신호는 일 예로 헬스 케어 디바이스를 통해 자동으로 기 설정된 주기마다 측정되는 정보를 포함할 수 있으며, 심박수나 체온 등 일 수 있다.
불규칙적 시계열 신호는 일 예로 헬스 케어 디바이스를 통해 수동으로 측정되는 정보를 포함할 수 있으며, 일 예로 키, 인바디 정보, 체중 등을 포함할 수 있다.
특징 맵 생성부(13)는 시계열 신호로부터 사용자의 활동을 예측하기 위한 특징 맵을 생성하기 위해 구비된다. 특징 맵 생성부(13)는 시계열 신호를 이용한 구조간 상관관계를 학습하여 새로운 시간적 특징 맵을 생성하도록 형성된다. 일 예로 이를 위해 특징 맵 생성부(13)는 바닐라 합성곱 신경망 구조를 사용할 수 있다. 바닐라 합성곱 신경망 구조는 레이어로 쌓이게 되면 처리하여야 할 정보가 기하급수적으로 감소하기 때문에, 컴퓨팅 비용이 감소하는 장점이 존재한다. 특징 맵 생성부(13)에서 사용되는 바닐라 합성곱 신경망은 하기 수학식 1로 표현될 수 있다.
(여기서, : 재중심화된 시간 인덱스, 컴퓨팅 비용 : T×Dk×M×N)
본 발명의 특징 맵 생성부(13)는, 사용자의 활동과 관련된 입력 특징 맵의 지역적/시간적 특성을 강조하기 위해 구비된다. 이를 위해 본 발명의 특징 맵 생성부(13)는 도 2에 도시된 바와 같이 지역적 특성 획득 모듈(131), 시간적 특성 획득 모듈(133) 및 통합 특성 획득 모듈(135)을 포함하도록 형성된다.
지역적 특성 획득 모듈(131)은 사용자의 활동과 관련된 입력 특징 맵의 지역적 특성을 획득하기 위해 구비된다. 여기서 지역적 특징은 사용자의 특정 신체 부위일 수 있다. 지역적 특성 획득 모듈(131)은 지역적 특성으로 특징 맵 와이즈 합성곱 및 시간 t에서 m번째 특징 맵을 하기 수학식 2를 통해 획득할 수 있다.
(여기서, : 재중심화된 시간 인덱스, 컴퓨팅 비용 : T×Dk×M×N)
시간적 특성 획득 모듈(133)은 사용자의 활동과 관련된 시간적 특성을 획득하도록 형성된다. 여기서 시간적 특징은 사용자의 활동 시간에 관한 정보일 수 있다. 시간적 특성 획득 모듈(133)은 하기 수학식 3을 이용하여 시간적 특성인 시간 와이즈 합성곱과 n번째 특징맵을 획득하도록 형성될 수 있다. 이때, 일 예시로 본 발명의 시간적 특성 획득 모듈(133)은 상기 수학식 2를 이용하여 시간적 특성을 획득할 수 있다.
상기 수학식 3을 살펴보면, 우변에 상기 수학식 2로 표현되는 지역적 특성이 포함되는 것을 확인할 수 있다. 즉, 본 발명의 특징 맵 생성부(13)는 지역적 특성을 이용하여 시간적 특성을 획득하도록 형성된다.
한편, 본 발명의 일 실시예에 따른 특징 맵 생성부(13)에 포함되는 통합 특성 획득 모듈(135)은 시계열 신호에 대한 고수준 특성을 추출하도록 형성된다.통합 특성 획득 모듈(135)은 고수준 특징을 추출하기 위해 희소 샘플링 합성곱 신경망을 사용할 수 있다. 본 발명의 일 실시예에서 통합 특성 획득 모듈(135)은 하기 수학식 4로 표현되는 희소 샘플링 합성곱 신경망을 이용하여 고수준 특징을 획득할 수 있다.
여기서, Gn은, n번째 아웃풋 피쳐 맵 O:,n을 생성하기 위해 추출되는 피쳐맵이다. 본 발명의 통합 특성 획득 모듈(135)은 다중 시간 샘플링을 수행하며, 이를 위해 상술한 바와 같은 희소 샘플링 합성곱 연산을 수행한다. 희소 샘플링 합성곱 연산은 샘플링에 기반한 우선순위 레이어 정보를 추론하기 위해 대각행렬의 임의 순열 형식을 가진다. 본 발명의 통합 특성 획득 모듈(135)은 서로 다른 샘플링 간격으로 작동하는 희소 샘플링 합성곱 신경망의 연산을 동시 통합하는 적어도 하나의 MTS 모듈을 이용하여 각각의 레이어를 통과하는 정보를 감소시켜 고수준 특징을 획득하도록 형성될 수 있다.
수학식 4의 피쳐 맵의 추출 결과로 커널 K2의 크기는 감소하며, 그 사이에서의 시간 샘플링은 K1에 적용될 수 있다. 커널 사이즈 Dk는 샘플링 간격으로 고려되며, 커널 K1의 파라미터가 Dk로 샘플링 될 수 있다. 이때, 샘플링되는 커널인 은, 하기 수학식 5와 같이 표현될 수 있다.
여기서, θ: 학습가능한 파라미터, im은 특징 맵의 독립 인덱스일 수 있다. 고수준 시간 특징을 추출하기 위해서는 Oi,n이 인접 시간의 피쳐들간의 상호작용에 의해 계산되어야 하며, 시간 샘플링이 상기 수학식 5의 im에 따라 시행될 수 있다. 이를 이용하면, 본 발명에서 생성되는 시간 샘플링의 인접행렬은 하기 수학식 6을 만족하도록 형성될 수 있다.
본 발명의 일 실시예에서는 상기 수학식 6을 만족하는 내에 존재하는 파라미터의 최소 수 인 Ms 및 Dk를 설정하였으며, 이를 통해 통합 특성 획득 모듈(135)은, 상기 수학식 6의 결과를 상기 수학식 4를 통해 컴퓨팅 비용이 T×Dk×N인 희소 샘플링 합성곱 연산을 이용하여 통합 특성을 획득하도록 형성될 수 있으며 상기 수학식 4는 시간 t에 따른 n번째 특징 맵을 추출하는 수식이다.
특징 맵의 랜덤 샘플링으로부터의 정보 손실을 회피하기 위해 M개의 입력 피쳐를 N개의 샘플 그룹으로 매핑하는 것은 큰 탐색 공간을 요구할 뿐 아니라, 표본 특징 맵이 시간에 따른 종속성을 고려해야 하는 문제점이 존재한다.
따라서, 통합 특성 획득 모듈(135)은 입력 특징 맵을 대입하고 그 결과를 각각의 샘플 그룹에 순서대로 매핑하도록 형성될 수 있다. 본 발명의 통합 특성 획득 모듈(135)은 p1 및 p2를 특징 맵의 그룹핑 및 배치를 위한 함수로 정의하고, 상기 수학식 4를 하기 수학식 7로 변형하여 획득할 수 있다.
여기서,
Figure pat00022
은 함수 결합이고, k는 상기 수학식 4에 의해 계산될 수 있다. p1 및 p2는 치환 행렬을 통해 계산되기 때문에 두 함수의 결합은 두 가지 행렬의 곱으로 계산될 수 있다. P는 확률적 기울기 감소에 의해 최적화되기 때문에 알맞은 값을 도출해 내기 어렵다는 문제점이 존재하지만, 본 발명에서는 이러한 문제점을 치환된 시간 와이즈 합성곱을 훈련시킴으로써 최적화 된 값을 획득할 수 있다. 통합 특성 획득 모듈(153)은 복수의 특징 맵 그룹으로 형성될 수 있으며, 이때 각 그룹에 매핑되어 있는 입력 특징은 시간 와이즈 합성곱을 이용하여 치환 될 수 있다.
마지막으로, 본 발명의 사용자 활동 예측부(15)는 치환된 입력 특징을 획득하면, 복수의 특징 맵을 단순 시퀀스에서 샘플링 하도록 형성된다. 이때, 각 특징 맵 그룹인 Gn은 하기 수학식 8과 같이 샘플링 될 수 있다.
복수의 특징 맵의 수는 상술한 시간 와이즈 합성곱 연산에 의해 통제될 수 있다. 이러한 복수의 특징 맵 수의 통제 결과로 수학식 4 및 8에 따라 다중시간 희소 샘플링 합성곱 연산은 종래의 바닐라 합성곱과 비교하여 컴퓨팅 비용 및 모델 크기를 감소시킬 수 있다.
정리하면, 본 발명의 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템은, 사용자의 활동 인식에 대한 시계열 신호를 신호 획득부(11)를 통해 획득하고, 획득한 시계열 신호에 대하여 특징 맵 생성부(13)에서 지역적 특징을 획득하고, 지역적 특징을 이용하여 시간적 특징을 획득하도록 형성된다. 시간적 특징을 획득한 특징 맵 생성부(13)는 시간적 특징을 다중시간 희소 샘플링 합성곱 연산에 적용하여 복수의 특징 맵을 획득하고, 획득된 복수의 특징 맵은 사용자 활동 예측부(15)에서 단순 시퀀스 샘플링을 수행하기 위해 사용되어, 사용자 활동 예측부(15)에서 컴퓨팅 비용 및 모델 크기가 감소된 사용자 활동 예측 정보를 획득하도록 형성될 수 있다.
한편, 도 3은 본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법의 순서도이며, 도 4는 도 3의 단계 S12를 보다 상세히 나타낸 순서도이다. 이하에서는 설명의 편의상 본 발명이 상술한 도 1의 시스템을 이용하는 것으로 설명하며, 반복해서 사용되는 수학식 역시 도 1 및 도 2를 이용하여 설명하도록 한다. 하지만, 본 발명은 반드시 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법(10)은, 도 3에 도시된 바와 같이 시계열 신호를 획득하는 단계(S11), 특징 맵을 생성하는 단계(S13) 및 사용자 활등을 예측하는 단계(S15)를 포함하도록 형성된다. 본 발명의 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법(10)은 시계열 신호를 획득하는 단계(S11)가 신호 획득부를 이용하여 사용자에게 구비되는 센서로부터 인간 활동 인식 분야에 대한 시계열 신호를 획득하고, 특징 맵을 생성하는 단계(S13)가 특징 맵 생성부를 이용하여 획득한 신호에 대한 특징 맵을 획득한 후, 사용자 활등을 예측하는 단계(S15)가 사용자 활동 예측부에서 특징 맵을 이용하여 활동 인식 효율성을 증가시키도록 형성된다.
시계열 신호를 획득하는 단계(S11)를 이용하여 사용자로부터 획득되는 활동 인식 분야에 대한 시계열 신호는, 시간 간격을 두고 측정되는 신체 정보일 수 있다. 시계열 신호는 규칙적 시계열 신호와 불규칙적 시계열 신호로 구분될 수 있다.
규칙적 시계열 신호는 일 예로 헬스 케어 디바이스를 통해 자동으로 기 설정된 주기마다 측정되는 정보를 포함할 수 있으며, 심박수나 체온 등 일 수 있다.
불규칙적 시계열 신호는 일 예로 헬스 케어 디바이스를 통해 수동으로 측정되는 정보를 포함할 수 있으며, 일 예로 키, 인바디 정보, 체중 등을 포함할 수 있다.
특징 맵을 생성하는 단계(S13)는 시계열 신호로부터 사용자의 활동을 예측상기 위한 특징 맵을 생성상기 위해 구비된다. 특징 맵을 생성하는 단계(S13)는 시계열 신호를 이용한 구조간 상관관계를 학습하여 새로운 시간적 특징 맵을 생성하도록 형성된다. 일 예로 이를 위해 특징 맵을 생성하는 단계(S13)는 바닐라 합성곱 신경망 구조를 사용할 수 있다. 바닐라 합성곱 신경망 구조는 레이어로 쌓이게 되면 처리하여야 할 정보가 기하급수적으로 감소상기 때문에, 컴퓨팅 비용이 감소하는 장점이 존재한다. 특징 맵을 생성하는 단계(S13)에서 사용되는 바닐라 합성곱 신경망은 상기 수학식 1로 표현될 수 있다.
본 발명의 특징 맵을 생성하는 단계(S13)는, 사용자의 활동과 관련된 입력 특징 맵의 지역적/시간적 특성을 강조상기 위해 구비된다. 이를 위해 본 발명의 특징 맵을 생성하는 단계(S13)는 도 4에 도시된 바와 같이 지역적 특성을 획득하는 단계(S131), 시간적 특성을 획득하는 단계(S133) 및 통합 특성을 획득하는 단계(S135)를 포함하도록 형성된다.
지역적 특성을 획득하는 단계(S131)는 사용자의 활동과 관련된 입력 특징 맵의 지역적 특성을 획득상기 위해 구비된다. 여기서 지역적 특징은 사용자의 특정 신체 부위일 수 있다. 지역적 특성을 획득하는 단계(S131)는 지역적 특성으로 특징 맵 와이즈 합성곱 및 시간 t에서 m번째 특징 맵을 상기 수학식 2를 통해 획득할 수 있다.
시간적 특성을 획득하는 단계(S133)는 사용자의 활동과 관련된 시간적 특성을 획득하도록 형성된다. 여기서 시간적 특징은 사용자의 활동 시간에 관한 정보일 수 있다. 시간적 특성을 획득하는 단계(S133)는 상기 수학식 3을 이용하여 시간적 특성인 시간 와이즈 합성곱과 n번째 특징맵을 획득하도록 형성될 수 있다. 이때, 일 예시로 본 발명의 시간적 특성을 획득하는 단계(S133)는 상기 수학식 2를 이용하여 시간적 특성을 획득할 수 있다.
상기 수학식 3을 살펴보면, 우변에 상기 수학식 2로 표현되는 지역적 특성이 포함되는 것을 확인할 수 있다. 즉, 본 발명의 특징 맵을 생성하는 단계(S13)는 지역적 특성을 이용하여 시간적 특성을 획득하도록 형성된다.
한편, 본 발명의 일 실시예에 따른 특징 맵을 생성하는 단계(S13)에 포함되는 통합 특성을 획득하는 단계(S135)는 시계열 신호에 대한 고수준 특성을 추출하도록 형성된다.통합 특성을 획득하는 단계(S135)는 고수준 특징을 추출상기 위해 희소 샘플링 합성곱 신경망을 사용할 수 있다. 본 발명의 일 실시예에서 통합 특성을 획득하는 단계(S135)는 상기 수학식 4로 표현되는 희소 샘플링 합성곱 신경망을 이용하여 고수준 특징을 획득할 수 있다.
여기서, Gn은, n번째 아웃풋 피쳐 맵 O:,n을 생성상기 위해 추출되는 피쳐맵이다. 본 발명의 통합 특성을 획득하는 단계(S135)는 다중 시간 샘플링을 수행하며, 이를 위해 상술한 바와 같은 희소 샘플링 합성곱 연산을 수행한다. 희소 샘플링 합성곱 연산은 샘플링에 기반한 우선순위 레이어 정보를 추론상기 위해 대각행렬의 임의 순열 형식을 가진다. 본 발명의 통합 특성을 획득하는 단계(S135)는 서로 다른 샘플링 간격으로 작동하는 희소 샘플링 합성곱 신경망의 연산을 동시 통합하는 적어도 하나의 MTS 모듈을 이용하여 각각의 레이어를 통과하는 정보를 감소시켜 고수준 특징을 획득하도록 형성될 수 있다.
수학식 4의 피쳐 맵의 추출 결과로 커널 K2의 크기는 감소하며, 그 사이에서의 시간 샘플링은 K1에 적용될 수 있다. 커널 사이즈 Dk는 샘플링 간격으로 고려되며, 커널 K1의 파라미터가 Dk로 샘플링 될 수 있다. 이때, 샘플링되는 커널인 은, 상기 수학식 5와 같이 표현될 수 있다.
여기서, θ: 학습가능한 파라미터, im은 특징 맵의 독립 인덱스일 수 있다. 고수준 시간 특징을 추출상기 위해서는 Oi,n이 인접 시간의 피쳐들간의 상호작용에 의해 계산되어야 하며, 시간 샘플링이 상기 수학식 5의 im에 따라 시행될 수 있다. 이를 이용하면, 본 발명에서 생성되는 시간 샘플링의 인접행렬은 상기 수학식 6을 만족하도록 형성될 수 있다.
본 발명의 일 실시예에서는 상기 수학식 6을 만족하는 내에 존재하는 파라미터의 최소 수 인 Ms 및 Dk를 설정하였으며, 이를 통해 통합 특성을 획득하는 단계(S135)는, 상기 수학식 6의 결과를 상기 수학식 4를 통해 컴퓨팅 비용이 T×Dk×N인 희소 샘플링 합성곱 연산을 이용하여 통합 특성을 획득하도록 형성될 수 있으며 상기 수학식 4는 시간 t에 따른 n번째 특징 맵을 추출하는 수식이다.
특징 맵의 랜덤 샘플링으로부터의 정보 손실을 회피상기 위해 M개의 입력 피쳐를 N개의 샘플 그룹으로 매핑하는 것은 큰 탐색 공간을 요구할 뿐 아니라, 표본 특징 맵이 시간에 따른 종속성을 고려해야 하는 문제점이 존재한다.
따라서, 통합 특성을 획득하는 단계(S135)는 입력 특징 맵을 대입하고 그 결과를 각각의 샘플 그룹에 순서대로 매핑하도록 형성될 수 있다. 본 발명의 통합 특성을 획득하는 단계(S135)는 p1 및 p2를 특징 맵의 그룹핑 및 배치를 위한 함수로 정의하고, 상기 수학식 4를 상기 수학식 7로 변형하여 획득할 수 있다.
여기서,
Figure pat00026
은 함수 결합이고, k는 상기 수학식 4에 의해 계산될 수 있다. p1 및 p2는 치환 행렬을 통해 계산되기 때문에 두 함수의 결합은 두 가지 행렬의 곱으로 계산될 수 있다. P는 확률적 기울기 감소에 의해 최적화되기 때문에 알맞은 값을 도출해 내기 어렵다는 문제점이 존재하지만, 본 발명에서는 이러한 문제점을 치환된 시간 와이즈 합성곱을 훈련시킴으로써 최적화 된 값을 획득할 수 있다. 통합 특성 획득 모듈(153)는 복수의 특징 맵 그룹으로 형성될 수 있으며, 이때 각 그룹에 매핑되어 있는 입력 특징은 시간 와이즈 합성곱을 이용하여 치환 될 수 있다.
마지막으로, 본 발명의 사용자 활등을 예측하는 단계(S15)는 치환된 입력 특징을 획득하면, 복수의 특징 맵을 단순 시퀀스에서 샘플링 하도록 형성된다. 이때, 각 특징 맵 그룹인 Gn은 상기 수학식 8과 같이 샘플링 될 수 있다.
복수의 특징 맵의 수는 상술한 시간 와이즈 합성곱 연산에 의해 통제될 수 있다. 이러한 복수의 특징 맵 수의 통제 결과로 수학식 4 및 8에 따라 다중시간 희소 샘플링 합성곱 연산은 종래의 바닐라 합성곱과 비교하여 컴퓨팅 비용 및 모델 크기를 감소시킬 수 있다.
정리하면, 본 발명의 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템은, 사용자의 활동 인식에 대한 시계열 신호를 시계열 신호를 획득하는 단계(S11)를 통해 획득하고, 획득한 시계열 신호에 대하여 특징 맵을 생성하는 단계(S13)에서 지역적 특징을 획득하고, 지역적 특징을 이용하여 시간적 특징을 획득하도록 형성된다. 시간적 특징을 획득한 특징 맵을 생성하는 단계(S13)는 시간적 특징을 다중시간 희소 샘플링 합성곱 연산에 적용하여 복수의 특징 맵을 획득하고, 획득된 복수의 특징 맵은 사용자 활등을 예측하는 단계(S15)에서 단순 시퀀스 샘플링을 수행상기 위해 사용되어, 사용자 활등을 예측하는 단계(S15)에서 컴퓨팅 비용 및 모델 크기가 감소된 사용자 활동 예측 정보를 획득하도록 형성될 수 있다.
상술한 도 1 내지 도 4에 나타나고 있는 본 발명의 일 실시예에 따른 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법은, 도 5 및 도 6에 도시된 바와 같이 표현될 수 있다.
도 5a는 복수의 샘플링 간격이 있는 희소 샘플링 합성곱 연산 단위가 포함된 다중시간 희소 샘플링 합성곱 모듈(MTS 모듈)을 나타내고 있다. 각 희소 샘플링 합성곱은 서로 다른 Dk 파라미터 값인 커널 크기는 샘플링 간격으로 간주되며, 서로 다른 샘플링 간격으로 복수개가 연산된 후 통합되도록 형성된다.
또 도 5b 및 도 5c를 살펴보면, 일부 입력 피쳐 맵은 샘플링 되어 각 출력 피쳐 맵 그룹을 생성하기 위해 사용되며, 각 시간 와이즈 합성곱은 피쳐 맵 그룹을 학습할 수 있다. 이후, 희소 샘플링 합성곱을 이용하여 시간 샘플링을 통해 그룹 당 출력 특징 맵을 추출할 수 있다.
도 6에는 본 발명에서 사용하고 있는 신경 아키텍쳐의 예시가 도시되고 있다. 도 6의 실시예에서는 총 3개의 MTS 모듈이 사용되고, 각 MTS 모듈에서는 희소 샘플링 합성곱의 파라미터가 각각 0, 3, 5, 7로 형성되며, 각 TMS 모듈은 4개의 값을 통합하여 출력한다. 이때, 제1 MTS 모듈은 연산을 3번 반복하며, 제2 및 제3 MTS 모듈은 1번 반복하도록 형성된다.
도 7은, 상술한 도 5 및 도 6의 신경 아키텍쳐를 이용하는 도 1 및 도 3의 본 발명의 모의실험 결과이다. 도 7을 살펴보면, 본 발명에서 사용하고 있는 모델이 가장 낮은 MACs 값과 모델 크기를 가지는 것을 확인할 수 있다. 보다 상세히 설명하면, 본 발명의 예측 모델은, UCI-HAR, WISDM, PAMAP2를 포함하는 기존의 실시간 인간 행동 예측 모델과 비교하여 더 높은 F1 스코어를 획득하는 것을 확인할 수 있다. 또, 본 발명의 예측 모델은, OPPORTUNITY, PAMAP2, UCI-HAR, WISDM 데이터 셋 모두에 대하여 종래의 실시간 인간 행동 예측 모델보다 더 작은 모델 사이즈를 가지는 것을 확인할 수 있었다.
따라서, 본 발명은 모의 실험 결과를 살펴보면, 종래의 실시간 인간활동 예측 모델에서 모든 데이터 셋에서 종래와 유사 또는 뛰어난 F1 스코어를 가지는 것을 확인할 수 있으며, 각 데이터 셋에서도 종래의 모델과 비교하여 모두 모델 사이즈가 매우 작아지는 것을 확인할 수 있기 때문에 본 발명이 도출하고자 하는 결과가 도출된 것을 확인할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
1: 실시간 사용자 활등 인식을 위한 다중시간 샘플링 시스템
11: 신호 획득부
13: 특징 맵 생성부
15: 사용자 활동 예측부
131: 지역적 특성 획득 모듈
133: 시간적 특성 획득 모듈
135: 통합 특성 획득 모듈

Claims (12)

  1. 사용자의 활동을 측정할 수 있는 적어도 하나의 센서에 의해 수집되는 시계열 신호를 획득하는 신호 획득부;
    상기 시계열 신호로부터 상기 사용자의 활동을 예측하기 위한 특징 맵을 생성하기 위해 다중 시간 샘플링을 수행하여 희소 샘플링 합성곱 연산을 획득하는 특징 맵 생성부; 및
    상기 특징 맵을 이용하여 상기 사용자의 활동을 예측하는 사용자 활동 예측부;를 포함하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템.
  2. 제 1항에 있어서,
    상기 특징 맵 생성부는,
    특징 맵 와이즈 합성곱 신경망을 이용하여 상기 사용자의 신체의 지역적 특성을 획득하는 지역적 특성 획득 모듈;
    시간 와이즈 합성곱 신경망을 이용하여 상기 사용자의 활동에 대한 시간적 특성을 획득하는 시간적 특성 획득 모듈; 및
    상기 시계열 신호에 대한 고수준 특성을 추출하는 통합 특성 획득 모듈;을 포함하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템.
  3. 제 2항에 있어서,
    상기 지역적 특성 획득 모듈은,
    상기 지역적 특성인 특징 맵 와이즈 합성곱과 시간 t에서 m번째 특징 맵을 하기 수식 1로 표현하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템.
    수식 1

    (여기서, : 재중심화된 시간 인덱스, 컴퓨팅 비용 : T×Dk×M×N)
  4. 제 2항에 있어서,
    상기 시간적 특성 획득 모듈은,
    상기 시간적 특성인 시간 와이즈 합성곱과 n번째 특징맵을 하기 수식 2로 표현하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템.
    수식 2
  5. 제 2항에 있어서,
    상기 고수준 특성은, 희소 샘플링 함성곱 신경망을 통해 획득되며, 하기 수식 3으로 표현되는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템.
    수식 3
  6. 제 1항에 있어서,
    상기 사용자 활동 예측부는,
    상기 사용자의 활동을 예측하기 위해 치환된 시간 와이즈 합성곱 훈련 결과를 이용하며, 적어도 하나의 특징 맵 그룹을 수식 4와 같이 샘플링하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템.
    수식 4
  7. 신호 획득부를 이용하여 사용자의 활동을 측정할 수 있는 적어도 하나의 센서에 의해 수집되는 시계열 신호를 획득하는 단계;
    특징 맵 생성부를 이용하여 상기 시계열 신호로부터 상기 사용자의 활동을 예측하기 위한 특징 맵을 생성하기 위해 다중 시간 샘플링을 수행하여 희소 샘플링 합성곱 연산을 획득하는 단계; 및
    사용자 활동 예측부를 통해 상기 특징 맵을 이용하여 상기 사용자의 활동을 예측하는 단계;를 포함하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법.
  8. 제 7항에 있어서,
    상기 사용자의 활동을 예측하기 위한 특징 맵을 생성하는 단계는,
    특징 맵 와이즈 합성곱 신경망을 이용하여 상기 사용자의 신체의 지역적 특성을 획득하는 단계;
    시간 와이즈 합성곱 신경망을 이용하여 상기 사용자의 활동에 대한 시간적 특성을 획득하는 단계; 및
    상기 시계열 신호에 대한 고수준 특성을 추출하는 단계;를 포함하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법.
  9. 제 8항에 있어서,
    상기 지역적 특성을 획득하는 단계는,
    상기 지역적 특성인 특징 맵 와이즈 합성곱과 시간 t에서 m번째 특징 맵을 하기 수식 5로 표현하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법.
    수식 5

    (여기서, : 재중심화된 시간 인덱스, 컴퓨팅 비용 : T×Dk×M×N)
  10. 제 8항에 있어서,
    상기 시간적 특성을 획득하는 단계는,
    상기 시간적 특성인 시간 와이즈 합성곱과 n번째 특징맵을 하기 수식 6으로 표현하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법.
    수식 6
  11. 제 8항에 있어서,
    상기 고수준 특성은, 희소 샘플링 함성곱 신경망을 통해 획득되며, 하기 수식 7로 표현되는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법.
    수식 7
  12. 제 7항에 있어서,
    상기 사용자의 활동을 예측하는 단계는,
    상기 사용자의 활동을 예측하기 위해 치환된 시간 와이즈 합성곱 훈련 결과를 이용하며, 적어도 하나의 특징 맵 그룹을 수식 8과 같이 샘플링하는 실시간 사용자 활동 인식을 위한 다중시간 샘플링 방법.
    수식 8
KR1020220138362A 2022-10-25 2022-10-25 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법 KR20240057756A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220138362A KR20240057756A (ko) 2022-10-25 2022-10-25 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220138362A KR20240057756A (ko) 2022-10-25 2022-10-25 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240057756A true KR20240057756A (ko) 2024-05-03

Family

ID=91077922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220138362A KR20240057756A (ko) 2022-10-25 2022-10-25 실시간 사용자 활동 인식을 위한 다중시간 샘플링 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20240057756A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306064B1 (ko) 2014-02-14 2021-09-30 쓰리엠 이노베이티브 프로퍼티즈 캄파니 가속도계 데이터를 사용하는 활동 인식

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306064B1 (ko) 2014-02-14 2021-09-30 쓰리엠 이노베이티브 프로퍼티즈 캄파니 가속도계 데이터를 사용하는 활동 인식

Similar Documents

Publication Publication Date Title
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
KR101880901B1 (ko) 기계 학습 방법 및 장치
US11366954B2 (en) Text preparation apparatus
WO2019228122A1 (zh) 模型的训练方法、存储介质及计算机设备
EP4418168A2 (en) Attention-based decoder-only sequence transduction neural networks
CN112365171B (zh) 基于知识图谱的风险预测方法、装置、设备及存储介质
CN105701120B (zh) 确定语义匹配度的方法和装置
Gelenbe et al. Deep learning with dense random neural networks
KR102011788B1 (ko) 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법
CN106886543A (zh) 结合实体描述的知识图谱表示学习方法和系统
CN109977098A (zh) 非平稳时序数据预测方法、系统、存储介质及计算机设备
KR102388215B1 (ko) 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법
Sasikala et al. Kappa and accuracy evaluations of machine learning classifiers
WO2019229931A1 (ja) 情報処理装置、制御方法、及びプログラム
US20220335293A1 (en) Method of optimizing neural network model that is pre-trained, method of providing a graphical user interface related to optimizing neural network model, and neural network model processing system performing the same
CN112861518B (zh) 文本纠错方法、装置和存储介质及电子装置
CN109492075A (zh) 一种基于循环生成对抗网络的迁移学习排序方法
CN114782775A (zh) 分类模型的构建方法、装置、计算机设备及存储介质
CN113723603A (zh) 一种更新参数的方法、装置及存储介质
CN114169649A (zh) 一种基于时空数据嵌入的交通流量预测方法
CN109948242A (zh) 基于特征哈希的网络表示学习方法
Wang et al. Sensitive time series prediction using extreme learning machine
CN110457706B (zh) 兴趣点名称选择模型训练方法、使用方法、装置及存储介质
CN106503066A (zh) 基于人工智能的处理搜索结果方法和装置
WO2019187696A1 (ja) ベクトル化装置、言語処理方法及びプログラム