KR20240056975A

KR20240056975A - 학습 모델 기반의 위조 보행 탐지 방법 및 장치, 보행 탐지를 위한 학습 모델을 학습시키는 방법 및 장치

Info

Publication number: KR20240056975A
Application number: KR1020220137129A
Authority: KR
Inventors: 김승찬; 김혜주; 이해든; 이주현
Original assignee: 성균관대학교산학협력단
Priority date: 2022-10-24
Filing date: 2022-10-24
Publication date: 2024-05-02

Abstract

본 발명은 위조 보행 탐지를 위한 학습 모델을 학습하기 위한 기술과, 이러한 학습 모델을 이용하여 위조 보행 데이터를 획득하는 기술에 관한 것이다.
구체적으로, 획득되는 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 상기 학습 모델을 학습시키는 구성과, 보행 데이터가 획득되면 프로그램 내의 학습 모델을 통해 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 위조 보행 탐지 결과를 출력하도록 처리하는 구성을 포함한다.

Description

학습 모델 기반의 위조 보행 탐지 방법 및 장치, 보행 탐지를 위한 학습 모델을 학습시키는 방법 및 장치 {METHOD AND APPARATUS FOR DETECTING FAKE GAIT BASED ON LEARNING MODEL, LEARNING METHOD AND LEARNING APPARATUS FOR GAIT DETECTION}

본 발명은 인공지능 학습 모델 기반의 위조된 보행(gait)을 탐지하기 위한 기술, 이를 위한 모델 학습과 관련이 있다.

스마트 기기의 보급이 일반화되면서 기기 내에 사람의 보행 수를 체크하는 기능들, 예를 들어 스텝 카운터(step counter), 계보기(pedometer) 등이 애플리케이션 형태로 탑재되고 있으며, 이를 통한 정보는 다양한 도메인에서 보상 체계에 활용되고 있다. 예를 들어, 보행 수에 따른 보험료 할인을 유도하는 헬스케어 보험(healthcare insurance) 애플리케이션, 보행 수에 비례하는 크레딧(credit)을 제공하는 생활 애플리케이션, 보행 거리에 따라 아이템 레벨을 증가시키는 게임 형태의 애플리케이션 등이 실제 보상에 활용되고 있다.

그러나, 일부 사용자는 실제 보행을 통해 해당 목표를 달성하는 대신, 다양한 우회 방법을 통해 크레딧을 획득하는 방법을 선택하기도 한다. 예를 들면, 자동 걷기 기기에 스마트폰, 스마트워치 등과 같은 보행 측정 수단을 올려두고, 마치 사용자가 걷는 것 같이 반복적인 움직임을 만들어 내어 사용자가 실제 걸음을 걷지 않고도 보행 수나 보행 거리를 획득하는 우회 수단이 대표적으로 사용되고 있다.

이러한 우회 수단으로 인해 보상 서비스의 본연의 취지, 예를 들어 보행 유도를 통한 사용자의 건강 증진과 같은 순수 목적이 훼손될 수 있고, 금전과 관련된 애플리케이션의 경우에는 부정적인 방법으로 보험금을 할인 받는 등의 법적인 문제로 확장이 될 수 있다.

한국등록특허공보 제10-2107379호 (2020년05월07일 등록공고) 미국공개특허 US 2021-0393166 A1 (2021년12월23일 공개)

본 발명의 실시예에서는, 신경망을 기반으로 하는 학습 모델을 이용하여 사람의 실제 보행(정상 보행)이 아닌 가짜(fake) 또는 대리(surrogate) 보행을 판별할 수 있는 위조 보행 탐지 기술을 제안하고자 한다.

본 발명의 실시예에서는, 사람의 실제 보행이 아닌 가짜 또는 대리 보행을 판별할 수 있도록 판별 모델을 학습시키기 위한 학습 기술을 제안하고자 한다.

본 발명이 해결하고자 하는 과제는 상기에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재들로부터 본 발명이 속하는 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따르면, 보행 데이터를 획득하는 획득부; 보행 탐지를 위한 학습 모델이 저장된 저장부; 및 상기 보행 데이터가 획득되면 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 상기 학습 모델을 학습시키는 처리부;를 포함하는 위조 보행 탐지를 위한 학습 모델을 학습시키는 장치를 제공할 수 있다.

여기서, 상기 학습 모델은 지도 학습(supervised learning) 기반의 학습 모델일 수 있다.

또한, 상기 처리부는 상기 정상 보행에 의한 데이터를 참, 상기 비정상 보행에 의한 데이터를 거짓으로 레이블링(labeling)한 레이블 데이터를 입력으로 하여 상기 학습 모델을 학습시킬 수 있다.

또한, 상기 학습 모델은 상기 레이블 데이터와 상기 보행 탐지 결과의 차이가 줄어들도록 손실(loss) 함수를 생성할 수 있다.

또한, 상기 학습 모델은 비지도 학습(unsupervised learning) 기반의 학습 모델일 수 있다.

또한, 상기 비지도 학습 기반의 학습 모델은 오토인코더(autoencoder) 네트워크 구조를 가질 수 있다.

또한, 상기 비지도 학습 기반의 학습 모델은 상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값을 제곱한 값을 합산하여 손실 함수를 생성할 수 있다.

또한, 상기 보행 데이터는 실수형 입력 텐서(tensor)로 이루어질 수 있다.

또한, 상기 실수형 입력 텐서는 상기 보행 데이터의 샘플링 길이(T) 및 차원(D)의 곱을 지수 형태로 표현한 값일 수 있다.

또한, 상기 차원(D)은 상기 보행 데이터의 움직임 정보이고, 상기 움직임 정보는 3축 가속도, 3축 각속도 및 3축 선형 가속도 중 적어도 하나를 포함할 수 있다.

또한, 상기 비정상 보행은 가짜(fake) 보행 또는 대리(surrogate) 보행일 수 있다.

본 발명의 실시예에 따르면, 보행 데이터를 획득하는 획득부; 보행 탐지를 위한 프로그램이 저장된 저장부; 및 상기 보행 데이터가 획득되면 상기 프로그램 내의 학습 모델을 통해 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 처리하는 처리부;를 포함하는 위조 보행 탐지 장치를 제공할 수 있다.

여기서, 상기 처리부는 상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값이 문턱값 미만이면 상기 정상 보행으로 판단하고, 상기 절대값이 상기 문턱값 이상이면 상기 비정상 보행으로 판단할 수 있다.

또한, 상기 학습 모델은 지도 학습 기반의 학습 모델 또는 비지도 학습 기반의 학습 모델을 포함할 수 있다.

또한, 상기 보행 데이터는 실수형 입력 텐서로 이루어지고, 상기 실수형 입력 텐서는 상기 보행 데이터의 샘플링 길이(T) 및 차원(D)의 곱을 지수 형태로 표현한 값일 수 있다.

또한, 상기 비정상 보행은 가짜 보행 또는 대리 보행일 수 있다.

본 발명의 실시예에 따르면, 위조 보행 탐지를 위한 학습 모델이 저장된 위조 보행 탐지 장치의 학습 방법에 있어서, 보행 데이터를 획득하는 단계; 및 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 상기 학습 모델을 학습시키는 단계;를 포함할 수 있다.

여기서, 상기 학습 모델은 지도 학습 기반의 학습 모델을 포함하고, 상기 학습시키는 단계는 상기 정상 보행에 의한 데이터를 참, 상기 비정상 보행에 의한 데이터를 거짓으로 레이블링한 레이블 데이터를 입력으로 하여 상기 학습 모델을 학습시키는 단계를 포함할 수 있다.

또한, 상기 학습시키는 단계는 상기 레이블 데이터와 상기 보행 탐지 결과의 차이가 줄어들도록 손실 함수를 생성하는 단계를 포함할 수 있다.

또한, 상기 학습 모델은 비지도 학습 기반의 학습 모델을 포함하고, 상기 학습시키는 단계는 상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값을 제곱한 값을 합산하여 손실 함수를 생성하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 보행 탐지를 위한 프로그램이 저장된 위조 보행 탐지 장치의 위조 보행 탐지 방법에 있어서, 보행 데이터를 획득하는 단계; 및 상기 보행 데이터가 획득되면 상기 프로그램 내의 학습 모델을 통해 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 처리하는 단계;를 포함할 수 있다.

여기서, 상기 처리하는 단계는, 상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값이 문턱값 미만이면 상기 정상 보행으로 판단하는 단계; 및 상기 절대값이 상기 문턱값 이상이면 상기 비정상 보행으로 판단하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 위조 보행 탐지를 위한 학습 모델이 저장된 위조 보행 탐지 장치의 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 보행 데이터를 획득하는 단계; 및 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 상기 학습 모델을 학습시키는 단계;를 포함할 수 있다.

본 발명의 실시예에 따르면, 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 위조 보행 탐지를 위한 프로그램이 저장된 위조 보행 탐지 장치의 보행 탐지 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 보행 데이터를 획득하는 단계; 및 상기 프로그램 내의 학습 모델을 통해 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 처리하는 단계;를 포함할 수 있다.

본 발명의 실시예에 의하면, 신경망 기반의 학습 모델을 통해 사람의 실제 보행이 아닌 가짜 보행 또는 대리 보행을 탐지함으로써, 보행 수 기반의 크레딧 서비스를 제공하는 애플리케이션, 플랫폼, 도메인 등에서 신뢰성이 확보된 정보를 제공할 수 있다. 이를 통해, 보행 수 기반의 크레딧 서비스 환경에서의 투명성을 제공하여 서비스 활성화를 꾀할 수 있다.

도 1은 본 발명의 실시예에 따라 위조 보행 탐지 결과를 제공하거나 위조 보행 탐지를 위한 학습 모델을 학습시키는 장치(100)를 나타내는 블록도이다.
도 2는 도 1의 저장부(120)의 구성을 상세히 나타낸 도면으로서, 학습 과정을 설명하기 위한 개념도이다.
도 3은 도 2의 보행 탐지 학습 모델(124)의 구성 및 학습 과정, 예컨대 지도 학습 과정을 설명하기 위한 도면이다.
도 4는 도 2의 보행 탐지 학습 모델(124)의 구성 및 학습 과정, 예컨대 비지도 학습 과정을 설명하기 위한 도면이다.
도 5는 도 3의 지도 학습 또는 도 4의 비지도 학습 기반으로 학습된 보행 탐지 학습 모델(124)의 구성 및 이를 통한 보행 탐지 과정을 설명하기 위한 도면이다.
도 6은 도 5의 비지도 학습 모델 기반의 보행 탐지에 이용되는 문턱값을 설명하기 위한 도면이다.
도 7은 도 5의 비지도 학습 모델 기반의 보행 탐지 결과를 예시한 그래프로서, 정상 보행 복원 결과와, 자동 보행 방식의 가짜 보행 복원 결과를 비교한 그래프이다.
도 8은 도 5의 비지도 학습 모델 기반의 보행 탐지 결과를 예시한 그래프로서, 정상 보행 복원 결과와, 4족 보행 방식의 가짜 보행 복원 결과를 비교한 그래프이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 실시예에서는, 신경망을 기반으로 하는 학습 모델을 이용하여 사람의 실제 보행(정상 보행)이 아닌 가짜 보행 또는 대리 보행(비정상 보행)을 판별하기 위한 기술과, 사람의 실제 보행이 아닌 가짜 보행 또는 대리 보행을 판별할 수 있도록 판별 모델을 학습시키기 위한 학습 기술을 제안하고자 한다.

아울러, 본 발명의 실시예서 언급하고 있는 학습 모델은, SVM(support vector machine), 선형 회귀(linear regression) 등의 알고리즘이 적용된 기계학습(machine learning) 모델과, CNN(Convolutional Neural Network), DNN(Deep Neural Network) 등의 기법들이 적용된 심층 기계학습(deep learning) 모델 중에서 적어도 하나를 포함할 수 있으며, 특정 알고리즘의 학습 모델을 한정하지는 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따라 위조 보행 탐지 결과를 제공하거나 위조 보행 탐지를 위한 학습 모델을 학습하기 위한 장치(100)를 나타내는 블록도이다.

즉, 도 1의 실시예의 구성은 위조 보행 탐지를 위한 학습 기능과, 이러한 학습을 통한 위조 보행 탐지 기능을 병행하여 적용할 수 있다.

먼저, 위조 보행 탐지를 위한 학습 기능을 수행하는 장치(100)를 도 1 내지 도 3을 참조하여 상세히 설명하기로 한다.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 학습 장치(100)는 획득부(110), 저장부(120) 및 처리부(130)를 포함할 수 있다.

먼저, 획득부(110)는 학습 장치(100)로 인가되는 보행 데이터를 획득할 수 있다. 보행 데이터는 움직임 정보를 포함할 수 있는데, 이에 대해서는 하기 설명에서 자세히 다루기로 한다.

학습 장치(100)의 저장부(120)는 도 2에 도시한 바와 같이 보행 탐지 프로그램(122)과, 이 보행 탐지 프로그램(122)의 실행에 필요한 정보들이 저장될 수 있으며, 보행 탐지 프로그램(122) 내에는 보행 탐지를 위한 보행 탐지 학습 모델(124)이 포함될 수 있다. 이러한 보행 탐지 학습 모델(124)은 지도 학습(supervised learning) 기반의 학습 모델, 또는 비지도 학습(unsupervised learning) 기반의 학습 모델을 포함할 수 있다.

처리부(130)는 획득부(110)를 통해 획득된 보행 데이터가 정상 보행에 의한 데이터인지, 아니면 가짜 보행 또는 대리 보행과 같은 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 보행 탐지 학습 모델(124)을 학습시키는 역할을 할 수 있다.

도 3은 도 2의 보행 탐지 학습 모델(124)의 구성 및 학습 과정, 예컨대 지도 학습 기반의 학습 과정을 설명하기 위한 도면이다.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 보행 탐지 학습 모델(124)로 보행 데이터(X)가 입력되면, 보행 탐지 학습 모델(124)은 이러한 보행 데이터(X)를 기초로 정상 보행 또는 비정상 보행을 판별하기 위한 보행 탐지 결과()를 출력하도록 학습될 수 있다.

여기서, 보행 데이터(X)는 실수형 입력 텐서(tensor)로 이루어질 수 있는데, 이러한 입력 텐서 R은 아래 [수학식 1]과 같이 표현될 수 있다.

[수학식 1]에서 T는 보행 데이터의 샘플링 길이를 의미하는 것으로, 예를 들어 100Hz의 샘플링 길이를 사용하고, 3초의 시간을 포함하는 경우, T=300으로 설정될 수 있다.

D는 보행 데이터의 매 순간 차원을 의미할 수 있다. 차원 D는 보행 데이터의 움직임 정보로서, 이러한 움직임 정보는 3축(x, y, z축) 가속도, 3축 각속도, 3축 선형 가속도 중 적어도 하나를 포함할 수 있다. 예를 들어, 본 발명의 실시예에 따른 학습 장치(100)가 3축 가속도계 신호를 사용하는 경우에는 D는 3으로 설정될 수 있고, 3축 가속도계 신호와 3축 각속도계 신호를 모두 사용하는 경우에는 D는 6으로 설정될 수 있다. 이때, 가속도는 m/sec², 각속도는 rad/sec의 단위를 가진다.

즉, 본 발명의 실시예에 따른 획득부(110)에서 획득되는 입력 텐서는 보행 데이터의 샘플링 길이(T) 및 차원(D)의 곱을 지수 형태로 표현한 값일 수 있다.

다만, 이러한 차원(D)은 본 발명의 실시예일뿐이며, 보행 데이터(X)의 정보량을 줄이기 위해 모든 센서 축의 에너지 형태인 L2-norm 형태로 변환 값을 사용할 수도 있다. 이 경우, 는 로 변환되어 신호의 에너지와 유사한 값을 가지게 된다.

이때, 보행 탐지 학습 모델(124)이 지도 학습 기반의 학습 모델인 경우에는, 처리부(130)는 정상 보행에 의한 데이터를 참(true), 비정상 보행에 의한 데이터를 거짓(false)으로 레이블링(labeling)한 레이블 데이터를 입력으로 하여 보행 탐지 학습 모델(124)을 학습시킬 수 있다.

즉, 일반적인 사람의 한 걸음이 대략 2~3초 이내에 수행되는 것으로 가정하고, 3축 가속도 신호만 이용하는 경우에, 의 신호가 보행 탐지 학습 모델(124)로 입력될 수 있으며, 사전에 사람으로부터 구성된 데이터는 참(1), 그렇지 않은 경우 거짓(0)으로 레이블을 하여 목표값인 실수형 값 를 기록해 두고, 보행 탐지 학습 모델(124)을 이용하여 학습을 수행할 수 있다.

이때, 탐지 결과인 은 학습된 모델이 추론한 값을 의미하며, 정답인 와 비교하여, y와 의 차이가 줄어들도록 모델의 파라미터가 학습이 될 수 있다. 즉, 본 발명의 실시예에 따른 보행 탐지 학습 모델(124)은 레이블 데이터 y와 보행 탐지 결과인 의 차이가 줄어들도록 손실(loss) 함수를 생성할 수 있다.

여기서, 레이블 데이터 y와 보행 탐지 결과인 의 차이를 줄이기 위한 최적화 학습은, 예를 들어 MSE(mean square error), 크로스 엔트로피(cross entropy) 등의 학습 기법이 적용될 수 있다.

또한, 도 3의 보행 탐지 학습 모델(124)은 입력값인 가 시계열 데이터임을 고려하여 재귀신경망(recurrent neural network), 1차원 합성곱 신경망(1D convolution neural network) 등의 학습 모델이 활용될 수 있다. 다만, 이러한 학습 모델들은 본 발명의 실시예를 설명하기 위한 예시일 뿐이며, 일반적인 인공신경망 기반의 학습 모델, 예를 들어 자기 집중 기반의 트랜스포머 등의 적용이 가능함을 이해할 필요가 있다.

또한, 도 3의 보행 탐지 학습 모델(124)은 를 입력으로 하여 클래스 개수인 C개 만큼의 확률로서 결과를 출력하도록 학습될 수 있다. 예컨대, 정상 보행을 0, 자동 기기를 이용한 가짜 보행을 1, 반려동물을 이용한 가짜 보행(4족 보행)을 2로 출력하도록 학습될 수 있다.

즉, 본 발명의 실시예는 를 입력값으로 사용하지 않고 X로부터 특징(feature)을 추출하여 학습을 진행할 수도 있다. 이때, 특징 추출 대상 시계열 신호를 X라 할 때 대표적으로 사용되는 특징은 다음과 같이 예시될 수 있다.

abs_energy : 대상 시계열 신호 제곱의 합 (the sum over the squared values)

sum_values : 대상 시계열 신호의 합 (sum over the timeseries values)

average_values : 대상 시계열 신호의 평균 (average of the timeseries values)

number_peaks : 구간내 피크의 개수(number of peaks of the time series)

fft_coefficient : FFT 계수 (Fourier coefficients of the one-dimensional discrete Fourier transform)

autocorrelation: 자기상관 계수

이 외에도 다양한 특징들이 존재할 수 있으며, 필요에 따라 특징들을 선정 및 추출할 수 있다.

를 입력값으로 사용하지 않는 경우, 인공 신경망 기반의 딥러닝 모델들뿐만 아니라, SVM(support vector machine), 의사결정 트리(decision tree) 등의 전통적인 방식의 지도학습 모델이 사용될 수 있다.

도 4는 도 2의 보행 탐지 학습 모델(124)의 구성 및 학습 과정, 예컨대 비지도 학습 과정을 설명하기 위한 도면이다.

도 4에 도시한 바와 같이, 본 발명의 다른 실시예에 따른 보행 탐지 학습 모델(124)은 인코더(124-1), 잠재(latent) 특징 추출부(124-2) 및 디코더(124-3)를 포함할 수 있다. 예를 들어, 본 발명의 다른 실시예에 따른 보행 탐지 학습 모델(124)은 비지도 학습 기반의 학습 모델은 오토인코더(autoencoder) 네트워크 구조를 포함할 수 있다.

도 3과 같은 지도 학습 기반의 학습 모델은 다양한 경우에 따른 데이터를 취득해야 하는 반면, 도 4와 같은 비지도 학습 모델은 사람이 걸을 때 발생되는 패턴만을 비지도 학습 형태로 학습하고, 관찰된 데이터가 사람의 움직임 패턴에 부합되는지 확인하는 알고리즘을 활용할 수 있다.

이때, 사용된 전제는 다음과 같다.

전제: 사람의 걷기 패턴은 사람, 상황, 움직임의 특성에 따라 차이는 존재하지만, 사람의 움직임은 무한 자유도를 가지고 있지 않기 때문에, 발생할 수 있는 패턴은 다양하지만 제한적일 수밖에 없다.

이러한 문제는 공학적으로 오토인코더 구조를 이용하여 접근이 가능하다.

도 4에 도시한 바와 같이, 비지도 학습 기반의 보행 탐지 학습 모델(124)은 보행 데이터만으로 입력 데이터(X)를 구성할 수 있으며, 출력 데이터()는 입력 데이터(X)와 동일한 데이터로 설정될 수 있다(레이블 데이터(y)가 필요하지 않음).

X를 입력 데이터로 설정하고 이를 분석할 수 있는 인코더(124-1)를 네트워크 구조로 구성하였다.

입력 데이터(X)가 인코더(124-1)를 통해 연산이 되면 잠재 특징 추출부(124-2)는 입력 데이터(X) 대비 상대적으로 낮은 차원의 잠재 특징 을 추출할 수 있다.

디코더(124-3)는 잠재 특징 추출부(124-2)에서 추출된 잠재 특징()을 입력으로 하여 입력 데이터(X)를 복원하도록 학습되어 출력 데이터()를 산출할 수 있다.

도 4와 같은 비지도 학습 기반의 오토인코더로 네트워크를 구성하면, 학습에 사용되었던 사람의 보행 데이터는 잘 복원(reconstruction)하는 반면, 사용되지 않았던 가짜 걸음은 잘 복원을 못하게 된다.

이때, 입력 데이터(X)와 출력 데이터() 간의 차이가 발생할 수 있으며, 이 둘의 차이의 절대값인 을 확인하여 보행 데이터 탐지 결과를 출력할 수 있다.

여기서, 보행 탐지 학습 모델(124-2)의 손실 함수는 보행 데이터인 입력 데이터(X)와 보행 탐지 결과인 출력 데이터() 간의 차이의 절대값을 제곱한 값을 합산한 값으로 정의될 수 있으며, 이러한 손실 함수는 다음 [수학식 2]와 같이 표현될 수 있다.

이상 설명한 바와 같이 학습된 학습 모델은 오프라인 상에서 구축될 수 있고, 이후에는 이와 같이 구축된 학습 모델을 이용하여 위조 보행 탐지를 수행할 수 있다.

도 5는 도 3의 지도 학습 또는 도 4의 비지도 학습 기반으로 학습된 보행 탐지 학습 모델(124)의 구성 및 이를 통한 위조 보행 탐지 과정을 설명하기 위한 도면이다.

본 발명의 실시예에 따른 보행 탐지 학습 모델(124)을 이용한 보행 탐지 장치(100)는 도 1에 도시한 바와 같이 획득부(110), 저장부(120) 및 처리부(130)를 포함할 수 있다.

먼저, 획득부(110)는 학습 장치(100)로 인가되는 보행 데이터(X)를 획득할 수 있다. 보행 데이터(X)는 움직임 정보를 포함할 수 있다.

학습 장치(100)의 저장부(120)는 도 2에 도시한 바와 같이 보행 탐지 프로그램(122)과, 이 보행 탐지 프로그램(122)의 실행에 필요한 정보들이 저장될 수 있으며, 보행 탐지 프로그램(122) 내에는 보행 탐지를 위한 보행 탐지 학습 모델(124)이 포함될 수 있다. 이러한 보행 탐지 학습 모델(124)은 지도 학습 기반의 학습 모델, 또는 비지도 학습 기반의 학습 모델을 포함할 수 있다.

처리부(130)는 획득부(110)를 통해 보행 데이터(X)가 획득되면, 보행 탐지 프로그램(122) 내의 보행 탐지 학습 모델(124)을 통해, 획득된 보행 데이터(X)가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 처리할 수 있다.

보행 탐지 학습 모델(124)이 지도 학습 기반의 학습 모델인 경우에 처리부(130)는, 보행 데이터(X)가 입력 텐서로서 입력되면 보행 데이터(X)가 정상 보행에 의한 데이터인지 또는 비정상 보행에 의한 데이터인지에 대한 보행 탐지 결과()를 출력하도록 처리할 수 있다.

보행 탐지 학습 모델(124)이 비지도 학습 기반의 학습 모델인 경우에 처리부(130)는, 보행 탐지 학습 모델(124)을 통해 보행 데이터인 입력 데이터(X)와 보행 탐지 결과인 출력 데이터() 간의 차이의 절대값을 계산하고, 이 절대값에 따라 정상 보행 또는 비정상 보행을 판단하도록 처리할 수 있다.

예컨대, 처리부(130)는 입력 데이터(X)와 출력 데이터() 간의 차이의 절대값이 문턱값(θ) 미만이면 정상 보행으로 판단할 수 있으며, 이는 아래 [수학식 3]과 같이 표현될 수 있다.

반면, 처리부(130)는 입력 데이터(X)와 출력 데이터() 간의 차이의 절대값이 문턱값(θ) 이상이면 비정상 보행으로 판단할 수 있으며, 이는 아래 [수학식 4]와 같이 표현될 수 있다.

도 6은 도 5의 비지도 학습 모델 기반의 보행 탐지에 이용되는 문턱값(θ)을 설명하기 위한 도면이다.

도 6에서는 문턱값(θ)을 0.25로 설정하였으며, 이 경우 정상 보행과 비정상 보행 간의 출력 그래프는 문턱값(θ)을 기준으로 크게 대비되는 것을 확인할 수 있다. 따라서, 본 발명의 실시예에 따른 비지도 학습 모델 기반의 보행 탐지 학습 모델(124)을 이용하여 보행 탐지를 수행하는 경우에 정상 보행과 비정상 보행을 객관적이고 정확하게 판별할 수 있다.

도 7은 도 5의 비지도 학습 모델 기반의 보행 탐지 결과를 예시한 그래프로서, 정상 보행 복원 결과(a)와, 자동 보행 방식의 가짜 보행 복원 결과(b)를 비교한 그래프이다. 자동 보행 방식의 가짜 보행 복원 결과라 함은, 예를 들어 자동 걷기 장치에 보행 계측기(예컨대, 스마트워치에 탑재된 계측기)를 탑재한 후 자동 걷기 장치가 구동함으로써 발생된 가짜 데이터를 의미한다.

도 7의 그래프에 도시한 바와 같이, 비지도 학습 모델 기반의 보행 탐지 학습 모델(124)을 통해 정상 보행은 잘 복원해 내는 반면, 비정상 보행인 자동 보행 방식의 가짜 보행은 실제 복원 값과 큰 차이가 발생함을 알 수 있다.

도 8은 도 5의 비지도 학습 모델 기반의 보행 탐지 결과를 예시한 그래프로서, 정상 보행 복원 결과(a)와, 4족 보행 방식의 가짜 보행 복원 결과(b)를 비교한 그래프이다. 4족 보행 방식의 가짜 보행 복원 결과라 함은, 예를 들어 강아지와 같은 반려 동물의 목에 보행 계측기(예컨대, 스마트워치에 탑재된 계측기)를 장착하여 반려 동물이 스스로 걷도록 한 뒤 발생시킨 대리 데이터를 의미한다.

도 8의 그래프에 도시한 바와 같이, 비지도 학습 모델 기반의 보행 탐지 학습 모델(124)을 통해 정상 보행은 잘 복원해 내는 반면, 비정상 보행인 4족 보행 방식의 가짜 보행은 실제 복원 값과 큰 차이가 발생함을 알 수 있다.

이상 설명한 바와 같은 본 발명의 실시예에 의하면, 신경망 기반의 학습 모델을 통해 사람의 실제 보행이 아닌 가짜 보행 또는 대리 보행을 탐지함으로써, 보행 수 기반의 크레딧 서비스를 제공하는 애플리케이션, 플랫폼, 도메인 등에서 신뢰성이 확보된 정보를 제공할 수 있다. 이를 통해, 보행 수 기반의 크레딧 서비스 환경에서의 투명성을 제공하여 서비스 활성화를 꾀할 수 있다. 특히, 본 발명의 실시예에 의하면, 스마트워치 등의 웨어러블(wearable) 기기에 소프트웨어 형태로 즉시 적용이 가능한 바, 헬스케어 및 보험관련 서비스 분야에서 웨어러블 기기의 활용도를 높일 수 있다.

한편, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리) 등에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체(또는 메모리)에 저장된 인스트럭션들은 블록도의 각 블록에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

100: 보행 탐지 장치(또는 보행 탐지를 위한 학습 장치)
110: 획득부
120: 저장부
122: 보행 탐지 프로그램
124: 보행 탐지 학습 모델
124-1: 인코더
124-2: 잠재 특징 추출부
124-3: 디코더
130: 처리부

Claims

보행 데이터를 획득하는 획득부;
보행 탐지를 위한 학습 모델이 저장된 저장부; 및
상기 보행 데이터가 획득되면 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 상기 학습 모델을 학습시키는 처리부;를 포함하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 1 항에 있어서,
상기 학습 모델은 지도 학습(supervised learning) 기반의 학습 모델인
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 2 항에 있어서,
상기 처리부는 상기 정상 보행에 의한 데이터를 참, 상기 비정상 보행에 의한 데이터를 거짓으로 레이블링(labeling)한 레이블 데이터를 입력으로 하여 상기 학습 모델을 학습시키는
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 3 항에 있어서,
상기 학습 모델은 상기 레이블 데이터와 상기 보행 탐지 결과의 차이가 줄어들도록 손실(loss) 함수를 생성하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 1 항에 있어서,
상기 학습 모델은 비지도 학습(unsupervised learning) 기반의 학습 모델인
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 5 항에 있어서,
상기 비지도 학습 기반의 학습 모델은 오토인코더(autoencoder) 네트워크 구조를 갖는
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 6 항에 있어서,
상기 비지도 학습 기반의 학습 모델은 상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값을 제곱한 값을 합산하여 손실 함수를 생성하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 1 항에 있어서,
상기 보행 데이터는 실수형 입력 텐서(tensor)로 이루어지고,
상기 실수형 입력 텐서는 상기 보행 데이터의 샘플링 길이(T) 및 차원(D)의 곱을 지수 형태로 표현한 값인
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 8 항에 있어서,
상기 차원(D)은 상기 보행 데이터의 움직임 정보이고,
상기 움직임 정보는 3축 가속도, 3축 각속도 및 3축 선형 가속도 중 적어도 하나를 포함하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
제 1 항에 있어서,
상기 비정상 보행은 가짜(fake) 보행 또는 대리(surrogate) 보행인
위조 보행 탐지를 위한 학습 모델을 학습시키는 장치.
보행 데이터를 획득하는 획득부;
보행 탐지를 위한 프로그램이 저장된 저장부; 및
상기 보행 데이터가 획득되면 상기 프로그램 내의 학습 모델을 통해 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 처리하는 처리부;를 포함하는
위조 보행 탐지 장치.
제 11 항에 있어서,
상기 처리부는 상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값이 문턱값 미만이면 상기 정상 보행으로 판단하고, 상기 절대값이 상기 문턱값 이상이면 상기 비정상 보행으로 판단하는
위조 보행 탐지 장치.
제 11 항에 있어서,
상기 학습 모델은 지도 학습 기반의 학습 모델 또는 비지도 학습 기반의 학습 모델을 포함하는
위조 보행 탐지 장치.
제 11 항에 있어서,
상기 보행 데이터는 실수형 입력 텐서로 이루어지고,
상기 실수형 입력 텐서는 상기 보행 데이터의 샘플링 길이(T) 및 차원(D)의 곱을 지수 형태로 표현한 값인
위조 보행 탐지 장치.
제 14 항에 있어서,
상기 차원(D)은 상기 보행 데이터의 움직임 정보이고,
상기 움직임 정보는 3축 가속도, 3축 각속도 및 3축 선형 가속도 중 적어도 하나를 포함하는
위조 보행 탐지 장치.
제 11 항에 있어서,
상기 비정상 보행은 가짜 보행 또는 대리 보행인
위조 보행 탐지 장치.
위조 보행 탐지를 위한 학습 모델이 저장된 위조 보행 탐지 장치의 학습 방법에 있어서,
보행 데이터를 획득하는 단계; 및
상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 상기 학습 모델을 학습시키는 단계;를 포함하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 방법.
제 17 항에 있어서,
상기 학습 모델은 지도 학습 기반의 학습 모델을 포함하고,
상기 학습시키는 단계는 상기 정상 보행에 의한 데이터를 참, 상기 비정상 보행에 의한 데이터를 거짓으로 레이블링한 레이블 데이터를 입력으로 하여 상기 학습 모델을 학습시키는 단계를 포함하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 방법.
제 18 항에 있어서,
상기 학습시키는 단계는 상기 레이블 데이터와 상기 보행 탐지 결과의 차이가 줄어들도록 손실 함수를 생성하는 단계를 포함하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 방법.
제 17 항에 있어서,
상기 학습 모델은 비지도 학습 기반의 학습 모델을 포함하고,
상기 학습시키는 단계는 상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값을 제곱한 값을 합산하여 손실 함수를 생성하는 단계를 포함하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 방법.
제 17 항에 있어서,
상기 보행 데이터는 실수형 입력 텐서로 이루어지고,
상기 실수형 입력 텐서는 상기 보행 데이터의 샘플링 길이(T) 및 차원(D)의 곱을 지수 형태로 표현한 값인
위조 보행 탐지를 위한 학습 모델을 학습시키는 방법.
제 21 항에 있어서,
상기 차원(D)은 상기 보행 데이터의 움직임 정보이고,
상기 움직임 정보는 3축 가속도, 3축 각속도 및 3축 선형 가속도 중 적어도 하나를 포함하는
위조 보행 탐지를 위한 학습 모델을 학습시키는 방법.
제 17 항에 있어서,
상기 비정상 보행은 가짜 보행 또는 대리 보행인
위조 보행 탐지를 위한 학습 모델을 학습시키는 방법.
위조 보행 탐지를 위한 프로그램이 저장된 위조 보행 탐지 장치의 위조 보행 탐지 방법에 있어서,
보행 데이터를 획득하는 단계; 및
상기 보행 데이터가 획득되면 상기 프로그램 내의 학습 모델을 통해 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 처리하는 단계;를 포함하는
위조 보행 탐지 방법.
제 24 항에 있어서,
상기 처리하는 단계는,
상기 보행 데이터와 상기 보행 탐지 결과 간의 차이의 절대값이 문턱값 미만이면 상기 정상 보행으로 판단하는 단계; 및
상기 절대값이 상기 문턱값 이상이면 상기 비정상 보행으로 판단하는 단계;를 포함하는
위조 보행 탐지 방법.
제 24 항에 있어서,
상기 보행 데이터는 실수형 입력 텐서로 이루어지고,
상기 실수형 입력 텐서는 상기 보행 데이터의 샘플링 길이(T) 및 차원(D)의 곱을 지수 형태로 표현한 값인
위조 보행 탐지 방법.
제 26 항에 있어서,
상기 차원(D)은 상기 보행 데이터의 움직임 정보이고,
상기 움직임 정보는 3축 가속도, 3축 각속도 및 3축 선형 가속도 중 적어도 하나를 포함하는
위조 보행 탐지 방법.
제 24 항에 있어서,
상기 비정상 보행은 가짜 보행 또는 대리 보행인
위조 보행 탐지 방법.
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
위조 보행 탐지를 위한 학습 모델이 저장된 위조 보행 탐지 장치의 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
상기 방법은,
보행 데이터를 획득하는 단계; 및
상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 상기 학습 모델을 학습시키는 단계;를 포함하는
컴퓨터 판독 가능한 기록매체.
컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
위조 보행 탐지를 위한 프로그램이 저장된 위조 보행 탐지 장치의 위조 보행 탐지 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
상기 방법은,
보행 데이터를 획득하는 단계; 및
상기 프로그램 내의 학습 모델을 통해 상기 보행 데이터가 정상 보행에 의한 데이터인지 비정상 보행에 의한 데이터인지를 판별하기 위한 보행 탐지 결과를 출력하도록 처리하는 단계;를 포함하는
기록매체에 저장된 컴퓨터 프로그램.