KR102056248B1

KR102056248B1 - 순환 신경망 기반 슬로프 설질 정보를 획득하는 방법 및 이 방법이 적용된 기기

Info

Publication number: KR102056248B1
Application number: KR1020180001550A
Authority: KR
Inventors: 김승찬; 유제광; 김철웅; 김철순
Original assignee: 한림대학교 산학협력단
Priority date: 2018-01-05
Filing date: 2018-01-05
Publication date: 2020-01-22
Also published as: KR20190083745A

Abstract

일 실시예에 따른 교사 기계 학습 기반 슬로프 분석 방법은, 슬로프의 학습에 관련된 데이터를 사전에 획득하는 단계; 상기 획득한 데이터 및 상기 데이터에 해당하는 설질 (클래스) 정보로 기계 학습을 수행하여, 노면의 특성치를 예측하고 기계 학습 파라미터 형태로 모델링하는 학습 단계; 현재 슬로프의 관성 신호 데이터를 측정하는 단계; 및 상기 측정된 관성 신호 데이터와 상기 학습 정보를 이용하여 상기 현재 슬로프의 슬로프 정보를 예측하는 단계를 포함할 수 있다.

Description

순환 신경망 기반 슬로프 설질 정보를 획득하는 방법 및 이 방법이 적용된 기기 {RECURRENT NEURAL NETWORK FOR CLASSIFYING THE CATEGORIES OF DEPOSITED SNOW AND OPERATION METHOD THEREOF}

본원의 발명은 기계 학습 방법론에 기초하여 슬로프 정보를 예측 및 구분하는 방법 및 이 방법이 적용된 기기에 대한 것으로서, 보다 구체적으로 딥러닝 기술에 의해 학습한 내용과 측정한 관성 신호 데이터를 이용하여 현재 슬로프에 대한 슬로프 정보를 예측 및 구분하는 방법 및 이 방법이 적용된 기기에 관한 것이다.

딥러닝(Deep learning)은 이미지, 음성인식, 패턴인식 등 다양한 분류 문제에서 Support vector machine(SVM), Bayesian network (BN), decision tree (DT), k-th nearest neighbor (kNN)등 기존 분류모델들에 비해 높은 정확도 보이고 있으며 특히 시퀀스 형태로 표현되는 데이터를 분류하는 문제에서는, Recursive neural network, recurrent neural network (RNN)등이 기존의 TF/IDF 기반의 Bag of words 나 n-gram기반의 모델들에 비해 우수한 성능을 보이고 있다. RNN은 학습되는 파라미터가 시간에 걸쳐 공유되는 순환 신경망으로, 특히, RNN 계열 신경망은 일반적인 신경망과는 달리 웨이트 행렬이 시간에 걸쳐 공유되는 특성(weights are shared across time)이 있어 시퀀스 데이터를 다루는데 많이 사용되고 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 본 슬로프 상의 눈의 상태를 기계 학습 기반으로 모델링하고, 학습된 네트워크를 바탕으로 실시간으로 설면의 특성을 분류 및 예측할 수 있도록 하기 위한 것이다.

발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.

일 실시예에 따른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 슬로프의 학습에 관련된 데이터를 획득하는 단계; 상기 획득한 데이터 및 상기 데이터에 해당하는 설질 (클래스) 정보로 기계 학습을 수행하여, 노면의 특성치를 예측하고 기계 학습 파라미터 형태로 모델링하는 학습 단계; 현재 슬로프의 관성 신호 데이터를 측정하는 단계; 및 상기 측정된 관성 신호 데이터와 상기 학습 정보를 이용하여 상기 현재 슬로프의 슬로프 정보를 예측하는 단계를 포함할 수 있다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 교사 기계 학습은 SVM, Decision tree, 일반적인 신경망 등의 통상적인 교사학습 방법론을 사용하는 것을 특징으로 한다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 교사 기계 학습 기반 기술은 학습되는 파라미터가 시간에 걸쳐 공유되는 순환 신경망인 RNN(Recurrent neural network)인 것을 특징으로 한다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 RNN은 LSTM(Long Short-Term Memory models)인 것을 특징으로 한다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 RNN은 GRU(Gated Recurrent Unit)인 것을 특징으로 한다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 교사 기계 학습 기술을 이용하여 사전에 오프라인으로 슬로프에 대한 센서값 정보를 획득하고 이에 해당하는 클래스 (예, 설질)를 이용하여 교사 기계 학습(supervised learning) 하는 것을 특징으로 하고, 상기 특정 슬로프 상에서의 특성인 클래스를 입력하는 단계; 상기 관성 센서를 이용하여 획득된 상기 특정 슬로프의 관성 신호 데이터를 획득하는 단계; 상기 특정 슬로프의 관성 신호 데이터를 상기 특정 슬로프의 특성인 클래스와 연계하여 저장하는 단계를 포함한다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 교사 기계 학습 기술을 이용하여 슬로프에 대한 학습 정보를 오프라인으로 획득하는 단계를 반복적으로 수행하되, 복수의 관성 센서 데이터와 슬로프 특성 클래스 집합을 이용하여 학습하는 단계를 수행하는 것을 특징으로 한다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 슬로프 정보를 타 기기 또는 서버로 송신하는 단계를 더 포함하는 것을 특징으로 한다.

일 실시예에 따른 또 다른 기계 학습 기반 슬로프 반석 방법 및 이에 따른 사용자 단말은, 상기 슬로프의 학습에 관련된 데이터 및 상기 슬로프 정보는 설질에 대한 정보를 포함하고, 상기 설질에 대한 정보는 습설, 건설, 슬러쉬, 압설, 강설 중 적어도 하나의 구성비율을 포함하는 것을 특징으로 한다.

본 발명의 실시예들에 따르면 다음과 같은 효과를 기대할 수 있다.

본 발명의 실시예를 통해 다른 사람과 실시간으로 정보를 공유하여 설면의 상태를 사전에 용이하고 정확하게 확인하는 효과가 기대된다.

또한, 본 발명의 실시예를 통해 동계스포츠 선수 및 일반인들이 사전에 장비 세팅 및 전략 수립을 보다 용이하게 할 수 있을 것으로 기대된다.

본 발명의 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 발명의 실시예들에 대한 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명을 실시함에 따른 의도하지 않은 효과들 역시 본 발명의 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 발명이 적용되는 관성 신호 데이터를 수집하는 기기 및 이 기기가 네트워크하는 과정을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 따른 전자 기기 1의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 대한 것으로, 슬로프 특성 분석 방법이 수행되는 순서도를 나타낸 것이다.
도 5는 본 발명의 RNN에 대한 내용을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 대한 것으로서, 슬로프 정보를 활용하는 일 실시예에 대한 것이다.
도 7은 본 발명의 일 실시예로서, 측정자가 현재 슬로프의 설질에 관한 정보를 입력하는 예에 대해서 설명하도록 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있으며, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 또한, 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.

도면에 대한 설명에서, 본 발명의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당업자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈(module)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시 형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

또한, 본 발명의 실시예들에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

본 발명에서는 동계 스포츠에서 중요한 역할을 하는 슬로프 상의 눈의 상태를 기계 학습 기반으로 모델링 및 해당 가중치(weight) 및 편향(bias)등을 학습 하고, 학습된 네트워크를 바탕으로 실시간으로 설면의 특성을 실행 시간(runtime) 분류 및 예측할 수 있도록 하는 방법 및 이를 적용한 기기 및 시스템을 제안한다. 이를 위해 본 발명에서는 관성 센서 측정 시스템을 제작하고 이를 순환 신경망 (Recurrent neural network, RNN)기반으로 기계 학습한 내용에 대해 설명한다. 응용 시나리오로서 타 선수의 결과를 실시간으로 공유하여 설면의 상태를 사전에 용이하고 정확하게 확인할 수 있도록 하는 방법 및 이를 적용한 기기 및 시스템을 제안한다. 이를 통해 동계스포츠 선수 및 일반인들이 사전에 장비 세팅 및 전략 수립을 보다 용이하게 할 수 있는 효과가 기대된다.

일반적으로 슬로프 상의 눈 (deposited snow)은 다양한 상태로 존재한다. 이러한 설면의 상태는 스키/스노우보드 등의 슬로프 상에서 진행되는 다양한 동계 스포츠 종목에 중요한 변수로서 작용한다. 예를들면, 설면의 상태에 따라 장비 세팅이 바뀌어야 한다. 가장 대표적으로 왁싱 (스키 바닥면에 도포하는 왁스) 과정을 예로 들 수 있다. 모노스키의 경우 장비의 Compression/Rebound 밸브를 조절하여 서스펜션의 사전 댐핑 특성을 바꿀 수 있다.

또한, 눈의 상태에 따라 설면과 접촉하는 스키의 바닥면 면적과 마찰력이 달라지게 되어 궁극적으로 스키어의 라이딩 기술이 달라지게 된다. 예를 들면, 슬러쉬 상태의 경우 무게중심을 뒤쪽에 두어 노즈/탑밴드(스키 앞부분)이 눈에 박히는 것을 방지한다. 단단한 설면에서는 엣징 강도를 세게하고 기울기는 줄여야 경기에 유리하며, 카빙턴의 경우 몸을 눕히는 정도는 줄이고, 중심을 낮춰 엣지쪽으로 무게중심을 최대한 이동시키는 등의 전략 변경이 수반되어야 한다.

이와 같이 설면의 상태는 동계스포츠에서 매우 중요한 부분이며, 전문가급 선수뿐 아니라, 일반인들의 경기에도 중요한 영향을 미치게 된다. 그러나 눈의 물리적인 특성은 원격지에서 시각적으로 관찰이 어렵기 때문에, 영상 분석 기반 (CCTV 등) 접근법을 통해 모니터링 하기 어려운 것이 사실이다. 따라서 대부분은 슬로프의 전반적인 상태를 직접 경험을 통해 인지하게 되는데, 이러한 문제로 앞서 기술한 장비의 최적 사전값(preset) 세팅 및 라이딩 기술 전략 수립을 슬로프에 올라간 뒤에야 가능하게 하는 문제가 있다.

이러한 문제점을 해결하고자, 본 논문에서는 설면의 상태를 분류 (classification) 할 수 있도록 순환 신경망 (Recurrent neural network, RNN) 기반 및 이를 적용한 기기 및 시스템을 제안한다. 또한, 사전 학습된 네트워크를 바탕으로 실시간 추론(infrerence) 하는 응용 시스템 및 얻어진 추론값을 후발 플레이어들에게 공유하는 응용 시나리오를 제안한다.

본 발명에서 기계 학습 방법은 SVM, Decision tree, 일반적인 신경망 등의 일반적인 사용하는 교사 기계 학습 (Supervised learning) 방법을 특징으로 한다. 교사 기계 학습은 트레이닝 데이터-클래스 쌍들의 집합으로 학습하고, 학습된 파라마터들을 바탕으로 새로 입력된 데이터의 클래스를 찾아내는 기계 학습 분야이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명이 적용되는 관성 신호 데이터를 수집하는 기기 및 이 기기가 네트워크하는 과정을 나타낸 도면이다.

본 발명에서 이용되는 기기는 관성 신호 데이터를 수집하는 장치 또는 유닛(unit), 또는 부품을 포함하여 구성될 수 있고, 그 기기의 종류는 무관하고, 다양하게 구성될 수 있다. 일례로, 본 발명에서 이용되는 전자 기기는 현재 슬로프에 대한 정보를 측정하는 측정자의 장치에 설치되는 별도의 장치로 구성되거나, 측정자의 휴대용 장비에 포함되거나 설치되는 장치일 수 있다. 도 1에서 언급되는 복수의 전자 기기들(110, 120, 130, 140)는 모두 관성 신호 데이터를 수집할 수 있는 것을 전제로 한다.

복수의 전자 기기들(110, 120, 130, 140)은 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 전자 기기 1(110)은 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있다.

통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들 간의 근거리 무선 통신 역시 포함될 수 있다. 예를들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.

일례로, 서버(160)는 네트워크(170)를 통해 접속한 전자 기기 1(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 전자 기기 1(110)은 서버(160)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 전자 기기 1(110)이 포함하는 운영체제(Operating System, OS) 또는 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 전자 기기 1(110)이 어플리케이션의 제어에 따라 네트워크 170)를 통해 서비스 요청 메시지를 서버(150)로 전송하면, 서버(150)는 서비스 요청 메시지에 대응하는 코드를 전자 기기 1(110)로 전송할 수 있고, 전자 기기 1(110)은 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.

도 2는 본 발명의 일 실시예에 있어서, 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 하나의 전자 기기에 대한 예로서 전자 기기 1(110), 그리고 하나의 서버에 대한 예로서 서버(150)의 내부 구성을 설명한다. 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.

전자 기기 1(110)과 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제와 적어도 하나의 프로그램 코드(일례로 전자 기기 1(110)에 설치되어 구동되는 브라우저나 상술한 어플리케이션 등을 위한 코드)가 저장될 수 있다. 그리고, 전자 기기 1은 관성 신호 데이터를 수집하는 관성 신호 데이터 수집부(216)를 더 포함할 수 있다. 이러한 소프트웨어 구성요소들 드라이브 메커니즘(drive mechanism)을 이용하여 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.

프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드(예, 딥러닝 기반 학습)에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.

통신 모듈(213, 223)은 네트워크(170)를 통해 전자 기기 1(110)과 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(일례로 전자 기기 2(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 전자 기기 1(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 전자 기기 1(110)의 통신 모듈(213)을 통해 전자 기기 1(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 전자 기기 1(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.

입출력 인터페이스(214, 224)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 전자 기기1(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 전자기기 2(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다.

전자 기기1(110)의 관성 신호 데이터 수집부(216)는 관성 센서를 통해 관성 신호를 수집할 수 있다. 최근, 관성 센서는 인공위성, 미사일, 무인 항공기 등의 군수용으로부터 에어백(Air Bag), ESC(Electronic Stability Control), 차량용 블랙박스(Black Box) 등 차량용, 캠코더의 손떨림 방지용, 핸드폰이나 게임기의 모 션 센싱용, 네비게이션용 등 다양한 용도로 사용되고 있다.

이러한 관성 센서는 가속도와 각속도를 측정하기 위해서, 일반적으로 멤브레인(Membrane) 등의 탄성 기판에 질량체를 접착시킨 구성을 채용하고 있다. 상기 구성을 통해서, 관성 센서는 질량체에 인가되는 관성력을 측정하여 가속도를 산출할 수 있고, 질량체에 인가되는 코리올리힘을 측정하여 각속도를 산출할 수 있다.

구체적으로, 관성 센서를 이용하여 가속도와 각속도를 측정하는 과정을 살펴보면 다음과 같다. 우선, 가속도는 뉴톤의 운동법칙 "F=ma" 식에 의해 구할 수 있으며, 여기서, "F"는 질량체에 작용하는 관성력, "m"은 질량체의 질량, "a"는 측정하고자 하는 가속도이다. 이중, 질량체에 작용하는 힘(F)을 측정하여 일정값인 질량체의 질량 (m)으로 나누면, 가속도(a)를 구할 수 있다. 또한, 각속도는 코리올리힘(Coriolis Force) "F=2mΩ·v" 식에 의 해 구할 수 있으며, 여기서 "F"는 질량체에 작용하는 코리올리힘, "m"은 질량체의 질량, "Ω"는 측정하고자 하 는 각속도, "v"는 질량체의 운동속도이다. 이중, 질량체의 운동속도(v)와 질량체의 질량(m)은 이미 인지하고 있 는 값이므로, 질량체에 작용하는 코리올리힘(F)을 측정하면 각속도(Ω)를 구할 수 있다.

본 발명에서 관성 센서는 사용자 단말로 별도로 구분되어 설치될 수 있다. 예를 들어, 관성 센서는 사용자가 소지하거나 사용자가 장착한 장비 표면에 부착되어 관성신호를 측정할 수 있다.

본 발명의 관성신호수집부(216)는 측정된 관성 신호 데이터를 시계열 형태값으로, 예를 들어 매 순간의 6 자유도 신호(가속도, 자이로신호)를 100Hz로 샘플링할 수 있다. 측정된 관성 신호 데이터는 후처리 후 딥러닝 단계에 사용될 수 있다.

또한, 다른 실시예들에서 전자 기기 1(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 전자 기기 1(110)은 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

도 3은 본 발명의 일실시예에 따른 전자 기기 1의 프로세서가 포함할 수 있는 구성요소의 예를 도시한 도면이다. 도 3에서는 어느 한 전자 기기 1의 프로세서가 포함할 수 있는 구성요소로, 이때 전자 기기 1은 도 1과 도 2를 통해 설명한 기기 중 어느 하나에 해당될 수 있다. 도 3에 도시된 바와 같이, 전자 기기 1의 프로세서(300)는 전처리부(310), 학습 처리부(320), 및 슬로프 특성 파악부(330)를 포함할 수 있다. 이러한 프로세서(300)의 구성요소들은 도 4의 슬로프 특성 분석 방법이 포함하는 단계들(S410 내지 S430)을 수행하도록 전자 기기 1을 제어할 수 있으며, 이러한 제어를 위해 해당 전자 기기 1의 메모리가 포함하는 운영체제와 적어도 하나의 프로그램의 코드를 실행하도록 구현될 수 있다.

도 4는 본 발명의 일 실시예에 대한 것으로, 슬로프 특성 분석 방법이 수행되는 순서도를 나타낸 것이다.

슬로프의 학습에 관련된 데이터를 획득할 수 있다(S410). 획득된 데이터 및 상기 데이터에 해당하는 설질 정보로 기계 학습을 수행하여, 노면의 특성치를 예측하고 기계 학습 파라미터 형태로 모델링하여 학습할 수 있다. 상기 설질 정보는 클래스 정보로서, 기설정된 설질에 대응되는 클래스 정보를 포함하도록 구성될 수 있다.

학습 정보를 획득하는 일례로, 오프라인으로 사전에 측정된 슬로프의 관성 신호 데이터를 획득하고, 측정된 슬로프의 관성 신호 데이터를 학습 정보로서 획득하는 단계를 포함할 수 있다. 또한, 상기 기계 학습 기술을 이용하여 복수의 슬로프에 대한 학습 정보를 획득하는 단계를 반복적으로 수행하고, 복수의 슬로프의 관성 신호 데이터를 이용하여 상기 슬로프의 정보를 예측할 수도 있다.

측정된 복수의 관성 센서 데이터를 통해 슬로프 특성 클래스 집합을 생성하고, 복수의 관성 센서 데이터와 슬로프 특성 클래스 집합을 이용하여, 신경망 등을 이용하여 파라미터를 기계 학습하는데 이용할 수 있다.

학습 정보를 획득하는 일례로, 교사 기계 학습 기술을 이용하여 사전에 오프라인으로 슬로프에 대한 센서값 정보를 획득하고 이에 해당하는 클래스 (예, 설질)를 이용하여 교사 기계 학습(supervised learning)을 수행할 수 있다. 구체적으로, 특정 슬로프 상에서의 특성인 클래스를 입력하고, 관성 센서를 이용하여 획득된 특정 슬로프의 관성 신호 데이터를 획득하고, 상기 특정 슬로프의 관성 신호 데이터를 특정 슬로프의 특성인 클래스와 연계하여 저장하여 학습 정보를 획득할 수 있다.

슬로프의 학습에 관련된 데이터는 사전에 측정되어 저장된 관성 센서 데이터와 관련된 정보로서 획득될 수 있다.

본 발명에서는 경기 중 설면의 상태에 따른 진동/굴곡 등의 정보가 설면과 측정 장비 사이에서 발생된 동적 변위 (진동 등)으로 인해 관성 센서에서 통해 관측된다고 가정한다. 상기 동적 변위는 사용자의 신체 등을 통해 감쇄가 되나, 장비 및 사용자 신체 등을 통해 전달된다. 특히 상기 설명한 바와 같이 눈의 상태에 따라 설면과 접촉하는 스키의 바닥면 면적과 마찰력이 변화하여 스키어의 라이딩 기술이 달라지게 되는데, 이 또한 학습 데이터로 이용될 수 있다. 본 발명에서는 기계 학습을 통해 이러한 관성 신호를 활용하여 설면의 상태를 역추적 하는 것이 목표이다. 인식률 향상을 위해 RNN 기반 접근법에서는 진동정보, 라이딩 기술에 따라 결정되는 시계열 관성 신호 데이터가 이전 시간 상태에 영향을 받는다고 가정한다. 그리고, 센서로부터 얻어진 시계열 데이터의 시퀀스 간 확률분포를 학습하기 위해 딥러닝 기술의 하나인 순환신경망 (Recurrent Neural Network, RNN)가 이용될 수도 있다. 또는 일반적인 RNN이 아닌 Long Short Term Memory cell (LSTM) 또는 Gated Recurrent Unit(GRU)이 이용될 수 있다. 상기 실시예에 국한되지 않고 지금 연구되고 있거나 장래에 연구될 다양한 RNN 계열의 기술들이 본 발명에 적용될 수 있다.

도 5는 본 발명의 RNN에 대한 내용을 설명하는 도면이다.

도 5의 RNN Cell은 다음과 같은 수학식 1과 같은 함수로 표현될 수 있다.

[수학식 1]

(s_t, o_t)=f(s_t-1, x_t)

상기 수학식 1에서 s는 계층(state), x는 외부 입력(external input), o는 외부 출력(external output)을 나타낸다.

본 발명에서 사용된 기계 학습 방법은 다양한 슬로프에 대해 관성 데이터를 수집하고 이에 대한 라벨링을 하는 것으로 시작한다. 슬로프 특성을 파악하기 위한 기기의 프로세서의 학습처리부는 해당 데이터 쌍들을 바탕으로 deep neural network의 parameter들 (weight matrices 및 biases)을 사전에 미리 학습할 수 있다. 상기 내용과 슬로프에 대한 특성 및 정보(설질에 따른 클래스)뿐만 아니라 학습처리부가 슬로프 특성을 파악하기 위해 학습하는 모든 정보를 학습 정보로 정의할 수 있다.

학습 정보는 사전에 측정자가 측정한 관성 신호 데이터 및 이에 대응하는 설질 정보를 포함할 수 있다. 측정자는 관성 신호 데이터를 측정하는 중간 또는 측정이 완료된 이후에 해당 설질에 대한 설질 정보를 입력할 수 있다. 또는, 측정이 완료된 관성 신호 데이터는 이전에 측정된 관성 신호 데이터와 가장 유사한 설질 정보로서 기록될 수 있다. 설질 정보는 기설정된 클래스(class)로서, 다음의 표 1과 같이 설정될 수 있다.

슬로프 눈 사태 (설질)	Class
습설	0
건설	1
슬러쉬	2
˙˙˙	˙˙˙

추가적으로, 학습 정보는 관성 신호 데이터가 측정되었던 기상 정보를 더 포함할 수 있다. 기상 정보의 예로는 매 순간의 온도, 습도, 기압등이 시퀀스 형태로 포함될 수 있다.

관성 센서를 통해 관성 신호 데이터를 측정할 수 있다(S420).

상기 관성 신호 데이터는 전자 기기 1의 관성신호수집부(216)를 통해 수집될 수 있다. 관성 신호 데이터는 하나의 전자 기기에 의해 획득될 수 있을 뿐만 아니라, 측정자의 다양한 위치에 부착되어 복수의 형태로 획득되거나, 복수의 관성 신호 데이터가 하나의 관성 신호 데이터로 처리되어 측정될 수도 있다. 이 경우 입력 데이터의 매 순간 차원 (dimenstion)이 늘어나는 것으로 생각할 수 있다. 추가적으로, 관성 신호 데이터를 측정하는 측정자는 관성 신호 데이터를 측정하는 현재 슬로프의 설질이 어떠한 설질인지에 관한 정보를 전자 기기 1을 통해 입력할 수 있다. 측정자가 현재 슬로프의 설질에 관한 정보를 입력하는 예에 대해서는 차후 도 7을 이용하여 설명하도록 한다.

관성 신호 데이터와 학습된 정보를 이용하여 현재 슬로프의 슬로프 정보를 예측 또는 구분할 수 있다(S430). 사전에 정보를 수집한 슬로프에 대한 학습된 신경망 가중치 정보를 기초로, 현재 측정된 관성신호 데이터를 이용하여 실시간 혹은 실시간에 근접하도록 슬로프에 대한 정보를 추론(inference)할 수 있다.

슬로프 정보는 현재 관성 신호 데이터가 측정되고 있는 슬로프/설면/노면에 대한 정보로서, 현재 측정되고 있는 관성 신호 데이터와 기계 학습을 통해 학습된 학습 정보를 이용하여 획득될 수 있다. 슬로프 정보는 노면에 대한 경사, 굴곡, 형태, 설질 정보 등 슬로프에 관련된 모든 정보를 포함하는 것으로 구성될 수 있다. 예를 들어, 설질 정보는 설, 건설, 슬러쉬, 압설, 강설 중 적어도 하나의 확률 또는 그에 준하는 정보를 포함하는 것으로 정의될 수 있다.

사전에 오프라인으로 학습된 파라미터(가중치;weight, 편향;bias)는 슬로프에서 라이딩을 하는 선수 및 장비에 부착된 장치 (예, 휴대폰 등)에 탑재되어 실시간으로 노면 상태를 추론 또는 예측하는데 사용될 수 있다. 추론 과정 (inference)에서는 포워드 연산만 수행하며, 설면/노면 특성값(y)를 네트워크 크기에 따라 실시간에 근접하게 수 ms ~수백 ms 이내의 runtime으로 추론할 수 있다. 학습된 파라미터를 기초로하여 현재 측정된 관성 센서 데이터가 입력되면 현재 노면의 클래스가 예측될 수 있다.

슬로프 정보를 서버로 전송할 수 있다(S440). 슬로프 정보는 전자 기기의 통신 모듈을 통해 서버로 전송될 수 있다.

서버에 전송되는 슬로프 정보는 다양하게 이용될 수 있다.

도 6은 본 발명의 일 실시예에 대한 것으로서, 슬로프 정보를 활용하는 일 실시예에 대한 것이다.

전자 기기 1은 추론된 슬로프 정보를 다른 이용자에게 전송할 수 있다.

구해진 설면/노면 특성값인 y 를 다른 사람들과 공유하게 되면, 후속 선수들(skier 등) 들은 슬로프를 내려오지 않고도 간접 경험의 형태로 설면 상태를 미리 알 수 있게 된다. 또한, 이를 통해 직접경험 없이 사전에 라이딩 전략을 세우거나, 장비 세팅을 위해 이용될 수 있다. 또는, 어플리케이션을 통해 슬로프에 대한 정보를 다른 사람들에게 제공할 수도 있다.

또 다른 일예로, 슬로프 정보를 타 기기에 전송할 수 있다. 예를 들어, 슬로프 정보를 모노스키에 전송할 수 있다. 슬로프 정보를 예측 및 구분한 모노스키의 제어부는 모노스키의 세팅을 슬로프 정보에 기초하여 설정할 수 있다.

도 7은 본 발명의 일 실시예로서, 측정자가 현재 슬로프의 설질에 관한 정보를 입력하는 예에 대해서 설명하도록 한다.

앞서 설명한 바와 같이, 관성 신호 데이터를 측정하는 측정자는 관성 신호 데이터를 측정하는 현재 슬로프의 설질이 어떠한 설질인지에 관한 정보를 전자 기기 1을 통해 입력할 수 있다.

측정자가 설질을 입력하는 전자 기기 1의 터치스크린은 도 7과 같이 구성될 수 있다. 도 7과 같이 구성된 터치스크린은 현재 슬로프에 대한 설질을 선택할 수 있는 다양한 설질의 예를 도시하도록 구성될 수 있다. 측정자가 적어도 하나의 설질을 입력하면, 전자 기기 1의 프로세서는 해당 관성 신호 데이터가 선택된 설질에 대한 정보로서 학습될 수 있도록 제어할 수 있다.

한편, 상술된 실시예들은 컴퓨터에 의하여 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다.

컴퓨터로 읽을 수 있는 기록매체란, 예를 들어 하드디스크 등과 같은 마그네틱 저장매체, CD 및 DVD 등과 같은 광학적 판독매체 등을 의미할 수 있으며, 네트워크를 통해 접근 가능한 서버에 포함되는 메모리를 의미할 수도 있다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 전자 장치 또는 서버의 메모리가 될 수도 있다. 또한, 전자 장치 또는 서버와 네트워크를 통하여 연결된 단말, 서버 등에 포함되는 메모리가 될 수도 있다.

이상과 첨부된 도면을 참조하여 실시예를 설명하였지만, 일 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 일 실시예가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims

프로세서가 슬로프의 학습에 관련된 데이터를 획득하는 단계;
상기 프로세서가 상기 획득한 데이터 및 상기 데이터에 해당하는 설질 정보로 기계 학습을 수행하여, 노면의 특성치를 예측하고 기계 학습 파라미터 형태로 모델링하는 학습 단계;
상기 프로세서가 현재 슬로프 상에서 동적으로 움직이는 상황에서 장비에 부착된 센서를 통해 노면으로부터 전달되는 관성 신호 데이터를 측정하는 단계; 및
상기 프로세서가 상기 측정된 관성 신호 데이터와 학습 정보를 이용하여 상기 현재 슬로프의 슬로프 정보를 예측하는 단계를 포함하는, 교사 기계 학습 기반 슬로프 분석 방법
제1항에 있어서,
상기 기계 학습은 상기 프로세서에 의해 교사 기계 학습 기술을 기반으로 수행되고, 상기 프로세서에 의해 수행되는 상기 교사 기계 학습 기술은 SVM, Decision tree, 신경망 중 어느 하나의 교사학습 방법론을 사용하는 것을 특징으로 하는, 교사 기계 학습 기반 슬로프 분석 방법
제2항에 있어서,
상기 프로세서에 의해 수행되는 상기 교사 기계 학습 기술은 학습되는 파라미터가 시간에 걸쳐 공유되는 순환 신경망인 RNN(Recurrent neural network)인 것을 특징으로 하는, 교사 기계 학습 기반 슬로프 분석 방법
제3항에 있어서,
상기 RNN은 LSTM(Long Short-Term Memory models)인 것을 특징으로 하는, 교사 기계 학습 기반 슬로프 분석 방법
제3항에 있어서,
상기 RNN은 GRU(Gated Recurrent Unit)인 것을 특징으로 하는, 교사 기계 학습 기반 슬로프 분석 방법
제3항에 있어서,
상기 학습 단계는, 상기 프로세서가 상기 교사 기계 학습 기술을 이용하여 사전에 오프라인으로 슬로프에 대한 센서값 정보를 획득하고 이에 해당하는 클래스를 이용하여 교사 기계 학습(supervised learning) 하는 것을 특징으로 하고,
상기 프로세서가 특정 슬로프 상에서의 특성인 클래스를 입력하는 단계;
상기 프로세서가 관성 센서를 이용하여 획득된 상기 특정 슬로프의 관성 신호 데이터를 획득하는 단계;
상기 프로세서가 상기 특정 슬로프의 관성 신호 데이터를 상기 특정 슬로프의 특성인 클래스와 연계하여 저장하는 단계를 포함하는, 교사 기계 학습 기반 슬로프 분석 방법
제5항에 있어서,
상기 프로세서가 상기 교사 기계 학습 기술을 이용하여 슬로프에 대한 학습 정보를 오프라인으로 획득하는 단계를 반복적으로 수행하되,
상기 프로세서가 복수의 관성 센서 데이터와 슬로프 특성 클래스 집합을 이용하여 학습하는 단계를 수행하는 것을 특징으로 하는, 교사 기계 학습 기반 슬로프 분석 방법
제1항에 있어서,
상기 프로세서가 상기 슬로프 정보를 타 기기 또는 서버로 송신하는 단계를 더 포함하는 것을 특징으로 하는, 교사 기계 학습 기반 슬로프 분석 방법
제1항에 있어서,
상기 프로세서가 상기 슬로프의 학습에 관련된 데이터 및 상기 슬로프 정보는 설질에 대한 정보를 포함하고,
상기 설질에 대한 정보는 습설, 건설, 슬러쉬, 압설, 강설 중 적어도 하나의 구성비율을 포함하는 것을 특징으로 하는, 교사 기계 학습 기반 슬로프 분석 방법
통신부;
사용자 단말의 동작을 위한 프로그램을 저장하는 메모리;
현재 슬로프의 관성 신호 데이터를 측정하는 관성 센서; 및
슬로프의 학습에 관련된 데이터를 획득하고, 상기 획득한 데이터 및 상기 데이터에 해당하는 설질 정보로 기계 학습을 수행하여, 노면의 특성치를 예측하고 기계 학습 파라미터 형태로 모델링을 통해 학습을 하고, 상기 측정된 관성 신호 데이터와 학습 정보를 이용하여 상기 현재 슬로프의 슬로프 정보를 예측하도록 제어하는 프로세서를 포함하는 것을 특징으로 하는 사용자 단말
제10항에 있어서,
상기 프로세서는, 교사 기계 학습 기술을 기반으로 상기 기계 학습을 수행하고,
상기 프로세서에 의해 수행되는 상기 교사 기계 학습 기술은 RNN(Recurrent neural network)이며,
상기 RNN은 LSTM(Long Short-Term Memory models) 또는 GRU(Gated Recurrent Unit)인 것을 특징으로 하는, 사용자 단말
제11항에 있어서,
상기 프로세서는, 상기 교사 기계 학습 기술을 이용하여 사전에 오프라인으로 슬로프에 대한 센서값 정보를 획득하고 이에 해당하는 클래스를 이용하여 교사 기계 학습(supervised learning) 하는 것을 특징으로 하는, 사용자 단말
제11항에 있어서,
상기 프로세서는, 상기 교사 기계 학습 기술을 이용하여 슬로프에 대한 학습 정보를 오프라인으로 획득하는 단계를 반복적으로 수행하되, 복수의 관성 센서 데이터와 슬로프 특성 클래스 집합을 이용하여 학습하는 단계를 수행하는 것을 특징으로 하는, 사용자 단말
제10항에 있어서,
상기 프로세서는, 상기 슬로프 정보를 타 기기 또는 서버로 송신하도록 제어하는, 사용자 단말
제10항에 있어서,
상기 슬로프 정보는 설질 정보를 포함하고,
상기 설질 정보는 습설, 건설, 슬러쉬, 압설, 강설 중 적어도 하나의 구성비율을 포함하는 것을 특징으로 하는, 사용자 단말
제10항에 있어서,
상기 관성 센서는 사용자에 소지되거나, 상기 사용자의 장비 표면에 부착되는 것을 특징으로 하는, 사용자 단말
제1항 내지 제9항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.