KR20210115831A

KR20210115831A - System for detecting driving road with personal mobility and control method thereof

Info

Publication number: KR20210115831A
Application number: KR1020200032163A
Authority: KR
Inventors: 강남우; 김은지; 정태신; 정은주; 류한영; 유소영; 이성희; 김성신
Original assignee: 숙명여자대학교산학협력단
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2021-09-27

Abstract

One embodiment of the present invention can provide a control method of a system for discriminating driving information of a personal mobility. The system comprises the following steps of: obtaining training vibration data and training image data detected by a device attached to a personal mobility; preprocessing the obtained training vibration data and the training image data; learning a model using the preprocessed training vibration data and the training image data; and analyzing driving information of an operating mobility from new vibration data and new image data detected by the device based on the learned model. The driving information of the operating mobility includes driving road information of the operating mobility. The present invention determines a driving road and notifies the determination to a user.

Description

SYSTEM FOR DETECTING DRIVING ROAD WITH PERSONAL MOBILITY AND CONTROL METHOD THEREOF

본 발명은 주행도로를 판별하여 알려주고, 사용자의 운전 습관을 판단할 수 있는 퍼스널 모빌리티 주행정보 감별 시스템 및 이의 제어방법에 관한 것이다.The present invention relates to a personal mobility driving information discrimination system capable of discriminating and notifying a driving road and determining a user's driving habit, and a control method thereof.

최근에는 환경오염과 교통체증을 해소할 수 있는 교통 수단으로 개인 이동수단인 퍼스널 모빌리티(Personal Mobility)가 각광받고 있다.Recently, as a means of transportation that can solve environmental pollution and traffic congestion, personal mobility, which is a means of personal transportation, has been in the spotlight.

퍼스널 모빌리티란 전기 충전 및 동력 기술이 융합된 개인 이동수단으로서, 스마트 모빌리티(Smart Mobility) 또는 마이크로 모빌리티(Micro Mobility)라고도 불린다. 이러한 퍼스널 모빌리티의 대표적인 예로는, 샤오미의 나인봇(Nine Bot), 르노의 트위지(Twizy) 등이 있으며, 전동 휠, 전동 킥보드, 전기자전거 등을 모두 포함한다.Personal mobility is a means of personal mobility that combines electric charging and power technology, and is also called smart mobility or micro mobility. Representative examples of such personal mobility include Xiaomi's Nine Bot and Renault's Twizy, and include all electric wheels, electric kickboards, electric bicycles, and the like.

퍼스널 모빌리티는 전기를 동력으로 사용하므로, 오염물질을 배출하지 않는 친환경 이동수단이라는 장점을 갖는다. 서울의 경우, 출근시간 차량 중 약 85%가 1인 출근 차량이며, 서울 전체 대기 오염 원인의 70%가 자동차 배출 가스일 정도로 자동차는 교통체증 및 환경문제를 악화시키는 주원인이 되고 있다. 퍼스널 모빌리티는 이러한 문제들을 해결하기 위한 대안으로 꼽히고 있으며, 환경적인 측면 외에도 타는 재미까지 갖추고 있어 젊은 층 사이에서 빠르게 보급되고 있다.Since personal mobility uses electricity as power, it has the advantage of being an eco-friendly means of transportation that does not emit pollutants. In the case of Seoul, about 85% of vehicles during rush hour are single-person vehicles, and automobiles are the main cause of traffic congestion and environmental problems, as 70% of the air pollution in Seoul is automobile exhaust. Personal mobility is considered as an alternative to solve these problems, and it is rapidly spreading among young people because it has the fun of riding in addition to the environmental aspect.

일본 후지 경제 자료에 따르면, 2020년까지 퍼스널 모빌리티 시장은 1억대 시장으로 성장할 것으로 전망하고 있다. 국내의 경우, 퍼스널 모빌리티에 대한 이해와 제도가 다소 부족하지만, IT 기술이 발전하면서 다양한 발전 가능성을 가지고 있으며, 2015년에 이미 판매량이 7000대가 넘어섰고, 현재 급격한 성장세를 보이고 있다. According to Japan's Fuji Economic Data, the personal mobility market is expected to grow to 100 million units by 2020. In Korea, the understanding and system for personal mobility are somewhat lacking, but as IT technology develops, it has various development possibilities.

현재 법률적으로는 퍼스널 모빌리티는 차도에서만 주행이 가능하다. 그러나, 이러한 법을 지키지 않고 인도로 주행하는 사용자가 많으며, 이에 따라, 퍼스널 모빌리티의 인도에서의 주행이 보행자의 안전을 위협하는 경우가 많다. 따라서, 퍼스널 모빌리티의 안전 시스템이 필요 요소로 대두되고 있다.Currently, by law, personal mobility can only be driven on the road. However, there are many users who drive on the sidewalk without following these laws, and accordingly, the driving of personal mobility on the sidewalk often threatens the safety of pedestrians. Accordingly, a safety system for personal mobility is emerging as a necessary element.

등록특허공보 등록번호 제1843306호Registered Patent Publication Registration No. 1843306

본 발명의 일 실시 예에 따른 퍼스널 모빌리티 감별 시스템 및 이의 제어방법은, 주행도로를 판별하여 사용자에게 알려주는 것을 그 목적으로 한다.It is an object of the personal mobility identification system and the control method thereof according to an embodiment of the present invention to determine a driving road and notify the user.

또한, 사용자의 운전 습관을 판단하여 사용자에게 알려주는 것을 그 목적으로 한다.In addition, the purpose is to determine the driving habit of the user and inform the user.

이러한 본 발명의 목적을 달성하기 위해, 본 발명의 일 실시 예는, 퍼스널 모빌리티에 부착된 디바이스를 통해서 감지된 훈련 진동 데이터 및 훈련 이미지 데이터를 획득하는 과정; 상기 획득된 훈련 진동 데이터 및 훈련 이미지 데이터를 전처리하는 과정; 상기 전처리된 훈련 진동 데이터 및 훈련 이미지 데이터를 이용하여 모델을 학습하는 과정; 및 상기 디바이스를 통해서 감지된 신규 진동 데이터 및 신규 이미지 데이터를 상기 학습된 모델에 기초하여 운행 중인 모빌리티의 주행 정보를 분석하는 과정;을 포함하고, 상기 운행 중인 모빌리티의 주행 정보는 상기 운행 중인 모빌리티의 주행 도로 정보를 포함하는 것을 특징으로 하는, 퍼스널 모빌리티 주행정보 감별 시스템의 제어방법이 제공될 수 있다.In order to achieve the object of the present invention, an embodiment of the present invention, the process of obtaining the training vibration data and the training image data sensed through a device attached to personal mobility; pre-processing the acquired training vibration data and training image data; learning a model using the pre-processed training vibration data and training image data; and analyzing the driving information of the driving mobility based on the learned model based on the new vibration data and the new image data detected through the device, wherein the driving information of the driving mobility is the driving information of the driving mobility. A method of controlling a personal mobility driving information discrimination system, which includes driving road information, may be provided.

또한, 상기 전처리된 훈련 진동 데이터는, 이미지 모듈을 이용하여 이미지로 변환된 훈련 진동 이미지 데이터인 것을 특징으로 하는, 퍼스널 모빌리티 주행정보 감별 시스템의 제어방법이 제공될 수 있다.In addition, the pre-processed training vibration data, characterized in that the training vibration image data converted into an image by using an image module, the control method of the personal mobility driving information discrimination system may be provided.

또한, 상기 감지된 훈련 진동 데이터 및 훈련 이미지 데이터는, 운행 중 사고가 발생한 모빌리티에서 센싱한 진동 데이터 및 이미지 데이터를 포함하는 것을 특징으로 하는, 퍼스널 모빌리티 주행정보 감별 시스템의 제어방법이 제고될 수 있다.In addition, the sensed training vibration data and training image data, the control method of the personal mobility driving information discrimination system, characterized in that it includes vibration data and image data sensed by the mobility in which an accident occurred while driving can be improved. .

본 발명의 일 실시 예는, 퍼스널 모빌리티에 부착된 디바이스를 통해서 감지된 훈련 진동 데이터 및 훈련 이미지 데이터를 수신하는 통신부; 및 상기 획득된 훈련 진동 데이터 및 훈련 이미지 데이터를 전처리하고, 상기 전처리된 훈련 진동 데이터 및 훈련 이미지 데이터를 이용하여 모델을 학습하고, 상기 디바이스를 통해서 감지된 신규 진동 데이터 및 신규 이미지 데이터를 상기 학습된 모델에 기초하여 운행 중인 모빌리티의 주행 정보를 분석하는 제어부;를 포함하고, 상기 운행 중인 모빌리티의 주행 정보는 상기 운행 중인 모빌리티의 주행 도로 정보를 포함하는 것을 특징으로 하는, 퍼스널 모빌리티 주행정보 감별 시스템이 제공될 수 있다.An embodiment of the present invention, a communication unit for receiving training vibration data and training image data sensed through a device attached to personal mobility; and pre-processing the acquired training vibration data and training image data, learning a model using the pre-processed training vibration data and training image data, and applying the new vibration data and new image data detected through the device to the learned A personal mobility driving information discrimination system comprising a; a control unit that analyzes driving information of the driving mobility based on the model, wherein the driving information of the driving mobility includes driving road information of the driving mobility may be provided.

또한, 상기 전처리된 훈련 진동 데이터는, 이미지 모듈을 이용하여 이미지로 변환된 훈련 진동 이미지 데이터인 것을 특징으로 하는, 퍼스널 모빌리티 주행정보 감별 시스템이 제공될 수 있다.In addition, the pre-processed training vibration data, characterized in that the training vibration image data converted into an image using an image module, a personal mobility driving information discrimination system may be provided.

또한, 상기 감지된 훈련 진동 데이터 및 훈련 이미지 데이터는, 운행 중 사고가 발생한 모빌리티에서 센싱한 진동 데이터 및 이미지 데이터를 포함하는 것을 특징으로 하는, 퍼스널 모빌리티 주행정보 감별 시스템이 제공될 수 있다.In addition, the sensed training vibration data and training image data may be provided with a personal mobility driving information discrimination system, characterized in that it includes vibration data and image data sensed by the mobility in which an accident occurred while driving.

본 발명의 일 실시 예에 따른 퍼스널 모빌리티 감별 시스템 및 이의 제어방법은, 주행도로를 판별하여 사용자에게 알릴 수 있다.A personal mobility identification system and a control method therefor according to an embodiment of the present invention may discriminate a driving road and notify the user.

또한, 본 발명의 일 실시 예에 따른 퍼스널 모빌리티 감별 시스템 및 이의 제어방법은, 사용자의 운전 습관을 판단하여 사용자에게 알릴 수 있다.In addition, the personal mobility identification system and the control method thereof according to an embodiment of the present invention may determine a user's driving habit and notify the user.

또한, 본 발명의 일 실시 예에 따른 퍼스널 모빌리티 감별 시스템 및 이의 제어방법은, 퍼스널 모빌리티에 대한 안전 관리 시스템으로 적용 가능하다.In addition, the personal mobility identification system and the control method thereof according to an embodiment of the present invention can be applied as a safety management system for personal mobility.

또한, 본 발명의 일 실시 예에 따른 퍼스널 모빌리티 감별 시스템 및 이의 제어방법은, 모빌리티의 주행 도로(위치)를 판별하여 보험 가입시 사용 가능한 정보를 제공할 수 있다.In addition, the personal mobility identification system and the control method thereof according to an embodiment of the present invention can provide information usable when purchasing insurance by determining a driving road (location) of mobility.

또한, 본 발명의 일 실시 예에 따른 퍼스널 모빌리티 감별 시스템 및 이의 제어방법은, 모빌리티의 운행자 및 인도 보행자의 안전을 지킬 수 있는 정보를 제공할 수 있다.In addition, the personal mobility identification system and the control method thereof according to an embodiment of the present invention may provide information capable of protecting the safety of a mobility operator and pedestrian pedestrians.

도 1은 본 발명의 바람직한 실시 예에 따른 퍼스널 모빌리티 주행정보 감별 시스템의 블록도이다.
도 2는 도 1의 디바이스의 블록도이다.
도 3은 도 1의 서버의 블록도이다.
도 4은 도 3의 서버 제어부의 블록도이다.
도 5은 도 4의 데이터 학습부의 블록도이다.
도 6는 도 4의 데이터 인식부의 블록도이다.
도 7은 본 발명의 바람직한 실시 예에 따른 퍼스널 모빌리티 주행도로를 분석하기 위하여 기계학습을 이용한 시스템의 제어 방법의 흐름도를 도시한 것이다.
도 8은 도 7의 기계학습 모델을 훈련하는 방법의 흐름도를 도시한 것이다.
도 9(a) 내지 도 9(c)는 모델의 훈련에 사용되는 훈련 데이터의 예들을 도시한 것이다.
도 10은 도 7의 기계학습 모델을 이용하여 데이터를 분석하는 방법의 흐름도를 도시한 것이다.
도 11은 본 발명의 바람직한 실시 예에 따른 디바이스 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다.1 is a block diagram of a personal mobility driving information discrimination system according to a preferred embodiment of the present invention.
FIG. 2 is a block diagram of the device of FIG. 1 ;
FIG. 3 is a block diagram of the server of FIG. 1 .
FIG. 4 is a block diagram of the server control unit of FIG. 3 .
FIG. 5 is a block diagram of the data learning unit of FIG. 4 .
FIG. 6 is a block diagram of the data recognition unit of FIG. 4 .
7 is a flowchart illustrating a control method of a system using machine learning to analyze a personal mobility driving road according to a preferred embodiment of the present invention.
FIG. 8 is a flowchart of a method for training the machine learning model of FIG. 7 .
9(a) to 9(c) show examples of training data used for training a model.
FIG. 10 is a flowchart illustrating a method of analyzing data using the machine learning model of FIG. 7 .
11 is a diagram illustrating an example of learning and recognizing data by interworking between a device and a server according to a preferred embodiment of the present invention.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are only exemplified for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다. Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another, for example without departing from the scope of the inventive concept, a first component may be termed a second component and similarly a second component A component may also be referred to as a first component.

본 명세서에서 사용한 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The technical terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described herein exists, but one or more other features It is to be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

도 1은 본 발명의 바람직한 실시 예에 따른 퍼스널 모빌리티 주행정보 감별 시스템(1)의 블록도이고, 도 2는 도 1의 디바이스의 블록도이다.1 is a block diagram of a personal mobility driving information discrimination system 1 according to a preferred embodiment of the present invention, and FIG. 2 is a block diagram of the device of FIG. 1 .

도 1 및 도 2를 참조하면, 퍼스널 모빌리티 주행정보 감별 시스템(1)은 디바이스(1000)와 서버(2000)를 포함할 수 있다. 퍼스널 모빌리티는 전기를 동력으로 사용하는 것으로서, 친환경 개인 이동 수단을 의미한다. 본 실시예에서는 퍼스널 모빌리티가 전동 킥보드인 것을 예로 설명하겠다. 그러나, 퍼스널 모빌리티는 이에 한정되지 않으며, 전동 휠, 전동 자전거 등 다양한 이동수단으로 제공될 수 있다.1 and 2 , the personal mobility driving information discrimination system 1 may include a device 1000 and a server 2000 . Personal mobility refers to an eco-friendly personal transportation means that uses electricity as a power source. In this embodiment, personal mobility will be described as an example of an electric kickboard. However, personal mobility is not limited thereto, and may be provided by various transportation means such as an electric wheel and an electric bicycle.

디바이스(1000)는 서버(2000)와 연동 가능하도록 구비되는 단말기일 수 있다. 구체적으로, 디바이스(1000)는 휴대 가능하도록 제공될 수 있으며, 퍼스널 모빌리티의 일측에 구비되어 사용될 수 있다. 일 예로, 디바이스(1000)는 스마트폰, 태블릿, 휴대폰, PDA(personal digital assistant), 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 장치일 수 있으며, 퍼스널 모빌리티 감별 시스템을 구현하기 위해 제작된 모듈 장치일 수 있다.The device 1000 may be a terminal provided to be interoperable with the server 2000 . Specifically, the device 1000 may be provided to be portable, and may be provided and used on one side of personal mobility. For example, the device 1000 may be a wearable device such as a smart phone, a tablet, a mobile phone, a personal digital assistant (PDA), a watch, glasses, a hair band, and a ring, and a module device manufactured to implement a personal mobility discrimination system can be

디바이스(1000)는 전동 킥보드인 퍼스널 모빌리티의 핸들과 앞바퀴 사이의 바(bar)에 거치될 수 있다. 그러나, 디바이스(1000)는 이에 한정되지 않으며, 디바이스(1000)는 퍼스널 모빌리티에 결합된 채로 제공될 수도 있다.The device 1000 may be mounted on a bar between the handle and the front wheel of Personal Mobility, which is an electric kickboard. However, the device 1000 is not limited thereto, and the device 1000 may be provided while being coupled to personal mobility.

디바이스(1000)는 도 2에 도시된 바와 같이 메모리(1100), 출력부(1200), 디바이스 제어부(1300), 센싱부(1400), 디바이스 통신부(1500), A/V 입력부(1600), 및 사용자 입력부(1700)를 포함할 수도 있다. 그러나, 도 2에 도시된 구성 요소 모두가 디바이스(1000)의 필수 구성 요소인 것은 아니며, 보다 많은 구성 요소에 의해 디바이스(1000)가 구현될 수도 있고, 보다 적은 구성 요소에 의해 디바이스(1000)가 구현될 수도 있다.As shown in FIG. 2, the device 1000 includes a memory 1100, an output unit 1200, a device control unit 1300, a sensing unit 1400, a device communication unit 1500, an A/V input unit 1600, and A user input unit 1700 may be included. However, not all of the components shown in FIG. 2 are essential components of the device 1000 , and the device 1000 may be implemented by more components, and the device 1000 may be formed by using fewer components. may be implemented.

메모리(1100)는, 디바이스 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디바이스(1000)로 입력되는 정보 또는 디바이스(1000)로부터 출력되는 정보를 저장할 수도 있다. 구체적으로, 메모리(1100)는 서버(2000)로부터 수신되는 정보를 저장할 수 있고, 센싱부(1400)로부터 획득한 데이터를 저장할 수 있다.The memory 1100 may store a program for processing and control of the device controller 1300 , and may store information input to the device 1000 or information output from the device 1000 . Specifically, the memory 1100 may store information received from the server 2000 and may store data obtained from the sensing unit 1400 .

메모리(1100)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 1100 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), and a RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , may include at least one type of storage medium among optical disks.

메모리(1100)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1110), 터치 스크린 모듈(1120), 알림 모듈(1130) 등으로 분류될 수 있다. Programs stored in the memory 1100 may be classified into a plurality of modules according to their functions, for example, may be classified into a UI module 1110 , a touch screen module 1120 , a notification module 1130 , etc. .

UI 모듈(1110)은, 애플리케이션 별로 디바이스(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다.The UI module 1110 may provide a specialized UI, GUI, or the like that is interlocked with the device 1000 for each application.

터치 스크린 모듈(1120)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 디바이스 제어부(1300)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈(1120)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1120)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.The touch screen module 1120 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the device controller 1300 . The touch screen module 1120 according to an embodiment may recognize and analyze a touch code. The touch screen module 1120 may be configured as separate hardware including a controller.

알림 모듈(1130)은 디바이스(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(1000)에서 발생되는 이벤트의 예로는 주행도로 판별 결과 알림, 주행자의 운전습관 판단 알림 등이 있다. 알림 모듈(1130)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다. 예를 들어, 알림 모듈(1130)은 서버(2000)에서 수신된 주행자의 운전 습관 정보를 출력하기 위한 신호를 발생할 수 있다.The notification module 1130 may generate a signal for notifying the occurrence of an event in the device 1000 . Examples of the event generated by the device 1000 include a driving road determination result notification, a driver's driving habit determination notification, and the like. The notification module 1130 may output a notification signal in the form of a video signal through the display unit 1210 , may output a notification signal in the form of an audio signal through the sound output unit 1220 , and the vibration motor 1230 . It is also possible to output a notification signal in the form of a vibration signal through For example, the notification module 1130 may generate a signal for outputting driving habit information of the driver received from the server 2000 .

디바이스(1000)의 출력부(1200)는, 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.The output unit 1200 of the device 1000 may include a display unit 1210 , a sound output unit 1220 , and a vibration motor 1230 .

디스플레이부(1210)는 디바이스(1000)에서 처리되는 정보를 표시 출력한다. 구체적으로, 출력부(1200)는 사용자, 즉 퍼스널 모빌리티의 주행자의 입력에 대한 응답으로, 응답에 관련된 동작을 실행하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 출력부(1200)는 주행자의 주행 도로에 대한 정보, 운행에 대한 위험성, 운행자의 운전 습관의 위험 여부 등을 디스플레이할 수 있다.The display unit 1210 displays and outputs information processed by the device 1000 . Specifically, in response to an input of a user, that is, a driver of personal mobility, the output unit 1200 may display a user interface for executing an operation related to the response. The output unit 1200 may display information on the driving road of the driver, the risk of driving, whether there is a risk of the driver's driving habit, and the like.

음향 출력부(1220)는 디바이스 통신부(1500)로부터 수신되거나 메모리(1100)에 저장된 오디오 데이터를 출력한다. 또는, 음향 출력부(1220)는 디바이스(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 알림음)과 관련된 음향 신호를 출력한다. 음향 출력부(1220)는 주행자의 주행 도로에 대한 정보, 운행에 대한 위험성, 운행장의 운전 습관에 관련 정보를 음성 신호로 출력할 수 있다.The sound output unit 1220 outputs audio data received from the device communication unit 1500 or stored in the memory 1100 . Alternatively, the sound output unit 1220 outputs a sound signal related to a function (eg, a call signal reception sound, a notification sound) performed by the device 1000 . The sound output unit 1220 may output information about the driving road of the driver, the risk of driving, and information related to the driving habit of the driving area as a voice signal.

디바이스 제어부(1300)는, 통상적으로 디바이스(1000)의 전반적인 동작을 제어한다. 예를 들어, 디바이스 제어부(1300)는, 메모리(1100)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1700), 출력부(1200), 센싱부(1400), 디바이스 디바이스 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.The device controller 1300 generally controls the overall operation of the device 1000 . For example, the device control unit 1300 executes programs stored in the memory 1100 , so that the user input unit 1700 , the output unit 1200 , the sensing unit 1400 , the device device communication unit 1500 , and A/V The input unit 1600 and the like may be generally controlled.

센싱부(1400)는, 디바이스(1000)의 상태 또는 디바이스(1000) 주변의 상태를 감지하고, 감지된 정보를 디바이스 제어부(1300)로 전달할 수 있다.The sensing unit 1400 may detect a state of the device 1000 or a state around the device 1000 , and transmit the sensed information to the device controller 1300 .

센싱부(1400)는, 지자기 센서(1410), 가속도 센서(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것으 아니다. The sensing unit 1400 includes a geomagnetic sensor 1410 , an acceleration sensor 1420 , a temperature/humidity sensor 1430 , an infrared sensor 1440 , a gyroscope sensor 1450 , a position sensor 1460 , and a barometric pressure sensor 1470 . ), a proximity sensor 1480 , and at least one of an RGB sensor 1490 , but is not limited thereto.

구체적으로, 가속도 센서(1420)는 모빌리티의 진동을 감지할 수 있다. 가속도 센서(1420)를 통해 감지된 모빌리티의 진동 데이터는 디바이스 통신부(1500)를 통해 서버(2000)에 송신될 수 있다. 또한, 가속도 센서(1420)에서 감지된 모빌리티의 진동 데이터는 메모리(1100)에 저장될 수 있다.Specifically, the acceleration sensor 1420 may sense vibration of mobility. Vibration data of mobility sensed through the acceleration sensor 1420 may be transmitted to the server 2000 through the device communication unit 1500 . Also, vibration data of mobility detected by the acceleration sensor 1420 may be stored in the memory 1100 .

디바이스 통신부(1500)는, 디바이스(1000)가 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 디바이스 통신부(1500)는 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.The device communication unit 1500 may include one or more components that allow the device 1000 to communicate with the server 2000 . The device communication unit 1500 may include a short-range communication unit 1510 , a mobile communication unit 1520 , and a broadcast receiving unit 1530 .

근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.Short-range wireless communication unit 1510, Bluetooth communication unit, BLE (Bluetooth Low Energy) communication unit, short-range wireless communication unit (Near Field Communication unit), WLAN (Wi-Fi) communication unit, Zigbee (Zigbee) communication unit, infrared ( It may include an IrDA, infrared Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, and the like, but is not limited thereto.

이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 1520 transmits/receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to transmission/reception of a voice call signal, a video call signal, or a text/multimedia message.

방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 제1 단말(100)이 방송 수신부(153)를 포함하지 않을 수도 있다.The broadcast receiver 1530 receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. According to an embodiment, the first terminal 100 may not include the broadcast receiver 153 .

A/V 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다.The A/V input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 , a microphone 1620 , and the like.

카메라(1610)는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 구체적으로, 카메라(1610)는 모빌리티의 전방을 촬영함으로써, 모빌리트의 주행도로를 촬영할 수 있다. 이미지 센서를 통해 캡처된 이미지는 디바이스 제어부(1300)를 통해 처리될 수 있으며, 디바이스 통신부(1500)를 통해 서버(2000)에 송신될 수 있다. The camera 1610 may obtain an image frame, such as a still image or a moving image, through an image sensor in the photographing mode. Specifically, the camera 1610 may photograph the driving road of the mobility by photographing the front of the mobility. The image captured through the image sensor may be processed through the device control unit 1300 and may be transmitted to the server 2000 through the device communication unit 1500 .

카메라(1610)에서 촬영된 주행도로의 이미지는 메모리(1100)에 저장될 수 있다. 이에 따라, 모빌리티의 사고가 발생할 경우, 사고 원인을 확인하는 데에 사용될 수 있다. 나아가, 메모리(1100)에 저장된 이미지 또는 영상을 통해 보험 처리가 용이할 수 있다.The image of the driving road captured by the camera 1610 may be stored in the memory 1100 . Accordingly, when an accident of mobility occurs, it may be used to determine the cause of the accident. Furthermore, insurance processing may be facilitated through images or images stored in the memory 1100 .

마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.The microphone 1620 receives an external sound signal and processes it as electrical voice data. For example, the microphone 1620 may receive an acoustic signal from an external device or a user. The microphone 1620 may receive a user's voice input. The microphone 1620 may use various noise removal algorithms for removing noise generated in the process of receiving an external sound signal.

사용자 입력부(1700)는, 사용자가 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1700)에는 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등)가 제공될 수 있으나, 이에 한정되는 것은 아니다. 일 예로, 사용자 입력부(1700)는 키 패드(key pad), 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등이 사용될 수 있다.The user input unit 1700 means a means for a user to input data for controlling the device 1000 . For example, the user input unit 1700 may be provided with a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral tension measurement method, piezo effect method, etc.) , but is not limited thereto. As an example, the user input unit 1700 may include a key pad, a dome switch, a jog wheel, a jog switch, and the like.

도 3은 도 1의 서버의 블록도이고, 도 4는 도 3의 서버 제어부의 블록도이다.3 is a block diagram of the server of FIG. 1 , and FIG. 4 is a block diagram of the server control unit of FIG. 3 .

도 3 및 도 4를 참조하면, 서버(2000)는 디바이스(1000)와 송수신 가능하도록 제공되는 것으로서, 서버 메모리(2100)와, 서버 제어부(2300)와, 서버 통신부(2500)를 포함할 수 있다. 그러나, 서버(2000)는 도시된 구성 요소를 포함하는 것으로 한정되지 않으며, 보다 많은 구성 요소에 의해 서버(2000)가 구현될 수 있다.3 and 4 , the server 2000 is provided to transmit/receive to and from the device 1000 , and may include a server memory 2100 , a server control unit 2300 , and a server communication unit 2500 . . However, the server 2000 is not limited to including the illustrated components, and the server 2000 may be implemented by more components.

서버(2000)는 서버 메모리(2100)를 통해 필요한 정보를 저장할 수 있다. 이때, 서버 메모리(2100)에 저장되는 데이터는 디바이스(1000)에서 수신된 데이터이거나, 디바이스(1000)로부터 정보가 수신되기 전 데이터일 수 있다. 이때, 서버 메모리(2100)에 미리 저장된 데이터는 주행자의 운전 습관을 판단할 수 있는 운전 습관 기준 데이터일 수 있다.The server 2000 may store necessary information through the server memory 2100 . In this case, the data stored in the server memory 2100 may be data received from the device 1000 or data before information is received from the device 1000 . In this case, the data previously stored in the server memory 2100 may be driving habit reference data for determining the driving habit of the driver.

서버(2000)는 서버 통신부(2500)를 통해 디바이스(1000)의 정보를 수신하거나, 디바이스(1000)에 정보를 송신할 수 있다. 또한, 서버 통신부(2500)는 서버 제어부(2300)를 통해 제어될 수 있다.The server 2000 may receive information of the device 1000 through the server communication unit 2500 or may transmit information to the device 1000 . Also, the server communication unit 2500 may be controlled through the server control unit 2300 .

도 4에 도시된 바와 같이, 서버 제어부(2300)는 데이터 학습부(2310) 및 데이터 인식부(2320)를 포함할 수 있다. As shown in FIG. 4 , the server control unit 2300 may include a data learning unit 2310 and a data recognition unit 2320 .

데이터 학습부(2310)는 상황 판단을 위한 기준을 학습할 수 있다. 데이터 학습부(2310)는 소정의 상황을 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(2310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 데이터 인식 모델에 적용함으로써, 상황 판단을 위한 기준을 학습할 수 있다. 이때, 데이터 학습부(2310)가 획득하는 데이터는 디바이스(1000)를 통해 수신한 진동 데이터 및 이미지 데이터일 수 있다.The data learning unit 2310 may learn a criterion for determining a situation. The data learning unit 2310 may learn a criterion regarding which data to use to determine a predetermined situation and how to determine the situation by using the data. The data learning unit 2310 acquires data to be used for learning, and applies the acquired data to a data recognition model to be described later to learn a criterion for determining a situation. In this case, the data acquired by the data learning unit 2310 may be vibration data and image data received through the device 1000 .

데이터 인식부(2320)는 데이터에 기초한 상황을 판단할 수 있다. 데이터 인식부(2320)는 학습된 데이터 인식 모델을 이용하여, 소정의 데이터로부터 상황을 인식할 수 있다. 데이터 인식부(2320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델을 이용함으로써, 소정의 데이터에 기초한 소정의 상황을 판단할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 데이터 인식 모델에 의해 출력된 결과 값은, 데이터 인식 모델을 갱신하는데 이용될 수 있다.The data recognition unit 2320 may determine a situation based on data. The data recognition unit 2320 may recognize a situation from predetermined data by using the learned data recognition model. The data recognition unit 2320 may determine a predetermined situation based on the predetermined data by acquiring predetermined data according to a preset criterion by learning, and using the data recognition model using the acquired data as an input value. . In addition, a result value output by the data recognition model using the obtained data as an input value may be used to update the data recognition model.

데이터 학습부(2310) 및 데이터 인식부(2320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. At least one of the data learning unit 2310 and the data recognition unit 2320 may be manufactured in the form of at least one hardware chip and mounted in an electronic device.

한편, 데이터 학습부(2310) 및 데이터 인식부(2320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. Meanwhile, at least one of the data learning unit 2310 and the data recognition unit 2320 may be implemented as a software module.

도 5은 도 4의 데이터 학습부의 블록도이다. FIG. 5 is a block diagram of the data learning unit of FIG. 4 .

도 5를 참조하면, 데이터 학습부(2310)는 데이터 획득부(2310-1), 전처리부(2310-2), 학습 데이터 선택부(2310-3), 모델 학습부(2310-4), 및 모델 평가부(2310-5)를 포함할 수 있다.Referring to FIG. 5 , the data learning unit 2310 includes a data acquiring unit 2310-1, a preprocessing unit 2310-2, a training data selection unit 2310-3, a model learning unit 2310-4, and A model evaluation unit 2310-5 may be included.

데이터 획득부(2310-1)는 상황 판단에 필요한 데이터를 획득할 수 있다. 구체적으로, 데이터 획득부(2310-1)는 상황 판단을 위한 학습을 위하여 필요한 데이터를 획득할 수 있다. The data acquisition unit 2310 - 1 may acquire data necessary for situation determination. Specifically, the data acquisition unit 2310 - 1 may acquire data necessary for learning for situation determination.

데이터 획득부(2310-1)는 디바이스(1000)를 통해 진동 데이터 및 이미지 데이터를 수신할 수 있다. 구체적으로, 진동 데이터는 가속도 센서(1420)를 통해 감지된 모빌리티의 진동 데이터이며, 이미지 데이터는 카메라(1610)를 통해 촬영된 모빌리티의 주행도로 이미지(또는, 프레임(frame))들로 구성될 수 있다. The data acquisition unit 2310 - 1 may receive vibration data and image data through the device 1000 . Specifically, the vibration data is vibration data of mobility sensed through the acceleration sensor 1420, and the image data may be composed of driving road images (or frames) of mobility photographed through the camera 1610. have.

전처리부(2310-2)는 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(2310-2)는 후술할 모델 학습부(2310-4)가 상황 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 예를 들어, 전처리부(2310-2)는 입력된 진동 데이터를 전처리부(2310-2)에 내장된 이미지화 모듈을 이용하여 진동 이미지 데이터로 변환 시킬 수 있다. The preprocessor 2310 - 2 may preprocess the acquired data so that the acquired data can be used for learning for situation determination. The preprocessor 2310-2 may process the acquired data into a preset format so that the model learning part 2310-4, which will be described later, uses the acquired data for learning for situation determination. For example, the preprocessor 2310 - 2 may convert the input vibration data into vibration image data using an imaging module built in the preprocessor 2310 - 2 .

학습 데이터 선택부(2310-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(2310-4)에 제공될 수 있다. 학습 데이터 선택부(2310-3)는 상황 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 예를 들어, 학습 데이터 선택부(2310-3)는 디바이스(1000)를 통해 수신하고, 전처리부(2310-2)를 통해 이미지화된 진동 이미지 데이터 중 기설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 진동 이미지 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(2310-3)는 디바이스(1000)를 통해 수신한 이미지 데이터 중 기 설정된 기준에 따라 학습에 필요한 이미지 데이터를 선택할 수 있다.The learning data selection unit 2310 - 3 may select data necessary for learning from the pre-processed data. The selected data may be provided to the model learning unit 2310 - 4 . The learning data selection unit 2310-3 may select data necessary for learning from among preprocessed data according to a preset criterion for situation determination. For example, the learning data selection unit 2310-3 receives through the device 1000, and according to a preset criterion among the vibration image data imaged through the pre-processing unit 2310-2, among the pre-processed data, The required vibration image data can be selected. Also, the learning data selection unit 2310 - 3 may select image data required for learning according to a preset criterion among the image data received through the device 1000 .

모델 학습부(2310-4)는 학습 데이터에 기초하여 상황을 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(2310-4)는 상황 판단을 위하여 어떤 학습 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.The model learning unit 2310 - 4 may learn a criterion regarding how to determine a situation based on the learning data. Also, the model learning unit 2310-4 may learn a criterion for which learning data to use for situation determination.

모델 학습부(2310-4)는, 전처리된 진동 이미지 데이터와 이미지 데이터 중 적어도 하나를 입력 값으로 하고, 각 데이터의 훈련 신호의 조합에 대응된 레이블(label)을 출력 값으로 하는 학습 데이터들을 사용하여, 서로 독립된 복수의 모델을 개별 학습시킬 수 있다.The model learning unit 2310-4 uses at least one of preprocessed vibration image data and image data as an input value, and uses training data having a label corresponding to a combination of training signals of each data as an output value. Thus, a plurality of models independent of each other can be individually trained.

또는, 모델 학습부(2310-4)는, 전처리된 진동 이미지 데이터와 이미지 데이터 중 적어도 입력 값으로 하여 각각의 데이터에 대한 혹은 복수의 데이터에 대한 특징(Feature)을 결정할 수 있도록 서로 독립된 복수의 모델을 개별적으로 학습시킬 수 있다.Alternatively, the model learning unit 2310-4 may include a plurality of models independent from each other so as to determine a feature for each data or a plurality of data using at least an input value of the pre-processed vibration image data and the image data. can be learned individually.

다양한 실시예에 따르면, 모델 학습부(2310-4)는 미리 구축된 데이터 인식 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 데이터 인식 모델을 학습할 데이터 인식 모델로 결정할 수 있다.According to various embodiments, the model learning unit 2310-4 may use a data recognition model to learn a data recognition model having a high correlation between the input learning data and the basic learning data when there are a plurality of pre-built data recognition models. can decide

또한, 모델 학습부(2310-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 인식 모델을 학습시킬 수 있다.Also, the model learning unit 2310 - 4 may train the data recognition model using, for example, a learning algorithm including error back-propagation or gradient descent. .

또한, 모델 학습부(2310-4)는, 지도 학습(supervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(2310-4)는, 비지도 학습(unsupervised learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다. 또한, 모델 학습부(2310-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 인식 모델을 학습시킬 수 있다.Also, the model learning unit 2310 - 4 may learn a data recognition model through supervised learning. Also, the model learning unit 2310 - 4 may train the data recognition model through unsupervised learning. Also, the model learning unit 2310 - 4 may train the data recognition model through, for example, reinforcement learning using feedback on whether a result of situation determination according to learning is correct.

또한, 기계학습 모델이 학습되면, 모델 학습부(2310-4)는 학습된 기계학습 모델을 저장할 수 있다. 이 경우, 모델 학습부(2310-4)는 학습된 기계학습 모델을 데이터 인식부(2320)를 포함하는 서버(2000)의 서버 메모리(2100)에 저장할 수 있다. 또는, 모델 학습부(2310-4)는 학습된 데이터 인식 모델을 서버(2000)와 유선 또는 무선 네트워크로 연결되는 디바이스(1000)의 메모리(1100)에 저장할 수도 있다.Also, when the machine learning model is learned, the model learning unit 2310 - 4 may store the learned machine learning model. In this case, the model learning unit 2310 - 4 may store the learned machine learning model in the server memory 2100 of the server 2000 including the data recognition unit 2320 . Alternatively, the model learning unit 2310 - 4 may store the learned data recognition model in the memory 1100 of the device 1000 connected to the server 2000 through a wired or wireless network.

학습된 기계학습 모델이 저장되는 서버 메모리(2100) 또는 디바이스(1000)의 메모리(1100)는, 예를 들면, 서버(2000)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 서버 메모리(2100) 또는 디바이스(1000)의 메모리(1100)는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.The server memory 2100 or the memory 1100 of the device 1000 in which the learned machine learning model is stored may store, for example, commands or data related to at least one other component of the server 2000 together. . In addition, the server memory 2100 or the memory 1100 of the device 1000 may store software and/or a program. A program may include, for example, a kernel, middleware, an application programming interface (API) and/or an application program (or "application"), and the like.

모델 평가부(2310-5)는 기계학습 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(2310-4)로 하여금 다시 학습하도록 할 수 있다. The model evaluation unit 2310-5 inputs evaluation data to the machine learning model, and when the recognition result output from the evaluation data does not satisfy a predetermined criterion, the model learning unit 2310-4 can learn again. have.

모델 평가부(2310-5)는 상기 훈련 과정을 수행한 이후에, 평가 데이터를 이용하여 학습된 기계학습 모델을 평가할 수 있다. 모델 평가부(2310-5)는 동일한 평가 레이블 정보를 가지는 평가 데이터를 획득하고, 상기 평가 데이터를 상기 기계학습 모델에 입력함으로써, 상기 기계학습 모델을 재 학습할 수 있다. The model evaluator 2310 - 5 may evaluate the machine learning model learned by using the evaluation data after performing the training process. The model evaluation unit 2310-5 may re-learn the machine learning model by acquiring evaluation data having the same evaluation label information and inputting the evaluation data to the machine learning model.

예를 들어, 모델 평가부(2310-5)는 평가 데이터에 대한 학습된 기계학습 모델의 인식 결과 중에서, 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.For example, the model evaluation unit 2310-5 sets a predetermined criterion when the number or ratio of evaluation data for which the recognition result is not accurate among the recognition results of the machine learning model learned for the evaluation data exceeds a preset threshold. It can be evaluated as unsatisfactory.

한편, 데이터 학습부(2310) 내의 데이터 획득부(2310-1), 전처리부(2310-2), 학습 데이터 선택부(2310-3), 모델 학습부(2310-4) 및 모델 평가부(2310-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 서버(2000)에 탑제될 수 있다. Meanwhile, in the data learning unit 2310 , the data acquisition unit 2310-1, the preprocessor 2310-2, the training data selection unit 2310-3, the model learning unit 2310-4, and the model evaluation unit 2310 are included. At least one of -5) may be manufactured in the form of at least one hardware chip and mounted on the server 2000 .

또한, 데이터 획득부(2310-1), 전처리부(2310-2), 학습 데이터 선택부(2310-3), 모델 학습부(2310-4) 및 모델 평가부(2310-5)는 모두 하나의 서버(2000)에 포함될 수도 있으며, 일부만 서버(2000)에 포함되고, 나머지 일부는 디바이스(1000)에 탑재될 수도 있다. In addition, the data acquisition unit 2310-1, the preprocessor 2310-2, the training data selection unit 2310-3, the model learning unit 2310-4, and the model evaluation unit 2310-5 are all one It may be included in the server 2000 , only a part of it may be included in the server 2000 , and the remaining part may be mounted on the device 1000 .

또한, 데이터 획득부(2310-1), 전처리부(2310-2), 학습 데이터 선택부(2310-3), 모델 학습부(2310-4) 및 모델 평가부(2310-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. In addition, at least one of the data acquisition unit 2310-1, the preprocessor 2310-2, the training data selection unit 2310-3, the model learning unit 2310-4, and the model evaluation unit 2310-5 is It can be implemented as a software module.

도 6는 도 4의 데이터 인식부의 블록도이다. FIG. 6 is a block diagram of the data recognition unit of FIG. 4 .

도 6을 참조하면, 데이터 인식부(2320)는 데이터 획득부(2320-1), 전처리부(2320-2), 인식 결과 제공부(2320-4) 및 모델 갱신부(2320-5)를 포함할 수 있다.Referring to FIG. 6 , the data recognition unit 2320 includes a data acquisition unit 2320 - 1 , a preprocessor 2320 - 2 , a recognition result providing unit 2320 - 4 and a model update unit 2320 - 5 . can do.

데이터 획득부(2320-1)는 상황 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(2320-2)는 상황 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(2320-2)는 후술할 인식 결과 제공부(2320-4)가 상황 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 이때, 데이터 획득부(2320-1)에서 획득된 데이터는 데이터 학습부(2310)의 데이터 획득부(2310-1)에서 획득된 데이터와 상이한 진동 이미지 데이터 및 이미지 데이터일 수 있다.The data acquisition unit 2320-1 may acquire data necessary for situation determination, and the preprocessor 2320-2 may pre-process the obtained data so that the acquired data may be used for situation determination. The preprocessor 2320-2 may process the acquired data into a preset format so that the recognition result providing unit 2320-4, which will be described later, uses the acquired data for situation determination. In this case, the data obtained by the data obtaining unit 2320 - 1 may be vibration image data and image data different from the data obtained by the data obtaining unit 2310 - 1 of the data learning unit 2310 .

인식 결과 제공부(2320-4)는 신규 데이터에 대하여 데이터 인식 모델을 이용하여 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 구체적으로, 인식 결과 제공부(2320-4)는 진동 이미지 데이터 및 이미지 데이터 중 적어도 하나를 학습된 모델에 적용하여 인식 결과를 제공할 수 있다. The recognition result providing unit 2320 - 4 may provide a recognition result according to the purpose of data recognition by using a data recognition model for new data. Specifically, the recognition result providing unit 2320-4 may provide a recognition result by applying at least one of the vibration image data and the image data to the learned model.

인식 결과는, 예로, 진동 이미지 데이터 및 이미지 데이터 중 적어도 하나에 포함된 운행 중인 모빌리티의 주행 도로 정보, 운행 중인 모빌리티의 주변 상태 정보, 모빌리티의 운행 안정성 정보, 운행자의 운전 습관 정보 등이 될 수 있다. The recognition result may be, for example, driving road information of the driving mobility included in at least one of the vibration image data and the image data, peripheral state information of the driving mobility, driving stability information of the mobility, driving habit information of the driver, etc. .

인식 결과 제공부(2320-4)는 진동 이미지 데이터 및 이미지 데이터 중 적어도 하나를 이용하여 운행 중인 모빌리티의 주행 도로가 '차도', '인도' 또는 '자전거 전용 도로' 인지 판단할 수 있다.The recognition result providing unit 2320 - 4 may determine whether the driving road of the mobility being driven is a 'roadway', a 'sidewalk' or a 'bike-only road' using at least one of the vibration image data and the image data.

인식 결과 제공부(2320-4)는 주행도로의 상태 정보를 디바이스(1000)를 통하여 운행자에게 텍스트, 음성, 동영상, 이미지 또는 명령어 등으로 제공할 수 있다.The recognition result providing unit 2320 - 4 may provide the driving road status information to the driver through the device 1000 as text, voice, video, image, or command.

모델 갱신부(2320-5)는 인식 결과 제공부(2320-4)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 데이터 인식 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(2320-5)는 인식 결과 제공부(2320-4)에 의해 제공되는 인식 결과를 모델 학습부(2310-4)에게 제공함으로써, 모델 학습부(2310-4)가 데이터 인식 모델을 갱신하도록 할 수 있다.The model updating unit 2320 - 5 may update the data recognition model based on the evaluation of the recognition result provided by the recognition result providing unit 2320 - 4 . For example, the model updating unit 2320-5 provides the recognition result provided by the recognition result providing unit 2320-4 to the model learning unit 2310-4, so that the model learning unit 2310-4 is You can update the data recognition model.

한편, 데이터 인식부(2320) 내의 데이터 획득부(2320-1), 전처리부(2320-2), 인식 결과 제공부(2320-4) 및 모델 갱신부(2320-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 서버(2000)에 포함될 수 있다. On the other hand, at least one of the data acquiring unit 2320-1, the preprocessing unit 2320-2, the recognition result providing unit 2320-4, and the model updating unit 2320-5 in the data recognition unit 2320, at least It may be manufactured in the form of one hardware chip and included in the server 2000 .

또한, 데이터 획득부(2320-1), 전처리부(2320-2), 인식 결과 제공부(2320-4) 및 모델 갱신부(2320-5)는 모두 하나의 서버(2000)에 포함되거나, 일부는 서버(2000)에 포함되고 나머지 일부는 디바이스(1000)에 탑재될 수 있다.In addition, the data acquisition unit 2320-1, the preprocessor 2320-2, the recognition result providing unit 2320-4, and the model update unit 2320-5 are all included in one server 2000, or some may be included in the server 2000 and the remaining part may be mounted in the device 1000 .

또한, 데이터 획득부(2320-1), 전처리부(2320-2), 인식 결과 제공부(2320-4) 및 모델 갱신부(2320-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. In addition, at least one of the data acquisition unit 2320-1, the preprocessor 2320-2, the recognition result providing unit 2320-4, and the model update unit 2320-5 may be implemented as a software module.

도 7은 본 발명의 바람직한 실시 예에 따른 퍼스널 모빌리티 주행도로를 분석하기 위하여 기계학습을 이용한 시스템의 제어 방법의 흐름도를 도시한 것이다. 7 is a flowchart illustrating a control method of a system using machine learning to analyze a personal mobility driving road according to a preferred embodiment of the present invention.

도 7을 참고하면, 일 실시 예에 따른 퍼스널 모빌리티 주행정보 감별 시스템(1)의 제어 방법은, 기계학습 모델을 훈련하는 과정(S200) 및, 학습된 기계학습 모델을 이용하여 데이터를 분석하는 과정(S600) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 7 , the control method of the personal mobility driving information discrimination system 1 according to an embodiment includes a process of training a machine learning model ( S200 ) and a process of analyzing data using the learned machine learning model. It may include at least one of (S600).

훈련 과정(S200)은 데이터 학습부(2310)에 의해서 수행될 수 있고, 분석 과정(S600)은 데이터 인식부(2320)에 의해서 수행될 수 있다. 자세한 사항은 후술하도록 한다.The training process S200 may be performed by the data learning unit 2310 , and the analysis process S600 may be performed by the data recognition unit 2320 . Details will be described later.

도 8은 도 7의 기계학습 모델을 훈련하는 방법의 흐름도를 도시한 것이다. 도 9(a) 내지 도 9(c)는 모델의 훈련에 사용되는 훈련 데이터의 예들을 도시한 것이다.FIG. 8 is a flowchart of a method for training the machine learning model of FIG. 7 . 9(a) to 9(c) show examples of training data used for training a model.

도 8을 참조하면, 기계학습 모델을 훈련하는 과정(S200)은, 훈련 데이터를 이용하여 기계학습 모델을 훈련하는 훈련 과정일 수 있다.Referring to FIG. 8 , the process ( S200 ) of training the machine learning model may be a training process of training the machine learning model using training data.

훈련 과정(S200)은, 훈련 데이터를 획득하는 과정(S220), 획득된 훈련 데이터를 전처리하는 과정(S240), 전처리된 훈련 데이터 중 학습할 데이터를 선택하는 과정(S260), 모델을 학습시키는 과정(S280), 전처리된 훈련 데이터 중 선택되지 않은 나머지 데이터를 이용하여 학습된 모델을 평가하는 과정(S290)을 포함할 수 있다.The training process (S200) includes a process of acquiring training data (S220), a process of pre-processing the acquired training data (S240), a process of selecting data to be learned from among the pre-processed training data (S260), a process of learning a model (S280), it may include a process of evaluating the learned model using the remaining unselected data among the preprocessed training data (S290).

과정 S220에서, 디바이스(1000)는 센싱부(1400) 및 A/V 입력부(1600)를 통해 훈련 데이터를 센싱할 수 있다. 훈련 데이터는 좌표 데이터, 가속도 데이터, 속도 데이터, 진동 데이터, 영상 데이터, 이미지 데이터, 음성 데이터 등 적어도 하나를 포함할 수 있다. In step S220 , the device 1000 may sense training data through the sensing unit 1400 and the A/V input unit 1600 . The training data may include at least one of coordinate data, acceleration data, velocity data, vibration data, image data, image data, and voice data.

구체적인 예로, 디바이스(1000)는 가속도 센서(1420)와 같은 센싱부(1400)를 통해 훈련 진동 데이터를 획득할 수 있다. 훈련 진동 데이터는 주행 도로의 상태에 따른 진동, 모빌리티의 주행 속도, 주행 가속도, 급정지, 급 회전 등에 의한 진동, 사용자의 운전 습관에 의한 진동 중 적어도 하나 혹은 2 이상의 조합에 의한 중첩된 진동의 데이터 일 수 있다.As a specific example, the device 1000 may acquire training vibration data through a sensing unit 1400 such as the acceleration sensor 1420 . Training vibration data is data of overlapping vibration caused by at least one or a combination of two or more of vibration according to the condition of the driving road, driving speed of mobility, driving acceleration, sudden stop, sudden rotation, etc., and vibration caused by the user's driving habit. can

구체적인 예로, 디바이스(100)는 카메라(1610)와 같은 A/V 입력부(1600)를 통해 훈련 이미지 데이터를 획득할 수 있다. 훈련 이미지 데이터는 사용자가 운행 중인 모빌리티, 타인의 모빌리티, 모빌리티 주변의 차도, 인도 및 모빌리티 전용 도로 등의 대상들 중 적어도 하나 혹은 2 이상의 조합을 포함하는 이미지의 데이터 일 수 있다. As a specific example, the device 100 may acquire training image data through the A/V input unit 1600 such as the camera 1610 . The training image data may be image data including at least one or a combination of two or more of objects such as mobility in which the user is driving, mobility of others, roadways around mobility, sidewalks, and dedicated roads for mobility.

디바이스(1000)는 모빌리티의 운행이 시작되면 훈련 진동 데이터 및 훈련 이미지 데이터 중 적어도 하나를 센싱할 수 있으며, 모빌리티의 운행이 종료하면 훈련 진동 데이터 및 훈련 이미지 데이터 중 적어도 하나를 센싱하는 동작을 정지할 수 있다.The device 1000 may sense at least one of the training vibration data and the training image data when the operation of the mobility starts, and when the operation of the mobility ends, the operation of sensing at least one of the training vibration data and the training image data is stopped. can

디바이스(100)는 센싱된 훈련 데이터를 서버(2000)에게 송신할 수 있다. 구체적인 예로, 디바이스(1000)는 센싱부(1400) 혹은 A/V 입력부(1600)에 의해서 획득된 또는 메모리(1100)에 저장된 훈련 진동 데이터 및 훈련 이미지 데이터 중 적어도 하나를 서버(2000)에게 송신할 수 있다. 서버(2000)는 디바이스(1000)로부터 훈련 진동 데이터 및 훈련 이미지 데이터 중 적어도 하나를 수신하고 저장할 수 있다. The device 100 may transmit sensed training data to the server 2000 . As a specific example, the device 1000 transmits to the server 2000 at least one of training vibration data and training image data acquired by the sensing unit 1400 or the A/V input unit 1600 or stored in the memory 1100 . can The server 2000 may receive and store at least one of training vibration data and training image data from the device 1000 .

서버(2000)는 디바이스(1000)로부터 수신된 혹은 서버 메모리(2100)에 저장된 훈련 데이터를 획득할 수 있다. 구체적인 예로, 서버(2000)는 디바이스(1000)로부터 수신된 혹은 서버 메모리(2100)에 저장된 훈련 진동 데이터 및 훈련 이미지 데이터 중 적어도 하나를 획득할 수 있다. The server 2000 may acquire training data received from the device 1000 or stored in the server memory 2100 . As a specific example, the server 2000 may acquire at least one of training vibration data and training image data received from the device 1000 or stored in the server memory 2100 .

모델 학습을 위한 훈련 데이터로 모빌리티가 운행되는 동안 센싱된 모든 데이터가 사용될 수 있다. 또는, 모델 학습을 위한 훈련 데이터로 모빌리티가 운행 중에 사고가 발생한 경우의 센싱된 데이터만이 사용될 수 있다. 또는, 모델 학습을 위한 훈련 데이터로 모빌리티 운행 중 사고가 발생한 경우를 제외한 경우의 센싱된 데이터만이 사용될 수 있다. 또는, 모빌리티 운행 사고가 발생한 경우의 센싱 데이터와 사고가 발생하지 않은 경우의 센싱 데이터를 일정한 비율로 조합하여 모델 학습을 위한 훈련 데이터로 사용할 수 있다.All data sensed while the mobility is running may be used as training data for model learning. Alternatively, as training data for model learning, only sensed data when an accident occurs while the mobility is driving may be used. Alternatively, as training data for model learning, only sensed data except when an accident occurs while driving a mobility may be used. Alternatively, sensing data when a mobility driving accident occurs and sensing data when an accident does not occur may be combined at a certain ratio to be used as training data for model learning.

모빌리티의 운행 사고가 없는 경우의 센싱된 데이터를 훈련 데이터로 사용하는 경우 학습된 모델은 운행 환경이나 운행자의 운전 습관 등이 안전한 경우의 훈련 데이터로 학습된다. 그러므로, 이후 학습된 모델을 이용하여 신규 데이터를 분석할 때 학습된 모델에서 의도하지 않은 값을 출력하면 운행 환경이나 운행자의 운전 습관이 위험한 것으로 판단할 수 있다.When the sensed data when there is no driving accident of mobility is used as training data, the learned model is learned as training data when the driving environment or the driving habits of the driver are safe. Therefore, when an unintended value is output from the learned model when new data is analyzed using the later learned model, it may be determined that the driving environment or the driving habit of the driver is dangerous.

반대로, 모빌리티의 운행 사고가 있는 경우의 센싱된 데이터를 훈련 데이터로 사용하는 경우 학습된 모델은 운행 환경이나 운행자의 운전 습관 등의 위험한 경우의 훈련 데이터로 학습된다. 그러므로, 이후 학습된 모델을 이용하여 신규 데이터를 분석할 때 학습된 모델에서 의도한 값을 출력하면 운행 환경이나 운전자의 운전 습관이 위험한 것으로 판단할 수 있다.Conversely, when the sensed data in the case of a driving accident of mobility is used as training data, the learned model is learned as training data in a dangerous case such as a driving environment or a driver's driving habit. Therefore, if an intended value is output from the learned model when new data is analyzed using the later learned model, it may be determined that the driving environment or the driver's driving habit is dangerous.

도 9(a)와 같이 모델 학습을 위한 훈련 데이터는 모빌리티의 운행 시작부터 운행 종료되는 구간의 운행 중 획득된 모든 데이터로 사용될 수 있다. 또는, 도 9(b)와 같이 모델 학습을 위한 훈련 데이터는 모빌리티의 운행 중 사고 발생 시점으로부터 제1 소정 시간(△t₁) 동안 역산한 구간의 데이터로 사용될 수 있다. 또는, 도 9(c)와 같이 모델 학습을 위한 훈련 데이터는 모빌리티의 운행 중 사고 발생 시점으로부터 제2 소정 시간(△t₂)의 역산 시점으로부터 제3 소정 시간(△t₃) 동안 역산한 구간의 데이터로 사용될 수 있다.As shown in FIG. 9( a ), training data for model learning may be used as all data acquired during operation of a section from the start of the operation to the end of the operation of the mobility. Alternatively, training data for model learning as shown in FIG. 9(b) may be used as data of a section calculated inversely for a _{first predetermined time (Δt 1 ) from the time of occurrence of an accident during driving of mobility.} Alternatively, as shown in FIG. 9( c ), the training data for model learning is inversely calculated for a third predetermined time (Δt ₃ ) _{from the inverse time of the second predetermined time (Δt 2 ) from the time of occurrence of an accident while driving the mobility.} can be used as data for

과정 S240에서, 서버(1000)는 획득한 훈련 데이터를 모델 학습에 적합한 데이터로 가공하는 전처리 과정을 수행할 수 있다. 구체적인 예로, 서버(1000)는 획득한 훈련 진동 데이터 또는 훈련 이미지 데이터를 전처리 과정을 통해서 모델 학습에 적합한 데이터로 가공할 수 있다. In step S240, the server 1000 may perform a preprocessing process of processing the acquired training data into data suitable for model learning. As a specific example, the server 1000 may process the acquired training vibration data or training image data into data suitable for model learning through a preprocessing process.

훈련 진동 데이터는 전처리부(2310-2)에 내장된 이미지화 모듈을 이용하여 훈련 진동 이미지 데이터로 변환시키는 전처리를 거칠 수 있다. 이미지화 모듈은 서로 다른 주파수를 가지는 복수개의 정현파로 이뤄진 진동 데이터를 푸리에 변환을 이용하여 주파수 영역으로 바꿔줄 수 있으며, 이를 주파수 영역에서 도시한 그래프를 진동 이미지 데이터라 할 수 있다.The training vibration data may be subjected to a pre-processing of converting into training vibration image data using an imaging module built in the pre-processing unit 2310 - 2 . The imaging module may convert vibration data composed of a plurality of sine waves having different frequencies into a frequency domain using a Fourier transform, and a graph shown in the frequency domain may be referred to as vibration image data.

과정 S260에서, 서버(2000)는 전처리된 훈련 데이터 중 학습에 사용될 데이터를 선택할 수 있다. 모든 훈련 데이터를 모델 학습에 사용하지 않고 일부의 훈련 데이터만을 학습에 사용함으로써, 후술할 학습된 모델의 평가 과정에서 남겨진 훈련 데이터가 사용될 수 있다.In step S260, the server 2000 may select data to be used for learning from among the pre-processed training data. By not using all the training data for model learning, but only using some of the training data for learning, the training data left in the evaluation process of the learned model, which will be described later, may be used.

과정 S280에서, 서버(2000)는 훈련 데이터를 이용하여 모델을 학습시킬 수 있다. 서버(2000)는 훈련 진동 이미지 데이터 및 훈련 이미지 데이터 중 적어도 하나를 이용하여 모델을 훈련을 수행할 수 있다.In step S280 , the server 2000 may train the model using the training data. The server 2000 may train the model using at least one of training vibration image data and training image data.

모델의 학습을 위한 훈련 데이터는 라벨링되지 않은 데이터이거나, 라벨링된 데이터 일 수 있다. 라벨링 되지 않은 훈련 데이터의 예로는 훈련 진동 이미지 데이터 또는 훈련 이미지 데이터 자체를 말한다. The training data for learning the model may be unlabeled data or labeled data. Examples of unlabeled training data are the training vibration image data or the training image data itself.

라벨링 된 훈련 데이터의 예로는, 훈련 진동 이미지 데이터 또는 훈련 이미지 데이터 중 사고가 발생한 데이터와 발생하지 않은 데이터를 '0' 또는 '1'로 라벨링할 수 있다. 또는, 훈련 진동 이미지 데이터 중 사용자의 모빌리티 위치가 모빌리티 전용도로에 있었다면 'a'로 라벨링하고, 인도에 있었다면 'b'로 라벨링하고, 차도에 있었다면 'c'로 라벨링할 수 있다. As an example of the labeled training data, data in which an accident occurred and data that did not occur among training vibration image data or training image data may be labeled as '0' or '1'. Alternatively, in the training vibration image data, if the user's mobility location was on a mobility-only road, it could be labeled with 'a', if it was on the sidewalk, it could be labeled with 'b', and if it was on the road, it could be labeled with 'c'.

과정 S260에서, 학습에 사용되는 모델은 비지도 학습(Unsupervised Learning), 지도 학습(Supervised Learning), 하이브리드 학습 등의 학습 방법의 적어도 하나 혹은 2이상의 알고리즘을 조합한 모델이 사용될 수 있다.In step S260, the model used for learning may be a model combining at least one or two or more algorithms of learning methods such as unsupervised learning, supervised learning, and hybrid learning.

비지도 학습은 학습 벡터에 목표값(target value)이 없을 때, 학습 데이터의 관계를 추론하여 학습하는 방식이다. 비지도 학습 또는 생성 학습 (generative learning)이라고 불리는 알고리즘으로, Deep neural network (DNN), Self-organizing map (SOM), Adaptive resonance theory (ART), Deep autoencoder, Deep belief network (DBN), Boltzmann machine (BM), Restricted Boltzmann machine (RBM), K-means algorithm, Auto Encoder(AE), VAE (Variational Auto Encoder) 등과 같은 알고리즘이 있다.Unsupervised learning is a method of learning by inferring the relationship between learning data when there is no target value in the learning vector. Algorithms called unsupervised learning or generative learning, such as deep neural network (DNN), self-organizing map (SOM), adaptive resonance theory (ART), deep autoencoder, deep belief network (DBN), Boltzmann machine ( BM), Restricted Boltzmann machine (RBM), K-means algorithm, Auto Encoder (AE), VAE (Variational Auto Encoder), etc.

지도 학습은 학습 데이터 (learning data)와 그 데이터에 대한 목표값 (target value)으로 구성된 학습 벡터를 이용하여 알고리즘이 모든 학습 벡터에 대해 원하는 목표값을 출력하도록 학습하는 방법이다. 지도 학습의 알고리즘으로, Hidden Markov model (HMM), Perceptron, Convolutional neural network (CNN), Support vector machine (SVM), Naive Bayes classifier (NBC) 등과 같은 알고리즘이 있다.Supervised learning is a method of learning so that an algorithm outputs a desired target value for all learning vectors by using a learning vector composed of learning data and a target value for the data. As algorithms of supervised learning, there are algorithms such as Hidden Markov model (HMM), Perceptron, Convolutional neural network (CNN), Support vector machine (SVM), Naive Bayes classifier (NBC), etc.

하이브리드 학습은 비지도 학습 모델의 알고리즘을 이용하여 학습 데이터를 1차적으로 튜닝 (tuning)하고, 이 데이터를 이용하여 지도 학습 모델의 알고리즘을 학습하는 방법이다. 하이브리드 학습의 대표적인 알고리즘으로, 딥 러닝 (deep learning)이 있다.Hybrid learning is a method of first tuning training data using an algorithm of an unsupervised learning model, and learning the algorithm of a supervised learning model using this data. As a representative algorithm of hybrid learning, there is deep learning.

과정 S290에서, 서버(2000)는 학습된 모델을 평가하는 과정을 수행할 수 있다.In step S290, the server 2000 may perform a process of evaluating the learned model.

서버(2000)는 훈련 데이터 중 학습에 사용될 데이터로 선택되지 않은 데이터를 평가 데이터로 학습된 데이터를 평가할 수 있다. 모델을 학습시킬 학습 데이터와 평가에 사용될 평가 데이터를 하나의 훈련 데이터 세트에서 분류하여 사용함으로써, 학습 데이터로 학습된 모델이 얼마나 잘 학습되었는지 확인할 수 있다.The server 2000 may evaluate the learned data as evaluation data for data that is not selected as data to be used for learning among the training data. By classifying and using the training data to train the model and the evaluation data to be used for evaluation in one training data set, it is possible to check how well the model trained with the training data is trained.

이후 서버(2000)는 평가 데이터를 이용하여 학습된 모델을 재 학습할 수 있다. Thereafter, the server 2000 may re-learn the learned model using the evaluation data.

도 10은 도 7의 학습된 모델을 이용하여 데이터를 분석하는 방법의 흐름도를 도시한 것이다. FIG. 10 is a flowchart illustrating a method of analyzing data using the learned model of FIG. 7 .

도 10을 참조하면, 학습된 모델을 이용하여 데이터를 분석하는 과정(S600)은, 상기 훈련 과정(S200)에 의해서 학습된 기계학습 모델 혹은 메모리에 기 저장된 학습된 기계학습 모델을 이용하여 신규 데이터를 분석 또는 분류하는 과정일 수 있다. 구체적인 일 예로, 디바이스(1000)에서 센싱된 데이터를 학습된 모델에 입력함으로써 주행 도로의 종류의 예측, 사용자의 운전 습관에 대한 위험도, 사고 가능성의 예측 등 중 적어도 하나의 정보를 추출 내지 분석하는 서비스에 관한 것이다.Referring to FIG. 10 , in the process ( S600 ) of analyzing data using the learned model, the new data using the machine learning model learned by the training process ( S200 ) or the machine learning model previously stored in the memory may be a process of analyzing or classifying As a specific example, by inputting the data sensed by the device 1000 into the learned model, a service for extracting or analyzing at least one of information such as prediction of the type of driving road, the degree of risk for the user's driving habit, prediction of the possibility of an accident, etc. is about

학습된 모델을 이용하여 데이터를 분석하는 과정은, 데이터를 획득하는 과정(S620), 획득된 데이터를 전처리하는 과정(S640), 전처리된 데이터를 학습된 모델에 기초하여 분석하는 과정(S640), 분석된 결과에 기초하여 모델을 갱신하는 과정(S680)을 포함할 수 있다.The process of analyzing data using the learned model includes a process of acquiring data (S620), a process of preprocessing the acquired data (S640), a process of analyzing the preprocessed data based on the learned model (S640), It may include a process (S680) of updating the model based on the analyzed result.

과정 S620에서, 디바이스(1000)는 센싱부(1400) 및 A/V 입력부(1600)를 통해 운행 중인 모빌리티의 신규 데이터를 센싱할 수 있다. 신규 데이터는 좌표 데이터, 가속도 데이터, 속도 데이터, 진동 데이터, 영상 데이터, 이미지 데이터, 음성 데이터 등 적어도 하나를 포함할 수 있다. In step S620 , the device 1000 may sense new data of mobility while driving through the sensing unit 1400 and the A/V input unit 1600 . The new data may include at least one of coordinate data, acceleration data, velocity data, vibration data, image data, image data, and voice data.

구체적인 예로, 디바이스(1000)는 가속도 센서(1420)와 같은 센싱부(1400)를 통해 신규 진동 데이터를 획득할 수 있다. 신규 진동 데이터는 주행 도로의 상태에 따른 진동, 모빌리티의 주행 속도, 주행 가속도, 급정지, 급 회전 등에 의한 진동, 사용자의 운전 습관에 의한 진동 중 적어도 하나 혹은 2 이상의 조합에 의한 중첩된 진동의 데이터 일 수 있다.As a specific example, the device 1000 may acquire new vibration data through the sensing unit 1400 such as the acceleration sensor 1420 . The new vibration data is data of superimposed vibration caused by at least one or a combination of two or more of vibration according to the driving road condition, driving speed of mobility, driving acceleration, vibration caused by sudden stop, sudden rotation, etc., and vibration caused by the user's driving habit. can

구체적인 예로, 디바이스(100)는 카메라(1610)와 같은 A/V 입력부(1600)를 통해 신규 이미지 데이터를 획득할 수 있다. 신규 이미지 데이터는 사용자가 운행 중인 모빌리티, 타인의 모빌리티, 모빌리티 주변의 차도, 인도 및 모빌리티 전용 도로 등의 대상들 중 적어도 하나 혹은 2 이상의 조합을 포함하는 이미지의 데이터 일 수 있다. As a specific example, the device 100 may acquire new image data through the A/V input unit 1600 such as the camera 1610 . The new image data may be data of an image including at least one or a combination of two or more of objects such as the mobility the user is driving, the mobility of others, the road around the mobility, the sidewalk, and the mobility-only road.

디바이스(1000)는 모빌리티의 운행이 시작되면 신규 진동 데이터 및 훈련 이미지 데이터 중 적어도 하나를 센싱할 수 있으며, 모빌리티의 운행이 종료하면 신규 진동 데이터 및 신규 이미지 데이터 중 적어도 하나를 센싱하는 동작을 정지할 수 있다.The device 1000 may sense at least one of the new vibration data and the training image data when the operation of the mobility starts, and when the operation of the mobility ends, the operation of sensing at least one of the new vibration data and the new image data is stopped. can

디바이스(100)는 센싱된 신규 데이터를 메모리(1100)에 저장하거나 서버(2000)에게 송신할 수 있다. 구체적인 예로, 디바이스(1000)는 센싱부(1400) 혹은 A/V 입력부(1600)에 의해서 획득된 신규 진동 데이터 및 신규 이미지 데이터 중 적어도 하나를 메모리(1100)에 저장하거나 서버(2000)에게 송신할 수 있다. 서버(2000)는 디바이스(1000)로부터 신규 진동 데이터 및 신규 이미지 데이터 중 적어도 하나를 수신하고 저장할 수 있다.The device 100 may store the sensed new data in the memory 1100 or transmit it to the server 2000 . As a specific example, the device 1000 may store at least one of the new vibration data and the new image data acquired by the sensing unit 1400 or the A/V input unit 1600 in the memory 1100 or transmit it to the server 2000 . can The server 2000 may receive and store at least one of new vibration data and new image data from the device 1000 .

서버(2000)는 디바이스(1000)로부터 수신된 혹은 서버 메모리(2100)에 저장된 신규 데이터를 획득할 수 있다. 구체적인 예로, 서버(2000)는 디바이스(1000)로부터 수신된 또는 서버 메모리(2100)에 기 저장된 신규 진동 데이터 및 신규 이미지 데이터를 획득할 수 있다The server 2000 may acquire new data received from the device 1000 or stored in the server memory 2100 . As a specific example, the server 2000 may acquire new vibration data and new image data received from the device 1000 or pre-stored in the server memory 2100 .

과정 S640에서, 서버(1000)는 획득한 신규 데이터를 학습된 모델에 적용시키기 적합한 데이터로 가공하는 전처리 과정을 수행할 수 있다. 구체적인 예로, 서버(1000)는 획득한 신규 진동 데이터 또는 신규 이미지 데이터를 전처리 과정을 통해서 학습된 모델에 적용하기 적합한 데이터로 가공할 수 있다. In step S640 , the server 1000 may perform a preprocessing process of processing the acquired new data into data suitable for application to the learned model. As a specific example, the server 1000 may process the acquired new vibration data or new image data into data suitable for application to a model learned through a pre-processing process.

신규 진동 데이터는 전처리부(2320-2)에 내장된 이미지화 모듈을 이용하여 신규 진동 이미지 데이터로 변환시키는 전처리를 거칠 수 있다. 이미지화 모듈은 서로 다른 주파수를 가지는 복수개의 정현파로 이뤄진 진동 데이터를 푸리에 변환을 이용하여 주파수 영역으로 바꿔줄 수 있으며, 이를 주파수 영역에서 도시한 그래프를 진동 이미지 데이터라 할 수 있다.The new vibration data may be subjected to a pre-processing of converting into new vibration image data using an imaging module built in the pre-processing unit 2320 - 2 . The imaging module may convert vibration data composed of a plurality of sine waves having different frequencies into a frequency domain using a Fourier transform, and a graph shown in the frequency domain may be referred to as vibration image data.

과정 S660에서, 서버(2000)는 이미 학습된 모델에 전처리된 신규 데이터를 입력함으로써 신규 데이터를 분류 또는 분석할 수 있다. 구체적인 일 예로, 서버(2000)는 이미 학습된 모델에 상기 신규 진동 데이터 및 신규 이미지 데이터 중 적어도 하나를 입력할 수 있다.In step S660, the server 2000 may classify or analyze the new data by inputting the pre-processed new data to the already trained model. As a specific example, the server 2000 may input at least one of the new vibration data and the new image data to an already learned model.

서버(2000)는 학습된 모델의 알고리즘 및 훈련 데이터의 종류 중 적어도 하나에 기초하여 분석 결과를 출력할 수 있다. The server 2000 may output an analysis result based on at least one of an algorithm of a learned model and a type of training data.

라벨링된 훈련 데이터를 사용하는 지도 학습 모델에 적합한 알고리즘을 사용한 경우 분석 결과는 라벨링 값을 출력할 수 있다. 일 예로 모빌리티의 주행 도로가 '인도', '차도', '모빌리티 전용도로'임을 나타내는 라벨링된 값을 출력할 수 있다. 또는 모빌리티의 운행 방식이 '위험' 또는 '안전'임을 나타내는 라벨링된 값을 출력할 수 있다.If an algorithm suitable for a supervised learning model using labeled training data is used, the analysis result can output a labeling value. For example, a labeled value indicating that the driving road of mobility is 'sidewalk', 'roadway', or 'mobility-only road' may be output. Alternatively, a labeled value indicating that the driving method of the mobility is 'dangerous' or 'safe' may be output.

라벨링되지 않은 훈련 데이터를 사용하는 비지도 학습 모델에 적합한 알고리즘을 사용한 경우 출력층의 노드 수에 전체 합의 비율이 1인 비율 값을 노드 마다 출력할 수 있다. 일 예로 모빌리티의 주행 도로가 '인도', '차도', '모빌리리 전용도리' 임을 확률적으로 나타내는 비율 값을 출력할 수 있다. 또는, 모빌리티의 운행 방식이 '위험' 또는 '안전' 임을 확률적으로 나타내는 비율 값을 출력할 수 있다.If an algorithm suitable for an unsupervised learning model using unlabeled training data is used, a ratio value in which the ratio of the total sum to the number of nodes in the output layer is 1 can be output for each node. For example, a ratio value probabilistically indicating that the driving road of mobility is 'sidewalk', 'roadway', or 'mobility-only road' may be output. Alternatively, a ratio value probabilistically indicating that the driving method of mobility is 'dangerous' or 'safe' may be output.

서버(2000)는 출력된 값에 기초하여 모빌리티의 주행도로가 차도인지, 인도인지, 모빌리티 전용도로인지 여부를 확인할 수 있다. 또는 서버(2000)는 출력된 값에 기초하여 모빌리티의 운행이 안전한지 위험한지 여부를 확인할 수 있다.The server 2000 may check whether the driving road of mobility is a road, a sidewalk, or a mobility-only road based on the output value. Alternatively, the server 2000 may determine whether driving of the mobility is safe or dangerous based on the output value.

과정 S680에서, 서버(2000)는 분석 결과에 기초하여 학습된 모델을 갱신할 수 있다. 다시 말하면, 서버(2000)는 신규 데이터를 새로운 훈련 데이터로서 이용하여 학습된 모델을 재 학습시킬 수 있다.In step S680, the server 2000 may update the learned model based on the analysis result. In other words, the server 2000 may retrain the learned model by using the new data as new training data.

나아가, 학습된 모델을 이용하여 신규 데이터를 서버(2000)에서 분석하는 경우, 서버(2000)는 모델에서 출력된 값 또는 분석 결과(주행도로의 정보 또는 운행 안전 정보)를 디바이스(1000)에게 송신할 수 있다. 주행도로 정보란 모빌리티의 주행 위치를 알려주는 것으로 차도, 인도, 모빌리티 전용도로와 같은 정보를 포함한다. 운행 안전 정보란 주행 중인 모빌리티의 위험성 정도 또는 운행자의 운전습관의 위험성 정도 등에 관한 정보를 포함한다.Furthermore, when the server 2000 analyzes new data using the learned model, the server 2000 transmits the value output from the model or the analysis result (driving road information or driving safety information) to the device 1000 . can do. Driving road information indicates the driving position of mobility, and includes information such as roadways, sidewalks, and mobility-only roads. The driving safety information includes information on a degree of risk of mobility while driving or a degree of risk of a driver's driving habit.

디바이스(1000)는 출력부(1200)를 통해 주행도로 정보 또는 운행 안전 정보를 주행자에게 알릴 수 있다. 구체적인 일 예로, 모빌리티의 주행 위치가 인도일 경우, 디바이스(1000)는 주행자에게 인도를 이탈할 것을 경고할 수 있다. 전동 킥보드 등의 퍼스널 모빌리티는 법규 상 차도에서만 주행되어야 한다. 이에 따라, 퍼스널 모빌리티의 인도 주행은 법규 위반에 해당될 수 있다. 본 발명에서의 서버(2000)는 모빌리티의 주행 도로가 차도인지 인도인지 구분이 가능함에 따라, 주행자에게 인도 주행을 경고하는 효과를 가질 수 있다. 또한, 인도에서의 주행일 경우, 인도에 있는 보행자에게 위험성을 알릴 수 있다.The device 1000 may notify the driver of driving road information or driving safety information through the output unit 1200 . As a specific example, when the driving position of the mobility is on the sidewalk, the device 1000 may warn the driver to leave the sidewalk. Personal mobility such as electric kickboards must be driven only on the road under the law. Accordingly, the personal mobility driving on the sidewalk may be a violation of the law. The server 2000 in the present invention may have an effect of warning the driver of sidewalk driving as it is possible to distinguish whether the driving road of mobility is a road or a sidewalk. In addition, in the case of driving on the sidewalk, it is possible to inform pedestrians of the danger on the sidewalk.

또는, 서버(2000)는 주행도로 정보, 운행자의 위험성 정보, 운행자의 운전습관 정보를 서버 메모리(2100)에 저장할 수 있다. 서버(2000)는 소정 시간 동안 메모리에 저장되어 누적된 저장된 주행도로 정보, 운행자의 위험성 정보, 운행자의 운전습관 정보 중 적어도 하나를 이용하여 향후 운행자의 사고 가능성 여부에 대해서 분석할 수 있다.Alternatively, the server 2000 may store driving road information, driver risk information, and driver driving habit information in the server memory 2100 . The server 2000 may analyze the possibility of an accident in the future by using at least one of the stored driving road information stored and accumulated in the memory for a predetermined time, the driver's risk information, and the driver's driving habit information.

서버 메모리(2100)에 저장된 주행도로 정보, 운행자의 위험성 정보, 운행자의 운전습관 정보, 및 운행자의 사고 가능성 정보는 운행자가 모빌리티 운행 중 사고가 발생한 경우 보험사 등의 유관기관에 제공될 수 있다.The driving road information stored in the server memory 2100, the driver's risk information, the driver's driving habit information, and the driver's accident possibility information may be provided to a related organization such as an insurance company when an accident occurs while the driver is driving the mobility.

또는, 과정 S660에서, 서버(2000)는 서버 메모리(2100)에 저장된 운전습관 데이터를 이용하여 모빌리티의 주행자의 운전 습관과 관련된 사고 유형을 결과값으로 도출할 수 있다. 일 예로, 서버(2000)는 주행자의 운전 습관을 입력하여 모빌리티의 주행자가 사고가 발생될 속도 이상으로 주행하는지 여부를 확인할 수 있다. 나아가, 서버(2000)는 주행자의 운전 습관 정보를 디바이스(1000)에 송신할 수 있으며, 디바이스(1000)는 출력부(1200)를 통해 운전습관 정보를 주행자에게 알릴 수 있다. 이에 따라, 모빌리티의 주행자가 위험하게 운전을 할 경우, 주행자에게 경고를 하여 사고 위험성을 낮출 수 있다.Alternatively, in step S660 , the server 2000 may derive the accident type related to the driving habit of the driver of mobility as a result value by using the driving habit data stored in the server memory 2100 . For example, the server 2000 may input the driving habit of the driver to determine whether the driver of the mobility is driving at a speed greater than the speed at which an accident will occur. Furthermore, the server 2000 may transmit the driver's driving habit information to the device 1000 , and the device 1000 may notify the driver of the driving habit information through the output unit 1200 . Accordingly, when the driver of the mobility drives dangerously, it is possible to reduce the risk of an accident by giving a warning to the driver.

도 11은 본 발명의 바람직한 실시 예에 따른 디바이스 및 서버가 서로 연동함으로써 데이터를 학습하고 인식하는 예시를 나타내는 도면이다. 11 is a diagram illustrating an example of learning and recognizing data by interworking between a device and a server according to a preferred embodiment of the present invention.

상술하였지만, 데이터 학습부(2310) 및 데이터 인식부(2320)는 하나의 서버(2000)에 포함될 수도 있다. 또는, 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(2310) 및 데이터 인식부(2320) 중 하나는 디바이스(1000)에 탑재되고, 나머지 하나는 서버(2000)에 포함될 수 있다.As described above, the data learning unit 2310 and the data recognition unit 2320 may be included in one server 2000 . Alternatively, they may be respectively mounted on separate electronic devices. For example, one of the data learning unit 2310 and the data recognition unit 2320 may be mounted in the device 1000 , and the other may be included in the server 2000 .

데이터 학습부(2310) 및 데이터 인식부(2320)는 유선 또는 무선으로 통하여, 데이터 학습부(2310)가 학습된 모델 정보를 데이터 인식부(2320)로 제공할 수도 있고, 데이터 인식부(2320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(2310)로 제공될 수도 있다.The data learner 2310 and the data recognizer 2320 may provide the model information learned by the data learner 2310 to the data recognizer 2320 through wire or wireless, and the data recognizer 2320 Data input as , may be provided to the data learning unit 2310 as additional learning data.

일 예로, 도 11을 참조하면, 서버(2000)는 데이터의 결과를 판단할 수 있는 모델을 학습할 수 있으며, 디바이스(1000)는 서버(2000)에 의해 학습된 모델을 이용하여 신규 데이터의 분석 결과(주행도로 종류 또는 운전 습관 결과)를 얻을 수 있다.As an example, referring to FIG. 11 , the server 2000 may learn a model for determining the result of data, and the device 1000 may analyze new data using the model learned by the server 2000 . Results (road type or driving habits results) can be obtained.

이 경우, 디바이스(1000)의 데이터 인식부(1320)는 전술한 데이터 인식부(2320)의 기능을 수행할 수 있다. 디바이스(1000)의 데이터 인식부(1320)의 각 구성요소들은 전술한 데이터 인식부(2320)의 각 구성요소들의 기능을 수행할 수 있다. In this case, the data recognition unit 1320 of the device 1000 may perform the above-described function of the data recognition unit 2320 . Each component of the data recognition unit 1320 of the device 1000 may perform a function of each component of the data recognition unit 2320 described above.

또는, 디바이스(1000)의 인식 결과 제공부(1320-4)는 서버(2000)에 의해 학습된 모델을 서버(2000)로부터 수신하고 메모리(1100)에 저장하며, 저장된 모델을 이용하여 신규 데이터의 분석결과(주행도로 종류 또는 운전 습관 결과)를 얻을 수 있다.Alternatively, the recognition result providing unit 1320-4 of the device 1000 receives the model learned by the server 2000 from the server 2000, stores it in the memory 1100, and uses the stored model to generate new data. Analysis results (road type or driving habits results) can be obtained.

디바이스(1000)는 도 10과 관련하여 설명한 학습된 모델을 이용하여 데이터를 분석하는 방법을 동일하게 수행할 수 있다.The device 1000 may perform the same method of analyzing data using the learned model described with reference to FIG. 10 .

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

1: 퍼스널 모빌리티 주행정보 감별 시스템
1000: 디바이스
2000: 서버1: Personal Mobility Driving Information Discrimination System
1000: device
2000: Server

Claims

acquiring training vibration data and training image data sensed through a device attached to personal mobility;
pre-processing the acquired training vibration data and training image data;
learning a model using the pre-processed training vibration data and training image data; and
The process of analyzing the driving information of the driving mobility based on the learned model based on the new vibration data and the new image data sensed through the device;
The driving information of the driving mobility is characterized in that it includes driving road information of the driving mobility,
A control method for a personal mobility driving information identification system.

According to claim 1,
The pre-processed training vibration data, characterized in that the training vibration image data converted into an image using an image module,
A control method for a personal mobility driving information identification system.

According to claim 1,
The sensed training vibration data and training image data, characterized in that it includes vibration data and image data sensed by mobility where an accident occurred while driving,
A control method for a personal mobility driving information identification system.

a communication unit for receiving training vibration data and training image data sensed through a device attached to personal mobility; and
Pre-process the obtained training vibration data and training image data, learn a model using the pre-processed training vibration data and training image data, and apply the new vibration data and new image data detected through the device to the learned model Includes; a control unit that analyzes driving information of the driving mobility based on the
The driving information of the driving mobility is characterized in that it includes driving road information of the driving mobility,
Personal mobility driving information identification system.

5. The method of claim 4,
The pre-processed training vibration data, characterized in that the training vibration image data converted into an image using an image module,
Personal mobility driving information identification system.

5. The method of claim 4,
The sensed training vibration data and training image data, characterized in that it includes vibration data and image data sensed by mobility where an accident occurred while driving,
Personal mobility driving information identification system.