KR20210029170A - Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof - Google Patents

Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof Download PDF

Info

Publication number
KR20210029170A
KR20210029170A KR1020210023732A KR20210023732A KR20210029170A KR 20210029170 A KR20210029170 A KR 20210029170A KR 1020210023732 A KR1020210023732 A KR 1020210023732A KR 20210023732 A KR20210023732 A KR 20210023732A KR 20210029170 A KR20210029170 A KR 20210029170A
Authority
KR
South Korea
Prior art keywords
image
information
mobility
unit
user
Prior art date
Application number
KR1020210023732A
Other languages
Korean (ko)
Other versions
KR102470699B1 (en
Inventor
조영빈
Original Assignee
조영빈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조영빈 filed Critical 조영빈
Priority to KR1020210023732A priority Critical patent/KR102470699B1/en
Publication of KR20210029170A publication Critical patent/KR20210029170A/en
Application granted granted Critical
Publication of KR102470699B1 publication Critical patent/KR102470699B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
    • B62K3/00—Bicycles
    • B62K3/002—Bicycles without a seat, i.e. the rider operating the vehicle in a standing position, e.g. non-motorized scooters; non-motorized scooters with skis or runners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62H—CYCLE STANDS; SUPPORTS OR HOLDERS FOR PARKING OR STORING CYCLES; APPLIANCES PREVENTING OR INDICATING UNAUTHORIZED USE OR THEFT OF CYCLES; LOCKS INTEGRAL WITH CYCLES; DEVICES FOR LEARNING TO RIDE CYCLES
    • B62H5/00—Appliances preventing or indicating unauthorised use or theft of cycles; Locks integral with cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J3/00—Acoustic signal devices; Arrangement of such devices on cycles
    • B62J3/10—Electrical devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B62J45/40—Sensor arrangements; Mounting thereof
    • B62J45/41—Sensor arrangements; Mounting thereof characterised by the type of sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J50/00—Arrangements specially adapted for use on cycles not provided for in main groups B62J1/00 - B62J45/00
    • B62J50/20—Information-providing devices
    • B62J50/21—Information-providing devices intended to provide information to rider or passenger
    • B62J50/22—Information-providing devices intended to provide information to rider or passenger electronic, e.g. displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62M—RIDER PROPULSION OF WHEELED VEHICLES OR SLEDGES; POWERED PROPULSION OF SLEDGES OR SINGLE-TRACK CYCLES; TRANSMISSIONS SPECIALLY ADAPTED FOR SUCH VEHICLES
    • B62M6/00—Rider propulsion of wheeled vehicles with additional source of power, e.g. combustion engine or electric motor
    • B62M6/40—Rider propelled cycles with auxiliary electric motor
    • B62M6/45—Control or actuating devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0225—Monitoring making use of different thresholds, e.g. for different alarm levels

Abstract

The present invention relates to a safety management system for a mobility terminal. More particularly, the present invention relates to a personal mobility safety management system capable of image storage and object recognition, which supports a user to drive safely by installing a camera on one side of a mobility terminal to detect a traffic object, sends real-time traffic information to a server so that it can be used for precise maps, and provides mileage according to the user′s safe driving.

Description

영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 안전 관리 시스템 및 이의 제어방법{Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof}Safety Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof

본 발명은 퍼스널 모빌리티 단말의 안전 관리 시스템에 관한 것이다. 보다 상세하게는 모빌리티 단말의 일 측면에 카메라를 장착하여 교통 객체를 탐지하여 사용자가 안전 운행을 하도록 지원하고, 실시간 교통 정보를 서버로 보내서 정밀 지도에 활용할 수 있도록 하며, 교통 사고가 난 경우에는 카메라로 촬영한 영상으로 사고 원인 파악을 할 수 있도록 하며, 사용자의 안전 운행에 따라 마일리지를 제공하는 영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 안전 관리 시스템에 관한 것이다.The present invention relates to a safety management system for a personal mobility terminal. More specifically, a camera is mounted on one side of the mobility terminal to detect traffic objects to support the user to drive safely, and to send real-time traffic information to the server so that it can be used for precise maps, and in case of a traffic accident, the camera The present invention relates to a personal mobility safety management system that enables identification of the cause of an accident with an image captured with a user, and enables image storage and object recognition to provide mileage according to the user's safe driving.

일반적으로, 퍼스널 모빌리티 장비는 핸들 조작형 주행기기로서 패달보조방식(PAS, Pedal Assist System) 혹은 스로틀(Throttle)방식의 전기자전거, 전동 스쿠터(혹은 전기 오토바이), 전동 킥보드와 같이 핸들을 이용하여 주행을 조작하는 주행기기를 일컫는다. 퍼스널 모빌리티 장비는 레저 문화의 발달에 따라 그 사용 인구 층이 폭넓게 형성되고 있으나, 그 보급 확대와 더불어 상기 퍼스널 모빌리티 장비의 이용자가 증가함에 따라 주행 중 추돌에 의한 사고가 빈번하게 발생하고 있다. 특히, 스마트기기 에 대한 접근성이 높은 젊은층을 중심으로 전동 킥보드와 전기 자전거의 이용량이 증대되고 있다. In general, personal mobility equipment is a steering wheel-operated driving device. Refers to a driving device that operates. Personal mobility equipment has a wide range of users according to the development of leisure culture, but as the spread of the personal mobility equipment increases and the number of users of the personal mobility equipment increases, accidents caused by collisions while driving are frequently occurring. In particular, the use of electric kickboards and electric bicycles is increasing, mainly among young people with high access to smart devices.

한편, 모빌리티의 한 종류인 전동 킥보드는 법규상 원동기로 구분되어 차도에서 운행해야 하므로 탑승자의 안전 사고를 미연에 방지할 수 있는 안전장치가 필수임에도 불구하고 시중에 판매되고 있는 제품은 이에 대한 대응수단이 없는 실정이다. 특히, 전동 킥보드는 최대 시속이 25km에 도달할 정도로 그 속도가 빠르나, 전방을 주시하며 운행하다보니 사용자가 측면 및 후방에서 접근하는 물체들을 일일이 확인하기 어렵고, 바퀴가 작아 도로상의 작은 돌출 물체에도 충격에 의한 낙상 사고에 노출될 수 있는 문제가 있다.On the other hand, electric kickboards, which are a type of mobility, are classified as prime movers according to laws and must be operated on the roadway, so even though safety devices to prevent safety accidents of occupants in advance are essential, products on the market are countermeasures. There is no situation. In particular, the electric kickboard is fast enough to reach a maximum speed of 25km per hour. There is a problem that can expose you to accidents caused by falls.

기존 한국공개특허 제2000-0041233호(2000.07.15.)는 자동차의 기어 상태에 따라 레이더 및 초음파 센서를 이용 하여 자동차 주위의 장애물을 감지하여 운전자에게 경고함으로써 안전하게 자동차를 운전할 수 있도록 하는 레이더 및 초음파 센서를 이용한 장애물 근접 경보 장치 및 방법에 관한 것으로, 차량 전방의 장애물을 탐지하는 다수개의 초음파감지센서들, 상기 차량의 후방의 장애물을 탐지하는 다수개의 초음파감지센서들; 상기 차량의 측면에 부착되어 상기 차량 측면으로부터 수십 미터 떨어진 곳으로부터 접근하는 물체를 탐지하는 복수의 레이 더들, 상기 차량 운전자에게 장애물 감지 유무를 알려주는 알림장치; 상기 차량의 기어 상태에 따라 상기 초음 파감지센서들과 상기 레이더를 선택적으로 작동시켜 장애물을 탐지하여 상기 알림장치를 통해 감지유무를 운전 자에게 알려주는 마이컴제어부로 구성한 것을 기술적 특징으로 한다.Existing Korean Patent Application Publication No. 2000-0041233 (2000.07.15) detects obstacles around the vehicle using radar and ultrasonic sensors according to the state of the vehicle's gear and warns the driver to safely drive the vehicle. An obstacle proximity warning apparatus and method using a sensor, comprising: a plurality of ultrasonic sensors for detecting an obstacle in front of a vehicle, a plurality of ultrasonic sensors for detecting an obstacle at a rear of the vehicle; A plurality of radars attached to the side of the vehicle to detect an object approaching from a distance of several tens of meters from the side of the vehicle, and a notification device notifying the vehicle driver of whether or not an obstacle is detected; It is characterized in that it comprises a microcomputer control unit that detects an obstacle by selectively operating the ultrasonic wave detection sensors and the radar according to the state of the vehicle's gear, and informs the driver of the presence or absence of detection through the notification device.

또한 등록특허공보 제10-2141299호 특허에 따르면 모빌리티의 전방에 장착되어 주행 시 전방에 위치한 물체를 감지하는 카메라모듈과, 카메라 모듈로부터 감지된 객체 정보를 수신하여 객체의 이미지 정보를 미리 학습화하는 과정을 거쳐 객체을 등록처리하고, 인식 대상 객체로 설정된 객체이 모빌리티의 전방에 감지될 경우 사용자가 청각적으로 인지할 수 있도록 경보음을 출력하도록 하고 있다. In addition, according to Patent Registration No. 10-2141299, a camera module that is mounted in the front of the mobility and detects an object located in the front when driving, and the image information of the object is learned in advance by receiving object information detected from the camera module. The object is registered through the process, and when an object set as the object to be recognized is detected in front of the mobility, an alarm sound is output so that the user can audibly recognize it.

하지만, 사고는 매우 짧은 시간 내에 이뤄지기 때문에 측면 및 후방에서 갑자기 접근하는 하는 물체 및 사람을 인지하지 못한 상태에서 사용자가 단순히 경보음만으로 정지하지 못할 수도 있어서 완전하게 사고를 방지할 수 없는 문제가 있다. 또한 영상 인식이 완전하지 않는 경우 오동작에 의해 발생하는 사고 역시 배제할 수 없다.However, since an accident occurs within a very short time, there is a problem that the user may not be able to stop by simply an alarm sound without recognizing an object or person approaching suddenly from the side or rear, so that the accident cannot be completely prevented. . In addition, if image recognition is not complete, accidents caused by malfunction cannot be excluded.

또한 사고가 나더라도 사고 원인을 판단하기 위한 증거물로 교통 상황의 영상을 촬영하고 기록하는 블랙박스 기능을 제공하는 제품이 존재하지 않으며, 다른 용도의 촬영 장치를 임의로 부착하여 사용하고 있는 실정이다In addition, even if an accident occurs, there is no product that provides a black box function that shoots and records a video of a traffic situation as evidence to determine the cause of the accident, and a photographing device for other purposes is arbitrarily attached and used.

이상에서 선행기술들을 검토한 결과, 대부분의 선행기술들은 주행 중인 자전거에 접근하는 사물, 자동차, 사람, 오토바이 등이 감지되면 스피커로 경보를 출력하는 구성, 자동차나 기타 장애물이 운전자의 자동차와 근접되어 접촉 사고가 우려될 때 운전자에게 경보를 제공하거나 사용자의 리액션에 따른 제동력을 유도하는 구성에 관한 기술적 개념만을 기재하고 있을 뿐이다.As a result of reviewing the prior art above, most of the prior art is a configuration that outputs an alarm through a speaker when an object, car, person, motorcycle, etc. approaching a running bicycle is detected, and a car or other obstacle is close to the driver's car. It only describes the technical concept of a configuration that provides an alert to the driver when there is a concern about a contact accident or induces the braking force according to the user's reaction.

이에 따라, 본 발명은 전동 킥보드뿐만 아니라 전동휠, 자전거, 스쿠터 등 1인 탑승용 모빌리티의 주행중 사고 위험요소를 미리 인지하여 이를 운행자에게 알려주면서 속도를 줄일 수 있고 주행 중에는 다양한 교통 관련 객체 정보를 업데이트하며, 위급 상황에는 영상을 저장할 뿐만 아니라 사용자의 운행 습관에 따라 마일리지 등으로 서비스를 차별화하는 원격 관리 시스템을 제공하여, 상술한 문제점을 최소화할 수 있도록 하는 것이다. 따라서 상기 선행기술 들은 본 발명의 이러한 기술적 특징을 기재하거나 시사하고 있지 않다.Accordingly, the present invention recognizes in advance the risk factors of accidents during driving of mobility for single passengers such as electric wheels, bicycles, and scooters, as well as electric kickboards, to reduce speed while notifying them to the operator, and updates various traffic-related object information while driving. In addition, in an emergency situation, it is possible to minimize the above-described problems by providing a remote management system that not only stores images but also differentiates services by mileage according to the user's driving habits. Therefore, the prior art does not describe or suggest such a technical feature of the present invention.

한국공개특허 제2000-0041233호(2000.7.15. 공개, 발명의 명칭: 레이더 및 초음파 센서를 이용한 장애물 근접경보 장치 및 방법)Korean Patent Publication No. 2000-0041233 (published on July 15, 2001, title of invention: obstacle proximity warning device and method using radar and ultrasonic sensor) 대한민국 등록특허공보 제10-2201540호(2021.1.11 공고, 발명의 명칭: 전동킥보드의 안전 보조 장치 및 그 제어방법)Republic of Korea Patent Publication No. 10-2201540 (announcement on 11/11/202, title of invention: safety auxiliary device for electric kickboard and control method thereof) 대한민국 등록특허공보 제10-2141299호(2020.7.29 공고, 발명의 명칭: 퍼스널 모빌리티 사고위험 감지 시스템)Republic of Korea Patent Publication No. 10-2141299 (announcement on July 29, 202, title of invention: Personal mobility accident risk detection system)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 다른 이동수단에 비해 안전장치가 구비되지 않거나, 미비한 퍼스널 모빌리티에 전방 및 측방, 혹은 후방에서 접근하는 객체을 인지하고 이에 대한 사고 위험도를 IoT 기기를 통해 사용자에게 알려주거나 위급 상황일 경우 퍼스널 모빌리티의 속도를 줄일 수 있는 시스템을 제공 하여 탑승자의 안전사고를 방지할 수 있도록 하는 퍼스널 모빌리티 안전 관리 시스템을 제공하는 데 그 목적이 있다.The present invention was conceived to solve the above problems, and in particular, it recognizes an object approaching from the front, the side, or the rear to a personal mobility that does not have a safety device or is insufficient compared to other means of transportation, and the risk of an accident is determined by IoT. Its purpose is to provide a personal mobility safety management system that can prevent safety accidents of occupants by notifying users through devices or providing a system that can reduce the speed of personal mobility in case of an emergency.

또한 통상적으로 전방 감지 카메라는 130~160도 정도의 광각을 가지고 있고, 비구면렌즈를 채용한 카메라의 경우 180도 정도의 광각을 가질 수 있으나 선측방, 측방과 후측방, 후방에서 접근하는 객체을 감지할 수 있도록 하는 퍼스널 모빌리티 안전 관리 시스템을 제공하는데 그 목적이 있다.Also, in general, a front detection camera has a wide angle of about 130 to 160 degrees, and a camera employing an aspherical lens can have a wide angle of about 180 degrees. Its purpose is to provide a personal mobility safety management system that enables it to be used.

또한 주행하면서 수집하게 되는 영상을 활용하여 사고 후 영상으로 저장하여 법적 분쟁을 최소화하고, 수집된 영상을 분석하여 실시간 교통 정보로 활용할 수 있으면 자율주행 등 차세대 모빌리티 산업 활성화에 도움이 될 수 있다.In addition, if the images collected while driving are stored as images after an accident to minimize legal disputes, and the collected images can be analyzed and used as real-time traffic information, it can be helpful in activating the next-generation mobility industry such as autonomous driving.

상기 목적을 달성하기 위해 안출된 본 발명에 따른 퍼스널 모빌리티 안전 관리 시스템은 퍼스널 모빌리티 장비에 장착되어 주행 시 전방 사면에 위치하여 물체를 감지하는 단수 혹은 복수개의 영상처리부, 영상처리부로부터 감지된 도로 객체 정보를 수신하여 도로 객체의 이미지 정보를 미리 학습화하는 과정을 거쳐 객체을 등록처리하고, 객체로 인식 대상물로 설정된 객체가 모빌리티의 전방, 측방, 후방에 감지될 경우 객체 종류를 판단하고 객체의 거리를 연산하여 모터 속도를 제어할 지 여부를 판단하고 모터제어부에 모터 제어 명령을 전송하는 모빌리티 제어부, 모빌리티 제어부로부터 분석된 결과값에 따른 모터 제어 명령을 모터제어부로 송수신하기 위한 통신모듈로 구성된 모빌리티 단말을 포함할 수 있다. The personal mobility safety management system according to the present invention devised to achieve the above object is mounted on a personal mobility device and located on a front slope during driving to detect an object by a single or multiple image processing units, and road object information detected from the image processing unit. Is received, the object is registered through the process of pre-learning the image information of the road object, and when an object set as an object to be recognized as an object is detected in the front, side, or rear of the mobility, the object type is determined and the distance of the object is calculated. It includes a mobility terminal consisting of a mobility control unit that determines whether to control the motor speed and transmits a motor control command to the motor control unit, and a communication module configured to transmit and receive a motor control command according to a result value analyzed from the mobility control unit to the motor control unit. can do.

또한 카메라의 광각 부족으로 사각지대가 발생하는 문제점을 해결하기 위하여 모빌리티 단말의 전면에 광각을 갖는 비구면렌즈로 구성된 영상 촬영용 카메라 모듈을 단수개 혹은 복수개를 좌/우측방 사면을 갖는 기구물에 부착하여, 상기 퍼스널 모빌리티 장비의 주행하고자 하는 전방 혹은 측방 및 후방의 경로상태 또는 객체을 촬영함으로써, 촬영된 영상을 통해 노면의 상태 또는 객체을 미리 파악함으로써 사고 위험을 감소시킬 수 있는 퍼스널 모빌리티 안전 관리 시스템을 제공하는 데 그 목적이 있다.In addition, in order to solve the problem of blind spots due to lack of wide angle of the camera, a single or plural number of camera modules for image capture composed of aspherical lenses having a wide angle are attached to a device having left/right side slopes on the front of the mobility terminal. Provides a personal mobility safety management system capable of reducing the risk of accidents by preliminarily grasping the road surface conditions or objects through the captured images by photographing the path conditions or objects in the front, side, and rear of the personal mobility equipment to be driven. There is a purpose.

또한 본 발명에 따른 퍼스널 모빌리티 안전 관리 시스템은 영상처리부로부터 감지된 영상 정보를 수신하여 메모리에 저장하고 사고 이벤트가 발생할 경우 전체 영상이 아닌 이벤트 전후 영상을 별도로 자동 생성 저장하고 이를 영상 서버로 전송하는 영상처리부, 상기 영상 서버에 저장된 이벤트 영상을 보험사와 경찰청의 요구에 따라 전송할 수 있는 영상 서버를 포함할 수 있다.In addition, the personal mobility safety management system according to the present invention receives the image information detected from the image processing unit and stores it in the memory, and when an accident event occurs, a separate image before and after the event is automatically generated and stored and transmitted to the image server. The processing unit may include an image server capable of transmitting the event image stored in the image server according to a request of an insurance company and a police agency.

또한 본 발명에 따른 퍼스널 모빌리티 안전 관리 시스템은 영상처리부로부터 감지된 영상 정보를 수신하여 각 객체의 이미지 정보를 미리 학습화하는 과정을 거쳐 교통 객체, 즉 교통 객체과 교통 시설물, 가로수 등의 동적 정보를 등록 처리하고 GPS 위치정보와 함께 관리하는 동적정보 처리부와 이 정보를 외부 플랫폼으로 전송하여 동적 교통 정보로 저장하는 퍼스널 모빌리티 안전 관리 시스템을 포함할 수 있다.In addition, the personal mobility safety management system according to the present invention registers dynamic information such as traffic objects, that is, traffic objects, traffic facilities, street trees, etc. through the process of receiving image information detected from the image processing unit and pre-learning image information of each object. It may include a dynamic information processing unit that processes and manages together with GPS location information, and a personal mobility safety management system that transmits this information to an external platform and stores it as dynamic traffic information.

본 발명에 의하면 모빌리티의 일측면에 객체감지장치를 탑재하여 운행 중 전방에 객체이 감지되면 사용자의 스마트기기를 통해 경보음과 객체 정보가 출력되도록 하여 사용자가 수동으로 운행방향과 운행속도를 제어하는 기존의 시스템보다 모터를 자동으로 제어하여 운행 속도를 줄임으로써 안전사고를 미연에 방지할 수 있도록 하는데 그 효과가 있다.According to the present invention, an object detection device is mounted on one side of mobility, and when an object is detected in front of the vehicle, an alarm sound and object information are output through the user's smart device, so that the user manually controls the driving direction and speed. It is effective in preventing safety accidents in advance by reducing the running speed by automatically controlling the motor rather than the system of

또한, 본 발명에 의한 카메라 영상을 통한 안전 관리 기능은 기존의 초음파 센서를 이용한 객체 감지방법에 비해 인식대상체의 종류와 특성을 명확히 파악할 수 있어 이에 따른 위험상황을 정확히 인지할 수 있도록 하는데 그 효과가 있다.In addition, the safety management function through the camera image according to the present invention can clearly grasp the type and characteristics of the object to be recognized compared to the conventional method for detecting an object using an ultrasonic sensor, so that the resulting danger situation can be accurately recognized. have.

또한, 본 발명에 의한 영상처리부 및 영상 서버는 교통 사고가 발생할 경우 이벤트 영상을 원격지에 편리하게 전송함으로써, 사고 원인 분석에 도움이 됨으로써 법적 분쟁을 최소화하는데 그 효과가 있다.In addition, the image processing unit and the image server according to the present invention are effective in minimizing legal disputes by helping to analyze the cause of an accident by conveniently transmitting an event image to a remote location when a traffic accident occurs.

또한, 본 발명에 의한 퍼스널 모빌리티의 카메라를 통하여 실시간으로 수집되는 동적정보 처리부와 외부 플랫폼은 실시간 위치에 따른 다양한 교통 객체 정보를 수집하여 정밀지도 생성함으로써 네비게이션 서비스, 자율주행차량 서비스 등에 사용할 수 있는 도로 교통 정보 사업에 활용할 수 있는 효과가 있다.In addition, the dynamic information processing unit and the external platform collected in real time through the camera of personal mobility according to the present invention collect various traffic object information according to the real-time location and generate a precision map. There is an effect that can be used in traffic information business.

또한, 본 발명에 의한 퍼스널 모빌리티의 카메라를 통하여 실시간으로 수집되는 영상을 사고 이벤트가 발생했을 때와, 영상 정보를 분석하여 실시간 위치 기반의 교통 객체 텍스트 정보로 전환하여 해당 서버로 각각 전송하기 때문에 데이터 전송량을 줄일 수 있기 때문에 데이터 전송 비용과 전송 트래픽을 과다하게 발생하지 않으므로 경제성을 확보할 수 있는 효과가 있다.In addition, since the video collected in real time through the camera of the personal mobility according to the present invention is converted into real-time location-based traffic object text information by analyzing the video information and when an accident event occurs, it is transmitted to the corresponding server. Since the amount of transmission can be reduced, data transmission cost and transmission traffic are not generated excessively, so there is an effect of securing economical efficiency.

본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템의 모빌리티 단말 구성도이다.
도 2는 본 발명의 바람직한 실시예에 따른 모빌리티 단말에 장착된 단수 카메라 내지 복수 카메라의 배치에 따른 광각 범위를 나타내는 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 후방까지 감지 범위를 넓히기 위한 카메라 배치도를 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템의 전체 구성도이다.
도 5는 본 발명의 바람직한 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템의 제어방법을 도시한 순서도이다.The above and other objects and new features of the present invention will become more apparent from the description of the present specification and the accompanying drawings.
1 is a block diagram of a mobility terminal of a personal mobility safety management system according to a preferred embodiment of the present invention.
2 is a diagram illustrating a wide-angle range according to an arrangement of a single camera or a plurality of cameras mounted on a mobility terminal according to a preferred embodiment of the present invention.
3 is a view showing a camera arrangement for extending the detection range to the rear according to a preferred embodiment of the present invention.
4 is an overall configuration diagram of a personal mobility safety management system according to a preferred embodiment of the present invention.
5 is a flowchart illustrating a control method of a personal mobility safety management system according to a preferred embodiment of the present invention.

먼저, 본 발명에 따른 퍼스널 모빌리티 안전 관리 시스템은 객체로 인식 대상물로 설정된 객체가 모빌리티의 전방, 측방, 후방에 감지될 경우 객체 종류를 판단하고 객체의 거리를 연산하여 모터 속도를 제어할 지 여부를 판단하고 모터제어부에 모터 제어 명령을 전송하는 모빌리티 제어부, 모빌리티 제어부로부터 분석된 결과값에 따른 모터 제어 명령을 모터제어부로 송수신하기 위한 통신모듈로 구성된 모빌리티 단말에 대해 도 1 내지 도 3에 따라 설명한다.First, the personal mobility safety management system according to the present invention determines whether or not to control the motor speed by determining the object type and calculating the distance of the object when an object set as an object to be recognized as an object is detected in the front, side, or rear of the mobility. A mobility terminal comprising a mobility control unit for determining and transmitting a motor control command to the motor control unit, and a communication module for transmitting and receiving a motor control command according to a result value analyzed from the mobility control unit to the motor control unit will be described with reference to FIGS. 1 to 3. .

도 1 을 참조하면, 본 발명의 바람직한 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템(400)의 모빌리티 단말(100)은 카메라모듈(120)으로 부터 수신된 영상을 처리하는 영상처리부(111), 배터리로부터 전력을 각 전자 부품에 제공하는 전원부(115), 모터(130)를 가속, 감속 정지하도록 제어하는 모터 제어부(113), 외부 및 내부의 각 부분과 통신을 송수신하는 통신부(114), 위성으로부터 모빌리티 제어부(112), 위성 측위 혹은 기지국 정보, 실내 측위정보 등의 정보를 통해 현재 위치를 파악하는 위치정보수신부(116), 사용자에게 경보를 알리기 위한 스피커(117), 모빌리티 단말(100)의 외부 충격 및 넘어짐을 감지하거나 속도 변화를 감지하는 가속도센서, 상기 위치정보수신부(116)에 신호가 없을 경우 지자기신호를 감지하는 지자기센서, 이동 및 회전을 감지하는 자이로센서 등으로 구성된 센서부(119)를 포함하여 구성된다.Referring to FIG. 1, the mobility terminal 100 of the personal mobility safety management system 400 according to a preferred embodiment of the present invention includes an image processing unit 111 for processing an image received from the camera module 120, and a battery. A power supply unit 115 that provides electric power to each electronic component, a motor control unit 113 that controls acceleration and deceleration to stop the motor 130, a communication unit 114 that transmits and receives communication with external and internal parts, and mobility from a satellite. The control unit 112, the location information receiving unit 116 to determine the current location through information such as satellite positioning or base station information, indoor positioning information, etc., a speaker 117 to notify the user of an alarm, the external impact of the mobility terminal 100 And an acceleration sensor that detects a fall or a change in speed, a geomagnetic sensor that detects a geomagnetic signal when there is no signal from the location information receiving unit 116, a gyro sensor that detects movement and rotation, etc. It consists of including.

상기 카메라 모듈(120)은 상기 모빌리티 단말(100)의 전방에 장착되어 주행 시 전방에 위치한 객체를 인식할 수 있도록 하고, 촬영된 영상 정보는 상기 영상처리부(111)로 전송된다.The camera module 120 is mounted in front of the mobility terminal 100 so as to recognize an object located in the front when driving, and the photographed image information is transmitted to the image processing unit 111.

상기 영상처리부(111)은 미리 객체의 이미지 정보를 미리 학습화하는 과정을 거쳐 도로 상의 이동체, 교통 표지판, 신호등, 각종 도로 시설물 등을 등록처리하고, 등록처리된 인식 대상 객체들이 모빌리티 단말(100)의 전방, 측방, 후방에 감지될 경우 객체 종류 정보와 객체의 이동 속도와 이동 방향을 상기 모빌리티 제어부(112)로 전송하도록 함으로써 사용자에게 위험상황을 알릴 수 있도록 한다.The image processing unit 111 registers and processes moving objects, traffic signs, traffic lights, and various road facilities on the road through a process of pre-learning the image information of the object in advance, and the registered objects to be recognized are the mobility terminal 100 When detected in the front, side, or rear of the object, the object type information, the moving speed and the moving direction of the object are transmitted to the mobility control unit 112 so that the user can be notified of a dangerous situation.

일 실시예로, 영상처리부(111)는 기계학습용 엔진을 이용하여 객체 정보를 학습화할 수 있으며, 특히, 기계 학습 과정인 라벨링(labeling) 과정을 통해 전방에 위치한 객체 정보를 등록처리 할 수 있다. 여기서, 라벨링 과정이란, 인식된 이미지에서 인접한 영역끼리 그룹화하는 작업으로, 인접 영역끼리 동일한 라벨 번호를 매겨 그룹화하는 작업을 뜻한다.In an embodiment, the image processing unit 111 may learn object information using a machine learning engine, and in particular, may register and process object information located in front through a labeling process, which is a machine learning process. Here, the labeling process refers to an operation of grouping adjacent regions in a recognized image, and grouping adjacent regions by assigning the same label number to each other.

보다 구체적으로, 영상처리부(111)는 카메라모듈(120)에 의해 촬영된 영상 이미지에서 화소 값이 존재하는 지점을 탐색하고, 기 라벨링된 화소인지를 확인하는 과정을 거친다. 만약, 라벨링된 과정을 거치지 않은 이미지라고 판단되면, 저장소에 현재 좌표(x,y 좌표)를 저장한다. 이후, 인접한 영역에 위치한 이미지의 모든 화소에 고유번호가 매겨졌는지를 확인하여 더 이상 그룹화할 행렬이 없을 때까지 상기 과정을 반복수행한다. More specifically, the image processing unit 111 searches for a point where a pixel value exists in the image image captured by the camera module 120 and checks whether a pixel is already labeled. If it is determined that the image has not been labeled, the current coordinates (x,y coordinates) are stored in the storage. Thereafter, it is checked whether all pixels of the image located in the adjacent area are assigned unique numbers, and the above process is repeated until there are no more matrixes to be grouped.

상기 영상처리부(111)는 상기 과정을 거쳐 반복 학습되어 인식된 이미지 정보를 토대로 기 저장된 객체 정보와 비교하여 일치도를 분석하고, 일치도가 설정된 수치를 초과하면 일치성이 높다고 판단하고 객체의 종류, 형태를 포함하는 객체 정보를 검출하고 이어지는 이미지를 계속적으로 반복 처리하여 객체의 이동 좌표를 파악하여 객체의 이동 방향과 이동 속도를 계산함으로써 객체의 종류, 객체의 이동 벡터 정보를 모빌리티 제어부(112)로 전송한다.The image processing unit 111 analyzes the degree of correspondence by comparing it with previously stored object information based on the image information recognized by repetitive learning through the above process, and determines that the degree of correspondence is high when the degree of correspondence exceeds a set value, and the type and shape of the object. Detects object information including, and continuously repeats the subsequent image to determine the moving coordinates of the object and calculates the moving direction and the moving speed of the object to transmit the type of the object and the motion vector information of the object to the mobility control unit 112 do.

상기 모빌리티 제어부(112)는 상기 영상처리부(111)에서 전송된 객체 종류 및 이동 벡터 정보를 통해서 모빌리티 단말(100)로 접근하는 객체로 판단되면 접근 속도에 따라서 모빌리티 단말(100)의 속도를 조절할지 여부를 판단하게 된다. 만약 접근하는 객체와 모빌리티 단말(100)의 거리가 근접 거리이고, 속도가 빠를 경우 상기 모터제어부(113)에 모터(130) 속도를 제어하여 감속 혹은 정지를 시킬 수 있다. 단, 후방, 후측방에서 객체가 접근할 경우에는 정지할 경우 위험할 수 있으므로 무조건적인 감속 혹은 정지보다 "후방 객체 조심하세요", "좌측 객체 조심하세요"와 같이 사용자에게 스피커(117)를 통해서 음성으로 접근 방향을 알려줌으로써 사용자가 방향을 전환하거나 필요할 경우 모터(130)의 속도를 올리는 방법으로 할 수도 있다. If it is determined that the mobility control unit 112 is an object approaching the mobility terminal 100 through the object type and movement vector information transmitted from the image processing unit 111, whether to adjust the speed of the mobility terminal 100 according to the access speed. It will be judged whether or not. If the distance between the approaching object and the mobility terminal 100 is a close distance and the speed is high, the motor control unit 113 may control the speed of the motor 130 to decelerate or stop. However, if an object approaches from the rear or rear, it may be dangerous if it stops. Therefore, rather than an unconditional deceleration or stop, a voice through the speaker 117 is provided to the user such as "Be careful with the rear object" and "Be careful with the left object". By notifying the approaching direction, the user may change the direction or, if necessary, increase the speed of the motor 130.

도 2 내지 도 3을 참조하면, 본 발명의 바람직한 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템(400)의 모빌리티 단말(100)에 포함된 상기 카메라 모듈(120)은 전방, 측방, 후방에 위치하거나 접근하는 객체의 다각적인 형태 인식이 가능하도록 상기 모빌리티 단말(100)의 특정 위치에 복수 개 설치될 수 있다. 또한, 상기 카메라 모듈(120)은 객체의 위치 및 크기, 주행 중 노면의 상태에 따라 카메라 앵글을 조정하여 촬영할 수 있고, 이 영상 정보는 영상처리부(111)에 전송되어 객체를 인식하게 된다.2 to 3, the camera module 120 included in the mobility terminal 100 of the personal mobility safety management system 400 according to a preferred embodiment of the present invention is located in the front, side, or rear. A plurality of pieces may be installed at a specific location of the mobility terminal 100 to enable recognition of multiple types of objects. In addition, the camera module 120 may take a picture by adjusting the camera angle according to the position and size of the object and the condition of the road surface while driving, and this image information is transmitted to the image processing unit 111 to recognize the object.

단수 개의 카메라모듈(120)보다 복수개의 카메라모듈(120)을 사용할 경우 도2 내지 도3에서 보이는 바와 같이 사면각 c를 갖도록 카메라를 배치할 경우 보다 넓은 광각을 갖게 되므로 좌우 측방, 상하방으로 3차원으로 감지 범위를 넓힐 수 있으며, 도 3과 같이 사면각이 더 좁게 되면 후측방까지 범위를 넓힐 수 있다. If a plurality of camera modules 120 are used rather than a single camera module 120, as shown in Figs. 2 to 3, when the cameras are arranged to have a slope angle c, a wider wide angle is obtained. As shown in FIG. 3, the detection range can be widened, and when the slope angle becomes narrower, the range can be widened to the rear side.

여기서 실질적으로 모빌리티 단말(100)이 갖는 유효광각 e는 다음과 같다Here, the effective wide angle e of the mobility terminal 100 is as follows.

e[˚] = a[˚] + b[˚] + 2d[˚] - c[˚]e[˚] = a[˚] + b[˚] + 2d[˚]-c[˚]

여기서, a와 b는 각각의 카메라모듈(120)이 갖는 광각이며, d는 180도에서 카메라모듈의 광각을 뺀 측면의 여분의 각도이다.Here, a and b are the wide angles of each camera module 120, and d is the extra angle of the side surface minus the wide angle of the camera module from 180 degrees.

본 발명에 따른 퍼스널 모빌리티 안전 관리 시스템은 상기 센서부(119)를 통하여 감지된 사고 이벤트가 발생할 경우 전체 영상이 아닌 이벤트 전과 후의 설정된 시간 동안의 영상을 별도 파일로 자동 생성하여 데이터저장부(118)에 별도 저장하는 영상처리부(111), 그리고 이를 원격의 영상 서버로 전송하는 통신부, 상기 영상 서버(420)에 저장된 이벤트 영상을 관리자가 모니터링하거나 보험사의 요구에 따라 전송하는 보험사 영상 서버 플랫폼(430)에 대해 도 1 과 도 4에 따라 설명한다.In the personal mobility safety management system according to the present invention, when an accident event detected through the sensor unit 119 occurs, an image for a set time period before and after the event, not the entire image, is automatically generated as a separate file and the data storage unit 118 An image processing unit 111 separately stored in the image processing unit 111, and a communication unit transmitting the same to a remote image server, an insurance company image server platform 430 that monitors an event image stored in the image server 420 by an administrator or transmits it according to the request of an insurance company. Will be described with reference to FIGS. 1 and 4.

도 1과 도 4에서 본 발명에 따른 퍼스널 모빌리티 안전 관리 시스템은 카메라모듈(120)로부터 촬영된 실시간 영상 정보를 수신하여 객체 인식하는 것 외에 병행하여 상기 데이터저장부(118)에 영상 정보를 저장하고 메모리가 차면 가장 오래된 영상부터 삭제 및 덮어쓰기를 함으로써 메모리 공간을 절약하여 사용한다.In FIGS. 1 and 4, the personal mobility safety management system according to the present invention receives real-time image information captured from the camera module 120 to recognize an object, and stores image information in the data storage unit 118 in parallel. When the memory is full, the oldest video is deleted and overwritten to save memory space.

또한 도 1과 도 4에서 상기 모빌리티 단말(100)의 상기 영상처리부(111)는 촬영된 영상에서 미리 객체의 이미지 정보를 미리 학습화하는 과정을 거쳐 도로 상의 이동체, 교통 표지판, 신호등, 각종 도로 시설물 등의 교통 정보를 상기 위치정보수신부(116)에서 얻어진 위치 정보와 함께 매핑하여 데이터저장부(118)에 저장하고 이 매핑된 정보를 상기 통신부(114)를 통해서 정밀지도 플랫폼(440)에 전송하여 데이터베이스에 기록함으로써 정밀지도 작성에 활용한다.In addition, in FIGS. 1 and 4, the image processing unit 111 of the mobility terminal 100 pre-learns image information of an object from the captured image, Traffic information such as, etc., is mapped with the location information obtained from the location information receiving unit 116 and stored in the data storage unit 118, and the mapped information is transmitted to the precision map platform 440 through the communication unit 114. By recording it in a database, it is used for precise map creation.

지금부터는 본 발명의 일 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템의 제어방법에 대하여 설명한다. 도 5는 본 발명의 일 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템의 제어방법을 도시한 순서도이다.Hereinafter, a method of controlling a personal mobility safety management system according to an embodiment of the present invention will be described. 5 is a flowchart illustrating a control method of a personal mobility safety management system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 퍼스널 모빌리티 안전 관리 시스템의 제어방법은 운행 시작 단계(S501, S502), 센서부 구동 단계(S503, S504), 이벤트 영상 처리 단계(S505, S506), 영상 객체 탐지 단계(S507, S508), 장애물 대응 단계(S509, S510, S511), 교통 정보 수집 단계(S512, S513), 운행 종료 단계(S514, S515, S516, S517, S518, S519)를 포함한다.The control method of the personal mobility safety management system according to an embodiment of the present invention includes a driving start step (S501, S502), a sensor unit driving step (S503, S504), an event image processing step (S505, S506), and an image object detection step. (S507, S508), obstacle response steps (S509, S510, S511), traffic information collection steps (S512, S513), and operation termination steps (S514, S515, S516, S517, S518, S519).

상기 운행 시작 단계에서 사용자가 앱을 구동하고 앱의 단말 선택 기능으로 모빌리티 단말의 QR 스캔, NFC, BLE 등으로 단말 인증하여 락을 여는 단계(S501)와 사용자가 모빌리티 단말의 스로틀 버튼으로 모터를 구동하여 운행하는 단계(S502)를 포함한다.In the operation start step, the user drives the app and opens the lock by authenticating the terminal with QR scan, NFC, BLE, etc. of the mobility terminal using the terminal selection function of the app (S501), and the user drives the motor with the throttle button of the mobility terminal. It includes a step (S502) to operate.

상기 모빌리티 단말(100)이 운행을 시작하면서 가속도 센서, 자이로 센서, 지자기 센서 등으로 구성된 센서부(119)가 구동되어 운행 상태를 센싱하게 된다. 이때 설정된 임계값을 넘어서지 않는 일반적인 주행 상태가 지속(S504)되면 상기 카메라모듈(120)로부터 수신된 영상은 영상처리부(111)에서 파일 형태로 생성되어 데이터저장부(118)에 저장(S507)되며 동시에 영상 객체를 탐지하는 단계(S508)를 포함한다.As the mobility terminal 100 starts to operate, a sensor unit 119 composed of an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc. is driven to sense a driving state. At this time, if the general driving condition that does not exceed the set threshold continues (S504), the image received from the camera module 120 is generated in the form of a file in the image processing unit 111 and stored in the data storage unit 118 (S507). At the same time, it includes the step of detecting the image object (S508).

만약 상기 센서부(119)에서 설정된 임계값을 넘어서는 충격량이 감지(S504)가 되면 상기 모빌리티 단말(100)이 넘어지거나 부딪혀서 사고가 난 것으로 판단하고 상기 영상처리부(111)에서 충격 이벤트가 발생한 시각의 정해진 시간 이전과 이후의 영상으로 별도 파일을 생성하여 데이터저장부(118)에 저장(S505)되며 동시에 상기 통신부(114)를 통하여 이벤트 파일을 영상 서버로 송신(S506)하는 이벤트 영상 처리 단계를 포함한다.If the amount of impact exceeding the threshold value set by the sensor unit 119 is detected (S504), it is determined that an accident has occurred due to the fall or bump of the mobility terminal 100, and the time when the impact event occurs in the image processing unit 111 Including an event image processing step of generating a separate file as an image before and after a predetermined time, storing it in the data storage unit 118 (S505), and simultaneously transmitting the event file to the image server through the communication unit 114 (S506). do.

일단 이벤트 파일이 영상 서버로 올라오면 충격량에 따라 관리자에 경고 메시지를 송출하고 관리자는 영상 내용을 판단하여 사고의 위험 정도를 '경미', '주의', '위험' 등의 단계로 설정하고 각 단계에 따라 정해진 조처를 취할 수 있는데, 특히 사고가 심각한 '위험' 단계일 때는 자동으로 112나 119 등에 위급 상황을 알릴 수 있다. '경미', '주의' 단계일 때는 사용자에게 안전 운행을 요구하는 경고 메시지를 송출할 수 있으며, 경고가 수회 누적된 사용자에게는 마일리지 삭감 혹은 사용 중지를 요구할 수도 있다.Once the event file is uploaded to the video server, a warning message is sent to the manager according to the amount of impact, and the manager judges the video content and sets the level of the risk of the accident to'minor','caution','danger', etc., and each step In particular, when the accident is in a serious'dangerous' stage, it can automatically notify 112 or 119 of the emergency situation. In the'Minor' and'Caution' stages, a warning message requesting safe driving can be sent to the user, and the user who has accumulated several warnings can be requested to reduce mileage or stop using it.

한편, 상기 영상 객체를 탐지(S508)하는 경우 등록된 객체가 일정 속도로 접근해오는 것으로 판단(S509)하는 경우 전방 객체 접근 시에는 모터를 감속하거나 정지하면서 동시에 경고음을 송출(S501)하고, 측방 혹은 후방 객체 접근 시에는 모터를 가속하거나 경고음을 송출(S511)하여 사고 위험을 최소화하는 장애물 대응 단계를 포함한다.On the other hand, when the image object is detected (S508), when it is determined that the registered object is approaching at a constant speed (S509), when the front object is approaching, the motor is decelerated or stopped while simultaneously transmitting a warning sound (S501), and When approaching the rear object, an obstacle response step of minimizing the risk of an accident by accelerating the motor or transmitting a warning sound (S511) is included.

한편, 상기 영상 객체를 탐지하는 단계(S508)에서 객체 접근이 없는 경우에는 도로 상에서 탐지되는 다양한 객체 정보를 상기 위치정보수신부(116)의 정보와 매핑하여 상기 통신부(114)를 통하여 상기 정밀지도 플랫폼(440)으로 위치 기반 영상 객체 정보를 송신(S513)하는 단계를 포함한다.Meanwhile, when there is no object access in the step of detecting the image object (S508), various object information detected on the road is mapped with the information of the location information receiving unit 116, and the precision map platform is performed through the communication unit 114. And transmitting (S513) location-based video object information to (440).

또한, 사용자가 상기 모빌리티 단말(100)을 다 사용하고 정차를 한 후 앱에서 운행 종료 버튼을 누르면(S515) 상기 관제 플랫폼(410)은 사용자의 이용 시간 동안 발생한 충격량, 운행속도, 급정거 횟수, 이전까지의 안전 운행 이력 등으로부터 사용자의 안전 운행 지수를 산출하고, 위험 정도를 복수 개의 등급으로 설정하고 각 등급에 따라 사용자의 마일리지를 더하거나 혹은 빼는 단계(S516)를 포함한다. 특히 안전 운행을 한 사용자의 경우에는 사용자에게 마일리지를 추가 제공하며, 사고가 발생하거나 안전 운행을 하지 않은 낮은 등급일 경우, 사용자 앱에 안전 운행을 요구하는 경고 메시지를 송출할 수 있으며 경고가 수 회 누적된 사용자에게는 마일리지 삭감 혹은 사용을 못하게 차단 조치를 할 수 있다.In addition, when the user finishes using the mobility terminal 100 and stops the vehicle and presses the operation end button in the app (S515), the control platform 410 displays the amount of shock generated during the user's use time, the driving speed, the number of sudden stops, and the transfer. And a step (S516) of calculating the user's safety driving index from the safety driving history until, setting the degree of risk to a plurality of grades, and adding or subtracting the user's mileage according to each grade (S516). In particular, in the case of a user who has been driving safely, additional mileage is provided to the user, and in the case of an accident or a low level that does not operate safely, a warning message requesting safe driving can be sent to the user app and the warning is repeated several times. For accumulated users, mileage reduction or blocking measures can be taken to prevent use.

또한 마일리지 산정이 완료(S516)되면 상기 모빌리티 단말(100)의 카메라모듈(120)이 주차한 장소의 전방, 측방, 후방의 주변 이미지를 촬영하고 상기 관제 플랫폼(410)으로 상기 통신부(114)를 통하여 영상을 전송(S517)하면, 설정된 결제 수단으로 결제가 이뤄지며 이때 상기 산정된 마일리지(S516)의 값으로 할인 받는 단계(S518)를 포함한다. In addition, when the mileage calculation is completed (S516), the camera module 120 of the mobility terminal 100 captures images of the front, side, and rear surroundings of the parked place, and the communication unit 114 is transmitted to the control platform 410. When the image is transmitted through (S517), payment is made with a set payment method, and at this time, a step (S518) of receiving a discount at the value of the calculated mileage (S516).

결제가 완료되면 상기 모빌리티 단말(100)의 락잠금을 수행하면서 운행을 종료하는 단계(S519)를 수행하고, 운행을 종료하지 않을 경우에는 상기 센서부 구동 단계(S504), 이벤트 영상 처리 단계(S505, S506), 영상 객체 탐지 단계(S507, S508), 객체 대응 단계(S509, S510, S511), 교통 정보 수집 단계(S512, S513)를 반복해서 수행하는 것을 포함한다.When the payment is completed, a step (S519) of ending the operation while locking the mobility terminal 100 is performed. If the operation is not terminated, the sensor unit driving step (S504) and the event image processing step (S505) , S506), image object detection steps (S507, S508), object correspondence steps (S509, S510, S511), and traffic information collection steps (S512, S513) are repeatedly performed.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the technical field to which the present invention belongs can make various modifications, changes, and substitutions within the scope not departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100 - 모빌리티 단말 111 - 영상처리부
112 - 모빌리티 제어부 113 - 모터 제어부
114 - 통신부 115 - 전원부
116 - 위치정보수신부 117 - 스피커
118 - 데이터저장부 119 - 센서부
120 - 카메라 모듈 130 - 모터
210 - 객체 310 - 탑승자
400 퍼스널 모빌리티 안전관리 시스템
410 - 관제 플랫폼 420 - 영상 서버
430 - 정밀지도 플랫폼 440 - 인터넷망100-Mobility terminal 111-Image processing unit
112-Mobility control unit 113-Motor control unit
114-Communication section 115-Power section
116-Location information receiver 117-Speaker
118-Data storage unit 119-Sensor unit
120-Camera module 130-Motor
210-Object 310-Passenger
400 Personal Mobility Safety Management System
410-Control platform 420-Video server
430-Precision Map Platform 440-Internet Network

Claims (6)

퍼스널 모빌리티 단말;
상기 모빌리티 단말에 포함되어 주행 중 전방, 측방, 후방의 영상을 촬영하는 카메라 모듈;
상기 카메라 모듈로 촬영된 영상을 저장하는 데이터 저장부와 영상을 분석하여 객체를 탐지하는 영상처리부;
가속도 센서, 자이로 센서, 지자기 센서 등으로 구성되어 교통 사고와 같은 이벤트가 발생한 경우를 감지하는 센서부;
상기 모빌리티 제어부에서 판단한 상황에 따라 모터를 제어하는 모터제어부 혹은 경고 메시지를 송출하는 스피커;
상기 퍼스널 모빌리티 단말에서 생성되는 영상 및 데이터 정보를 외부의 서버와 송수신하는 통신부;
상기 통신부를 통해서 상기 퍼스널 모빌리티 단말의 정보 수집과 제어를 위하여 데이터 정보를 송수신하는 관제 플랫폼;
상기 이벤트가 발생한 경우 해당 이벤트 발생 시점의 전후 영상을 생성하여 저장하는 상기 데이터 저장부와 영상 서버;
위성이나 기지국, 실내 측위 단말로부터 위치 정보를 수신하는 위치정보수신부;
상기 영상처리부에서 탐지한 객체 정보를 시간 정보와 위치정보수신부에서 수신한 위치정보와 함께 매핑하여 저장하는 상기 데이터 저장부와 정밀지도 플랫폼;
상기 모빌리티 단말의 전원부를 제어하고 상기 스피커, 센서부, 위치정보수신부를 제어하거나, 영상처리부에서 탐지된 객체 정보를 분석하여 위험 상황 판단을 하거나 생성된 이벤트 정보와 영상을 저장하기 위하여 데이터 저장부를 제어하고 이 정보를 외부로 송수신하기 위하여 통신부를 제어하는 모빌리티 제어부;
을 포함하는 것을 특징으로 하는 영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 안전 관리 시스템.Personal mobility terminal;
A camera module included in the mobility terminal to capture an image of a front, a side, and a rear while driving;
A data storage unit for storing an image captured by the camera module and an image processing unit for detecting an object by analyzing the image;
A sensor unit configured with an acceleration sensor, a gyro sensor, a geomagnetic sensor, etc. to detect an event such as a traffic accident;
A motor control unit for controlling a motor or a speaker for transmitting a warning message according to a situation determined by the mobility control unit;
A communication unit for transmitting and receiving image and data information generated by the personal mobility terminal with an external server;
A control platform for transmitting and receiving data information to collect and control information of the personal mobility terminal through the communication unit;
The data storage unit and an image server for generating and storing images before and after the event occurrence when the event occurs;
A location information receiver for receiving location information from a satellite, a base station, or an indoor positioning terminal;
The data storage unit and a precision map platform for mapping and storing object information detected by the image processing unit together with time information and location information received from a location information receiving unit;
Controls the power supply of the mobility terminal and controls the speaker, sensor, and location information receiver, or controls a data storage unit to determine a dangerous situation by analyzing object information detected by an image processing unit or to store generated event information and images. And a mobility control unit for controlling the communication unit to transmit and receive this information to and from the outside;
Personal mobility safety management system capable of image storage and object recognition comprising a. 제1항에서,
상기 영상처리부는
상기 카메라 모듈로부터 촬영된 영상을 기계학습용 엔진을 이용하여 미리 학습화하는 과정을 거쳐 객체를 등록처리하고, 인식이 되지 않은 객체인 경우 학습화하는 과정을 거쳐서 도로 상의 이동체, 교통 표지판, 신호등, 각종 도로 시설물 등의 교통 정보를 상기 위치정보수신부에서 얻어진 위치 정보와 탐지된 시간 정보를 함께 매핑하여 상기 데이터저장부에 저장하고, 이 매핑된 정보를 상기 통신부를 통해서 정밀지도 플랫폼에 전송하거나,
인식 대상 객체로 설정된 객체가 감지될 경우 위치정보수신부로부터 수신된 위치정보 및 탐지된 객체 정보와 함께 인식된 객체의 전방, 측방, 후방에 따른 위치 벡터를 계산하여 객체의 이동 속도를 산출하여 모빌리티 제어부로 전송하는 것을
특징으로 하는 영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 안전 관리 시스템.In claim 1,
The image processing unit
The image captured from the camera module is pre-learned using a machine learning engine to register and process the object, and in the case of an object that is not recognized, through the process of learning, moving objects on the road, traffic signs, traffic lights, etc. Traffic information such as road facilities is mapped together with location information obtained from the location information receiving unit and detected time information and stored in the data storage unit, and the mapped information is transmitted to the precision map platform through the communication unit, or
When an object set as the object to be recognized is detected, the mobility control unit calculates the movement speed of the object by calculating the position vector along the front, side, and rear of the recognized object along with the location information received from the location information receiver and the detected object information. To transfer to
Personal mobility safety management system capable of storing images and recognizing objects. 제1항에서,
상기 모빌리티 제어부는
상기 영상처리부로부터 수신된 위치 정보, 객체 정보, 위치 벡터, 이동 속도 정보를 바탕으로 해당 객체가 전방에서 상기 모빌리티 단말로 접근하는지 여부를 판단하여 모터 제어부를 제어하여 모터의 줄이거나 정지시키면서 사용자에게 음성으로 경고를 송출하여 사용자가 방향 전환을 하도록 유도하며,
해당 객체가 측방이나 후방에서 상기 모빌리티 단말로 접근하는지 여부를 판단하여 모터 제어부를 제어하여 모터의 속도를 올리거나 속도를 줄이거나 정지시키면서 사용자에게 음성으로 경고를 송출하여 사용자가 방향 전환을 하거나 속도를 높이도록 유도하는 것을
특징으로 하는 영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 안전 관리 시스템.In claim 1,
The mobility control unit
Based on the position information, object information, position vector, and movement speed information received from the image processing unit, it is determined whether or not the object approaches the mobility terminal from the front, and controls the motor control unit to reduce or stop the motor and provide a voice to the user. By sending out a warning to induce the user to change direction,
It determines whether the object is approaching the mobility terminal from the side or rear, and controls the motor control unit to increase the speed of the motor, reduce the speed, or stop it, and send a warning to the user by voice, so that the user changes direction or speeds up. What induces you to increase
Personal mobility safety management system capable of storing images and recognizing objects. 제1항에서,
상기 카메라 모듈은 상기 모빌리티 단말에 비구면 렌즈를 채택하여 광각의 영상을 수집할 수 있도록 단수 개를 부착하거나
상기 비구면 렌즈를 채택한 복수 개의 카메라 모듈을 일정 사면에 부착하여 전방 뿐만 아니라 측방과 후방까지 감지하는 더 넓은 광각 범위를 갖는 것을
특징으로 하는 영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 안전 관리 시스템.In claim 1,
The camera module adopts an aspherical lens to the mobility terminal and attaches a single number to collect a wide-angle image, or
It has a wider wide-angle range that detects not only the front but also the side and the rear by attaching a plurality of camera modules adopting the aspherical lens to a certain slope.
Personal mobility safety management system capable of storing images and recognizing objects. 사용자가 앱을 구동하고 앱의 단말 선택 기능으로 모빌리티 단말의 QR 스캔, NFC, BLE 등으로 단말 인증하여 락을 열고 사용자가 모빌리티 단말의 스로틀 버튼으로 모터를 구동하여 운행하는 운행 시작 단계;
상기 모빌리티 단말이 운행을 시작하면 상기 센서부가 구동되어 설정된 임계값을 넘어서는지 여부를 판별하는 센서부 구동 단계;
상기 센서부가 일반적인 주행 상태가 지속되면 상기 카메라모듈로부터 수신된 영상을 영상처리부에서 파일 형태로 생성되어 데이터저장부에 저장됨과 동시에 해당 영상의 객체를 탐지하는 영상 객체 탐지 단계;
상기 센서부에서 설정된 임계값을 넘어서는 충격량이 감지 되면 상기 영상처리부에서 이벤트가 발생한 시각의 정해진 시간 이전과 이후의 영상의 별도 파일을 생성하여 상기 데이터저장부에 저장하면서 동시에 상기 통신부를 통하여 상기 관제 플랫폼과 상기 영상 서버로 송신하는 이벤트 영상 처리 단계;
상기 영상 객체 탐지 단계에서 등록된 객체가 일정 속도로 접근해오는 것으로 판단하는 경우, 전방 객체 접근 시에는 모터를 감속하거나 정지하면서 동시에 경고음을 송출하고, 측방 혹은 후방 객체 접근 시에는 모터를 가속하거나 경고음을 송출하면서 동시에 상기 통신부를 통하여 상기 관제 플랫폼에 이벤트 정보를 송신하는 장애물 대응 단계;
상기 영상 객체 탐지 단계에서 객체 접근이 없는 경우에는 도로 상에서 탐지되는 다양한 객체 정보를 상기 위치정보수신부의 위치 정보와 시간 정보를 매핑하여 상기 통신부를 통하여 상기 관제 플랫폼과 상기 정밀지도 플랫폼으로 각각 이벤트 정보와 위치 기반 영상 객체 정보를 송신하는 교통 정보 수집 단계;
사용자가 상기 모빌리티 단말을 다 사용하고 정차를 한 후 앱에서 운행 종료 버튼을 누르면 상기 관제 플랫폼은 사용자의 이용 시간 동안 발생한 충격량, 운행속도, 급정거 횟수, 이전까지의 안전 운행 이력 등으로부터 사용자의 안전 운행 지수를 산출하고, 위험 정도를 복수 개의 등급으로 설정하고 각 등급에 따라 사용자의 마일리지를 산정하는 단계와 마일리지 산정이 완료되면 상기 모빌리티 단말의 카메라모듈이 주차한 장소의 전방, 측방, 후방의 주변 이미지를 촬영하고 상기 관제 플랫폼으로 상기 통신부를 통하여 영상을 전송하는 단계, 그리고 설정된 결제 수단으로 결제가 이뤄지되, 상기 마일리지로 할인을 받을 수 있는 결제 단계, 그리고 상기 모빌리티 단말의 락잠금을 수행하면서 운행을 종료하는 단계를 포함하는 운행 종료 단계;
운행을 종료하지 않을 경우에는 상기 센서부 구동 단계, 상기 이벤트 영상 처리 단계, 상기 영상 객체 탐지 단계, 상기 장애물 대응 단계, 상기 교통 정보 수집 단계를 반복 수행하는 단계
를 포함하는 것을 특징으로하는 영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 제어 방법.Operation start step in which the user drives the app and opens the lock by authenticating the terminal with QR scan, NFC, BLE, etc. of the mobility terminal with the terminal selection function of the app, and the user drives the motor with the throttle button of the mobility terminal to operate;
A sensor unit driving step of determining whether the sensor unit is driven to exceed a set threshold value when the mobility terminal starts to operate;
An image object detection step of generating an image received from the camera module in the form of a file in an image processing unit and storing the image in a data storage unit and detecting an object of the image when the sensor unit continues in a general driving state;
When the amount of impact exceeding the threshold value set by the sensor unit is detected, the image processing unit generates separate files of images before and after a predetermined time of the event occurrence time and stores them in the data storage unit, and at the same time, the control platform through the communication unit. And an event image processing step of transmitting to the image server;
When it is determined that the registered object is approaching at a constant speed in the image object detection step, the motor is decelerated or stopped when approaching the front object, and a warning sound is transmitted at the same time, and the motor is accelerated or a warning sound when approaching the side or rear object. An obstacle response step of transmitting and simultaneously transmitting event information to the control platform through the communication unit;
When there is no object access in the image object detection step, various object information detected on the road is mapped to the location information and time information of the location information receiving unit, and event information and event information are respectively transferred to the control platform and the precision map platform through the communication unit. A traffic information collection step of transmitting location-based video object information;
When the user finishes using the mobility terminal and presses the stop button in the app after stopping, the control platform operates safely from the amount of impact, driving speed, number of sudden stops, and previous safe driving history during the user's use time. Calculating the index, setting the level of risk as a plurality of levels, calculating the user's mileage according to each level, and when the mileage calculation is completed, the image of the front, side, and rear of the place where the camera module of the mobility terminal is parked. Taking a picture and transmitting an image through the communication unit to the control platform, payment is made with a set payment method, but a payment step in which a discount can be received with the mileage, and the operation while locking the mobility terminal is performed. An operation ending step including the step of ending;
In the case of not ending the operation, repeating the step of driving the sensor unit, the step of processing the event image, the step of detecting the image object, the step of responding to the obstacle, and the step of collecting the traffic information
Personal mobility control method capable of storing an image and recognizing an object, comprising a. 제5항에서,
상기 영상 객체 탐지 단계에서 상기 데이터저장부에 영상 정보를 저장하고 메모리가 차면 가장 오래된 영상부터 삭제 및 덮어쓰기를 함으로써 메모리 공간을 절약하고,
상기 이벤트 영상 처리 단계에서 상기 관제 플랫폼은 충격량에 따라 관리자에 이벤트 메시지를 송출하고 관리자는 영상 내용을 판단하여 사고의 위험 정도를 복수 개의 단계로 설정하고 각 단계에 따라 정해진 조처를 취하며, 특히 사고가 심각한 '위험' 단계일 때는 112나 119 등에 위급 상황을 알리거나, '경미', '주의' 단계일 때는 사용자 앱에 안전 운행을 요구하는 경고 메시지를 송출할 수 있으며,
상기 운행 종료 단계에서 마일리지를 산정할 경우, 안전 운행을 한 사용자의 경우에는 사용자에게 마일리지를 추가 제공하며, 사고가 발생하거나 안전 운행을 하지 않은 낮은 등급일 경우, 사용자 앱에 안전 운행을 요구하는 경고 메시지를 송출할 수 있으며 경고가 수 회 누적된 사용자에게는 마일리지 삭감 혹은 사용을 못하게 차단 조치를 할 수 있는 것을
특징으로 하는 영상 저장 및 객체인식이 가능한 퍼스널 모빌리티 제어 방법.
In clause 5,
In the image object detection step, image information is stored in the data storage unit, and when the memory is full, memory space is saved by deleting and overwriting the oldest image,
In the event video processing step, the control platform transmits an event message to the manager according to the amount of impact, and the manager determines the video content to set the degree of risk of an accident in a plurality of stages, and takes predetermined actions according to each stage. In the case of a serious'dangerous' stage, it may notify an emergency situation to 112 or 119, or send a warning message to the user app requesting safe driving in the'minor'or'caution' stage.
In the case of calculating the mileage at the end of the operation, in the case of a user who has operated safely, additional mileage is provided to the user, and in case of an accident or a low level that has not been operated safely, a warning that the user app requires safe driving. It is possible to send a message, and to reduce mileage or block the use of the user who has accumulated warnings several times.
Personal mobility control method capable of image storage and object recognition, characterized in that.
KR1020210023732A 2021-02-23 2021-02-23 Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof KR102470699B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210023732A KR102470699B1 (en) 2021-02-23 2021-02-23 Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210023732A KR102470699B1 (en) 2021-02-23 2021-02-23 Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof

Publications (2)

Publication Number Publication Date
KR20210029170A true KR20210029170A (en) 2021-03-15
KR102470699B1 KR102470699B1 (en) 2022-11-25

Family

ID=75134734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210023732A KR102470699B1 (en) 2021-02-23 2021-02-23 Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof

Country Status (1)

Country Link
KR (1) KR102470699B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09507914A (en) * 1994-10-31 1997-08-12 テーウー エレクトロニクス カンパニー リミテッド Method for semi-classifying a collision type of a vehicle using a signal of three-direction acceleration and apparatus for performing the method
KR20000041233A (en) 1998-12-22 2000-07-15 윤종용 Apparatus for alarming nearing obstacle using radar and ultrasonic sensor
JP2004196239A (en) * 2002-12-20 2004-07-15 Denso Corp Collision object distinguishing device for vehicle
KR20110121885A (en) * 2010-05-03 2011-11-09 연세대학교 산학협력단 Apparatus and method for traffic accident recognition
KR20120001957A (en) * 2010-06-30 2012-01-05 주식회사 만도 Black box for vehicle and method for recording traffic accident of the same
KR101428008B1 (en) * 2013-03-07 2014-08-07 (주)디텍씨큐리티 Black box apparatus having function of accident detection and accident detection method thereof
KR102141299B1 (en) 2019-02-26 2020-08-04 한국해양대학교 산학협력단 Smart Mobility accident risk detection system
KR102201540B1 (en) 2019-02-28 2021-01-11 안동과학대학교 산학협력단 Apparatus for supporting safety in electrically powered kickboard and control method thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09507914A (en) * 1994-10-31 1997-08-12 テーウー エレクトロニクス カンパニー リミテッド Method for semi-classifying a collision type of a vehicle using a signal of three-direction acceleration and apparatus for performing the method
KR20000041233A (en) 1998-12-22 2000-07-15 윤종용 Apparatus for alarming nearing obstacle using radar and ultrasonic sensor
JP2004196239A (en) * 2002-12-20 2004-07-15 Denso Corp Collision object distinguishing device for vehicle
KR20110121885A (en) * 2010-05-03 2011-11-09 연세대학교 산학협력단 Apparatus and method for traffic accident recognition
KR20120001957A (en) * 2010-06-30 2012-01-05 주식회사 만도 Black box for vehicle and method for recording traffic accident of the same
KR101428008B1 (en) * 2013-03-07 2014-08-07 (주)디텍씨큐리티 Black box apparatus having function of accident detection and accident detection method thereof
KR102141299B1 (en) 2019-02-26 2020-08-04 한국해양대학교 산학협력단 Smart Mobility accident risk detection system
KR102201540B1 (en) 2019-02-28 2021-01-11 안동과학대학교 산학협력단 Apparatus for supporting safety in electrically powered kickboard and control method thereof

Also Published As

Publication number Publication date
KR102470699B1 (en) 2022-11-25

Similar Documents

Publication Publication Date Title
CN107608388B (en) Autonomous police vehicle
US11315026B2 (en) Systems and methods for classifying driver behavior
US10089869B1 (en) Tracking hit and run perpetrators using V2X communication
CN111047870A (en) Traffic violation vehicle recognition system, server, and non-volatile storage medium storing vehicle control program
US20220297644A1 (en) Safe driving support system based on mobile iot agent and method for processing thereof
US9842283B2 (en) Target object detection system and a method for target object detection
US20220238019A1 (en) Safety performance evaluation apparatus, safety performance evaluation method, information processing apparatus, and information processing method
CN114387785A (en) Safety management and control method and system based on intelligent highway and storable medium
CN114341962A (en) Dangerous vehicle display system, dangerous vehicle display device, dangerous vehicle display program, computer-readable recording medium, and apparatus having recorded the program
CN111369708A (en) Vehicle driving information recording method and device
US11335136B2 (en) Method for ascertaining illegal driving behavior by a vehicle
CN109637150A (en) A kind of vehicle-mounted real-time feedback system violating the regulations
CN110310488B (en) Large truck violation message generation method and system
CN112907979B (en) System and method for tracking illegal running track of motor vehicle based on multiple cameras
CN113257001A (en) Vehicle speed limit monitoring method and device, electronic equipment and system
KR102470699B1 (en) Safty Management System with Image Object Recognition and Video data Recording for Personal Mobility, and Control Method Thereof
WO2015060805A1 (en) A system for processing data obtained from black boxes
JP2020095512A (en) Vehicle control device, vehicle, vehicle control method, and program
KR20080100874A (en) Method and system for monitoring of stop-line violation vehicles
WO2020250938A1 (en) Travel management device, travel management method, and recording medium
KR102090386B1 (en) Automobile-specific highway management system using autonomous vehicles
US11520460B1 (en) System on board an on-road vehicle for identifying, tagging and reporting hazardous drivers in the vicinity of a host vehicle
CN114333339A (en) Method for removing repetition of deep neural network functional module
CN110930690A (en) Intelligent automobile safety system under car networking environment
US20230316919A1 (en) Hazard notification method and system for implementing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
E701 Decision to grant or registration of patent right
E701 Decision to grant or registration of patent right
GRNT Written decision to grant