KR102067547B1 - Method and detection for peripheral vehicle risk based on image analysis and communication connection between portable communication terminals and building cctv camera - Google Patents
Method and detection for peripheral vehicle risk based on image analysis and communication connection between portable communication terminals and building cctv camera Download PDFInfo
- Publication number
- KR102067547B1 KR102067547B1 KR1020190096535A KR20190096535A KR102067547B1 KR 102067547 B1 KR102067547 B1 KR 102067547B1 KR 1020190096535 A KR1020190096535 A KR 1020190096535A KR 20190096535 A KR20190096535 A KR 20190096535A KR 102067547 B1 KR102067547 B1 KR 102067547B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- user
- terminal
- pattern
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 47
- 238000010191 image analysis Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims description 49
- 238000001514 detection method Methods 0.000 title claims description 5
- 230000002093 peripheral effect Effects 0.000 title 1
- 230000001133 acceleration Effects 0.000 claims description 46
- 241001465754 Metazoa Species 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 210000003195 fascia Anatomy 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 241001455214 Acinonyx jubatus Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/14—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of gyroscopes
-
- G06K9/48—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/08—Predicting or avoiding probable or impending collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/304—Acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Child & Adolescent Psychology (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Environmental & Geological Engineering (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 이동통신단말의 네트워크 전송과 건물 CCTV 카메라를 활용하여 위험상황을 주변 차량 내에 위치한 이동통신단말로 제공할 수 있도록 하는 통신 기술에 관한 것으로서, 보다 상세하게는, 차량의 운전자는 항상 차량 내에 스마트폰을 탑재하면서 주행을 하게 되는데, 스마트폰 간의 이동통신네트워크를 통한 정보 공유를 통해 차량 위험상황이 감지 및 전파 될 수 있도록 하되, 스마트폰과 건물 CCTV카메라와의 통신 연결을 통해 위험상황 인지를 보완하도록 하는 기술에 관한 것이다.The present invention relates to a communication technology for providing a dangerous situation to a mobile communication terminal located in a surrounding vehicle by utilizing a network transmission of a mobile communication terminal and a building CCTV camera. More specifically, the driver of a vehicle is always in a vehicle. While driving with a smart phone, the vehicle can be detected and propagated by sharing information through the mobile communication network between smart phones, but the communication between the smart phone and the building CCTV camera is used to recognize the danger situation. It is about a technology to complement.
종래에는 차량 사고 발생시에만 사고 관련 메시지를 관제센터에 전송하여 긴급 및 응급 구난서비스를 받을 수 있는 자동 사고통보 기능이 있다.Conventionally, there is an automatic accident notification function that can receive emergency and emergency rescue services by sending an accident-related message to the control center only when a vehicle accident occurs.
이러한 자동 사고통보 기능은 통신 환경이 보장되거나, 사고통보 관련 통신 시스템이 파손되지 않은 경우에만 정상적으로 그 기능을 할 수 있다.This automatic accident notification function can function normally only when the communication environment is guaranteed or the communication system related to the accident notification is not broken.
반면, 사고 차량이 터널이나 산간 지역 등 음영 지역에 존재하여, 관제센터와의 통신 연결이 원활하지 않거나, 혹은 통신용 안테나 등이 파손되어 일반 망에 접속할 수 없는 경우, 사고 차량의 유닛(통신모듈 포함)이 지속적으로 관제센터와의 통신 연결을 시도하더라도 통신망 연결이 불가능한 경우가 발생할 수 있다.On the other hand, when an accident vehicle exists in a shaded area such as a tunnel or a mountainous area, and a communication connection with the control center is not smooth, or a communication antenna is damaged and cannot be connected to a general network, the unit of the accident vehicle (including a communication module) ) May not be able to connect to the network even if the network tries to connect to the control center continuously.
한편, 차량에 설치되는 블랙박스는 카메라를 이용하여 차량의 전방 상태를 동영상으로 녹화할 뿐만 아니라 차량 에 설치된 각종 센서를 이용하여 이벤트가 발생할 경우에 스틸 이미지 등을 저장한다. 또한, 디스플레이나 입력부 등의 사용자 인터페이스를 구비하여 사용자로부터 각종 제어명령을 입력 받을 수 있다.Meanwhile, the black box installed in the vehicle not only records the front state of the vehicle as a video using a camera but also stores still images when an event occurs using various sensors installed in the vehicle. In addition, a user interface such as a display or an input unit may be provided to receive various control commands from the user.
또한, 건물 내 CCTV들은 방범용으로 주로 활용되어 오고 있기는 하나, 사고 상황을 예방하기 위한 목적으로 활용되고 있지는 않은 실정이다.In addition, CCTVs in buildings have been mainly used for crime prevention, but are not used for the purpose of preventing accidents.
한편, 이와 관련된 종래기술로는 한국공개특허공보 제2017-0100422호(발명의 명칭 : 외장 단말을 이용하여 자동차의 긴급 상황을 통보하는 장치 및 방법', 공개일:2017.09.04, IPC분류 : H04W-004/22), 한국등록특허공보 제1874123호(발명의 명칭 : 차량 및 이와 통신하는 휴대 단말기,공고일 : 2018.06.27, IPC분류 : H04W-004/00)가 공개되어 있다.On the other hand, the related art related to the Korean Patent Publication No. 2017-0100422 (Invention: Apparatus and method for notifying the emergency situation of the vehicle using the external terminal ', Publication Date: 2017.09.04, IPC Classification: H04W -004/22), Korean Registered Patent Publication No. 1874123 (name of the invention: a vehicle and a mobile terminal communicating with it, publication date: June 27, 2018, IPC classification: H04W-004 / 00) is disclosed.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 스마트폰 간의 셀룰러 네트워크 기반의 통신 연결을 통해 실행되는 것을 특징으로 한다. 또한, 본 발명은 직접적인 충돌에 의한 사고 상황이 아니더라도, 앞 차량의 긴급 상황을 후속 차량에 알림을 제공할 수 있으며, 차량 내에 설치된 블랙박스와 사용자가 소지한 사용자 단말을 활용함으로써, 차량에 특별한 장치나 기기를 추가적으로 설치 하거나 구비할 필요 없이 주변 차량과의 긴급 통신 연결이 가능하도록 할 수 있다.The present invention is to solve the above-mentioned problems of the prior art, characterized in that it is executed through the cellular network-based communication connection between the smartphone. In addition, the present invention can provide notification to subsequent vehicles of the emergency situation of the front vehicle, even if the accident situation due to a direct collision, by utilizing a black box installed in the vehicle and the user terminal possessed by the user, a special device for the vehicle In addition, it is possible to make an emergency communication connection with surrounding vehicles without installing or installing additional equipment.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따르는, 단말에 의해 수행되는 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의주변차량 위험상황 감지 및 알림 방법은, (a) 긴급상황알림 애플리케이션이 설치된 사용자 단말 내의 자이로스코프 센서의 측정값과 가속도 센서의 측정값에 대한 패턴을 기계학습 하는 단계; (b) 상기 자이로스코프 센서 및 가속도 센서로부터, 사용자 차량의 특정 변화에 대한 신호를 수신하는 단계; (c) 상기 특정 변화를 기 설정된 기준 값과 비교하여, 긴급 상황에 대한 여부를 확인하는 단계; (d) 상기 긴급 상황인 것으로 판단된 경우, 상기 사용자 차량 내 블랙박스로부터 상기 특정 변화에 대한 신호를 수신하는 시점에 녹화된 실시간 영상을 수신하고, 상기 사용자 차량과 인접한 위치에 존재하는 건물의 CCTV카메라로부터 촬영된 실시간 영상을 수신하는 단계; 및 (e) 상기 실시간 영상을 기반으로, 위험상황으로 판단되는 경우, 서버로 위험상황에 대한 신호를 전송하고, 상기 서버는 기 설정된 범위 내에 존재하는 모든 타 사용자 단말 중 긴급상황알림 애플리케이션에 대한 라이브신호를 주기적으로 송수신하고 있는 타 사용자 단말로 경고 알림을 제공하는 단계; 를 포함하되, 상기 패턴은, 상기 사용자 차량이 주행하는 동안 수집되는 자이로스코프 센서의 변화량 및 가속도 센서의 변화량에 대한 패턴인 것이고, 상기 (a) 단계는, 긴급상황시의 상기 자이로스코프 센서의 측정값과 상기 가속도센서의 측정값에 대한 패턴, 주행 중 긴급상황이 아닌 경우의 상기 자이로스코프 센서의 측정값과 상기 가속도센서의 측정값에 대한 패턴을 수집하되, 주성분 분석(PCA : Principal Component Analysis)기법을 통하여 상기 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값을 구성하는 각 방향 별 요소들의 차원을 축소하고, 상기 차원이 축소된 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값 입력정보로 설정하고, 긴급상황인지 여부에 대한 결과값을 출력정보로 설정하여 지도학습모델에 기반하여 기계학습을 수행하는 것이고, 상기 블랙박스는, 사용자 차량의 전방을 촬영하도록 배치되며 기 설정된 간격만큼 떨어져 구성된 두 개의 카메라를 포함하되, 상기 (e) 단계는, 스테레오 비전 알고리즘에 기반하여, 상기 두 개의 카메라로부터 수집한 실시간 영상에 기반하여 상기 사용자 차량과 전방의 장애물과의 거리를 판단하여, 상기 거리에 따라, 충돌유무를 판단하는 단계; 및 상기 블랙박스의 실시간 영상에 기반하여 상기 사용자 차량 전방의 장애물의 종류 및, 장애물과의 거리를 판단하고, 상기 CCTV 카메라의 실시간 영상에 기반하여 영상 내 차량과 근접 장애물 간의 거리를 판단하여, 상기 자이로스코프 센서 및 가속도 센서, GPS 센서기반으로 측정된 사용자 차량의 속도가 상기 판단된 거리들에 대비하여 기 설정된 속도 이상인 경우, 위험상황으로 판단하는 단계; 를 포함하되, 상기 위험상황으로 판단하기 위한 상기 거리 및 기 설정된 속도 쌍에 대한 값은 상기 장애물의 종류가 사람인지 동물인지에 따라 달라질 수 있다.As a technical means for achieving the above technical problem, according to an embodiment of the present invention, a method for detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera performed by a terminal includes: a) machine learning a pattern of a measurement value of a gyroscope sensor and an acceleration sensor of a user terminal in which an emergency notification application is installed; (b) receiving a signal for a specific change of the user's vehicle from the gyroscope sensor and the acceleration sensor; (c) comparing the specific change with a preset reference value to determine whether an emergency situation exists; (d) When it is determined that the emergency situation, the real-time video recorded at the time when the signal for the specific change is received from the black box in the user vehicle, and the CCTV of the building that is located near the user vehicle Receiving a real-time image photographed from a camera; And (e) if it is determined that the dangerous situation is based on the real-time video, the server transmits a signal about the dangerous situation to the server, and the server provides a live notification of the emergency notification application among all other user terminals existing within a preset range. Providing a warning notification to another user terminal periodically transmitting and receiving a signal; Including, wherein the pattern is a pattern for the change amount of the gyroscope sensor and the change amount of the acceleration sensor collected while the user vehicle is driving, the step (a), the measurement of the gyroscope sensor in an emergency situation Principal component analysis (PCA) collects values, patterns of the acceleration sensor, and patterns of the gyroscope sensor and the acceleration sensor when the vehicle is not in an emergency. The measurement method of the gyroscope sensor and the dimensions of the elements of each direction constituting the measured value of the accelerometer sensor are reduced, and the measured value of the reduced gyroscope sensor and the measured value input value of the acceleration sensor are reduced. And set the result value of whether it is an emergency or not as the output information to perform machine learning based on the supervised learning model. Wherein the black box includes two cameras arranged to photograph the front of the user's vehicle and configured to be spaced apart by a predetermined interval, wherein step (e) is based on a stereo vision algorithm and is collected from the two cameras. Determining a distance between the user vehicle and an obstacle in front of the vehicle based on a real time image, and determining whether there is a collision according to the distance; And determining the type of the obstacle in front of the user's vehicle and the distance to the obstacle based on the real time image of the black box, and determining the distance between the vehicle and the adjacent obstacle in the image based on the real time image of the CCTV camera. If the speed of the user vehicle measured based on the gyroscope sensor, the acceleration sensor, or the GPS sensor is greater than or equal to a preset speed in comparison with the determined distances, determining a dangerous situation; Including, but the value for the distance and the predetermined speed pair for determining as the dangerous situation may vary depending on whether the type of the obstacle is human or animal.
상기 (c) 단계는, 상기 가속도 센서의 측정값 및 상기 자이로스코프 센서의 측정값이 1초 내의 시간 동안 특정 방향으로 기 설정된 변화량 이상의 변화량을 나타내는 경우, 긴급상황인 것으로 판단될 수 있다.In the step (c), when the measured value of the acceleration sensor and the measured value of the gyroscope sensor indicate a change amount of more than a predetermined change amount in a specific direction for a time within 1 second, it may be determined as an emergency.
상기 (b) 단계의, 상기 특정 변화는, 상기 사용자 차량의 급 감속, 급 가속 및 급 주행방향 변화 중 어느 하나 이상의 변화로, 상기 자이로스코프 센서 및 가속도 센서에서 측정되는 변화량에 대한 변화가 될 수 있다.In the step (b), the specific change is a change in any one or more of rapid deceleration, rapid acceleration, and rapid driving direction change of the user vehicle, and may be a change in the amount of change measured by the gyroscope sensor and the acceleration sensor. have.
상기 (e) 단계는, 상기 실시간 영상에 기반하여 위험상황으로 판단되지 않는 경우, 상기 특정 변화에 대한 패턴을 저장하고, 추후 동일한 패턴의 신호가 수신되면, 블랙박스 영상을 확인하지 않고, 비 긴급상황으로 판단되도록 할 수 있다.In the step (e), if it is determined that the risk is not based on the real-time image, the pattern for the specific change is stored, and if a signal of the same pattern is received later, the black box image is not checked and the non-emergency It can be judged as a situation.
상기 (c)단계는, 상기 특정 변화를 기 설정된 기준 값과 비교하여, 긴급 상황으로 판단된 상기 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값의 패턴 및 상기 패턴이 측정된 위치정보와 상기 위험상황으로 판단되지 않은 상기 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값의 패턴 및 상기 패턴이 측정된 위치정보를 서버로 전송하는 단계; 를 더 포함할 수 있다.In the step (c), the specific change is compared with a preset reference value, and the pattern of the measured value of the gyroscope sensor and the measured value of the acceleration sensor determined as an emergency situation, the position information of which the pattern is measured, and the Transmitting a pattern of the measured value of the gyroscope sensor, the measured value of the acceleration sensor, and the positional information on which the pattern is measured, which is not determined to be a dangerous situation; It may further include.
추가로, 서버는 상기 위치정보와 상기 패턴을 매칭 저장하여, 위치 별 패턴에 대한 맵을 형성하고, 상기 맵 상에서 상기 패턴이 발생된 위치를 기준으로 사고위험 구역을 추출하고, 상기 맵 상에서 상기 사고위험 구역을 표기하여 타 사용자 단말로 제공할 수 있다.In addition, the server matches and stores the location information and the pattern to form a map for a pattern for each location, extract an accident risk zone based on the location of the pattern on the map, and the accident on the map Danger zones can be marked and provided to other user terminals.
아울러, 상기 타 사용자 단말은 상기 긴급상황알림 애플리케이션이 백그라운드 상에서 실행되어 상기 타사용자 단말의 화면에 표시되고 있지 않은 경우에도, 가속도 센서 및 자이로스코프 센서의 측정값을 기반으로 주행중이라고 판단되는 경우, 라이브 신호를 상기 서버로 지속적으로 전송하고, 상기 서버의 라이브신호에 대한 ack신호를 수신할 수 있다.In addition, the other user terminal, if the emergency notification application is running in the background and is not displayed on the screen of the other user terminal, if it is determined that the driving based on the measured values of the acceleration sensor and the gyroscope sensor, live A signal can be continuously transmitted to the server, and an ack signal for the live signal of the server can be received.
상기 (e) 단계는, 상기 블랙박스의 실시간 영상 및 상기 사용자 단말의 카메라를 통해 수신한 영상의 특징점을 추출하여, 초점거리를 보상하고 교정된 실시간 영상으로 변환하되, 상기 사용자 단말의 카메라는 상기 사용자 차량의 전방을 촬영하도록 상기 차량의 센터페시아 내의 특정 위치에 거치되어 구비될 수 있다.In the step (e), the feature point of the real-time image of the black box and the image received through the camera of the user terminal is extracted, the focal length is compensated and converted into the corrected real-time image, the camera of the user terminal is The vehicle may be mounted at a specific position in the center fascia of the vehicle to photograph the front of the user vehicle.
이때, 상기 특징점은, 상기 사용자 차량의 본닛 가장자리 중 어느 하나의 지점 및 상기 실시간 영상 및 상기 사용자 단말의 카메라를 통해 수신한 영상 내 상기 본닛 위의 임의의 물체에 관한 특징점이 될 수 있다.In this case, the feature point may be a feature point about any point on the bonnet edge of the user vehicle and any object on the bonnet in the real time image and the image received through the camera of the user terminal.
상기 (e) 단계는, 상기 카메라를 통해 수신한 영상과 상기 블랙박스의 실시간 영상 내에 각각 존재하는 상기 차량의 본닛의 가장자리에 관한 특징점의 수평연장선과 상기 본닛 위 임의의 물체에 관한 특징점의 수평연장선이 서로 일치하게끔, 상기 카메라를 통해 수신한 영상과 상기 블랙박스의 실시간 영상을 정렬하여 동기화한 후, 상기 카메라를 통해 수신한 영상을 참고하여, 상기 블랙박스의 실시간 영상을 보정할 수 있다.In the step (e), the horizontal extension line of the feature point about the edge of the bonnet of the vehicle existing in the image received through the camera and the real-time image of the black box, respectively, and the horizontal extension line of the feature point about any object on the bonnet. In order to coincide with each other, the image received through the camera and the real time image of the black box may be aligned and synchronized, and then the real time image of the black box may be corrected with reference to the image received through the camera.
또한, 상기 서버는, 복수의 동물들에 대한 반사속도 및 상기 거리에 기초하여, 상기 사용자 차량의 속도의 관계에 관해 상기 동물이 회피할 수 있는 상기 사용자 차량의 속도를 각 동물 별로 규정하는 테이블을 생성 및 저장할 수 있다.The server may further include a table that defines, for each animal, the speed of the user vehicle that the animal can avoid about the relationship between the speed of the user vehicle based on the reflection speed and the distance to the plurality of animals. Can be created and saved
본 발명은 차량에 별도의 장치나 설비를 구비하지 않더라도, 차량 간 긴급 통신이 가능하도록 하기 위해, 스마트폰의 자이로스코프 센서 및 가속도 센서를 활용하고, 블랙박스의 영상을 획득하여, 영상 분석을 통해 위험상황을 감지하여, 주변 차량에 알림을 제공할 수 있다.The present invention utilizes a gyroscope sensor and an acceleration sensor of a smart phone, obtains an image of a black box, and analyzes the image through an image analysis in order to enable emergency communication between vehicles even without a separate device or facility in the vehicle. It can detect dangerous situations and provide notifications to nearby vehicles.
단순히 사고에 대한 알림뿐만 아니라, 차량의 급 발진, 급 정거 등에 대한 정보를 수집하는 것이 가능하고, 블랙박스 영상을 획득하여 분석함으로써, 도로의 다양한 긴급상황이나 위험 상황에 대해 주변 차량에 알림을 제공하는 것이 가능할 수 있다.It is possible to collect not only the notification of accidents, but also information about sudden start and stop of vehicles, and by acquiring and analyzing black box images, it provides notifications to nearby vehicles about various emergency or dangerous situations on the road. It may be possible to.
도 1은 본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 수행하기 위한 시스템의 예시도 이다.
도 2는 본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 설명하기 위한 흐름도 이다.
도 3은 본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 설명하기 위한 위험 상황에 대한 예시도 이다.
도 4는 본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 설명하기 위한 순서도 이다.1 is an exemplary diagram of a system for performing a method of detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera according to an embodiment of the present invention.
2 is a flowchart illustrating a method for detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera according to an embodiment of the present invention.
3 is an exemplary view illustrating a dangerous situation for explaining a method for detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera according to an embodiment of the present invention.
4 is a flowchart illustrating a method for detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another element in between. . In addition, when a part is said to "include" a certain component, this means that it may further include other components, except to exclude other components unless otherwise stated.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In the present specification, the term 'unit' includes a unit realized by hardware, a unit realized by software, and a unit realized by both. In addition, one unit may be realized using two or more pieces of hardware, and two or more units may be realized by one piece of hardware. Meanwhile, '~' is not limited to software or hardware, and '~' may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors. Thus, as an example, '~' means components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, and the like. Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within the components and the '~' may be combined into a smaller number of components and the '~' or further separated into additional components and the '~'. In addition, the components and '~' may be implemented to play one or more CPUs in the device or secure multimedia card.
이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.The "terminal" referred to below may be implemented as a computer or a portable terminal capable of connecting to a server or another terminal via a network. Here, the computer is, for example, a laptop equipped with a web browser (desktop), desktop (desktop), laptop (laptop), VR HMD (for example, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR, etc.) It may include. Here, VR HMD can be used for PC (e.g. HTC VIVE, Oculus Rift, FOVE, Deepon, etc.) and mobile (e.g. GearVR, DayDream, Stormscape, Google Cardboard, etc.) and console (PSVR) This includes all stand-alone models (eg Deepon, PICO, etc.) that are implemented independently. The portable terminal is, for example, a wireless communication device that ensures portability and mobility, and is not only a smart phone, a tablet PC, and a wearable device, but also Bluetooth (BLE, Bluetooth Low Energy), NFC, RFID, and Ultrasonic (Ultrasonic). It may include a variety of devices equipped with a communication module, such as infrared, Wi-Fi (WiFi), LiFi (LiFi). In addition, "network" refers to a connection structure capable of exchanging information between respective nodes such as terminals and servers, and includes a local area network (LAN), a wide area network (WAN), and the Internet. (WWW: World Wide Web), wired and wireless data communication networks, telephone networks, wired and wireless television networks, and the like. Examples of wireless data networks include 3G, 4G, 5G, 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), World Interoperability for Microwave Access (WIMAX), Wi-Fi, Bluetooth communications, Infrared communications, Ultrasound Communication, visible light communication (VLC), liFi (LiFi) and the like, but are not limited thereto.
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 수행하는 프로그램(또는 애플리케이션)이 저장된 메모리와 위 프로그램을 실행하는 프로세서를 포함하여 구성될 수 있다. 여기서 프로세서는 메모리에 저장된 프로그램의 실행에 따라 다양한 기능을 수행할 수 있다. A program (or application) for performing a communication connection between the terminal and the building CCTV camera and a method for detecting and alerting a surrounding vehicle danger situation based on image analysis may include a memory for storing the processor and a processor for executing the above program. The processor may perform various functions according to the execution of the program stored in the memory.
이하에서, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 수행하는 프로그램은, '긴급상황알림 애플리케이션'라 지칭한다.Hereinafter, a program for performing a method for detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera is referred to as an emergency notification application.
이하, 도 1을 참조 하여, 본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 수행하기 위한 시스템(10)에 대해 구체적으로 설명한다.Hereinafter, referring to FIG. 1, a
본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법을 수행하기 위한 시스템(10)은, 서버(100), 사용자 단말(200), 사용자 차량에 설치된 블랙박스(300) 및 타 사용자 단말(400)(도면에는 1개만 도시 되어 있으나, 복수개의 타 사용자 단말이 존재할 수 있음)을 포함할 수 있으며, 사용자 단말(200) 및 사용자 차량에 설치된 블랙박스(300)는 네트워크를 통해 연결되어 있을 수 있으며, 서버(100)와 사용자 단말(200) 및 타 사용자 단말(400)은 네트워크를 통해 연결되어 있을 수 있다.According to an embodiment of the present invention, the
본 발명의 일 실시예에 따르는, 주변차량 위험상황 감지 및 알림 방법을 수행하기 위한 서버(100)는, 사용자 단말(200)로부터 위험상황에 대한 신호를 수신할 수 있으며, 사용자 단말(200)로부터 위험 상황에 대한 신호를 수신하는 경우, 기 설정된 범위 내에 존재하는 모든 타 사용자 단말 중 긴급상황알림 애플리케이션에 대한 라이브신호를 주기적으로 송수신하고 있는 타 사용자 단말로 경고 알림을 제공할 수 있다.According to an embodiment of the present invention, the
또한, 본 발명의 일 실시예에 따르는, 주변차량 위험상황 감지 및 알림 방법을 수행하기 위한 서버(100)는, 위치정보와 패턴을 매칭 저장하여, 위치 별 패턴에 대한 맵을 형성하고, 맵 상에서 패턴이 발생된 위치를 기준으로 사고위험 구역을 추출하고, 맵 상에서 사고위험 구역을 표기하여 사용자 단말(200) 및 타 사용자 단말(400)로 제공할 수 있다.In addition, the
긴급상황알림 애플리케이션이 설치된 특정 단말을 소지한 사용자가 차량을 운행하는 경우, 다양한 도로를 주행할 수 있으며, 특정 도로는 긴급상황이 자주 발생되는 도로가 있을 수 있다. 이때, 본 발명의 일 실시예에 따라, 긴급상황에 대한 판단이 수행될 수 있으며, 기 설정된 횟수 이상의 단말로부터 긴급상황에 대한 판단이 수행되면, 서버(100)는 해당 구역 또는 지점을 긴급상황이 자주 발생하는 지점으로 판단하여, 해당 구역 또는 지점에 대해 위험지역으로 긴급상황알림 애플리케이션이 설치된 단말로 사고위험 구역으로 맵 상에 표기 및 경고 알림 등을 제공할 수 있다.When a user having a specific terminal installed with an emergency notification application drives a vehicle, the user may drive various roads, and a specific road may include a road where an emergency occurs frequently. In this case, according to an embodiment of the present invention, the determination of the emergency may be performed, and when the determination of the emergency is performed from the terminal more than a preset number of times, the
본 발명의 일 실시예에 따르는, 주변차량 위험상황 감지 및 알림 방법을 수행하기 위한 사용자 단말(200)은, 긴급상황알림 애플리케이션이 설치된 사용자 단말(200)에 구비된 센서로부터, 사용자 차량의 특정 변화에 대한 신호를 수신하고, 특정 변화를 기 설정된 기준 값과 비교하여, 긴급 상황에 대한 여부를 확인하고, 긴급 상황인 것으로 판단된 경우, 사용자 차량 내 블랙박스(300)로부터 특정 변화에 대한 신호를 수신하는 시점에 녹화된 실시간 영상을 수신하고, 실시간 영상을 기반으로, 위험상황으로 판단되는 경우, 서버(100)로 위험상황에 대한 신호를 전송할 수 있다.According to an embodiment of the present invention, the
이때, 사용자 단말(200)은, 자이로스코프 센서, 가속도 센서 및 GPS를 포함할 수 있다. In this case, the
본 발명의 일 실시예에 따르는, 주변차량 위험상황 감지 및 알림 방법을 수행하기 위한 사용자 차량 내 블랙박스(300)는, 사용자 차량의 전방을 촬영하도록 배치되며 기 설정된 간격만큼 떨어져 구성된 두 개의 카메라를 포함할 수 있다.According to an embodiment of the present invention, a
또한, 사용자 차량 내 블랙박스(300)로부터 수신되는 영상은, 두 개의 카메라로부터 수집한 실시간 영상으로, 사용자 단말(200)에서 스테레오 비전 알고리즘에 기반하여, 사용자 차량과 전방의 장애물과의 거리를 판단이 가능할 수 있다.Also, the image received from the
본 발명의 일 실시예에 따르는, 타 사용자 단말(400)은, 긴급상황알림 애플리케이션이 백그라운드 상에서 실행되어 타사용자 단말의 화면에 표시되고 있지 않은 경우에도, 가속도 센서 및 자이로스코프 센서의 측정값을 기반으로 주행중이라고 판단되는 경우, 라이브 신호를 서버(100)로 지속적으로 전송하고, 서버(100)의 라이브신호에 대한 ack신호를 수신할 수 있다.According to an embodiment of the present invention, the
이하, 도 2를 참조하여, 본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법에 대해 구체적으로 설명한다.Hereinafter, with reference to FIG. 2, a method for detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera according to an embodiment of the present invention will be described in detail.
긴급상황알림 애플리케이션이 설치된 사용자 단말(200)에 구비된 센서가 기 설정된 변화량 이상의 변화량이 감지되면, 사용자 차량에 대한 특정 변화를 감지할 수 있다(510).When a sensor provided in the
본 발명의 일 실시예에 따르는, 사용자 단말(200)은, 센서로부터 특정 변화가 감지되었다는 신호를 수신하고, 기 저장된 자이로스코프 센서의 변화량 및 가속도 센서의 변화량에 대한 패턴과 비교하여, 긴급상황에 대한 여부를 파악할 수 있다(520).According to an embodiment of the present invention, the
패턴 비교 결과 긴급상황이 아닌것으로 판단되는 경우, 해당 패턴이 기계학습 데이터로 사용될 수 있도록 비 긴급 패턴으로 해당 패턴을 저장할 수 있다(570).When it is determined that the pattern is not an emergency as a result of the pattern comparison, the pattern may be stored as a non-emergency pattern so that the pattern may be used as machine learning data (570).
패턴 비교 결과 긴급상황으로 판단되는 경우, 블랙박스(300)로 특정 변화에 대한 신호를 수신하는 시점에 녹화된 실시간 영상을 요청하고, 실시간 영상을 수신할 수 있다(530).When it is determined that the emergency situation is determined as a result of the pattern comparison, the
본 발명의 일 실시예에 따르는, 사용자 단말(200)은 수신한 실시간 영상을 분석하여, 위험상황 여부를 확인할 수 있다(540).According to an embodiment of the present invention, the
이때, 영상 분석은, 스테레오 비전 알고리즘에 기반 하여, 블랙박스(300)에 구비된 두 개의 카메라로부터 수집한 영상에 기반하여, 장애물과의 거리를 판단하고, 거리에 기반하여, 출동여부 혹은 충돌위험 상황에 대한 판단을 수행할 수 있다.At this time, the image analysis, based on the stereo vision algorithm, based on the images collected from the two cameras provided in the
또한, 사용자 단말(200)은 사용자 차량과 인접한 위치에 존재하는 건물의 CCTV 카메라로부터 촬영된 실시간 영상을 수신하고, 해당 영상을 기반으로 위험상황여부를 판단하는 데에 고려할 수도 있다. 구체적으로, 사용자 단말(200)은 주변에 위치한 건물 CCTV카메라 혹은 그 외 가로등과 같은 구조물의 CCTV카메라의 영상을 수신할 수 있다. 예를 들어, CCTV 카메라들 중 일부는 사용자 단말(200)과 통신을 주고받을 수 있는 통신모듈이 탑재되어 있을 수 있다. 사용자 단말은 기 설정된 애플리케이션이 실행되어 있는 동안, 주변으로 라이브 신호를 전송할 수 있는데, CCTV카메라가 이를 수신할 경우, ACK신호(카메라 식별정보 및 시간을 포함함)를 사용자 단말로 전송할 수 있다. 이후, 사용자 단말(200)은 ACK신호를 기초로 기 설정된 서버로 쿼리를 전송하거나 해당 CCTV카메라로 전송하여 해당 시간에 해당 식별정보를 갖는 카메라에서 촬영된 영상을 요청하여 전송받을 수 있다. In addition, the
이때, CCTV 카메라 영상 내에는 블랙박스 영상과 다르게 사용자 차량이 포함된 영상이 제시될 수 있다. 따라서, 블랙박스 영상보다 외부의 객관적인 시각에서 위험상황여부를 판단할 수 있는 기초자료가 될 수 있다. 예를 들어, CCTV카메라의 실시간 영상 내에 차량(사용자 차량)과 근접한 장애물 간의 거리를 판단함으로써, 블랙박스의 스테레오비전에 의한 거리 측정을 보완할 수 있는 거리값을 구할 수 있다. In this case, an image including a user vehicle may be presented in the CCTV camera image unlike the black box image. Therefore, it may be a basic data for judging whether a dangerous situation is seen from an external objective point of view than a black box image. For example, by determining the distance between a vehicle (a user's vehicle) and an obstacle close to the real-time image of the CCTV camera, a distance value that can compensate for the distance measurement by the stereo vision of the black box can be obtained.
이때, 영상 분석 결과 미 충돌 또는 위험상황이 아니라고 판단되는 경우, 기계학습 데이터로 사용될 수 있도록 비 긴급 패턴으로 해당 패턴을 저장할 수 있다(570).In this case, when it is determined that the image analysis is not a non-collision or a dangerous situation, the corresponding pattern may be stored as a non-emergency pattern to be used as machine learning data (570).
영상 분석 결과가 충돌 또는 위험 상황으로 판단되는 경우, 사용자 단말(200)은 서버(100)로 위험 신호를 전송할 수 있다(550). 이때, 블랙박스 영상과 CCTV 카메라 영상에서 측정된 거리들에 대비하여 자이로스코프 센서 및 가속도 센서, GPS 센서기반으로 측정된 사용자 차량의 속도가 기 설정된 속도 이상인 경우, 위험상황인 것으로 판단될 수 있다. When it is determined that the image analysis result is a collision or a dangerous situation, the
이때, 신호는 텍스트, 이미지, 동영상 및 사운드 중 어느 하나 이상을 포함하는 형태로 제공될 수 있다.In this case, the signal may be provided in a form including any one or more of text, an image, a video, and a sound.
사용자 단말(200)로부터 위험 신호를 수신한 서버(100)는, 수신한 신호에 대해 타 사용자 단말(400)로 제공하되, 경고 알림을 포함하여 제공할 수 있으며, 기 설정된 범위 내에 존재하는 모든 타 사용자 단말 중 긴급상황알림 애플리케이션에 대한 라이브신호를 주기적으로 송수신하고 있는 타 사용자 단말로 제공할 수 있다(560).The
이하, 도 3을 참조하여, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법에 대해 구체적으로 설명한다.Hereinafter, a method for detecting and notifying a dangerous situation of a surrounding vehicle based on a communication connection and an image analysis between a terminal and a building CCTV camera will be described in detail with reference to FIG. 3.
도 3 내 A, B, C 및 D 차량은 모두 긴급상황알림 애플리케이션이 설치된 단말을 소지하고 있는 사용자 이다.A, B, C and D vehicles in Figure 3 are all users having a terminal with an emergency notification application is installed.
예를 들어, A차량은 앞서가던 차량과 사고가 발생하였고, 후미에 B, C 및 D 차량이 본 발명의 일 실시예에 따라 기 설정된 범위 내에서 주행 중에 있다고 가정한다.For example, it is assumed that vehicle A has an accident with the preceding vehicle, and that vehicles B, C, and D are driving in a preset range in the rear according to an embodiment of the present invention.
A 차량에 긴급상황알림 애플리케이션이 설치된 사용자 단말(200)은, 급 감속에 대한 변화를 감지하고, 기 설정된 기준 값 이상의 변화량으로 판단되어, 블랙박스(300)로 변화에 대한 신호를 수신하는 시점에 녹화된 실시간 영상을 수신할 수 있다. 또한, 인접한 CCTV 카메라로부터 또는 CCTV카메라와 연결된 서버로부터 해당 CCTV의 영상을 수신할 수도 있다. The
실시간 영상에 대해 스테레오 비전 알고리즘에 기반한 영상 분석 결과 및 CCTV 영상 분석결과, 충돌사고가 발생한 것으로 판단하고, A 차량에 사용자 단말(200)은, 서버(100)로 해당 사고에 대한 정보 및 실시간 영상을 제공하고, 서버(100)는 해당 신호를 수신하여, B, C 및 D 차량의 긴급상황알림 애플리케이션이 설치된 타 사용자 단말(400)로 제공할 수 있다.Based on the stereo vision algorithm based on the video analysis results and CCTV video analysis results, it is determined that a crash has occurred, the
본 발명의 추가 실시예로, 블랙박스(300) 영상을 분석하여, 사용자 차량이 아닌 블랙박스(300) 카메라의 가시거리 이내 사고에 대한 확인이 가능할 수 있다.In a further embodiment of the present invention, by analyzing the image of the
예를 들어, A 차량에는 긴급상황알림 애플리케이션이 설치된 단말이 존재하지 않고, B, C 및 D 차량에만 긴급상황알림 애플리케이션이 설치된 단말이 존재하고, B 차량은 A차량의 사고 현장이 가시거리 이내이고, C 및 D 차량은 가시거리 밖인 경우로 가정한다.For example, vehicle A does not have a terminal with an emergency notification application, there is a terminal with an emergency notification application installed only in vehicles B, C, and D, and vehicle B has an accident site within a line of sight. , C and D vehicles are assumed to be out of sight.
B 차량은 사고현장이 가시거리 이내로 들어오는 경우, 충돌을 방지하기 위해 급하게 주행방향에 대한 변화가 생길 수 있으며, 이때, 사용자 단말(200)의 센서는 주행방향 변화를 감지할 수 있다.When the accident site is within the visible distance, the vehicle B may suddenly change the driving direction to prevent a collision, and at this time, the sensor of the
이후, 기 설정된 기준 값 이상의 변화량으로 판단되어, 블랙박스(300)로 변화에 대한 신호를 수신하는 시점에 녹화된 실시간 영상을 수신할 수 있으며, 실시간 영상에 대해 스테레오 비전 알고리즘에 기반한 영상 분석 결과 B 차량이 충돌하지는 않았으나, A 차량의 충돌사고를 확인하여, 서버(100)로 해당 사고에 대한 정보 및 실시간 영상을 제공하고, 서버(100)는 해당 신호를 수신하여, C 및 D 차량의 긴급상황알림 애플리케이션이 설치된 타 사용자 단말(400)로 제공할 수 있다.Subsequently, it is determined that the amount of change is greater than or equal to a predetermined reference value, and the real time image recorded at the time when the signal for the change is received by the
위와 같은 방법으로, 짙은 안개나 악천후로 인해 시야 확보가 용이하지 못한 때에도, 주행 도로 내 긴급상황이 발생하는 경우, 이에 대한 대비가 가능할 수 있다.By the above method, even when it is difficult to secure the visibility due to heavy fog or bad weather, it may be possible to prepare for an emergency in the driving road.
이하, 도 4를 참조 하여, 본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의주변차량 위험상황 감지 및 알림 방법의 단계적 흐름에 대해 구체적으로 설명한다.Hereinafter, with reference to FIG. 4, the step-by-step flow of the method for detecting and alerting the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera according to an embodiment of the present invention will be described in detail.
본 발명의 일 실시예에 따르는, 단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의주변차량 위험상황 감지 및 알림 방법은, 긴급상황알림 애플리케이션이 설치된 사용자 단말에 구비된 센서로부터, 사용자 차량의 특정 변화에 대한 신호를 수신할 수 있다(S610).According to an embodiment of the present invention, a method for detecting and notifying a dangerous vehicle situation based on a communication connection and an image analysis between a terminal and a building CCTV camera may include identifying a user's vehicle from a sensor provided in a user terminal having an emergency notification application. A signal for change may be received (S610).
여기서, 특정 변화는, 사용자 차량의 급 감속, 급 가속 및 급 주행방향 변화 중 어느 하나 이상의 변화로, 자이로스코프 센서 및 가속도 센서에서 측정되는 변화량에 대한 변화가 될 수 있다.Here, the specific change is a change in any one or more of rapid deceleration, rapid acceleration, and rapid driving direction change of the user vehicle, and may be a change to the amount of change measured by the gyroscope sensor and the acceleration sensor.
추가로, (S610) 단계 이전에, 사용자 단말(200) 내의 자이로스코프 센서의 측정값과 가속도센서의 측정값에 대한 패턴을 기계학습을 수행할 수 있으며, 자이로스코프 센서의 측정값과 가속도센서의 측정값에 대한 패턴은, 사용자 차량이 주행하는 동안 수집되는 자이로스코프 센서의 변화량 및 가속도 센서의 변화량에 대한 패턴이 될 수 있다.In addition, before the step (S610), it is possible to perform a machine learning the pattern of the measurement value of the gyroscope sensor and the acceleration sensor in the
구체적으로, 긴급상황시의 자이로스코프 센서의 측정값과 가속도센서의 측정값에 대한 패턴, 주행 중 긴급상황이 아닌 경우의 자이로스코프 센서의 측정값과 가속도센서의 측정값에 대한 패턴을 수집하여, 주성분 분석(PCA : Principal Component Analysis)기법을 통하여 자이로스코프 센서의 측정값과 가속도센서의 측정값을 구성하는 각 방향 별 요소들의 차원을 축소할 수 있다.Specifically, the pattern of the measured value of the gyroscope sensor and the acceleration sensor in the emergency situation, the pattern of the measured value of the gyroscope sensor and the acceleration sensor in the non-emergency situation is collected, Principal Component Analysis (PCA) technique can reduce the dimensions of each direction element constituting the measured value of the gyroscope sensor and the acceleration sensor.
PCA 기법을 통해 차원이 축소된 자이로스코프 센서의 측정값과 가속도센서의 측정값 입력정보로 설정하고, 긴급상황인지 여부에 대한 결과값을 출력정보로 설정하여 지도학습모델에 기반하여 기계학습을 수행할 수 있다.The PCA method sets the measured value of the reduced-size gyroscope sensor and the measured value of the acceleration sensor as input information, and sets the result value for the emergency situation as output information to perform machine learning based on the supervised learning model. can do.
이후, 수신한, 특정 변화에 대한 신호를 기 설정된 기준 값과 비교하여, 긴급 상황에 대한 여부를 확인할 수 있다(S620).Thereafter, by comparing the received signal for a specific change with a preset reference value, it may be determined whether the emergency situation.
긴급상황에 대한 판단은, 가속도 센서의 측정값 및 자이로스코프 센서의 측정값이 1초 내의 시간 동안 특정 방향으로 기 설정된 변화량 이상의 변화량을 나타내는 경우에 긴급상황인 것으로 판단될 수 있다.The determination of the emergency situation may be determined to be an emergency when the measured value of the acceleration sensor and the measured value of the gyroscope sensor show a change amount of more than a predetermined change amount in a specific direction for a time within 1 second.
긴급 상황인 것으로 판단된 경우, 사용자 단말(200)은 사용자 차량 내 블랙박스(300)로 특정 변화에 대한 신호를 수신하는 시점에 녹화된 실시간 영상을 요청하여, 해당 실시간 영상을 수신할 수 있다(S630).If it is determined that the emergency situation, the
사용자의 차량 내에 존재하는 블랙박스(300)는 사용자 차량의 전방을 촬영하도록 배치되며 기 설정된 간격만큼 떨어져 구성된 두 개의 카메라를 포함하여 구비될 수 있다.The
(S630) 단계에서 수신한, 실시간 영상을 기반으로, 위험상황으로 판단되는 경우, 서버(100)로 위험상황에 대한 신호를 전송할 수 있다(S640).When it is determined that the risk situation is based on the real-time image received in operation S630, a signal about the risk situation may be transmitted to the server 100 (S640).
이때, 스테레오 비전 알고리즘에 기반하여, 두 개의 카메라로부터 수집한 실시간 영상에 기반하여 사용자 차량과 전방의 장애물과의 거리를 판단하여, 거리에 따라, 충돌유무를 판단할 수 있다.At this time, based on the stereo vision algorithm, the distance between the user vehicle and the obstacle in front of the vehicle based on the real-time images collected from the two cameras, it is possible to determine whether there is a collision, according to the distance.
본 발명의 추가 실시예로써, 사용자 단말(200)은 영상 처리 장치를 포함할 수 있으며, 장애물과의 거리를 정확하게 판단할 수 있도록 스테레오 비전 알고리즘에 기반한 영상을 보정하는 것이 가능할 수 있다.As a further embodiment of the present invention, the
사용자 단말(200)의 카메라가 차량 전방을 촬영하도록 상기 차량의 센터페시아 내의 특정 위치에 거치 대 등을 통하여 고정하게 되면, 사용자단말 카메라, 블랙박스 카메라 2개(총3개)의 카메라가 구비될 수 있다. 각각의 단말과 블랙박스는 각각 획득한 카메라 영상에 대해 SIFT(Scale-Invariant Feature Transform)를 수행하여 특징점을 추출할 수 있다.When the camera of the
이때, 블랙박스(300)의 두 개의 카메라로부터 획득된 후 병합된 하나의 영상을 영상을 'A', 차량 전방을 촬영하도록 거치 대 등을 통하여 고정된 사용자 단말(200)의 카메라로부터 획득한 영상을 'B'라고 가정하여 이하에서 구체적으로 설명한다. 한편, 상기 'A' 영상은 각 카메라에서 촬영된 영상의 공통된 픽셀들로만 구성된 병합 영상일 수 있다.At this time, the image obtained from the two cameras of the
영상처리를 통해 추출되는 영상 A 의 특징점 집합은,The feature point set of the image A extracted through image processing is
영상처리를 통해 추출되는 영상 B 의 특징점 집합은,The feature point set of image B extracted through image processing is
라고, 가정하면, 과 은 순서에 따라, 서로 대응하는 특징점을 포함할 수 있다. Assuming, and According to the order, may include feature points corresponding to each other.
수직 방향을 기준으로 특징점의 값을 식별하여, 보상을 수행하는 것이 가능할 수 있으며, 이때는, 특징점 집합이 수직 방향에 따른 식별자로 변경될 수 있다.It may be possible to perform the compensation by identifying the value of the feature point based on the vertical direction, and in this case, the feature point set may be changed to an identifier according to the vertical direction.
영상 처리 장치는 영상 A 및 영상 B에서 대응되는 특정 특징점 사이의 거리를 결정할 수 있으며, 영상 A에서 의 특정 특징점 사이의 거리를 제1 거리라고 하고, 영상 B에서의 영상a와 동일한 특정 특징점 사이의 거리를 제2 거리라고 가정하면, 영상 A 및 영상 B에서 대응되는 특정 특징점 사이의 거리는 제1 거리와 제2 거리를 영상에서 서로 대응되는 지점(동일한 객체의 위치) 사이의 거리에 해당할 수 있다.The image processing apparatus may determine the distance between the corresponding specific feature points in the image A and the image B. The distance between the specific feature points in the image A is called a first distance, and the distance between the specific feature points equal to the image a in the image B is determined. Assuming that the distance is the second distance, the distance between the specific feature points corresponding to the image A and the image B may correspond to the distance between the first distance and the second distance (the location of the same object) corresponding to each other in the image. .
영상처리 장치는 제1 거리와 제2 거리의 차이를 기준으로 영상에 대한 초점 거리를 보상할 수 있다.The image processing apparatus may compensate for the focal length of the image based on the difference between the first distance and the second distance.
예를 들어, 사용자 단말(200)은 영상 A 및 영상 B의 특징점을 찾고, 차량의 본닛의 가장자리를 나타내는 특징점과 차량의 본닛보다 위에서 촬영된 임의의 물체에 관한 특징점의 가로 연장선이 서로 이어 붙인 두 개의 영상 내에서 서로 대응되도록, 두 개의 영상을 보정할 수 있다. 즉, 영상 처리 장치는 화면에 나타나는 특정 객체에 대한 정보를 기준으로 영상 A와 영상 B가 평행하도록 보정한다고 할 수 있다.For example, the
제1 카메라와 제2 카메라는 배치된 위치가 다르기 때문에 영상 A와 영상 B는 기본적으로 다른 시점을 갖는다. 영상 처리 장치는 영역 제거를 수행할 수 있다.Since the first camera and the second camera are disposed in different positions, the image A and the image B basically have different viewpoints. The image processing apparatus may perform region removal.
사용자 단말(200)은 초점 거리가 보상된 블랙박스(300) 영상을 대한 교정을 수행할 수 있으며, 교정은 영상A 및 영상 B에서 에피폴라 라인(epipolar line)을 평행하도록 이미지를 변환하는 과정을 의미한다.The
이후, 블랙박스(300) 영상 내에서 객체를 추출하고, 객체와 차량간의 거리를 계산할 수 있다.Then, the object may be extracted from the image of the
또한, 실시간 영상에 기반하여 사용자 차량 전방의 장애물의 종류 및, 장애물과의 거리를 판단하고, 자이로스코프 센서 및 가속도 센서, GPS 센서기반으로 측정된 사용자 차량의 속도가 거리에 대비하여 기 설정된 속도 이상인 경우, 위험상황으로 판단할 수 있다.In addition, the type of the obstacle in front of the user vehicle and the distance from the obstacle is determined based on the real-time image, and the speed of the user vehicle measured based on the gyroscope sensor, the acceleration sensor, and the GPS sensor is greater than or equal to the preset speed against the distance. In this case, it can be judged as a dangerous situation.
이때, 위험상황으로 판단하기 위한 거리 및 기 설정된 속도 쌍에 대한 값은 장애물의 종류가 사람인지 동물인지에 따라 달라질 수 있으며, 장애물의 종류는 이외에도, 다양한 형태로 존재할 수 있으며, 바위, 낙석, 나무, 구조물 등 차량이 운행하는 도로 상에 위치하였을 때 주행방향을 변경하거나 주행이 불가하게 되는 모든 장애요소를 포함할 수 있다.At this time, the value for the distance and the preset speed pair for judging a dangerous situation may vary depending on whether the type of obstacle is a human or an animal, and the type of obstacle may be present in various forms, as well as rocks, rocks, and trees. When the vehicle is located on the road on which the vehicle is traveling, such as a structure, the driving direction may be changed or all obstacles may be impaired.
예를 들어, 동물의 반사속도(치타: 32m/s, 토끼: 21m/s 등)를 기 저장하고, 각 동물 별 반사속도와 주행중 동물이 보이게 되는 차량 라이트의 가시거리, 차량의 속도의 관계에 관해 학습하여, 동물이 회피할 수 있는 차량의 속도를 각 동물 별로 규정하는 테이블을 생성 및 저장할 수 있다. 예를 들어, 차량 라이트의 가시거리가 40m일 때(차량과 고양이와의 거리가 40m일때), 고양이가 회피할 수 있는 최소 차량속도는 60km/h이고, 치타가 회피할 수 있는 최소 차량속도는 100km/h일 수 있다. For example, the reflection speed of an animal (Cheeta: 32m / s, Rabbit: 21m / s, etc.) is stored in advance, and the relationship between the reflection speed of each animal, the visible distance of the vehicle light that the animal is visible while driving, and the speed of the vehicle are shown. Learning about the vehicle, a table defining each vehicle's speed that the animal can avoid can be generated and stored. For example, when the vehicle's light is 40m (the distance between the vehicle and the cat is 40m), the minimum vehicle speed that the cat can avoid is 60km / h, and the minimum vehicle speed that the cheetah can avoid It can be 100km / h.
이를 참고하여, 동물에 따라 해당 속도를 기준으로 위험상황인지를 판단할 수 있으며, 영상내에서 해당 동물이 어느 종류에 속하는 지는 지도학습 또는 비 지도학습 알고리즘 기반으로 인터넷에서 수집한 동물들에 대한 특징점 학습을 수행하여, 판단이 가능하도록 할 수 있다.By referring to this, it is possible to determine whether a dangerous situation is based on the speed according to the animal, and which kind of the animal belongs to the image in the image based on the supervised or non supervised learning algorithm. Learning may be performed to enable judgment.
이후, 서버(100)는 기 설정된 범위 내에 존재하는 모든 타 사용자 단말 중 긴급상황알림 애플리케이션에 대한 라이브신호를 주기적으로 송수신하고 있는 타 사용자 단말로 경고 알림을 제공할 수 있다(S650).Thereafter, the
아울러, 실시간 영상에 기반하여 위험상황으로 판단되지 않는 경우, 특정 변화에 대한 패턴을 저장하고, 추후 동일한 패턴의 신호가 수신되면, 블랙박스 영상을 확인하지 않고, 비 긴급상황으로 판단하도록 할 수 있다.In addition, when it is not determined as a dangerous situation based on a real time image, a pattern for a specific change may be stored, and when a signal of the same pattern is received later, the black box image may not be checked and may be determined as a non-emergency situation. .
즉, 실시간 영상에 기반하여 위험상황으로 판단되지 않는 특정 변화에 대한 패턴은, 기계학습을 위한 데이터가 될 수 있다.That is, a pattern for a specific change that is not determined as a dangerous situation based on the real time image may be data for machine learning.
또한, (S520) 단계에서, 특정 변화를 기 설정된 기준 값과 비교하여, 긴급 상황으로 판단된 자이로스코프 센서의 측정값과 가속도 센서의 측정값의 패턴 및 패턴이 측정된 위치정보와 위험상황으로 판단되지 않은 자이로스코프 센서의 측정값과 가속도 센서의 측정값의 패턴 및 패턴이 측정된 위치정보를 서버로 전송할 수 있다.In operation S520, a specific change is compared with a preset reference value, and the pattern and pattern of the measured value of the gyroscope sensor and the acceleration sensor determined as the emergency situation are determined as the measured position information and the dangerous situation. It is possible to transmit the measured value of the gyroscope sensor and the pattern of the measured value of the acceleration sensor and the position information of the measured pattern to the server.
본 발명의 추가 실시예로써, 사용자 단말(200) 및 타 사용자 단말(400)은 직접 네트워크로 연결될 수 있다.As a further embodiment of the present invention, the
예를 들어, 긴급상황알림 애플리케이션이 백그라운드 상에서 실행되어 사용자 단말(200)의 화면에 표시되고 있지 않은 경우에도 가속도 센서 및 자이로스코프 센서의 측정값을 기반으로 주행중이라고 판단되는 경우, 라이브 신호를 서버(100)로 지속적으로 전송하고, 서버(100)의 라이브신호에 대한 ack신호를 수신할 수 있는데, 이 과정에서 서버(100)의 라이브신호에 대한 ack신호가 수신되지 않는 경우, 사용자 단말(200) 및 타 사용자 단말(400)은 직접 네트워크로 연결될 수 있다.For example, even when the emergency notification application is executed in the background and is not displayed on the screen of the
즉, 서버(100)와의 네트워크가 불가한 환경에서는 각각의 단말을 중심으로 기 설정된 반경 내 존재하는 타 사용자 단말과 네트워크 그룹을 형성하여, 위험 상황 발생 시 위험 상황에 대한 신호를 그룹 내 타 사용자 단말로 제공하는 것이 가능할 수 있다.That is, in an environment where the network with the
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능 한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. One embodiment of the present invention may also be implemented in the form of a recording medium containing instructions executable by a computer, such as a program module executed by the computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer readable media may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described in connection with specific embodiments, some or all of their components or operations may be implemented using a computer system having a general purpose hardware architecture.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.
10: 시스템
100: 서버 200: 사용자 단말
300: 사용자 차량 내 블랙박스 400: 타 사용자 단말10: system
100: server 200: user terminal
300: black box in the user's vehicle 400: other user terminal
Claims (11)
(a) 긴급상황알림 애플리케이션이 설치된 사용자 단말 내의 자이로스코프 센서의 측정값과 가속도 센서의 측정값에 대한 패턴을 기계학습 하는 단계;
(b) 상기 자이로스코프 센서 및 가속도 센서로부터, 사용자 차량의 특정 변화에 대한 신호를 수신하는 단계;
(c) 상기 특정 변화를 기 설정된 기준 값과 비교하여, 긴급 상황에 대한 여부를 확인하는 단계;
(d) 상기 긴급 상황인 것으로 판단된 경우, 상기 사용자 차량 내 블랙박스로부터 상기 특정 변화에 대한 신호를 수신하는 시점에 녹화된 실시간 영상을 수신하고, 상기 사용자 차량과 인접한 위치에 존재하는 건물의 CCTV카메라로부터 촬영된 실시간 영상을 수신하는 단계; 및
(e) 상기 실시간 영상들을 기반으로, 위험상황으로 판단되는 경우, 서버로 위험상황에 대한 신호를 전송하고, 상기 서버는 기 설정된 범위 내에 존재하는 모든 타 사용자 단말 중 긴급상황알림 애플리케이션에 대한 라이브신호를 주기적으로 송수신하고 있는 타 사용자 단말로 경고 알림을 제공하는 단계; 를 포함하되,
상기 패턴은,
상기 사용자 차량이 주행하는 동안 수집되는 자이로스코프 센서의 변화량 및 가속도 센서의 변화량에 대한 패턴인 것이고,
상기 (a) 단계는,
긴급상황시의 상기 자이로스코프 센서의 측정값과 상기 가속도센서의 측정값에 대한 패턴, 주행 중 긴급상황이 아닌 경우의 상기 자이로스코프 센서의 측정값과 상기 가속도센서의 측정값에 대한 패턴을 수집하되,
주성분 분석(PCA : Principal Component Analysis)기법을 통하여 상기 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값을 구성하는 각 방향 별 요소들의 차원을 축소하고,
상기 차원이 축소된 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값 입력정보로 설정하고, 긴급상황인지 여부에 대한 결과값을 출력정보로 설정하여 지도학습모델에 기반하여 기계학습을 수행하는 것이고,
상기 블랙박스는,
사용자 차량의 전방을 촬영하도록 배치되며 기 설정된 간격만큼 떨어져 구성된 두 개의 카메라를 포함하되,
상기 (e) 단계는,
스테레오 비전 알고리즘에 기반하여, 상기 두 개의 카메라로부터 수집한 실시간 영상에 기반하여 상기 사용자 차량과 전방의 장애물과의 거리를 판단하여, 상기 거리에 따라, 충돌유무를 판단하는 단계; 및
상기 블랙박스의 실시간 영상에 기반하여 상기 사용자 차량 전방의 장애물의 종류 및, 장애물과의 거리를 판단하고, 상기 CCTV 카메라의 실시간 영상에 기반하여 영상 내 차량과 근접 장애물 간의 거리를 판단하여, 상기 자이로스코프 센서 및 가속도 센서, GPS 센서기반으로 측정된 사용자 차량의 속도가 상기 판단된 거리들에 대비하여 기 설정된 속도 이상인 경우, 위험상황으로 판단하는 단계; 를 포함하되,
상기 위험상황으로 판단하기 위한 상기 거리에 대한 값 및 기 설정된 속도에 대한 값은 상기 장애물의 종류가 사람인지 동물인지에 따라 달라지는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
In the communication between the terminal and the building CCTV camera performed by the terminal and the surrounding vehicle risk situation detection and notification method based on image analysis,
(a) machine learning a pattern for the measured value of the gyroscope sensor and the acceleration sensor in the user terminal in which the emergency notification application is installed;
(b) receiving a signal for a specific change of the user's vehicle from the gyroscope sensor and the acceleration sensor;
(c) comparing the specific change with a preset reference value to determine whether an emergency situation occurs;
(d) If it is determined that the emergency situation, the real-time video recorded at the time of receiving the signal for the specific change from the black box in the user vehicle, and receives a CCTV of the building located near the user vehicle Receiving a real-time image photographed from a camera; And
(e) When it is determined that the risk situation is based on the real-time images, the server transmits a signal about the risk situation, and the server transmits a live signal for the emergency notification application among all other user terminals existing within a preset range. Providing a warning notification to another user terminal periodically transmitting and receiving a message; Including but not limited to:
The pattern is,
It is a pattern for the change amount of the gyroscope sensor and the change amount of the acceleration sensor collected while the user's vehicle is driving,
In step (a),
Collect the pattern of the measurement value of the gyroscope sensor and the acceleration sensor of the emergency situation, the pattern of the gyroscope sensor and the measurement value of the acceleration sensor in the case of non-emergency situation while driving ,
Principal Component Analysis (PCA) is used to reduce the dimension of each direction element constituting the measured value of the gyroscope sensor and the measured value of the acceleration sensor,
Set the measured value of the reduced gyroscope sensor and the measured value input information of the acceleration sensor, and set the result value of whether or not the emergency situation as output information to perform machine learning based on the supervised learning model. ,
The black box,
Includes two cameras arranged to shoot the front of the user's vehicle and configured at a predetermined interval apart,
In step (e),
Based on a stereo vision algorithm, determining a distance between the user vehicle and an obstacle in front of the vehicle based on real-time images collected from the two cameras, and determining whether there is a collision according to the distance; And
The type of the obstacle in front of the user's vehicle and the distance to the obstacle based on the real-time image of the black box, and the distance between the vehicle and the adjacent obstacle in the image based on the real-time image of the CCTV camera, the gyro When the speed of the user vehicle measured based on the scope sensor, the acceleration sensor, and the GPS sensor is greater than or equal to a preset speed in comparison with the determined distances, determining a dangerous situation; Including but not limited to:
The value for the distance and the value for the predetermined speed for determining the dangerous situation is to vary depending on whether the type of the obstacle is human or animal,
Method of detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 (c) 단계는,
상기 가속도 센서의 측정값 및 상기 자이로스코프 센서의 측정값이 1초 내의 시간 동안 특정 방향으로 기 설정된 변화량 이상의 변화량을 나타내는 경우, 긴급상황인 것으로 판단되는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 1,
In step (c),
If the measured value of the acceleration sensor and the measured value of the gyroscope sensor indicates a change amount more than a predetermined change amount in a specific direction for a time within 1 second, it is determined that the emergency situation,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 (b) 단계의,
상기 특정 변화는,
상기 사용자 차량의 급 감속, 급 가속 및 급 주행방향 변화 중 어느 하나 이상의 변화로, 상기 자이로스코프 센서 및 가속도 센서에서 측정되는 변화량에 대한 변화인 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 1,
In step (b),
The specific change is,
Change of the change amount measured by the gyroscope sensor and the acceleration sensor by at least one change of the rapid deceleration, rapid acceleration and rapid running direction of the user vehicle,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 (e) 단계는,
상기 실시간 영상들에 기반하여 위험상황으로 판단되지 않는 경우,
상기 특정 변화에 대한 패턴을 저장하고, 추후 동일한 패턴의 신호가 수신되면, 블랙박스 영상을 확인하지 않고, 비 긴급상황으로 판단되도록 하는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 1,
In step (e),
If it is not determined as a risk based on the real-time video,
Storing the pattern for the specific change, and if a signal of the same pattern is received later, without determining the black box image, it is determined to be a non-emergency situation,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 (c)단계는,
상기 특정 변화를 기 설정된 기준 값과 비교하여, 긴급 상황으로 판단된 상기 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값의 패턴 및 상기 패턴이 측정된 위치정보와 상기 위험상황으로 판단되지 않은 상기 자이로스코프 센서의 측정값과 상기 가속도 센서의 측정값의 패턴 및 상기 패턴이 측정된 위치정보를 상기 서버로 전송하는 단계;
를 더 포함하는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 4, wherein
Step (c) is,
The specific change is compared with a preset reference value, and the pattern of the measured value of the gyroscope sensor and the acceleration sensor determined as an emergency situation, the positional information where the pattern is measured, and the risk not determined as the dangerous condition. Transmitting a pattern of a gyroscope sensor, a pattern of the measured value of the acceleration sensor, and position information of the measured pattern to the server;
To further include,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 서버는 상기 위치정보와 상기 패턴을 매칭 저장하여, 위치 별 패턴에 대한 맵을 형성하고,
상기 맵 상에서 상기 패턴이 발생된 위치를 기준으로 사고위험 구역을 추출하고,
상기 맵 상에서 상기 사고위험 구역을 표기하여 타 사용자 단말로 제공하는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 5, wherein
The server matches and stores the location information and the pattern to form a map for a location-specific pattern,
Extracting an accident risk zone based on the location of the pattern on the map,
To indicate to the accident risk zone on the map to provide to other user terminal,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 타 사용자 단말은 상기 긴급상황알림 애플리케이션이 백그라운드 상에서 실행되어 상기 타사용자 단말의 화면에 표시되고 있지 않은 경우에도, 가속도 센서 및 자이로스코프 센서의 측정값을 기반으로 주행중이라고 판단되는 경우, 라이브 신호를 상기 서버로 지속적으로 전송하고, 상기 서버의 라이브신호에 대한 ack신호를 수신하는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 1,
If the other user terminal is determined to be driving based on the measured values of the acceleration sensor and the gyroscope sensor even when the emergency notification application is executed in the background and is not displayed on the screen of the other user terminal, Continuously transmitting to the server and receiving an ack signal for the live signal of the server,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 (e) 단계는,
상기 블랙박스의 실시간 영상 및 상기 사용자 단말의 카메라를 통해 수신한 영상의 특징점을 추출하여, 초점거리를 보상하고 교정된 실시간 영상으로 변환하되,
상기 사용자 단말의 카메라는 상기 사용자 차량의 전방을 촬영하도록 상기 차량의 센터페시아 내의 특정 위치에 거치되어 구비되는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 1,
In step (e),
Extract the feature points of the real-time image of the black box and the image received through the camera of the user terminal, compensate for the focal length and convert to a corrected real-time image,
The camera of the user terminal is mounted on a specific position in the center fascia of the vehicle to photograph the front of the user vehicle,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 특징점은,
상기 사용자 차량의 본닛 가장자리 중 어느 하나의 지점 및 상기 실시간 영상 및 상기 사용자 단말의 카메라를 통해 수신한 영상 내 상기 본닛 위의 임의의 물체에 관한 특징점인 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 8,
The feature point,
It is a feature point for any point on the bonnet edge of the user vehicle and any object on the bonnet in the real-time image and the image received through the camera of the user terminal,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 (e) 단계는,
상기 카메라를 통해 수신한 영상과 상기 블랙박스의 실시간 영상 내에 각각 존재하는 상기 차량의 본닛의 가장자리에 관한 특징점의 수평연장선과 상기 본닛 위 임의의 물체에 관한 특징점의 수평연장선이 서로 일치하게끔, 상기 카메라를 통해 수신한 영상과 상기 블랙박스의 실시간 영상을 정렬하여 동기화한 후, 상기 카메라를 통해 수신한 영상을 참고하여, 상기 블랙박스의 실시간 영상을 보정하는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.
The method of claim 9,
In step (e),
The horizontal extension line of the feature point about the edge of the bonnet of the vehicle existing in the image received through the camera and the real time image of the black box and the horizontal extension line of the feature point about any object on the bonnet coincide with each other; After aligning and synchronizing the image received through the real-time image of the black box, and correcting the real-time image of the black box with reference to the image received through the camera,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
상기 서버는,
복수의 동물들에 대한 반사속도 및 상기 거리에 기초하여, 상기 사용자 차량의 속도의 관계에 관해 상기 동물이 회피할 수 있는 상기 사용자 차량의 속도를 각 동물 별로 규정하는 테이블을 생성 및 저장하는 것인,
단말 및 건물CCTV 카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 알림 방법.The method of claim 1,
The server,
Generating and storing a table for each animal that defines the speed of the user vehicle that the animal can avoid about the relationship of the speed of the user vehicle based on the reflection speed and the distance to a plurality of animals ,
Method for detecting and notifying the dangerous situation of the surrounding vehicle based on the communication connection and image analysis between the terminal and the building CCTV camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190096535A KR102067547B1 (en) | 2019-08-08 | 2019-08-08 | Method and detection for peripheral vehicle risk based on image analysis and communication connection between portable communication terminals and building cctv camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190096535A KR102067547B1 (en) | 2019-08-08 | 2019-08-08 | Method and detection for peripheral vehicle risk based on image analysis and communication connection between portable communication terminals and building cctv camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102067547B1 true KR102067547B1 (en) | 2020-01-20 |
Family
ID=69367779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190096535A KR102067547B1 (en) | 2019-08-08 | 2019-08-08 | Method and detection for peripheral vehicle risk based on image analysis and communication connection between portable communication terminals and building cctv camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102067547B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220234604A1 (en) * | 2021-01-26 | 2022-07-28 | Ford Global Technologies, Llc | Hazard condition warning for package delivery operation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150006983A (en) * | 2013-07-10 | 2015-01-20 | 에스케이플래닛 주식회사 | Forward vehicle collision warning apparatus and method thereof |
KR20160038960A (en) * | 2014-09-30 | 2016-04-08 | 계명대학교 산학협력단 | Mobile device for detecting dangerous situation using learning information and operation method thereof |
KR101677035B1 (en) * | 2015-09-17 | 2016-11-17 | 권수한 | Mobile data collection device |
KR20170118582A (en) * | 2016-04-15 | 2017-10-25 | 한국전자통신연구원 | Method for judging car accident based on exercise imformaion of car and apparatus using the same |
-
2019
- 2019-08-08 KR KR1020190096535A patent/KR102067547B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150006983A (en) * | 2013-07-10 | 2015-01-20 | 에스케이플래닛 주식회사 | Forward vehicle collision warning apparatus and method thereof |
KR20160038960A (en) * | 2014-09-30 | 2016-04-08 | 계명대학교 산학협력단 | Mobile device for detecting dangerous situation using learning information and operation method thereof |
KR101677035B1 (en) * | 2015-09-17 | 2016-11-17 | 권수한 | Mobile data collection device |
KR20170118582A (en) * | 2016-04-15 | 2017-10-25 | 한국전자통신연구원 | Method for judging car accident based on exercise imformaion of car and apparatus using the same |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220234604A1 (en) * | 2021-01-26 | 2022-07-28 | Ford Global Technologies, Llc | Hazard condition warning for package delivery operation |
US11724641B2 (en) * | 2021-01-26 | 2023-08-15 | Ford Global Technologies, Llc | Hazard condition warning for package delivery operation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10971007B2 (en) | Road condition information sharing method | |
US10730512B2 (en) | Method and system for collaborative sensing for updating dynamic map layers | |
KR102464898B1 (en) | Method and apparatus for sharing video information associated with a vihicle | |
WO2017193933A1 (en) | Traffic accident pre-warning method and traffic accident pre-warning device | |
US11315420B2 (en) | Moving object and driving support system for moving object | |
CN110164135B (en) | Positioning method, positioning device and positioning system | |
KR20130088480A (en) | Integration control system and method using surveillance camera for vehicle | |
JP2019215871A (en) | Spectacle type wearable terminal and control program thereof, and notification method | |
KR102635265B1 (en) | Apparatus and method for around view monitoring using lidar | |
KR20140128836A (en) | Image-processing Apparatus for Car and Method of Providing Information Using The Same | |
KR20150081838A (en) | Apparatus and method for searching wanted vehicle | |
KR20160035274A (en) | A system for detecting car being violated parking and stopping of based on big date using CCTV camera and black box vehicle | |
CN111243314A (en) | Information providing system, server, mobile terminal, non-transitory storage medium, and information providing method | |
KR101612836B1 (en) | Method and device for acquisiting accident image in vehicle, and computer readable medium for performing the method | |
KR20210056632A (en) | Method for image processing based on message and electronic device implementing the same | |
KR102067547B1 (en) | Method and detection for peripheral vehicle risk based on image analysis and communication connection between portable communication terminals and building cctv camera | |
KR102188461B1 (en) | Standalone multi channel vehicle data processing system for providing functions of intelligent and advanced driver assistance and method thereof | |
KR101263894B1 (en) | Apparatus and method for tracking wanted vehicle | |
KR102067553B1 (en) | System for situation imformation delivery using communicating building cctv camera image to portable communication terminal on celluler network | |
US20230125597A1 (en) | Information collection system | |
JP2023156963A (en) | Object tracking integration method and integration apparatus | |
US11945404B2 (en) | Tracking and video information for detecting vehicle break-in | |
KR102255429B1 (en) | Image-processing Apparatus for Car and Method of Providing Information Using The Same | |
KR20150049544A (en) | Black Box | |
KR20130011350A (en) | Method for guiding safe driving of car, apparatus and system for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |