KR102310434B1 - System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern - Google Patents

System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern Download PDF

Info

Publication number
KR102310434B1
KR102310434B1 KR1020210040376A KR20210040376A KR102310434B1 KR 102310434 B1 KR102310434 B1 KR 102310434B1 KR 1020210040376 A KR1020210040376 A KR 1020210040376A KR 20210040376 A KR20210040376 A KR 20210040376A KR 102310434 B1 KR102310434 B1 KR 102310434B1
Authority
KR
South Korea
Prior art keywords
subject
image information
pattern
warning message
behavior pattern
Prior art date
Application number
KR1020210040376A
Other languages
Korean (ko)
Inventor
조문석
홍성견
서인석
Original Assignee
쿨사인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿨사인 주식회사 filed Critical 쿨사인 주식회사
Priority to KR1020210040376A priority Critical patent/KR102310434B1/en
Application granted granted Critical
Publication of KR102310434B1 publication Critical patent/KR102310434B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G06Q50/30—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Emergency Management (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a system and method for predicting road crossing according to a walking pattern by storing a pedestrian's walking pattern. The present invention includes: a plurality of first cameras for extracting corresponding image information of a section in which a motion occurred, when the motion is detected by a motion sensing device which extracts image information or detects movement of a subject; a server including: an analysis module which measures moving speed of the subject; a data storage module which extracts and stores the characteristics of normal behavior patterns and abnormal behavior patterns, respectively; a judgment module which generates a warning message when it is judged to be the abnormal behavior pattern; and a sending module which sends the warning message to a display device when the warning message is generated in the judgment module; and a display device for outputting the warning message received from the server. Accordingly, it is possible to prevent a pedestrian accident in advance by warning a vehicle driver.

Description

보행자의 보행패턴을 저장하여 보행패턴에 따라 도로 횡단을 예측하는 시스템 및 방법{System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern}System and Method for Saving the Pedestrian's Walking Pattern and Predicting the Road Crossing According to the Walking Pattern}

본 발명은 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법에 관한 것이다. 보다 상세하게는 다양한 각도로 횡단보도에 설치되어 인도 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 피사체의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 복수 개의 제1카메라, 제1카메라에서 추출되는 영상정보를 분석하여 피사체와 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 피사체의 이동속도를 측정하는 분석모듈, 제1카메라에서 추출된 하나 이상의 영상정보 중 피사체의 각각의 행동패턴을 저장하되 피사체가 정상적으로 인도에서 정지했을 경우 정상행동패턴으로 저장하고 피사체가 인도를 미리 설정된 범위 이상 인도에서 벗어날 경우 이상행동패턴으로 저장하여 정상행동패턴 및 이상행동패턴의 특징을 각각 추출하여 저장하는 데이터저장모듈, 분석모듈을 통해 분석된 행동패턴의 특징과 정상행동패턴과 이상행동패턴이 가지는 특징들의 유사도를 분석하여 분석된 유사도가 미리 설정된 값보다 큰 값을 가지는 정상행동패턴 또는 이상행동패턴으로 판단하는 행동패턴검출모듈을 통해 이상행동패턴으로 판단될 경우 경고메시지를 생성하는 판단모듈, 및 판단모듈에서 경고메시지가 생성되면 디스플레이장치로 경고메시지를 송신하는 송신모듈을 포함하는 서버 및 횡단보도에 설치되어 차량이 접근하는 차도 방향으로 상기 서버로부터 수신된 경고메시지를 출력하는 디스플레이장치를 포함하는 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for predicting a road crossing according to a gait pattern by storing a gait pattern of a pedestrian. In more detail, when a motion is detected by a motion sensing device that is installed at a crosswalk at various angles to analyze the input image information while shooting in the direction of the sidewalk to extract the image information of the section in which the movement occurred or to detect the movement of the subject, A plurality of first cameras that extract the corresponding image information of the section in which the movement occurs, and the image information extracted from the first camera are analyzed to measure the distance between the subject and the crosswalk, and the moving speed of the subject according to the distance changed in real time An analysis module that measures , saves each behavior pattern of the subject among one or more image information extracted from the first camera, but stores it as a normal behavior pattern when the subject is normally stopped on the sidewalk In case of deviation, it is stored as an abnormal behavior pattern, and the characteristics of the normal behavior pattern and the abnormal behavior pattern are extracted and stored respectively, and the characteristics of the behavior pattern analyzed through the analysis module and the similarity between the normal behavior pattern and the abnormal behavior pattern A judgment module that generates a warning message when it is determined as an abnormal behavior pattern through a behavior pattern detection module that analyzes and determines that the analyzed similarity is a normal behavior pattern or an abnormal behavior pattern having a value greater than a preset value, and in the judgment module Pedestrian walking comprising a server including a transmission module for transmitting a warning message to a display device when a warning message is generated, and a display device installed in a crosswalk to output a warning message received from the server in the direction of the roadway approaching the vehicle It relates to a system and method for predicting road crossing according to a gait pattern by storing a pattern.

교통사고 통계에 따르면, 횡단보도 상에서 발생하는 사망사고율은 전체 보행자 사망사고의 60%에 달하며 비록 횡단보도에 신호등 및 교통표지판이 설치되어 있어도 차량운전자의 부주의 또는 신호 무시에 따른 신호위반에 의해 교통사고가 발생하기도 한다.According to traffic accident statistics, the fatality rate at crosswalks accounts for 60% of all pedestrian fatalities. may occur.

더욱이, 최근 각 가구당 한대의 자동차를 보유한 만큼 자동차의 보급이 늘어나고 있어서 도심은 물론이고 소규모 마을의 골목길에서도 자동차의 통행량이 급증하여, 보행자의 안전을 위협하는 사고가 끊이지 않고 발생하였다.Moreover, as the number of automobiles is increasing as each household has one automobile in recent years, the traffic volume of automobiles has increased rapidly not only in downtown but also in the alleyways of small towns, and accidents threatening the safety of pedestrians have occurred continuously.

특히, 어린이보호구역의 교통안전은 차량운전자의 주의가 더욱 필요한 지역이지만, 성인에 비하여 상대적으로 신장이 작고 주의력이 미숙한 어린이들은 주정차 차량 및 장애물 등에 가려지게 됨에 따라, 어린이들이 횡단보도를 향하여 돌발적으로 뛰어나오는 경우에는 차량운전자가 신속하게 대처하지 못하여 불의의 교통사고로 이어지는 경우가 많았다.In particular, traffic safety in child protection areas requires more attention from vehicle drivers. However, children with relatively short height and inexperienced attention compared to adults are obscured by parked vehicles and obstacles. In many cases, the driver of the vehicle did not respond promptly, leading to an unexpected traffic accident.

현재에는 인도와 횡단보도 사이에 레이저를 쏴서 보행자들이 신호를 더 인식하기 쉽게 하지만 아쉽게도 현재까지는 차량운전자가 위험을 내재한 보행자의 유무를 확인할 수 있는 장치는 설치되어 있지 않다.Currently, a laser is fired between the sidewalk and the crosswalk to make it easier for pedestrians to recognize the signal, but unfortunately, there is no device that allows the driver of a vehicle to check whether a pedestrian is inherently dangerous.

대한민국 등록특허 제10-2186349호Republic of Korea Patent Registration No. 10-2186349

상술한 바와 같은 같은 문제점을 해결하기 위해 안출된 본 발명의 목적은, 보행자의 행동패턴을 분석하여 보행자가 정상적으로 횡단할 때와 갑작스러운 위험이 발생할 때를 나누어 빅데이터화 하기 때문에 보다 다양한 패턴의 보행위험을 검출하여 사전에 경고하는 것이 가능한 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법을 제공하기 위함이다.The purpose of the present invention, which has been devised to solve the above-described problems, is to analyze the behavioral patterns of pedestrians and divide them into big data when pedestrians cross normally and when sudden danger occurs, so that more diverse patterns of walking risk This is to provide a system and method for predicting road crossing according to the walking pattern by storing the pedestrian's gait pattern that can detect and warn in advance.

또한, 본 발명의 다른 목적은, 횡단보도에 카메라를 설치하여 횡단보도를 횡단하려는 보행자를 촬영하되 보행자가 횡단보도를 위험하게 건널 가능성이 있을 경우 이를 차량 운전자에게 경고하여 보행사고를 미연에 방지하는 것이 가능한 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법을 제공하기 위함이다.In addition, another object of the present invention is to install a camera in the crosswalk to photograph a pedestrian trying to cross the crosswalk, but if there is a possibility that the pedestrian crosses the crosswalk dangerously, it warns the vehicle driver to prevent a pedestrian accident in advance It is to provide a system and method for predicting the crossing of a road according to the walking pattern by storing the possible walking patterns of pedestrians.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명인 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템은, 다양한 각도로 횡단보도에 설치되어 인도 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 피사체의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 복수 개의 제1카메라, 제1카메라에서 추출되는 영상정보를 분석하여 피사체와 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 피사체의 이동속도를 측정하는 분석모듈, 제1카메라에서 추출된 하나 이상의 영상정보 중 피사체의 각각의 행동패턴을 저장하되 피사체가 정상적으로 인도에서 정지했을 경우 정상행동패턴으로 저장하고 피사체가 인도를 미리 설정된 범위 이상 인도에서 벗어날 경우 이상행동패턴으로 저장하여 정상행동패턴 및 이상행동패턴의 특징을 각각 추출하여 저장하는 데이터저장모듈, 분석모듈을 통해 분석된 행동패턴의 특징과 정상행동패턴과 이상행동패턴이 가지는 특징들의 유사도를 분석하여 분석된 유사도가 미리 설정된 값보다 큰 값을 가지는 정상행동패턴 또는 이상행동패턴으로 판단하는 행동패턴검출모듈을 통해 이상행동패턴으로 판단될 경우 경고메시지를 생성하는 판단모듈, 및 판단모듈에서 경고메시지가 생성되면 디스플레이장치로 경고메시지를 송신하는 송신모듈을 포함하는 서버 및 횡단보도에 설치되어 차량이 접근하는 차도 방향으로 서버로부터 수신된 경고메시지를 출력하는 디스플레이장치를 포함하고, 다양한 각도로 횡단보도에 설치되어 차량의 진행 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 차량의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 복수 개의 제2카메라를 더 포함한다. 이때, 상기 분석모듈은 상기 제2카메라를 통해 수신되는 영상정보를 분석하여 인도와 근접한 차량의 주정차를 검출하며, 상기 판단모듈은 상기 분석모듈을 통해 피사체의 이동 및 주정차가 감지되면 경고메시지를 생성하고, 상기 분석모듈은 상기 제2카메라에서 추출되는 영상정보를 분석하여 차량과 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 차량의 이동속도를 측정하고, 상기 디스플레이장치는, 빛을 투사하여 차도에 경고메시지를 출력하되, 차량의 이동속도 및 거리에 따라 미리 설정된 이미지의 형태 및 투사 위치를 변경할 수 있다.According to a feature of the present invention for achieving the above object, the system for predicting road crossing according to the gait pattern by storing the gait pattern of the pedestrian according to the present invention is installed at the crosswalk at various angles and photographed in the direction of the sidewalk. A plurality of first cameras that analyze the input image information to extract image information of the section in which the motion occurs, or extract the corresponding image information of the section in which the motion occurs when a motion is detected by a motion sensing device that detects the movement of a subject , an analysis module that measures the distance between the subject and the crosswalk by analyzing the image information extracted from the first camera, and measures the moving speed of the subject according to the distance changed in real time, among one or more image information extracted from the first camera Each behavior pattern of the subject is stored, but when the subject is normally stopped on the sidewalk, it is saved as a normal behavior pattern. Normal behavior whose similarity is larger than a preset value by analyzing the similarity between the characteristics of the behavior pattern analyzed through the data storage module and the analysis module, respectively, and the characteristics of the normal behavior pattern and the abnormal behavior pattern A decision module that generates a warning message when it is determined as an abnormal behavior pattern through a behavior pattern detection module that determines a pattern or an abnormal behavior pattern, and a sending module that transmits a warning message to a display device when a warning message is generated by the judgment module and a display device installed at the crosswalk to output a warning message received from the server in the direction of the road approaching the vehicle, and installed at the crosswalk at various angles to display image information input while shooting in the direction of the vehicle. It further includes a plurality of second cameras for extracting the image information of the section in which the motion occurs by analyzing or extracting the corresponding image information of the section in which the motion occurs when the motion is detected by the motion sensing device for detecting the movement of the vehicle. At this time, the analysis module analyzes the image information received through the second camera to detect the parking and stopping of the vehicle close to the sidewalk, and the determination module generates a warning message when the movement and parking of the subject are detected through the analysis module And, the analysis module analyzes the image information extracted from the second camera to measure the distance between the vehicle and the crosswalk and measure the moving speed of the vehicle according to the distance changed in real time, and the display device emits light A warning message is output on the road by projecting, but the preset image shape and projection position can be changed according to the moving speed and distance of the vehicle.

또한, 판단모듈은 분석모듈을 통해 측정된 이동속도가 미리 설정된 이동속도 이상일 경우 이상행동패턴으로 판단하여 경고메시지를 생성하것을 특징으로 한다. 또한, 분석모듈은 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 안면의 형태를 분석하는 안면형태분석모듈을 더 포함한다.In addition, the determination module is characterized in that when the movement speed measured through the analysis module is greater than or equal to a preset movement speed, it is determined as an abnormal behavior pattern and a warning message is generated. In addition, the analysis module further includes a facial shape analysis module for analyzing the facial shape of the subject by analyzing the image information extracted by the first camera.

또한, 판단모듈은 분석된 안면의 형태 중 피사체의 동공의 움직임 및 동공의 중심위치를 추적하되 상기 피사체가 인도에서 횡단보도 방향으로 이동 시 동공의 중심위치가 차도방향으로 향하는지를 판단하고, 추적된 동공의 중심위치가 차도방향으로 향하지 않았다고 판단되면 경고메시지를 생성하는 눈동자추적모듈을 더 포함하는 것을 특징으로 한다. 또한, 분석모듈은 상기 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 크기를 검출하는 것을 특징으로 하고, 상기 판단모듈은 검출된 피사체의 크기가 미리 설정된 크기 이하일 경우 경고메시지를 생성한다.In addition, the determination module tracks the movement of the pupil of the subject and the central position of the pupil among the analyzed facial shapes, but when the subject moves in the crosswalk direction from the sidewalk, it is determined whether the central position of the pupil is directed in the road direction, It is characterized in that it further comprises a pupil tracking module for generating a warning message when it is determined that the central position of the pupil is not directed toward the roadway. In addition, the analysis module is characterized in that the size of the object is detected by analyzing the image information extracted by the first camera, and the determination module generates a warning message when the size of the detected object is less than or equal to a preset size.

삭제delete

삭제delete

상기한 바와 같은 목적을 달성하기 위한 본 발명의 또 다른 특징에 따르면, 본 발명인 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법은, (a) 복수 개의 제1카메라가 다양한 각도로 횡단보도에 설치되어 인도 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 피사체의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 단계, (b) 서버가 상기 (a)단계에서 추출되는 영상정보를 분석하여 피사체와 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 피사체의 이동속도를 측정하는 단계, (c) 서버가 상기 (a)단계에서 추출된 하나 이상의 영상정보 중 피사체의 각각의 행동패턴을 저장하되 피사체가 정상적으로 인도에서 정지했을 경우 정상행동패턴으로 저장하고 피사체가 인도를 미리 설정된 범위 이상 인도에서 벗어날 경우 이상행동패턴으로 저장하여 상기 정상행동패턴 및 상기 이상행동패턴의 특징을 각각 추출하여 저장하는 단계, (d) 상기 (c)단계를 통해 분석된 행동패턴의 특징과 상기 정상행동패턴과 이상행동패턴이 가지는 특징들의 유사도를 분석하여 분석된 유사도가 미리 설정된 값보다 큰 값을 가지는 정상행동패턴 또는 이상행동패턴으로 판단하고, 이상행동패턴으로 판단될 경우 경고메시지를 생성하는 단계; (e) 상기 (d)단계에서 경고메시지가 생성되면 디스플레이장치로 경고메시지를 송신하는 단계 및 (f) 디스플레이 장치가 횡단보도에 설치되어 차량이 접근하는 차도 방향으로 상기 서버로부터 수신된 경고메시지를 출력하는 단계를 포함하고, (a1) 복수 개의 제2카메라가 다양한 각도로 횡단보도에 설치되어 차량의 진행 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 차량의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 단계를 더 포함할 수 있다. 그리고 상기 (b)단계는 상기 제2카메라를 통해 수신되는 영상정보를 분석하여 인도와 근접한 차량의 주정차를 검출하고, 상기 (d)단계는 상기 (b)단계를 통해 피사체의 이동 및 주정차가 감지되면 경고메시지를 생성할 수 있다. 그리고 상기 (b)단계는 상기 제2카메라에서 추출되는 영상정보를 분석하여 차량과 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 차량의 이동속도를 측정하고, 상기 (f)단계는 디스플레이장치를 통해 빛을 투사하여 차도에 경고메시지를 출력하되, 차량의 이동속도 및 거리에 따라 미리 설정된 이미지의 형태 및 투사 위치를 변경할 수 있다.
상기 (d)단계는 상기 (b)단계에서 측정된 이동속도가 미리 설정된 이동속도 이상일 경우 이상행동패턴으로 판단하여 경고메시지를 생성할 수 있다. 그리고 상기 (b)단계는 (b1) 상기 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 안면의 형태를 분석하는 단계를 더 포함할 수 있다. 그리고 상기 (d)단계는 (d1) 분석된 안면의 형태 중 피사체의 동공의 움직임 및 상기 동공의 중심위치를 추적하되 상기 피사체가 인도에서 횡단보도 방향으로 이동 시 동공의 중심위치가 차도방향으로 향하는지를 판단하고, 추적된 동공의 중심위치가 차도방향으로 향하지 않았다고 판단되면 경고메시지를 생성하는 단계를 더 포함할 수 있다.
또한, 상기 (b)단계는 상기 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 크기를 검출하고, 상기 (d)단계는 검출된 피사체의 크기가 미리 설정된 크기 이하일 경우 경고메시지를 생성할 수 있다.According to another feature of the present invention for achieving the above object, the method of predicting road crossing according to the gait pattern by storing the gait pattern of the pedestrian according to the present invention, (a) a plurality of first cameras at various angles It is installed in a crosswalk with a crosswalk and analyzes the input image information while shooting in the direction of the sidewalk to extract the image information of the section where the motion occurred, or when the motion is detected by a motion sensing device that detects the movement of the subject, the section where the motion occurred Step of extracting the corresponding image information, (b) the server analyzes the image information extracted in step (a) to measure the distance between the subject and the crosswalk and measure the moving speed of the subject according to the distance changed in real time Step, (c) the server stores each behavior pattern of the subject among the one or more image information extracted in step (a), but stores it as a normal behavior pattern when the subject is normally stopped on the sidewalk, and the subject is guided in a preset range Steps of storing the abnormal behavior pattern and extracting and storing the characteristics of the normal behavior pattern and the abnormal behavior pattern in case of deviation from the abnormal guidance, (d) the characteristic of the behavior pattern analyzed through the step (c) and the normal behavior analyzing the similarity of the characteristics of the pattern and the abnormal behavior pattern, determining that the analyzed similarity is a normal behavior pattern or an abnormal behavior pattern having a value greater than a preset value, and generating a warning message when it is determined as an abnormal behavior pattern; (e) transmitting a warning message to a display device when the warning message is generated in step (d); Comprising the step of outputting, (a1) a plurality of second cameras are installed in the crosswalk at various angles to analyze the input image information while shooting in the traveling direction of the vehicle to extract the image information of the section in which the movement occurs, or The method may further include the step of extracting the corresponding image information of the section in which the motion is generated when the motion is detected by the motion sensing device for detecting the motion of the . And the step (b) analyzes the image information received through the second camera to detect the parking and stopping of the vehicle close to the sidewalk, and the step (d) detects the movement and parking of the subject through the step (b). When this happens, a warning message can be generated. And the step (b) measures the distance between the vehicle and the crosswalk by analyzing the image information extracted from the second camera, and measures the moving speed of the vehicle according to the distance changed in real time, and the step (f) is A warning message is output on the road by projecting light through the display device, but the preset image shape and projection position can be changed according to the moving speed and distance of the vehicle.
In step (d), when the movement speed measured in step (b) is greater than or equal to a preset movement speed, it is determined as an abnormal behavior pattern and a warning message can be generated. And the step (b) may further include the step of (b1) analyzing the facial shape of the subject by analyzing the image information extracted by the first camera. And the step (d) tracks the movement of the pupil of the subject and the central position of the pupil among the analyzed facial shapes (d1), but when the subject moves from the sidewalk to the crosswalk direction, the central position of the pupil is directed toward the roadway The method may further include generating a warning message when determining whether or not the central position of the tracked pupil is not directed toward the roadway.
In addition, in step (b), the size of the subject is detected by analyzing the image information extracted by the first camera, and in step (d), a warning message is generated when the size of the detected subject is less than or equal to a preset size. can

삭제delete

삭제delete

삭제delete

이상 살펴본 바와 같은 본 발명에 따르면, 보행자의 행동패턴을 분석하여 보행자가 정상적으로 횡단할 때와 갑작스러운 위험이 발생할 때를 나누어 빅데이터화 하기 때문에 보다 다양한 패턴의 보행위험을 검출하여 사전에 경고하는 것이 가능한 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법을 제공할 수 있다.According to the present invention as described above, it is possible to detect and warn in advance by detecting a walking risk of more diverse patterns because it analyzes a pedestrian's behavior pattern and divides it into big data when a pedestrian crosses normally and when a sudden danger occurs. It is possible to provide a system and method for predicting road crossing according to the walking pattern by storing the pedestrian's gait pattern.

또한, 본 발명에 따르면, 횡단보도에 카메라를 설치하여 횡단보도를 횡단하려는 보행자를 촬영하되 보행자가 횡단보도를 위험하게 건널 가능성이 있을 경우 이를 차량 운전자에게 경고하여 보행사고를 미연에 방지하는 것이 가능한 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법을 제공할 수 있다.In addition, according to the present invention, when a camera is installed in a crosswalk to photograph a pedestrian trying to cross the crosswalk, but if there is a possibility that the pedestrian is crossing the crosswalk dangerously, it is possible to prevent a pedestrian accident in advance by warning the driver of this. It is possible to provide a system and method for predicting road crossing according to the walking pattern by storing the pedestrian's gait pattern.

도 1은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템을 나타낸 블럭도이다.
도 2는 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 전광판 형태의 디스플레이 장치가 적용된 신호등을 나타낸 사시도이다.
도 3은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템이 적용된 횡단보도를 나타낸 평면도이다.
도 4는 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 전광판 형태의 디스플레이 장치가 적용된 횡단보도를 나타낸 예시도이다.
도 5는 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 레이저 디스플레이 장치가 적용된 신호등을 나타낸 사시도이다.
도 6은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 레이저 디스플레이 장치가 적용된 횡단보도를 나타낸 예시도이다.
도 7은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법을 나타낸 순서도이다.1 is a block diagram illustrating a system for predicting a road crossing according to a gait pattern by storing a gait pattern of a pedestrian according to an embodiment of the present invention.
2 is a perspective view illustrating a traffic light to which a display device in the form of an electric billboard is applied in a system for predicting a road crossing according to a gait pattern by storing a gait pattern of a pedestrian according to an embodiment of the present invention.
3 is a plan view showing a crosswalk to which a system for predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention is applied.
4 is an exemplary diagram illustrating a crosswalk to which a display device in the form of an electric billboard is applied in a system for predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention.
5 is a perspective view illustrating a traffic light to which a laser display device is applied in a system for predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention.
6 is an exemplary diagram illustrating a crosswalk to which a laser display device is applied in a system for predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention.
7 is a flowchart illustrating a method of predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 실시예들에 의하여 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for explaining a system and method for predicting a road crossing according to a gait pattern by storing a gait pattern of a pedestrian according to embodiments of the present invention.

본 발명은 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for predicting a road crossing according to a gait pattern by storing a gait pattern of a pedestrian.

본 발명의 전반에 걸쳐 기재된 제1카메라(100) 및 제2카메라(400)는 일반적으로 광학카메라인 것이 바람직하나 이에 한정되는 것이 아닌 열화상카메라, 적외선 카메라 등등 사람의 형태 및 이동을 감지할 수 있으면 제1카메라(100) 및 제2카메라(400)로 이용 가능하다. 또한, 본 발명의 전반에 걸쳐 기재된 모션센싱장치는 일반적으로 초음파 센서인 것이 바람직하나 이에 한정되는 것이 아닌 IR센서, 거리측정장치 등 사람 또는 사물의 접근을 감지할 수 있으면 모션센싱장치로 이용 가능하다. 그리고, 본 발명의 전반에 걸쳐 기재된 디스플레이장치(300)는 일반적으로 전광판의 형태로 횡단보도에 설치되어 차량이 진입하는 방향에서 볼 수 있게 설치되는 것이 바람직하나 이에 한정되는 것이 아닌 레이저, DLP등의 투사장치를 통해 차도에 투영되어 차량의 운전자가 이를 인식할 수 있으면 디스플레이장치(300)로 이용 가능하다.The first camera 100 and the second camera 400 described throughout the present invention are generally preferably optical cameras, but are not limited thereto, but can detect the shape and movement of a person, such as a thermal imaging camera, an infrared camera, etc. If there is, it can be used as the first camera 100 and the second camera 400 . In addition, the motion sensing device described throughout the present invention is generally preferably an ultrasonic sensor, but is not limited thereto. If it can detect the approach of a person or an object, such as an IR sensor, a distance measuring device, etc., it can be used as a motion sensing device. . In addition, the display device 300 described throughout the present invention is generally installed in a crosswalk in the form of an electric billboard and is preferably installed so that it can be seen from the direction in which the vehicle enters, but is not limited thereto. If it is projected on the road through the projection device and the driver of the vehicle can recognize it, it can be used as the display device 300 .

도 1은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 전광판 형태의 디스플레이 장치가 적용된 신호등을 나타낸 사시도이다. 그리고 도 3은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템이 적용된 횡단보도를 나타낸 평면도이고, 도 4는 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 전광판 형태의 디스플레이 장치가 적용된 횡단보도를 나타낸 예시도이며, 도 5는 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 레이저 디스플레이 장치가 적용된 신호등을 나타낸 사시도이다. 그리고 도 6은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템에서 레이저 디스플레이 장치가 적용된 횡단보도를 나타낸 예시도이다.1 is a block diagram illustrating a system for predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention, and FIG. It is a perspective view showing a traffic light to which a display device in the form of an electric billboard is applied in a system for predicting a road crossing according to a walking pattern. And FIG. 3 is a plan view showing a crosswalk to which a system for predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention is applied, and FIG. 4 is a pedestrian's gait according to an embodiment of the present invention. It is an exemplary view showing a crosswalk to which a display device in the form of an electric sign is applied in a system for predicting a road crossing according to a gait pattern by storing a pattern, and FIG. It is a perspective view showing a traffic light to which a laser display device is applied in a system for predicting road crossings. And FIG. 6 is an exemplary diagram illustrating a crosswalk to which a laser display device is applied in a system for predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention.

도 1 내지 도 6을 참고하면, 본 발명인 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템 및 방법은 제1카메라(100), 서버(200), 디스플레이장치(300) 및 제2카메라(400)를 포함한다.1 to 6, the present invention is a system and method for storing a pedestrian's gait pattern and predicting a road crossing according to the gait pattern, the first camera 100, the server 200, the display device 300 and the second Two cameras 400 are included.

제1카메라(100)는 복수 개가 다양한 각도로 횡단보도에 설치되어 인도 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 피사체의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출한다. 여기서, 제1카메라(100)는 복수 개가 다양한 각도로 횡단보도 앞의 인도를 촬영하게 되며 초음파센서, 거리 측정 장치 등 보행자의 움직임을 인식하는 장비를 통해 보행자가 인식되면 촬영을 진행하여 영상정보를 추출하는 것이 바람직하다.A plurality of first cameras 100 are installed in crosswalks at various angles to analyze the input image information while shooting in the direction of the sidewalk to extract image information of the section in which the movement occurred or to a motion sensing device that detects the movement of a subject. When a motion is detected by the user, the corresponding image information of the section in which the motion occurred is extracted. Here, a plurality of the first cameras 100 take pictures of the sidewalk in front of the crosswalk at various angles, and when the pedestrian is recognized through equipment that recognizes the pedestrian's movement, such as an ultrasonic sensor and a distance measuring device, the image information is captured by photographing. It is preferable to extract.

서버(200)는 분석모듈(210), 판단모듈(220), 송신모듈(230), 데이터저장모듈(240) 및 행동패턴검출모듈(250)을 포함한다.The server 200 includes an analysis module 210 , a determination module 220 , a transmission module 230 , a data storage module 240 , and a behavior pattern detection module 250 .

분석모듈(210)은 제1카메라(100)에서 추출되는 영상정보를 분석하여 피사체와 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 피사체의 이동속도를 측정한다. 즉, 분석모듈(210)은 피사체의 이동을 감지하고 이동방향 및 이동속도를 감지하는 것이 바람직하다. 여기서, 분석모듈(210)은 안면형태분석모듈(212)을 더 포함한다.The analysis module 210 measures the distance between the subject and the crosswalk by analyzing the image information extracted from the first camera 100 , and measures the moving speed of the subject according to the distance changed in real time. That is, it is preferable that the analysis module 210 detects the movement of the subject and detects the movement direction and the movement speed. Here, the analysis module 210 further includes a facial shape analysis module 212 .

안면형태분석모듈(212)은 제1카메라(100)에 의해 추출된 영상정보를 분석하여 피사체의 안면의 형태의 통계자료를 활용하여 각 피사체의 성별, 연령대 또는 감정 등을 분석하게 됨이 바람직하다. 즉, 안면형태분석모듈(212)을 통해 보행자의 성별, 연령대 및 감정을 미리 저장된 통계자료를 활용하여 분석하는 것이 바람직하다. 분석모듈(210)은 제1카메라(100)에 의해 추출된 영상정보를 분석하여 피사체의 크기를 검출한다.It is preferable that the facial shape analysis module 212 analyzes the image information extracted by the first camera 100 and analyzes the gender, age group, or emotion of each subject using statistical data of the subject's face shape. . That is, it is preferable to analyze the gender, age group, and emotion of the pedestrian through the facial shape analysis module 212 by using pre-stored statistical data. The analysis module 210 analyzes the image information extracted by the first camera 100 to detect the size of the subject.

여기서, 피사체의 크기는 피사체가 움직이는 형태를 분석하여 다리부터 머리 끝까지의 길이를 측정하여 피사체의 크기를 판단하는 것이 바람직하다. 그리고 분석모듈(210)은 제2카메라(400)를 통해 수신되는 영상정보를 분석하여 인도와 근접한 차량의 주정차를 검출한다. 즉, 제2카메라(400)를 통해 수신되는 영상정보를 분석하여 미리 설정된 시간동안 차량이 정차한 경우 주정차하였다고 판단하는 것이 바람직하다. 또한, 분석모듈(210)은 제2카메라(400)에서 추출되는 영상정보를 분석하여 차량과 횡단보도와 거리를 측정하고 실시간으로 변화되는 거리에 따라 차량의 이동속도를 측정한다. 즉, 차량의 속도에 따라 차량으로부터 미리 설정된 거리의 지면에 영상정보가 출력되도록 DLP, 레이저 등의 투사장치를 통해 영상을 이동시키며 출력시켜주는 것이 바람직하다.Here, it is preferable to determine the size of the subject by measuring the length from the legs to the tip of the head by analyzing the movement of the subject for the size of the subject. And the analysis module 210 analyzes the image information received through the second camera 400 to detect the parking and stopping of the vehicle close to the sidewalk. That is, it is preferable to analyze the image information received through the second camera 400 to determine that the vehicle is parked and stopped when the vehicle is stopped for a preset time. In addition, the analysis module 210 analyzes the image information extracted from the second camera 400 to measure the distance between the vehicle and the crosswalk, and measure the moving speed of the vehicle according to the distance changed in real time. That is, it is preferable to move and output the image through a projection device such as a DLP or laser so that the image information is output on the ground at a preset distance from the vehicle according to the speed of the vehicle.

따라서, 분석모듈(210)은 제1카메라(100)를 통해 추출되는 영상정보를 분석하여 횡단보도로부터 피사체의 거리, 피사체의 이동속도, 피사체의 크기, 피사체의 안면형태를 분석하는 것이 바람직하고, 제2카메라(400)를 통해 추출되는 영상정보를 추출하여 주정차된 차량을 검출하고 차량과 횡단보도간의 거리 및 차량의 이동속도를 측정하는 것이 바람직하다.Therefore, it is preferable that the analysis module 210 analyzes the image information extracted through the first camera 100 to analyze the distance of the subject from the crosswalk, the moving speed of the subject, the size of the subject, and the facial shape of the subject, It is preferable to extract the image information extracted through the second camera 400 to detect a parked vehicle and measure the distance between the vehicle and the crosswalk and the moving speed of the vehicle.

판단모듈(220)은 분석모듈(210)을 통해 측정된 이동속도가 미리 설정된 이동속도 이상일 경우 이상행동패턴으로 판단하여 경고메시지를 생성한다.The determination module 220 generates a warning message by determining the abnormal behavior pattern when the movement speed measured through the analysis module 210 is greater than or equal to the preset movement speed.

여기서, 판단모듈(220)은 눈동자추적모듈(222)을 더 포함한다.Here, the determination module 220 further includes a pupil tracking module 222 .

눈동자추적모듈(222)은 분석된 안면의 형태 중 피사체의 동공의 움직임 및 상기 동공의 중심위치를 추적하되 상기 피사체가 인도에서 횡단보도 방향으로 이동 시 동공의 중심위치가 차도방향으로 향하는지를 판단하고, 추적된 동공의 중심위치가 차도방향으로 향하지 않았다고 판단되면 경고메시지를 생성한다. 즉, 눈동자추적모듈(222)은 안면형태분석모듈(212)에서 분석된 안면의 방향과 동공의 중심위치를 통해 피사체의 시선을 파악하고 동공의 움직임을 통해 피사체의 시선이 어디를 향하는지를 파악하여 시선이 차도방향으로 향하지 않고 스마트폰, 책 등 다른 곳을 향한 상태로 이동할 경우 인도를 벗어나 차도 방향으로 이탈할 가능성이 있다고 판단하여 경고메시지를 생성하는 것이 바람직하다.The pupil tracking module 222 tracks the movement of the pupil of the subject and the central position of the pupil among the analyzed facial shapes, but when the subject moves from the sidewalk to the crosswalk direction, it is determined whether the central position of the pupil is directed toward the roadway. , a warning message is generated when it is determined that the tracked pupil's central position is not directed toward the roadway. That is, the eye tracking module 222 detects the subject's gaze through the direction of the face and the central position of the pupil analyzed by the facial shape analysis module 212, and identifies where the subject's gaze is directed through the movement of the pupil. It is desirable to generate a warning message by judging that there is a possibility of deviated from the sidewalk and in the direction of the roadway if the gaze is not directed toward the roadway and moves toward other places such as a smartphone or a book.

판단모듈(220)은 검출된 피사체의 크기가 미리 설정된 크기 이하일 경우 경고메시지를 생성하는 것을 특징으로 한다. 즉, 분석모듈(210)에서 검출된 피사체의 크기가 미리 설정된 크기 이하일 경우 어린이로 판단하여 경고메시지를 생성하는 것이 바람직하다. 그리고, 판단모듈(220)은 분석모듈(210)을 통해 피사체의 이동 및 주정차가 감지되면 경고메시지를 생성한다. 즉, 주정차가 감지된 상태에서 피사체가 이동하면 주정차된 차량이 보행자를 가려 차량의 운전자가 보행자를 인식할 수 없기 때문에 주정차된 차량이 있는 경우 보행자의 움직임이 감지되면 경고메시지를 생성하는 것이 바람직하다. 판단모듈(220)은 행동패턴검출모듈(250)을 통해 이상행동패턴으로 판단될 경우 경고메시지를 생성하는 것을 특징으로 한다.The determination module 220 generates a warning message when the size of the detected object is less than or equal to a preset size. That is, when the size of the subject detected by the analysis module 210 is less than or equal to a preset size, it is preferable to determine that the subject is a child and generate a warning message. Then, the determination module 220 generates a warning message when the movement of the subject and the parking and stopping of the subject are detected through the analysis module 210 . That is, if the subject moves while parking is detected, the parked vehicle blocks the pedestrian, so the driver of the vehicle cannot recognize the pedestrian. . The determination module 220 generates a warning message when it is determined as an abnormal behavior pattern through the behavior pattern detection module 250 .

데이터저장모듈(240)은 제1카메라(100)에서 추출된 하나 이상의 영상정보 중 피사체의 각각의 행동패턴을 저장하되 피사체가 정상적으로 인도에서 정지했을 경우 정상행동패턴으로 저장하고 피사체가 인도를 미리 설정된 범위 이상 인도에서 벗어날 경우 이상행동패턴으로 저장하여 상기 정상행동패턴 및 상기 이상행동패턴의 특징을 각각 추출하여 저장한다. 여기서, 정상행동패턴은 피사체가 정상적으로 횡단보도를 횡단할 경우 정상행동패턴으로 저장하고, 이상행동패턴은 피사체가 빨간불 등 정상적이지 않은 상황에서 인도를 벗어나 차도를 침범하거나 정상행동패턴보다 더 빠른 속도로 횡단보도로 향하는 경우 이를 이상행동패턴으로 판단하여 저장하는 것이 바람직하다. 여기서, 이상행동패턴은 킥보드, 롤러스케이트, 자전거 등 다양한 탈것을 탄 피사체도 포함하는 것이 바람직하다. 또한, 이상행동패턴은 보행자가 지그재그로 걷거나 보행보조장치를 통해 걸을 경우에도 이상행동패턴으로 판단하는 것이 바람직하다.The data storage module 240 stores each behavior pattern of the subject among one or more image information extracted from the first camera 100, but stores it as a normal behavior pattern when the subject is normally stopped on the sidewalk, and the subject is set in advance When it deviates beyond the range, it is stored as an abnormal behavior pattern, and the characteristics of the normal behavior pattern and the abnormal behavior pattern are extracted and stored. Here, the normal behavior pattern is stored as a normal behavior pattern when the subject normally crosses the crosswalk, and the abnormal behavior pattern is stored as a normal behavior pattern when the subject leaves the sidewalk in an unusual situation such as a red light and invades the roadway or at a faster speed than the normal behavior pattern. When heading to a crosswalk, it is desirable to judge this as an abnormal behavior pattern and save it. Here, the abnormal behavior pattern preferably includes subjects riding various vehicles such as kickboards, roller skates, and bicycles. In addition, it is preferable to determine the abnormal behavior pattern as an abnormal behavior pattern even when the pedestrian walks in a zigzag or through a walking assistance device.

행동패턴검출모듈(250)은 분석모듈(210)을 통해 분석된 행동패턴의 특징과 상기 정상행동패턴과 이상행동패턴이 가지는 특징들의 유사도를 분석하여 분석된 유사도가 미리 설정된 값보다 큰 값을 가지는 정상행동패턴 또는 이상행동패턴으로 판단한다. 여기서, 미리 저장된 영상과 카메라를 통해 입력되는 영상간의 유사도를 판단하는 방법은 이미 널리 알려져있기 때문에 이에 대한 자세한 설명은 생략한다.The behavior pattern detection module 250 analyzes the similarity between the characteristics of the behavior pattern analyzed through the analysis module 210 and the characteristics of the normal behavior pattern and the abnormal behavior pattern, and the analyzed similarity has a value greater than a preset value. It is judged as a normal behavior pattern or an abnormal behavior pattern. Here, since a method of determining the similarity between a pre-stored image and an image input through a camera is well known, a detailed description thereof will be omitted.

송신모듈(230)은 판단모듈(220)에서 경고메시지가 생성되면 디스플레이장치(300)로 경고메시지를 송신한다. 여기서, 송신모듈(230)은 판단모듈(220)에서 판단된 내용에 따라 생성된 경고메시지를 출력하되 판단된 내용 별로 다른 경고메시지를 출력하는 것이 바람직하다. 즉, 피사체의 크기가 작을 경우 “어린아이를 조심하세요”라는 문구를 출력하고, 주정차된 차량으로 인해 보행자가 가려질 경우 “주정차된 차 뒤로 보행자가 있습니다”라는 문구를 출력하는 등 상황에 따라 차량 운전자에게 다양한 정보를 제공하여 차량운전자가 이를 정확하게 인식하게끔 하는 것이 바람직하다.The sending module 230 transmits the warning message to the display device 300 when the warning message is generated by the determination module 220 . Here, the sending module 230 outputs a warning message generated according to the contents determined by the determination module 220, but it is preferable to output a different warning message for each determined contents. That is, if the subject is small, the phrase “Beware of small children” is printed, and when a pedestrian is obscured by a parked vehicle, the phrase “There is a pedestrian behind a parked car” is output. It is desirable to provide various information to the driver so that the vehicle driver can accurately recognize it.

디스플레이장치(300)는 횡단보도에 설치되어 차량이 접근하는 차도 방향으로 상기 서버(200)로부터 수신된 경고메시지를 출력한다. 디스플레이장치(300)는 빛을 투사하여 차도에 경고메시지를 출력하되, 차량의 이동속도 및 거리에 따라 미리 설정된 이미지의 형태 및 투사 위치를 변경하는 것을 특징으로 한다.The display device 300 is installed in the crosswalk and outputs a warning message received from the server 200 in the direction of the road to which the vehicle approaches. The display device 300 projects light to output a warning message on the roadway, but changes the preset image shape and projection location according to the moving speed and distance of the vehicle.

제2카메라(400)는 복수 개가 다양한 각도로 횡단보도에 설치되어 차량의 진행 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 차량의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출한다. 여기서, 제2카메라(400)는 차도를 주행하는 차량을 미리 설정된 거리에서부터 촬영할 수 있도록 미리 설정된 거리마다 설치되는 것이 바람직하다.A plurality of the second cameras 400 are installed in crosswalks at various angles and analyze the input image information while photographing in the traveling direction of the vehicle to extract image information of the section in which the movement occurred or motion sensing to detect the movement of the vehicle. When a motion is detected by the device, the corresponding image information of the section in which the motion occurred is extracted. Here, the second camera 400 is preferably installed at each preset distance so that a vehicle traveling on the road can be photographed from a preset distance.

도 7은 본 발명의 실시예에 따른 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법을 나타낸 순서도이다.7 is a flowchart illustrating a method of predicting a road crossing according to a walking pattern by storing a pedestrian's walking pattern according to an embodiment of the present invention.

도 7을 참고하면, 우선, 복수 개의 제1카메라(100)가 다양한 각도로 횡단보도에 설치되어 인도 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 피사체의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출한다(s110).Referring to FIG. 7 , first, a plurality of first cameras 100 are installed at a crosswalk at various angles and analyzed image information input while photographing in the direction of the sidewalk to extract image information of the section in which the movement occurred, or When a motion is detected by the motion sensing device that detects the motion, the corresponding image information of the section in which the motion is generated is extracted (s110).

그리고, (s110)단계는 복수 개의 제2카메라(400)가 다양한 각도로 횡단보도에 설치되어 차량의 진행 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 차량의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출한다.In the step (s110), a plurality of second cameras 400 are installed in the crosswalk at various angles, and the image information input while shooting in the traveling direction of the vehicle is analyzed to extract the image information of the section in which the movement occurs, or the vehicle When a motion is detected by a motion sensing device that detects the movement of

그 다음, 서버(200)가 상기 (s110)단계에서 추출되는 영상정보를 분석하여 피사체와 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 피사체의 이동속도를 측정한다(s120). 여기서, (s120)단계는, 상기 제1카메라(100)에 의해 추출된 영상정보를 분석하여 피사체의 안면의 형태를 분석한다. 또한, (s120)단계는, 상기 제1카메라(100)에 의해 추출된 영상정보를 분석하여 피사체의 크기를 검출한다. (s120)단계는 제2카메라(400)를 통해 수신되는 영상정보를 분석하여 인도와 근접한 차량의 주정차를 검출한다. 또한, (s120)단계는 제2카메라(400)에서 추출되는 영상정보를 분석하여 차량과 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 차량의 이동속도를 측정한다. 그 다음, (s120)단계에서 측정된 이동속도가 미리 설정된 이동속도 이상일 경우 이상행동패턴으로 판단하여 경고메시지를 생성한다(s130). 또한, (s130)단계는 분석된 안면의 형태 중 피사체의 동공의 움직임 및 동공의 중심위치를 추적하되 피사체가 인도에서 횡단보도 방향으로 이동 시 동공의 중심위치가 차도방향으로 향하는지를 판단하고, 추적된 동공의 중심위치가 차도방향으로 향하지 않았다고 판단되면 경고메시지를 생성한다. (s130)단계는 검출된 피사체의 크기가 미리 설정된 크기 이하일 경우 경고메시지를 생성한다. (s130)단계는 (s120)단계를 통해 피사체의 이동 및 주정차가 감지되면 경고메시지를 생성한다. 그 다음, (s130)단계에서 경고메시지가 생성되면 디스플레이장치(300)로 경고메시지를 송신한다(s140).Then, the server 200 analyzes the image information extracted in step (s110) to measure the distance between the subject and the crosswalk, and measures the moving speed of the subject according to the distance changed in real time (s120). Here, in step (s120), the image information extracted by the first camera 100 is analyzed to analyze the shape of the subject's face. In addition, in step (s120), the size of the subject is detected by analyzing the image information extracted by the first camera 100 . In step (s120), the parking and stopping of the vehicle close to the sidewalk is detected by analyzing the image information received through the second camera 400 . In addition, step (s120) measures the distance between the vehicle and the crosswalk by analyzing the image information extracted from the second camera 400, and measures the moving speed of the vehicle according to the distance changed in real time. Next, when the movement speed measured in step (s120) is greater than or equal to the preset movement speed, it is determined as an abnormal behavior pattern and a warning message is generated (s130). In addition, step (s130) tracks the movement of the pupil of the subject and the central position of the pupil among the analyzed facial shapes, but when the subject moves from the sidewalk to the crosswalk direction, it is determined whether the central position of the pupil is directed in the direction of the road, and tracking If it is determined that the central position of the pupil is not directed toward the roadway, a warning message is generated. In step (s130), a warning message is generated when the size of the detected subject is less than or equal to a preset size. Step (s130) generates a warning message when the movement of the subject and parking and stopping are detected through step (s120). Then, when the warning message is generated in step (s130), the warning message is transmitted to the display apparatus 300 (s140).

마지막으로, 디스플레이 장치가 횡단보도에 설치되어 차량이 접근하는 차도 방향으로 서버(200)로부터 수신된 경고메시지를 출력한다(s150). 여기서, (s150)단계는 디스플레이장치(300)를 통해 빛을 투사하여 차도에 경고메시지를 출력하되, 차량의 이동속도 및 거리에 따라 미리 설정된 이미지의 형태 및 투사 위치를 변경하는 것을 특징으로 한다. 또한, (s110)단계에서 추출된 하나 이상의 영상정보 중 피사체의 각각의 행동패턴을 저장하되 피사체가 정상적으로 인도에서 정지했을 경우 정상행동패턴으로 저장하고 피사체가 인도를 미리 설정된 범위 이상 인도에서 벗어날 경우 이상행동패턴으로 저장하여 상기 정상행동패턴 및 상기 이상행동패턴의 특징을 각각 추출하여 저장한다(s210). 그리고, (s120)단계를 통해 분석된 행동패턴의 특징과 상기 정상행동패턴과 이상행동패턴이 가지는 특징들의 유사도를 분석하여 분석된 유사도가 미리 설정된 값보다 큰 값을 가지는 정상행동패턴 또는 이상행동패턴으로 판단한다(s220). 마지막으로, (s130)단계는 (s220)단계를 통해 이상행동패턴으로 판단될 경우 경고메시지를 생성하는 것을 특징으로 한다.Finally, the display device is installed in the crosswalk to output the warning message received from the server 200 in the direction of the road approaching the vehicle (s150). Here, the step (s150) is characterized in that the light is projected through the display device 300 to output a warning message on the roadway, but the preset image shape and projection position are changed according to the moving speed and distance of the vehicle. In addition, each behavior pattern of the subject is stored among the one or more image information extracted in step (s110), but when the subject is normally stopped on the sidewalk, it is stored as a normal behavior pattern. By storing it as a behavior pattern, the characteristics of the normal behavior pattern and the abnormal behavior pattern are extracted and stored (s210). And, by analyzing the similarity between the characteristics of the behavior pattern analyzed through step (s120) and the characteristics of the normal behavior pattern and the abnormal behavior pattern, the normal behavior pattern or abnormal behavior pattern in which the analyzed similarity has a value greater than a preset value It is determined as (s220). Finally, step (s130) is characterized by generating a warning message when it is determined as an abnormal behavior pattern through step (s220).

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential features thereof. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the claims described below rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts are included in the scope of the present invention. should be interpreted

100: 제1카메라 200: 서버
210: 분석모듈 212: 안면형태분석모듈
220: 판단모듈 222: 눈동자추적모듈
230: 송신모듈 240: 데이터저장모듈
250: 행동패턴검출모듈 300: 디스플레이장치
400: 제2카메라100: first camera 200: server
210: analysis module 212: facial shape analysis module
220: judgment module 222: eye tracking module
230: sending module 240: data storage module
250: behavior pattern detection module 300: display device
400: second camera

Claims (14)

다양한 각도로 횡단보도에 설치되어 인도 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 피사체의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 복수 개의 제1카메라;
상기 제1카메라에서 추출되는 영상정보를 분석하여 피사체와 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 피사체의 이동속도를 측정하는 분석모듈, 상기 제1카메라에서 추출된 하나 이상의 영상정보 중 피사체의 각각의 행동패턴을 저장하되 피사체가 정상적으로 인도에서 정지했을 경우 정상행동패턴으로 저장하고 피사체가 인도를 미리 설정된 범위 이상 인도에서 벗어날 경우 이상행동패턴으로 저장하여 상기 정상행동패턴 및 상기 이상행동패턴의 특징을 각각 추출하여 저장하는 데이터저장모듈, 상기 분석모듈을 통해 분석된 행동패턴의 특징과 상기 정상행동패턴과 이상행동패턴이 가지는 특징들의 유사도를 분석하여 분석된 유사도가 미리 설정된 값보다 큰 값을 가지는 정상행동패턴 또는 이상행동패턴으로 판단하는 행동패턴검출모듈을 통해 이상행동패턴으로 판단될 경우 경고메시지를 생성하는 판단모듈, 및 상기 판단모듈에서 경고메시지가 생성되면 디스플레이장치로 경고메시지를 송신하는 송신모듈을 포함하는 서버 및
횡단보도에 설치되어 차량이 접근하는 차도 방향으로 상기 서버로부터 수신된 경고메시지를 출력하는 디스플레이장치;를 포함하고,
다양한 각도로 횡단보도에 설치되어 차량의 진행 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 차량의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 복수 개의 제2카메라;를 더 포함하고,
상기 분석모듈은,
상기 제2카메라를 통해 수신되는 영상정보를 분석하여 인도와 근접한 차량의 주정차를 검출하며,
상기 판단모듈은,
상기 분석모듈을 통해 피사체의 이동 및 주정차가 감지되면 경고메시지를 생성하고,
상기 분석모듈은,
상기 제2카메라에서 추출되는 영상정보를 분석하여 차량과 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 차량의 이동속도를 측정하고,
상기 디스플레이장치는,
빛을 투사하여 차도에 경고메시지를 출력하되, 차량의 이동속도 및 거리에 따라 미리 설정된 이미지의 형태 및 투사 위치를 변경하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템.It is installed at a crosswalk at various angles and analyzes the input image information while shooting in the direction of the sidewalk to extract image information of the section where the movement occurred, or detects the movement by a motion sensing device that detects the movement of the subject. A plurality of first cameras for extracting the corresponding image information of the section;
An analysis module for measuring the distance between the subject and the crosswalk by analyzing the image information extracted from the first camera and measuring the moving speed of the subject according to the distance changed in real time, one or more image information extracted from the first camera Each behavior pattern of the subject is stored during the process, but when the subject is normally stopped on the sidewalk, it is saved as a normal behavior pattern. A data storage module that extracts and stores the characteristics of each pattern, and analyzes the similarity between the characteristics of the behavior pattern analyzed through the analysis module and the characteristics of the normal behavior pattern and the abnormal behavior pattern, and the analyzed similarity is greater than a preset value A judgment module that generates a warning message when it is determined as an abnormal behavior pattern through a behavior pattern detection module that determines a normal behavior pattern or an abnormal behavior pattern having a value, and a warning message to a display device when a warning message is generated by the judgment module a server including a transmitting module for transmitting; and
A display device installed in a crosswalk and outputting a warning message received from the server in the direction of the road to which the vehicle approaches; includes;
It is installed at a crosswalk at various angles and analyzes the input image information while shooting in the direction of the vehicle to extract image information of the section in which the movement occurred or detects the movement by a motion sensing device that detects the movement of the vehicle. Further comprising; a plurality of second cameras for extracting the corresponding image information of the generated section,
The analysis module,
By analyzing the image information received through the second camera, the parking and stopping of the vehicle close to the sidewalk is detected,
The determination module is
When the movement of the subject and parking and stopping are detected through the analysis module, a warning message is generated,
The analysis module,
Measuring the distance between the vehicle and the crosswalk by analyzing the image information extracted from the second camera, and measuring the moving speed of the vehicle according to the distance changed in real time,
The display device is
A system that outputs a warning message on the roadway by projecting light, but changes the shape and projection position of a preset image according to the moving speed and distance of the vehicle, and stores the pedestrian's gait pattern to predict the crossing of the road according to the gait pattern. 제1항에 있어서, 상기 판단모듈은,
상기 분석모듈을 통해 측정된 이동속도가 미리 설정된 이동속도 이상일 경우 이상행동패턴으로 판단하여 경고메시지를 생성하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템.According to claim 1, wherein the determination module,
When the moving speed measured through the analysis module is greater than or equal to the preset moving speed, it is determined as an abnormal behavior pattern and a warning message is generated. A system for predicting road crossing according to the walking pattern by storing the pedestrian's walking pattern. 제1항에 있어서, 상기 분석모듈은,
상기 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 안면의 형태를 분석하는 안면형태분석모듈을 더 포함하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템.According to claim 1, wherein the analysis module,
The system for predicting road crossing according to the walking pattern by storing the pedestrian's gait pattern, further comprising a facial shape analysis module for analyzing the facial shape of the subject by analyzing the image information extracted by the first camera. 제3항에 있어서, 상기 판단모듈은,
분석된 안면의 형태 중 피사체의 동공의 움직임 및 상기 동공의 중심위치를 추적하되 상기 피사체가 인도에서 횡단보도 방향으로 이동 시 동공의 중심위치가 차도방향으로 향하는지를 판단하고, 추적된 동공의 중심위치가 차도방향으로 향하지 않았다고 판단되면 경고메시지를 생성하는 눈동자추적모듈을 더 포함하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템.According to claim 3, wherein the determination module,
Among the analyzed facial shapes, the movement of the pupil of the subject and the central position of the pupil are tracked, but when the subject moves from the sidewalk to the crosswalk, it is determined whether the central position of the pupil is in the direction of the roadway, and the central position of the tracked pupil is A system for predicting road crossing according to the walking pattern by storing the pedestrian's gait pattern, further comprising an eye tracking module that generates a warning message when it is determined that the vehicle is not headed in the direction of the roadway. 제1항에 있어서, 상기 분석모듈은,
상기 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 크기를 검출하는 것을 특징으로 하고,
상기 판단모듈은,
검출된 피사체의 크기가 미리 설정된 크기 이하일 경우 경고메시지를 생성하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 시스템.According to claim 1, wherein the analysis module,
It is characterized in that the size of the subject is detected by analyzing the image information extracted by the first camera,
The determination module is
A system that generates a warning message when the size of the detected subject is less than or equal to a preset size, stores the pedestrian's gait pattern, and predicts the crossing of the road according to the gait pattern. 삭제delete 삭제delete (a) 복수 개의 제1카메라가 다양한 각도로 횡단보도에 설치되어 인도 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 피사체의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 단계;
(b) 서버가 상기 (a)단계에서 추출되는 영상정보를 분석하여 피사체와 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 피사체의 이동속도를 측정하는 단계;
(c) 서버가 상기 (a)단계에서 추출된 하나 이상의 영상정보 중 피사체의 각각의 행동패턴을 저장하되 피사체가 정상적으로 인도에서 정지했을 경우 정상행동패턴으로 저장하고 피사체가 인도를 미리 설정된 범위 이상 인도에서 벗어날 경우 이상행동패턴으로 저장하여 상기 정상행동패턴 및 상기 이상행동패턴의 특징을 각각 추출하여 저장하는 단계;
(d) 상기 (c)단계를 통해 분석된 행동패턴의 특징과 상기 정상행동패턴과 이상행동패턴이 가지는 특징들의 유사도를 분석하여 분석된 유사도가 미리 설정된 값보다 큰 값을 가지는 정상행동패턴 또는 이상행동패턴으로 판단하고, 이상행동패턴으로 판단될 경우 경고메시지를 생성하는 단계;
(e) 상기 (d)단계에서 경고메시지가 생성되면 디스플레이장치로 경고메시지를 송신하는 단계 및
(f) 디스플레이 장치가 횡단보도에 설치되어 차량이 접근하는 차도 방향으로 상기 서버로부터 수신된 경고메시지를 출력하는 단계를 포함하고,
(a1) 복수 개의 제2카메라가 다양한 각도로 횡단보도에 설치되어 차량의 진행 방향으로 촬영하면서 입력되는 영상정보를 분석하여 움직임이 발생된 구간의 영상정보를 추출하거나 차량의 이동을 감지하는 모션센싱장치에 의해 움직임이 감지되면 움직임이 발생된 구간의 해당 영상정보를 추출하는 단계를 더 포함하고,
상기 (b)단계는,
상기 제2카메라를 통해 수신되는 영상정보를 분석하여 인도와 근접한 차량의 주정차를 검출하고,
상기 (d)단계는,
상기 (b)단계를 통해 피사체의 이동 및 주정차가 감지되면 경고메시지를 생성하고,
상기 (b)단계는,
상기 제2카메라에서 추출되는 영상정보를 분석하여 차량과 횡단보도와의 거리를 측정하고 실시간으로 변화되는 거리에 따라 차량의 이동속도를 측정하고,
상기 (f)단계는,
디스플레이장치를 통해 빛을 투사하여 차도에 경고메시지를 출력하되, 차량의 이동속도 및 거리에 따라 미리 설정된 이미지의 형태 및 투사 위치를 변경하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법.(a) A plurality of first cameras are installed in a crosswalk at various angles and are used to analyze the input image information while shooting in the direction of the sidewalk to extract image information of the section in which the movement occurred or to a motion sensing device that detects the movement of a subject. extracting the corresponding image information of the section in which the motion is generated when the motion is detected by the method;
(b) measuring, by the server, the distance between the subject and the crosswalk by analyzing the image information extracted in step (a), and measuring the moving speed of the subject according to the distance changed in real time;
(c) The server stores each behavior pattern of the subject among the one or more image information extracted in step (a), but stores it as a normal behavior pattern when the subject is normally stopped on the sidewalk, and the subject delivers the sidewalk beyond the preset range storing it as an abnormal behavior pattern when deviating from, extracting and storing the characteristics of the normal behavior pattern and the abnormal behavior pattern, respectively;
(d) A normal behavior pattern or abnormality in which the similarity analyzed by analyzing the characteristics of the behavior pattern analyzed through step (c) and the characteristics of the normal behavior pattern and the abnormal behavior pattern has a value greater than a preset value determining a behavior pattern, and generating a warning message when it is determined as an abnormal behavior pattern;
(e) transmitting the warning message to the display device when the warning message is generated in step (d);
(f) a display device is installed in a crosswalk to output a warning message received from the server in the direction of the road to which the vehicle approaches,
(a1) A plurality of second cameras are installed at the crosswalk at various angles and analyzed the input image information while shooting in the moving direction of the vehicle to extract image information of the section in which the movement occurred or motion sensing to detect the movement of the vehicle When a motion is detected by the device, further comprising the step of extracting the corresponding image information of the section in which the motion occurred,
Step (b) is,
By analyzing the image information received through the second camera, the parking and stopping of the vehicle close to the sidewalk is detected,
Step (d) is,
When the movement of the subject and parking and stopping are detected through step (b), a warning message is generated,
Step (b) is,
Measuring the distance between the vehicle and the crosswalk by analyzing the image information extracted from the second camera, and measuring the moving speed of the vehicle according to the distance changed in real time,
The step (f) is,
By projecting light through the display device, a warning message is output on the roadway, but according to the moving speed and distance of the vehicle, the shape of the image and the projection position set in advance are stored. How to predict. 제8항에 있어서, 상기 (d)단계는,
상기 (b)단계에서 측정된 이동속도가 미리 설정된 이동속도 이상일 경우 이상행동패턴으로 판단하여 경고메시지를 생성하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법.The method of claim 8, wherein step (d) comprises:
When the movement speed measured in step (b) is greater than or equal to the preset movement speed, it is determined as an abnormal behavior pattern and a warning message is generated. 제8항에 있어서, 상기 (b)단계는,
(b1) 상기 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 안면의 형태를 분석하는 단계를 더 포함하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법.The method of claim 8, wherein step (b) comprises:
(b1) A method of predicting a road crossing according to the walking pattern by storing the walking pattern of the pedestrian, further comprising the step of analyzing the facial shape of the subject by analyzing the image information extracted by the first camera. 제10항에 있어서, 상기 (d)단계는,
(d1) 분석된 안면의 형태 중 피사체의 동공의 움직임 및 상기 동공의 중심위치를 추적하되 상기 피사체가 인도에서 횡단보도 방향으로 이동 시 동공의 중심위치가 차도방향으로 향하는지를 판단하고, 추적된 동공의 중심위치가 차도방향으로 향하지 않았다고 판단되면 경고메시지를 생성하는 단계를 더 포함하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법.11. The method of claim 10, wherein (d) step,
(d1) Track the movement of the pupil of the subject and the central position of the pupil among the analyzed facial shapes, but when the subject moves from the sidewalk to the crosswalk direction, it is determined whether the central position of the pupil is toward the roadway direction, and the tracked pupil The method of predicting road crossing according to the gait pattern by storing the gait pattern of the pedestrian, further comprising the step of generating a warning message when it is determined that the central position of the 제8항에 있어서, 상기 (b)단계는,
상기 제1카메라에 의해 추출된 영상정보를 분석하여 피사체의 크기를 검출하고,
상기 (d)단계는,
검출된 피사체의 크기가 미리 설정된 크기 이하일 경우 경고메시지를 생성하는, 보행자의 보행패턴을 저장하여 보행패턴에 따라 도로횡단을 예측하는 방법.The method of claim 8, wherein step (b) comprises:
Analyze the image information extracted by the first camera to detect the size of the subject,
Step (d) is,
A method of predicting a road crossing according to a walking pattern by storing a pedestrian's gait pattern, which generates a warning message when the size of the detected subject is less than or equal to a preset size. 삭제delete 삭제delete
KR1020210040376A 2021-03-29 2021-03-29 System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern KR102310434B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210040376A KR102310434B1 (en) 2021-03-29 2021-03-29 System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210040376A KR102310434B1 (en) 2021-03-29 2021-03-29 System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern

Publications (1)

Publication Number Publication Date
KR102310434B1 true KR102310434B1 (en) 2021-10-08

Family

ID=78115744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040376A KR102310434B1 (en) 2021-03-29 2021-03-29 System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern

Country Status (1)

Country Link
KR (1) KR102310434B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101739988B1 (en) * 2017-02-09 2017-05-26 (주)패스넷 System for protecting pedestrian in non-traffic signal crosswalk
KR20180007785A (en) * 2016-07-14 2018-01-24 주식회사 휴디스텍 Pedestrian Protection System for autonomous car
KR102027296B1 (en) * 2017-10-26 2019-10-01 주식회사 래도 Walking safety system
KR102181222B1 (en) * 2019-11-26 2020-11-20 주식회사 천운 Safety management system for crosswalk pedestrian
KR102186349B1 (en) 2020-06-10 2020-12-03 주식회사 월드씨앤에스 Pedestrian safety guide system and Method on crosswalk without signal lamps using CCTV cameras and guidance broadcasting

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007785A (en) * 2016-07-14 2018-01-24 주식회사 휴디스텍 Pedestrian Protection System for autonomous car
KR101739988B1 (en) * 2017-02-09 2017-05-26 (주)패스넷 System for protecting pedestrian in non-traffic signal crosswalk
KR102027296B1 (en) * 2017-10-26 2019-10-01 주식회사 래도 Walking safety system
KR102181222B1 (en) * 2019-11-26 2020-11-20 주식회사 천운 Safety management system for crosswalk pedestrian
KR102186349B1 (en) 2020-06-10 2020-12-03 주식회사 월드씨앤에스 Pedestrian safety guide system and Method on crosswalk without signal lamps using CCTV cameras and guidance broadcasting

Similar Documents

Publication Publication Date Title
US11390276B2 (en) Control device, control method, and non-transitory storage medium
CN108883725B (en) Driving vehicle alarm system and method
US10387733B2 (en) Processing apparatus, processing system, and processing method
CA2949200C (en) Processing apparatus, processing system, processing program, and processing method
US11945435B2 (en) Devices and methods for predicting collisions and/or intersection violations
CN103987577B (en) Method for monitoring the traffic conditions in the surrounding environment with signalling vehicle
KR102310435B1 (en) System and Method for Warning to Crosswalker by Sensing of Vehicle Approach
US9031774B2 (en) Apparatus and method for preventing collision of vehicle
KR101031995B1 (en) Guiding system for traffic safety in school zone
JP2023175741A (en) Passive infrared pedestrian detection and avoidance system
KR102101956B1 (en) Enforcement system for school-zone using pedestrian detection
JP2016001170A (en) Processing unit, processing program and processing method
JP2004362586A (en) Image processing system for vehicle
US10861336B2 (en) Monitoring drivers and external environment for vehicles
KR102310433B1 (en) System and Method for Warning to Drivers by Sensing a Waiting Pedestrian Before a Crosswalk
KR101986734B1 (en) Driver assistance apparatus in vehicle and method for guidance a safety driving thereof
JP2006500664A (en) Method and apparatus for preventing vehicle collision
KR102062589B1 (en) Smart guide sign apparatus for school zone and monitoring system therewith
JP2017151694A (en) Safety confirmation diagnostic system and safety confirmation diagnostic method
KR102310434B1 (en) System and Method for Saving the Pedestrian’s Walking Pattern and Predicting the Road Crossing According to the Walking Pattern
KR20220071514A (en) Walking signal control device through image-based object recognition and surrounding environment detection
JP7073949B2 (en) Evacuation guidance system, evacuation guidance system, and control program
WO2018212090A1 (en) Control device and control method
US20210309221A1 (en) Devices and methods for determining region of interest for object detection in camera images
JP2009070367A (en) Vehicle running state warning method and unit

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant