KR20210157551A - Variable vehicle speed warning system including pedestrian determination system - Google Patents

Variable vehicle speed warning system including pedestrian determination system Download PDF

Info

Publication number
KR20210157551A
KR20210157551A KR1020200075478A KR20200075478A KR20210157551A KR 20210157551 A KR20210157551 A KR 20210157551A KR 1020200075478 A KR1020200075478 A KR 1020200075478A KR 20200075478 A KR20200075478 A KR 20200075478A KR 20210157551 A KR20210157551 A KR 20210157551A
Authority
KR
South Korea
Prior art keywords
pedestrian
information
vehicle
speed
module
Prior art date
Application number
KR1020200075478A
Other languages
Korean (ko)
Other versions
KR102415620B1 (en
Inventor
박정훈
서민호
이중호
박새롬
Original Assignee
마스코리아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마스코리아 주식회사 filed Critical 마스코리아 주식회사
Priority to KR1020200075478A priority Critical patent/KR102415620B1/en
Publication of KR20210157551A publication Critical patent/KR20210157551A/en
Application granted granted Critical
Publication of KR102415620B1 publication Critical patent/KR102415620B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G06K9/00362
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225
    • G06K2209/15

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a variable vehicle speed warning system including a pedestrian determination system. According to one embodiment of the present invention, when a specific pedestrian (a child and the like), which is a protection target, is detected in a specific walking area adjacent to a road, the variable vehicle speed warning system determines a speed of a vehicle entering along the road from an outside to an inside of the walking area and transmits warning information through a speed warning module when the speed of the vehicle is higher than a reference speed, thereby having an effect of inspiring a vehicle driver with a caution for safety driving.

Description

보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템{VARIABLE VEHICLE SPEED WARNING SYSTEM INCLUDING PEDESTRIAN DETERMINATION SYSTEM}VARIABLE VEHICLE SPEED WARNING SYSTEM INCLUDING PEDESTRIAN DETERMINATION SYSTEM

본 발명은 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템에 관한 것으로, 보다 상세하게는, 도로에 인접한 특정 보행구역(소위 스쿨존) 내에 보호대상인 특정 보행자(유소년, 어린이 등)가 검출된 경우, 보행구역 외부에서 내부로 도로를 따라 진입하는 차량의 속도를 판단한 후 차량의 속도가 기준속도 이상일 때 속도경고모듈을 통해 경고정보를 송출하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템에 관한 것이다.The present invention relates to a variable vehicle speed warning system including a pedestrian determination system, and more particularly, when a specific pedestrian (juvenile, child, etc.) to be protected is detected in a specific pedestrian zone (so-called school zone) adjacent to the road, It relates to a variable vehicle speed warning system including a pedestrian determination system that determines the speed of a vehicle entering along a road from outside a pedestrian zone and transmits warning information through a speed warning module when the speed of the vehicle exceeds a reference speed.

일반적으로 어린이 보호구역이란 초등학교뿐만 아니라 유치원을 포함하는 학교 주변의 어린이 특별 보호구역을 의미한다.In general, children's protection areas refer to special protection areas for children around schools including kindergartens as well as elementary schools.

주로 초등학교 등의 주 출입문을 중심으로 반경 300m 이내의 도로를 지정해서 각종 안전시설물을 설치하고, 그곳을 지나는 차량은 시속 30km 이하로 운행하여야 하며, 불법 주정차를 해서는 안되는 등의 규제를 할 수 있는 지역으로서, 어린이 특별보호구역, 일명, 스쿨존(School Zone)이다.Areas where regulations such as designating roads within a radius of 300 m from the main entrances of elementary schools, etc., and installing various safety facilities, vehicles passing there must be driven at a speed of 30 km per hour or less, and not allowing illegal parking As such, it is a special protection zone for children, so-called school zone.

그러나 일부 차량의 운전자들은 스쿨존을 통행할 때에 과속을 하는 경우가 대부분이고, 특히 불법 주정차로 인하여 매년 어린이들의 교통사고가 다수 발생한다.However, most of the drivers of some vehicles are speeding while passing the school zone, and in particular, many traffic accidents among children occur every year due to illegal parking.

어린이 보호구역의 유형별 공통 필수시설은 어린이 보호 구역 통합표지, 주차/정차 금지표지, 어린이 보호구역 노면표시, 속도제한 노면표시 등이며, 단속 카메라 설치, 과속방지턱, 보행안전시설, 횡단안전시설, 주정차 금지시설 등의 안전시설 등은 법적 강제사항이 아닌 권고사항이다.The common essential facilities for each type of child protection area are the integrated child protection area sign, parking/stop prohibition sign, child protection area road marking, speed limit road marking, etc. Safety facilities such as prohibited facilities are recommendations rather than mandatory by law.

특히, 무인 속도 단속장비 설치율이 매우 낮은 것도 사고를 유발하는 하나의 요인으로 작용한다.In particular, the very low installation rate of unmanned speed enforcement equipment also acts as a factor in causing accidents.

한편, 어린이 보호구역의 감시나 교통준수를 위해 종래에 제안된 기술의 예로, 대한민국 공개특허 제10-2006-0116759(2006.11.15. 공개)에 ‘어린이 보호구역 통합 감시방법 및 그 시스템’이 개시되어 있다.On the other hand, as an example of a technology previously proposed for monitoring or traffic compliance of a child protection area, Korean Patent Publication No. 10-2006-0116759 (published on November 15, 2006) discloses a 'method and system for integrated monitoring of a child protection area' has been

상술한 공개특허문헌에 개시된 기술은, 검지 구역 내의 차량에 대한 영상정보 및 속도정보를 수집하는 차량 검지 및 속도 검지 카메라, 영상데이터를 수신 및 가공하여 송신하는 A/V 서버, 주정차 차량의 영상정보와 속도정보로 차량 유무의 인식 및 인식데이터를 송신하는 주정차/속도 검지기, 차량번호에 대한 영상정보를 수집하는 번호인식 카메라, 영상 검지 데이터를 수신하고, 번호 인식카메라의 작동을 제어하며, 근거리 통신망(LAN) 및 전송시스템의 유무선 통신망을 통해 센터시스템의 운영단말 PC로 데이터를 송수신하는 번호인식제어기, 송신된 차량정보를 문자로 변환하여 VMS(Various Message System, 가변정보표지판) 전광판에 표시하는 VMS 제어기, 자동 볼륨 조절된 안내 방송을 하는 원격 방송상태 감시장치를 포함하여, 어린이 보호구역(School Zone) 내에서 발생할 수 있는 안전사고를 미리 방지하고 어린이들이 안심하고 등교할 수 있도록 한다.The technology disclosed in the above-mentioned published patent document is a vehicle detection and speed detection camera that collects image information and speed information about a vehicle in the detection area, an A/V server that receives, processes and transmits image data, and image information of parked and parked vehicles and a parking/speed detector that transmits vehicle recognition and recognition data as and speed information, a number recognition camera that collects image information about vehicle numbers, receives image detection data, controls the operation of the number recognition camera, and local area network A number recognition controller that transmits and receives data to/from the operating terminal PC of the center system through the wired/wireless communication network of the (LAN) and transmission system, and the VMS that converts the transmitted vehicle information into text and displays it on the VMS (Various Message System, Variable Information Sign) signboard Including a controller and a remote broadcasting condition monitoring device that provides an automatic volume control announcement, it prevents safety accidents that may occur in the school zone in advance and allows children to go to school with confidence.

다만, 상술한 종래 시스템 이외에, 스쿨존 등 어린이 보호구역 내에 유소년, 어린이가 있는지 여부를 적극적으로 검출하고, 검출 결과 유소년, 어린이의 존재시 차량 운전자에게 경고정보를 알려주어서, 차량 운전자가 차량 운전에 더욱 조심할 수 있도록 하는 시스템의 개발도 요구되고 있다.However, in addition to the conventional system described above, it actively detects whether there are children or children in the child protection area such as a school zone, and informs the vehicle driver with warning information if the detection result shows the presence of children or children, so that the vehicle driver can drive the vehicle. There is also a need to develop a system that makes it more careful.

이에 본 발명은 전술한 배경에서 안출된 것으로, 도로에 인접한 특정 보행구역 내에 보호대상인 특정 보행자(유소년, 어린이 등)가 검출된 경우, 보행구역 외부에서 내부로 도로를 따라 진입하는 차량의 속도를 판단한 후 차량의 속도가 기준속도 이상일 때 속도경고모듈을 통해 경고정보를 송출함으로써, 차량 운전자에게 안전 운전에 대한 경각심을 더욱 고취시킬 수 있도록 하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템을 제공하는데 그 목적이 있다.Accordingly, the present invention has been devised in the background described above, and when a specific pedestrian (juvenile, child, etc.) to be protected is detected in a specific walking zone adjacent to the road, the speed of a vehicle entering from the outside of the pedestrian zone to the inside is determined. Then, when the speed of the vehicle exceeds the reference speed, warning information is sent through the speed warning module to provide a variable vehicle speed warning system including a pedestrian judgment system that can further inspire the vehicle driver to be more aware of safe driving. There is a purpose.

본 발명의 목적은 여기에 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited thereto, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

이러한 목적을 달성하기 위하여 본 발명의 일실시예는 도로에 인접한 특정 보행구역을 촬영하여 2차원 영상좌표로 매핑된 촬영이미지정보(i1)를 생성하는 촬영모듈(101)과, 상기 촬영모듈(101)로부터 인가된 상기 촬영이미지정보(i1)를 이용하여 상기 보행구역 내에 존재하는 보행자들을 검출한 후 검출된 보행자들 각각의 보행자정보들(PI)을 산출하는 보행자정보산출모듈(103)과, 상기 보행자정보산출모듈(103)로부터 인가된 각각의 상기 보행자정보들(PI)을 분석하여 기설정된 보호대상에 해당하는 특정 보행자(SP)의 존재 여부를 판단한 후 상기 특정 보행자(P)의 존재시 상기 특정 보행자(SP)에 대한 보호대상보행자정보(SPI)를 생성하는 보호대상보행자정보생성모듈(105)을 포함하는 보행자 판단 시스템(107); 및 상기 보행자 판단 시스템(107)으로부터 상기 보호대상보행자정보(SPI)를 인가받은 경우, 상기 보행구역 외부에서 내부로 상기 도로를 따라 진입하는 차량(C)의 속도를 계산하여, 기설정된 기준속도 이상일 때 상기 차량의 진행방향 전방에 설치된 속도경고모듈(109)을 통해 경고정보(WI)를 송출하는 가변형 차량 속도 경고 시스템(111);을 포함하는 것을 특징으로 하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템을 제공한다.In order to achieve this object, an embodiment of the present invention includes a photographing module 101 that generates photographed image information i1 mapped to two-dimensional image coordinates by photographing a specific walking area adjacent to a road, and the photographing module 101 ), a pedestrian information calculation module 103 for detecting pedestrians existing in the pedestrian zone using the photographed image information i1 applied from After analyzing each of the pedestrian information (PI) applied from the pedestrian information calculation module 103 to determine whether or not there is a specific pedestrian (SP) corresponding to a preset protection target, when the specific pedestrian (P) is present, the Pedestrian determination system 107 including a protection target pedestrian information generation module 105 for generating protection target pedestrian information (SPI) for a specific pedestrian (SP); And, when the pedestrian information (SPI) to be protected is authorized from the pedestrian determination system 107, the speed of the vehicle (C) entering from the outside of the pedestrian zone to the inside along the road is calculated, and is equal to or greater than a preset reference speed. Variable vehicle speed including a pedestrian determination system comprising a; variable vehicle speed warning system 111 that transmits warning information WI through a speed warning module 109 installed in front of the vehicle traveling direction when the vehicle is traveling A warning system is provided.

본 발명의 일실시예에 의하면, 도로에 인접한 특정 보행구역 내에 보호대상인 특정 보행자(유소년, 어린이 등)가 검출된 경우, 보행구역 외부에서 내부로 도로를 따라 진입하는 차량의 속도를 판단한 후 차량의 속도가 기준속도 이상일 때 속도경고모듈을 통해 경고정보를 송출함으로써, 차량 운전자에게 안전 운전에 대한 경각심을 더욱 고취시킬 수 있게 하는 효과가 있다.According to an embodiment of the present invention, when a specific pedestrian (juvenile, child, etc.) to be protected is detected in a specific pedestrian zone adjacent to the road, after determining the speed of a vehicle entering from outside the pedestrian zone to the inside along the road, By transmitting warning information through the speed warning module when the speed is higher than the reference speed, there is an effect of further raising awareness of safe driving in the vehicle driver.

도 1은 본 발명의 일실시예에 따른 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템을 나타낸 블럭도이다.
도 2는 보행자 판단 시스템이 특정 보행구역을 촬영하는 예를 나타낸 도면이다.
도 3과 도 4는 보행자의 바닥점 또는 꼭대기점을 2D 중심 투영 변환을 이용하여 지도좌표계에 매핑하는 것을 설명하기 위한 도면이다.
도 5는 보행자의 키를 산출하는 방법을 설명하기 위한 도면이다.
도 6은 가변형 차량 속도 경고시스템의 구성을 나타낸 블럭도이다.
도 7은 가변형 차량 속도 경고 시스템의 영상촬영부가 촬영하는 촬영이미지영역이 GPS좌표로 매핑된 예를 나타낸 도면이다.
도 8은 가변형 차량 속도 경고 시스템의 속도계산부가 차량의 속도를 계산하는 예를 나타낸 도면이다.
도 9는 가변형 차량 속도 경고 시스템의 속도경고모듈을 통해 경고정보가 송출되는 예를 나타낸 도면이다.
1 is a block diagram illustrating a variable vehicle speed warning system including a pedestrian determination system according to an embodiment of the present invention.
2 is a diagram illustrating an example in which the pedestrian determination system captures a specific walking area.
3 and 4 are diagrams for explaining the mapping of the bottom point or the top point of the pedestrian to the map coordinate system using the 2D center projection transformation.
5 is a view for explaining a method of calculating the height of a pedestrian.
6 is a block diagram showing the configuration of a variable vehicle speed warning system.
7 is a diagram illustrating an example in which a captured image area captured by an image capturing unit of a variable vehicle speed warning system is mapped to GPS coordinates.
8 is a diagram illustrating an example in which the speed calculator of the variable vehicle speed warning system calculates the speed of the vehicle.
9 is a diagram illustrating an example in which warning information is transmitted through a speed warning module of a variable vehicle speed warning system.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is formed between each component. It should be understood that elements may also be “connected,” “coupled,” or “connected.”

도 1은 본 발명의 일실시예에 따른 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템을 나타낸 블럭도이다. 도 2는 보행자 판단 시스템이 특정 보행구역을 촬영하는 예를 나타낸 도면이다. 도 3과 도 4는 보행자의 바닥점 또는 꼭대기점을 2D 중심 투영 변환을 이용하여 지도좌표계에 매핑하는 것을 설명하기 위한 도면이다. 도 5는 보행자의 키를 산출하는 방법을 설명하기 위한 도면이다. 도 6은 가변형 차량 속도 경고시스템의 구성을 나타낸 블럭도이다. 도 7은 가변형 차량 속도 경고 시스템의 영상촬영부가 촬영하는 촬영이미지영역이 GPS좌표로 매핑된 예를 나타낸 도면이다. 도 8은 가변형 차량 속도 경고 시스템의 속도계산부가 차량의 속도를 계산하는 예를 나타낸 도면이다. 도 9는 가변형 차량 속도 경고 시스템의 속도경고모듈을 통해 경고정보가 송출되는 예를 나타낸 도면이다.1 is a block diagram illustrating a variable vehicle speed warning system including a pedestrian determination system according to an embodiment of the present invention. 2 is a diagram illustrating an example in which the pedestrian determination system captures a specific walking area. 3 and 4 are diagrams for explaining the mapping of the bottom point or the top point of the pedestrian to the map coordinate system using the 2D center projection transformation. 5 is a view for explaining a method of calculating the height of a pedestrian. 6 is a block diagram showing the configuration of a variable vehicle speed warning system. 7 is a diagram illustrating an example in which a captured image area captured by an image capturing unit of a variable vehicle speed warning system is mapped to GPS coordinates. 8 is a diagram illustrating an example in which the speed calculator of the variable vehicle speed warning system calculates the speed of the vehicle. 9 is a diagram illustrating an example in which warning information is transmitted through a speed warning module of a variable vehicle speed warning system.

이들 도면들에 도시된 바와 같이, 본 발명의 일실시예에 따른 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템(100)은, 도로에 인접한 특정 보행구역을 촬영하여 2차원 영상좌표로 매핑된 촬영이미지정보(i1)를 생성하는 촬영모듈(101)과, 촬영모듈(101)로부터 인가된 촬영이미지정보(i1)를 이용하여 보행구역 내에 존재하는 보행자들을 검출한 후 검출된 보행자들 각각의 보행자정보들(PI)을 산출하는 보행자정보산출모듈(103)과, 보행자정보산출모듈(103)로부터 인가된 각각의 보행자정보들(PI)을 분석하여 기설정된 보호대상에 해당하는 특정 보행자(SP)의 존재 여부를 판단한 후 특정 보행자(SP)의 존재시 특정 보행자(SP)에 대한 보호대상보행자정보(SPI)를 생성하는 보호대상보행자정보생성모듈(105)을 포함하는 보행자 판단 시스템(107); 및 보행자 판단 시스템(107)으로부터 보호대상보행자정보(SPI)를 인가받은 경우, 보행구역 외부에서 내부로 도로를 따라 진입하는 차량(C)의 속도를 계산하여, 기설정된 기준속도 이상일 때 차량(C)의 진행방향 전방에 설치된 속도경고모듈(109)을 통해 경고정보(WI)를 송출하는 가변형 차량 속도 경고 시스템(111);을 포함하는 것을 특징으로 한다.As shown in these drawings, the variable vehicle speed warning system 100 including a pedestrian determination system according to an embodiment of the present invention captures a specific walking area adjacent to the road and maps it to two-dimensional image coordinates. Pedestrian information of each of the detected pedestrians after detecting pedestrians in the pedestrian zone using the photographing module 101 that generates the image information i1 and the photographed image information i1 applied from the photographing module 101 The pedestrian information calculation module 103 for calculating the PI and the pedestrian information calculation module 103 analyze each of the pedestrian information PIs applied to the specific pedestrian SP corresponding to the preset protection target. Pedestrian determination system 107 including a protection target pedestrian information generation module 105 for generating protection target pedestrian information (SPI) for a specific pedestrian (SP) in the presence of a specific pedestrian (SP) after determining whether or not there is a specific pedestrian (SP); And when the pedestrian information (SPI) to be protected from the pedestrian determination system 107 is approved, the speed of the vehicle (C) entering from the outside of the pedestrian zone to the inside is calculated, and when the speed is greater than or equal to the preset reference speed, the vehicle (C) ), a variable vehicle speed warning system 111 that transmits warning information WI through the speed warning module 109 installed in the front of the traveling direction; and characterized in that it includes.

이하, 각 구성에 대해 상세히 설명한다.Hereinafter, each configuration will be described in detail.

먼저, 보행자 판단 시스템(107)은, 촬영모듈(101), 보행자정보산출모듈(103) 그리고 보호대상보행자정보생성모듈(105)을 포함한다.First, the pedestrian determination system 107 includes a photographing module 101 , a pedestrian information calculation module 103 , and a pedestrian information generation module 105 to be protected.

촬영모듈(101)은, 도로에 인접한 특정 보행구역을 촬영하여 2차원 영상좌표로 매핑된 촬영이미지정보(i1)를 생성한다.The photographing module 101 generates photographed image information i1 mapped to two-dimensional image coordinates by photographing a specific walking area adjacent to the road.

이러한 촬영모듈(101)은, 촬영이미지정보(i1)를 생성하는 CMOS 카메라를 포함할 수 있으며, 더욱 구체적으로 촬영모듈(101)은 CMOS 카메라로 제공된다.The photographing module 101 may include a CMOS camera that generates photographed image information i1, and more specifically, the photographing module 101 is provided as a CMOS camera.

즉, 본 발명의 실시예에서 촬영모듈(101)은 CMOS 카메라만으로 제공되어서, 다른 부가적인 센서 없이도, 촬영모듈(101)에서 생성되는 촬영이미지정보(i1)를 통해 후술할 보행자정보산출모듈(103)이 보행자정도들(PI)을 산출할 수 있도록 한다.That is, in the embodiment of the present invention, the photographing module 101 is provided only with a CMOS camera, so without any additional sensors, the pedestrian information calculation module 103 to be described later through the photographed image information i1 generated by the photographing module 101 . ) to calculate the pedestrian degrees (PI).

이어서, 보행자정보산출모듈(103)은, 촬영모듈(101)로부터 인가된 촬영이미지정보(i1)를 이용하여 보행구역 내에 존재하는 보행자들을 검출한 후 검출된 보행자들 각각의 보행자정보들(PI)을 산출한다.Next, the pedestrian information calculation module 103 detects pedestrians existing in the pedestrian zone using the photographed image information i1 applied from the photographing module 101, and then each detected pedestrian information (PI) to calculate

일예로, 보행자정보산출모듈(103)은, CNN(Convolutional Neural Network) 알고리즘을 이용하여, 촬영이미지정보(i1)로부터 보행자들을 검출한다.For example, the pedestrian information calculation module 103 detects pedestrians from the photographed image information i1 using a Convolutional Neural Network (CNN) algorithm.

한편, 보행자정보산출모듈(103)이 산출하는 보행자정보들(PI)은, 일예로, 보행자 각각의 '키'에 대한 정보들이다.On the other hand, the pedestrian information (PI) calculated by the pedestrian information calculation module 103 is, for example, information on the 'height' of each pedestrian.

보행자정보산출모듈(103)이 촬영이미지정보(i1)로부터 보행자의 '키'를 산출하는 방법을 설명하면 다음과 같다.A method for the pedestrian information calculation module 103 to calculate the 'height' of the pedestrian from the photographed image information i1 will be described as follows.

<촬영모듈의 2차원 영상좌표로부터 보행자(P)의 '키'를 산출하는 방법><Method of calculating the ‘height’ of the pedestrian (P) from the two-dimensional image coordinates of the shooting module>

보행자정보산출모듈(103)은, 촬영이미지정보(i1)에서 검출된 보행자(P)의 바닥점과 꼭대기점의 영상좌표를, 2D 중심 투영 변환을 이용하여 보행자(P)가 위치하는 지점의 지도좌표(World Coordinate System)를 추출한 후 비례식을 이용하여 보행자(P)의 신장(키)을 계산한다.The pedestrian information calculation module 103 uses the image coordinates of the bottom and apex of the pedestrian P detected in the photographed image information i1, and 2D center projection transformation to map the point where the pedestrian P is located. After extracting the coordinates (World Coordinate System), the height (height) of the pedestrian (P) is calculated using the proportional expression.

1. 2차원 영상좌표(xy좌표)로 추출된 보행자(P)의 바닥점을, 2D 중심 투영 변환을 이용하여 지도좌표로 추출하는 방법1. A method of extracting the floor point of the pedestrian (P) extracted with two-dimensional image coordinates (xy coordinates) into map coordinates using 2D center projection transformation

2D 중심 투영 변환을 이용하여 카메라좌표계(x'y'z'좌표계)에서 지도좌표계(XYZ좌표계)의 보행자(P) 바닥점 좌표(XPbp, YPbp, 0)를 구하는 과정을 설명한다. The process of obtaining the pedestrian (P) floor coordinates (X Pbp , Y Pbp , 0) of the map coordinate system (XYZ coordinate system) in the camera coordinate system (x'y'z' coordinate system) using 2D central projection transformation will be described.

도 3에서 XYZ좌표계는 지도좌표계(World Coordinate System)이고, X'Y'Z'좌표계는 XYZ좌표계를 촬영모듈(101)의 투영중심을 원점으로 하도록 평행이동한 좌표계이며, x'y'z'좌표계(카메라좌표계)는 촬영모듈(101)의 주사방향에 대해 X'Y'Z'좌표에 대한 3축 회전(회전각은 각각 ω, φ, K, 촬영모듈(101)의 설치시 설정 가능)된 좌표계이다.3, the XYZ coordinate system is a world coordinate system, and the X'Y'Z' coordinate system is a coordinate system in which the XYZ coordinate system is moved in parallel so that the projection center of the imaging module 101 is the origin, and x'y'z' The coordinate system (camera coordinate system) is a 3-axis rotation for X'Y'Z' coordinates relative to the scanning direction of the imaging module 101 (rotation angles are ω, φ, K, respectively, and can be set when the imaging module 101 is installed) is a coordinate system

여기서, xy좌표계는 2차원 영상평면 좌표계(image sensor)이며, 3차원 회전변환 관계에 의해 아래의 [수학식 1]이 성립한다.Here, the xy coordinate system is a two-dimensional image plane coordinate system, and the following [Equation 1] is established by the three-dimensional rotation transformation relationship.

Figure pat00001
Figure pat00001

여기서, 회전행렬(M)의 요소는 다음과 같으며, ω, φ, K는 각각 X축, Y축, Z축에 대해 반시계방향을 양의 값으로 하는 회전각이고,

Figure pat00002
는 x'y'z'좌표계에서 P점의 3차원좌표이며,
Figure pat00003
는 X'Y'Z'좌표계에서의 P점의 3차원 좌표이다.Here, the elements of the rotation matrix M are as follows, and ω, φ, and K are rotation angles with positive values in the counterclockwise direction with respect to the X-axis, Y-axis, and Z-axis, respectively,
Figure pat00002
is the three-dimensional coordinate of the point P in the x'y'z' coordinate system,
Figure pat00003
is the three-dimensional coordinate of the point P in the X'Y'Z' coordinate system.

<회전행렬(M)의 요소><Element of rotation matrix (M)>

Figure pat00004
Figure pat00004

X'Y'Z'좌표계와 지도좌표계인 XYZ좌표계의 관계를 정의하기 위해 상세화하면 도 4와 같다.In order to define the relationship between the X'Y'Z' coordinate system and the XYZ coordinate system, which is a map coordinate system, it is detailed as shown in FIG. 4 .

도 4에서 X'Y'Z'좌표계와 XYZ좌표계 사이의 관계는 삼각형의 비례식에 의해 [수학식 2]의 관계가 성립한다.In FIG. 4, the relationship between the X'Y'Z' coordinate system and the XYZ coordinate system is established by the relationship of [Equation 2] by the proportional expression of the triangle.

Figure pat00005
Figure pat00005

[수학식 2]를 변형하면 다음 [수학식 3]과 같다.[Equation 2] is transformed into the following [Equation 3].

Figure pat00006
Figure pat00006

마찬가지로, 다음의 [수학식 4] 및 [수학식 5]가 성립한다.Similarly, the following [Equation 4] and [Equation 5] are established.

Figure pat00007
Figure pat00007

Figure pat00008
Figure pat00008

[수학식 3] 내지 [수학식 5]를 [수학식 1]에 대입하고 정리하면, 다음 [수학식 6]이 성립한다.When [Equation 3] to [Equation 5] are substituted into [Equation 1] and arranged, the following [Equation 6] is established.

Figure pat00009
Figure pat00009

[수학식 6]에서,

Figure pat00010
(f는 촬영모듈(101)의 초점 거리)이므로, [수학식 6]은 다음 [수학식 7]로 정리된다.In [Equation 6],
Figure pat00010
Since (f is the focal length of the photographing module 101), [Equation 6] is summarized as the following [Equation 7].

Figure pat00011
Figure pat00011

여기서, k는

Figure pat00012
(축척계수)이며, 이는 영상의 scale과 동일하다.where k is
Figure pat00012
(scale factor), which is the same as the scale of the image.

한편, 매핑된 영상점의 카메라좌표로부터 대응 지상점의 지도좌표를 구하기 위해 [수학식 7]을 변형하면 다음 [수학식 8]과 같다.On the other hand, if [Equation 7] is modified to obtain the map coordinates of the corresponding ground point from the camera coordinates of the mapped image point, the following [Equation 8] is obtained.

Figure pat00013
Figure pat00013

여기서, 회전행렬

Figure pat00014
는 회전행렬 M의 역행렬의 행렬성분이고, k는 축척계수이다.Here, the rotation matrix
Figure pat00014
is the matrix component of the inverse of the rotation matrix M, and k is the scale factor.

정리하면, 노면 위의 보행자(P)의 바닥점 위치를

Figure pat00015
, 대응되는 영상점의 영상좌표를
Figure pat00016
, 촬영모듈(101, 카메라)의 투영중심을
Figure pat00017
이라 할 때(투영중심
Figure pat00018
은 기설정된 값), 두 점의 변환관계는 [수학식 7] 또는 [수학식 8]로 정의할 수 있다.In summary, the position of the floor point of the pedestrian (P) on the road surface is
Figure pat00015
, the image coordinates of the corresponding image point
Figure pat00016
, the projection center of the photographing module 101 (camera)
Figure pat00017
When (projection center)
Figure pat00018
is a preset value), and the transformation relationship between the two points may be defined by [Equation 7] or [Equation 8].

따라서, 지도좌표계와 카메라좌표계의 투영중심점을 알고 있을 경우, 영상(촬영이미지정보(i1))에 맺힌 보행자(P)의 바닥점에 투영된(대응되는) 지도좌표계 상의 위치(XPbp, YPbp, 0)는 상술한 [수학식 7] 또는 [수학식 8]을 통해 산출할 수 있다. Therefore, if the projection center point of the map coordinate system and the camera coordinate system is known, the location (X Pbp , Y Pbp ) on the map coordinate system projected (corresponding to) to the bottom point of the pedestrian P on the image (photographed image information (i1)) , 0) can be calculated through the above-mentioned [Equation 7] or [Equation 8].

정리하면, 다음의 [수학식 9]와 같다.In summary, it is as follows [Equation 9].

Figure pat00019
Figure pat00019

2. 2차원 영상좌표(xy좌표)로 추출된 보행자(P)의 꼭대기점을, 2D 중심 투영 변환을 이용하여 지도좌표로 추출하는 방법2. A method of extracting the apex of the pedestrian (P) extracted with two-dimensional image coordinates (xy coordinates) into map coordinates using 2D center projection transformation

앞에서 설명한 바와 동일한 과정으로, 영상(촬영이미지정보(i1))에 맺힌 보행자(P)의 꼭대기점에 투영된(대응되는) 지도좌표계 상의 위치(XPtp,YPtp,0) 역시 상술한 [수학식 7] 또는 [수학식 8]을 통해 산출할 수 있다. In the same process as described above, the location (X Ptp ,Y Ptp ,0) on the map coordinate system projected (corresponding) to the apex of the pedestrian P on the image (photographed image information (i1)) is also It can be calculated through Equation 7] or [Equation 8].

정리하면, 다음의 [수학식 10]와 같다.In summary, it is as follows [Equation 10].

Figure pat00020
Figure pat00020

3. 보행자(P)의 키(H) 산출3. Calculate the height (H) of the pedestrian (P)

앞에서 산출한 값들을 이용하여 보행자(P)의 키(H)를 산출한다.The height (H) of the pedestrian (P) is calculated using the previously calculated values.

도 5를 참고하면, 보행자(P)의 키(H)는 다음의 [수학식 11]로 산출된다.Referring to FIG. 5 , the height H of the pedestrian P is calculated by the following [Equation 11].

Figure pat00021
Figure pat00021

여기서, d1은 (XL,YL,0)에서 (XPbp,YPbp,0)까지의 거리, d2는 (XL,YL,0)에서 (XPtp,YPtp,0)까지의 거리이다(도 5 참조).Here, d 1 is (X L, Y L, 0 ) in the (X Pbp, Y Pbp, 0 ) Distance, d 2 is (X L, Y L, 0 ) in the (X Ptp, Y Ptp, 0 ) is the distance to (see FIG. 5).

이어서, 보호대상보행자정보생성모듈(105)은, 보행자정보산출모듈(103)로부터 인가된 각각의 보행자정보들(PI)을 분석하여, 기설정된 보호대상에 해당하는 특정 보행자(SP)의 존재 여부를 판단한다.Next, the protection target pedestrian information generation module 105 analyzes each pedestrian information (PI) applied from the pedestrian information calculation module 103, and whether a specific pedestrian SP corresponding to a preset protection target exists. to judge

여기서, 보호대상보행자정보생성모듈(105)은, 일예로, 보행자정보들(PI) 중 ‘키’에 대한 정보들을 분석한 결과, 기설정된 기준값(일예로, 150cm) 이하의 보행자가 검출된 경우, 이 보행자를 특정 보행자(SP)로 판단할 수 있으며, 특정 보행자(SP)는 유소년 또는 어린이로 판단될 수 있다.Here, the protection target pedestrian information generation module 105, for example, as a result of analyzing information on 'height' among the pedestrian information (PI), when a pedestrian less than a preset reference value (eg, 150 cm) is detected , this pedestrian may be determined as a specific pedestrian SP, and the specific pedestrian SP may be determined as a youth or a child.

한편, 보호대상보행자정보생성모듈(105)은, 특정 보행자(SP)의 존재시 특정 보행자(SP)에 대한 보호대상보행자정보(SPI)를 생성한다.Meanwhile, the protection target pedestrian information generation module 105 generates protection target pedestrian information (SPI) for the specific pedestrian SP when the specific pedestrian SP exists.

보호대상보행자정보(SPI)는 후술할 가변형 차량 속도 경고 시스템(111)으로 인가되는 정보로서, 특정 보행구역(스쿨존 등)에 어린이, 유소년(특정 보행자)이 있음을 나타내는 정보이다.Pedestrian information to be protected (SPI) is information applied to the variable vehicle speed warning system 111 to be described later, and is information indicating that there are children and adolescents (specific pedestrians) in a specific pedestrian zone (such as a school zone).

이어서, 가변형 차량 속도 경고 시스템(111)은, 보행자 판단 시스템(107)으로부터 상술한 보호대상보행자정보(SPI)를 인가받은 경우, 특정 보행구역 외부에서 내부로 도로를 따라 진입하는 차량(C)의 속도를 계산하여, 기설정된 기준속도 이상일 때 차량(C)의 진행방향 전방에 설치된 속도경고모듈(109)을 통해 경고정보(WI)를 송출한다.Next, when the variable vehicle speed warning system 111 receives the above-mentioned protection target pedestrian information (SPI) from the pedestrian determination system 107, the vehicle C entering along the road from outside the specific pedestrian zone to the inside The speed is calculated, and when the speed is greater than or equal to the preset reference speed, the warning information WI is transmitted through the speed warning module 109 installed in the front of the vehicle C in the traveling direction.

이러한 가변형 차량 속도 경고 시스템(111)의 일예를 좀 더 구체적으로 설명하면, 가변형 차량 속도 경고 시스템(111)은, 각각의 구획된 영역이 GPS좌표로 매핑된 촬영이미지영역(S) 내에 진입한 차량(C)을 촬영하여 기준시각(t_0)에서의 촬영이미지(i_0)와 경과시각(t_1)에서의 촬영이미지(i_1)를 각각 생성하는 영상촬영부(601); 촬영이미지(i_0)에서 차량(C)의 가상기준선(L_0)과 촬영이미지(i_1)에서 차량(C)의 가상기준선(L_1) 및 GPS좌표로 매핑된 구획된 영역을 이용하여 차량(C)의 속도를 계산하는 속도계산부(603); 계산된 차량(C)의 속도가 기설정된 기준속도 이상인 경우, 영상촬영부(601)가 촬영한 차량(C)의 번호판으로부터 차량(C)의 식별번호(N)를 추출하는 차량판별부(605); 및 차량(C)의 속도에 대한 속도정보(v_1)와 식별번호(N)에 대한 식별번호정보(p_1)를 포함하는 경고정보(WI)를 속도경고모듈(109)을 통해 송출하는 통신부(607);를 포함한다.When describing an example of this variable vehicle speed warning system 111 in more detail, the variable vehicle speed warning system 111 is a vehicle that enters the captured image area S in which each divided area is mapped with GPS coordinates. (C) an image capturing unit 601 which generates a photographed image i_0 at a reference time t_0 and a photographed image i_1 at an elapsed time t_1 by photographing, respectively; The virtual reference line (L_0) of the vehicle (C) in the photographed image (i_0) and the virtual reference line (L_1) of the vehicle (C) in the photographed image (i_1) and the partitioned area mapped with the GPS coordinates of the vehicle (C) a speed calculator 603 for calculating the speed; When the calculated speed of the vehicle C is equal to or greater than the preset reference speed, the vehicle identification unit 605 for extracting the identification number N of the vehicle C from the license plate of the vehicle C photographed by the image capturing unit 601 ); And the communication unit 607 for transmitting the warning information WI including the speed information v_1 for the speed of the vehicle C and the identification number information p_1 for the identification number N through the speed warning module 109 ); includes.

가변형 차량 속도 경고 시스템(111)은 일예로, 도로에 설치된 겐트리에 고정될 수 있고, 도로 측면에 설치된 봉 형태의 구조물에 고정될 수도 있다.The variable vehicle speed warning system 111 may be fixed to, for example, a gantry installed on a road or a rod-shaped structure installed on the side of the road.

영상촬영부(601)는 일예로, CCTV로 제공될 수 있다.The image capturing unit 601 may be provided as, for example, CCTV.

영상촬영부(601)는, 각각의 구획된 영역이 GPS좌표로 매핑된 촬영이미지영역(S) 내에 진입한 차량(C)을 촬영한다.The image capturing unit 601 photographs the vehicle C entering the captured image area S in which each partitioned area is mapped with GPS coordinates.

영상촬영부(601)는, 촬영되는 차량(C)에 대해, 기준시각(t_0)에서의 촬영이미지(i_0)와 경과시각(t_1)에서의 촬영이미지(i_1)를 각각 생성한다.The image capturing unit 601 generates, for the vehicle C to be photographed, a photographed image i_0 at a reference time t_0 and a photographed image i_1 at an elapsed time t_1, respectively.

일예로, 영상촬영부(601)는, 기준시각(t_0)과 경과시각(t_1) 사이의 시간간격을 1~5밀리초(millisecond, ms)로 설정하여 차량(C)에 대한 촬영이미지를 생성할 수 있다.For example, the image capturing unit 601 sets the time interval between the reference time t_0 and the elapsed time t_1 to 1 to 5 milliseconds (millisecond, ms) to generate a photographed image for the vehicle C. can do.

물론, 영상촬영부(601)는, 촬영이미지영역(S) 내에 진입한 차량(C) 전체가 촬영이미지영역(S) 내에서 촬영되는 동안 기준시각(t_0)과 경과시각(t_1)을 설정하여 차량(C)을 촬영할 수 있다.Of course, the image capturing unit 601 sets the reference time t_0 and the elapsed time t_1 while the entire vehicle C entering the captured image area S is photographed in the captured image area S. The vehicle (C) can be photographed.

이어서, 속도계산부(603)는, 촬영이미지(i_0)에서 설정된 차량(C)의 가상기준선(L_0)과, 촬영이미지(i_1)에서 설정된 차량(C)의 가상기준선(L_1) 및 GPS좌표로 매핑된 구획영역을 이용하여 차량(C)의 속도를 계산한다.Next, the speed calculator 603 maps the virtual reference line L_0 of the vehicle C set in the photographed image i_0 and the virtual reference line L_1 of the vehicle C set in the photographed image i_1 to GPS coordinates. Calculate the speed of the vehicle (C) using the divided area.

상술한 가상기준선들(L_0, L_1)은 차량(C)의 동일한 위치에 설정되는 가상의 기준선들이다.The above-described virtual reference lines L_0 and L_1 are virtual reference lines set at the same location of the vehicle C. As shown in FIG.

일예로, 속도계산부(603)는, 촬영이미지(i_0)가 생성된 기준시각(t_0), 촬영이미지(i_1)가 생성된 경과시각(t_1), GPS좌표로 매핑된 촬영이미지영역(S) 내의 가상기준선들(L_0, L_1) 사이의 거리(D)를 이용하여 차량(C)의 속도를 다음의 식으로 계산한다(일예로, 거리의 단위 : Km, 속도의 단위 : Km/h).As an example, the speed calculator 603 includes a reference time t_0 at which the captured image i_0 is generated, an elapsed time t_1 at which the captured image i_1 is generated, and a captured image area S mapped with GPS coordinates. The speed of the vehicle C is calculated by the following equation using the distance D between the virtual reference lines L_0 and L_1 (eg, unit of distance: Km, unit of speed: Km/h).

Figure pat00022
Figure pat00022

이어서, 차량판별부(605)는, 계산된 차량(C)의 속도가 기설정된 기준속도 이상인 경우, 영상촬영부(601)가 촬영한 차량(C)의 번호판으로부터 차량(C)의 식별번호(N)를 추출한다.Next, the vehicle identification unit 605, when the calculated speed of the vehicle (C) is equal to or greater than a preset reference speed, the identification number ( N) is extracted.

좀 더 구체적으로, 차량판별부(605)는, 영상촬영부(601)가 촬영한 차량(C)의 후방 또는 전방 이미지로부터 차량(C)의 번호판에 대한 이미지를 추출하고, 추출된 번호판 이미지에서 문자와 숫자를 텍스트 형식으로 추출함으로써, 차량(C)의 식별번호(N)를 추출한다.More specifically, the vehicle identification unit 605 extracts an image for the license plate of the vehicle (C) from the rear or front image of the vehicle (C) photographed by the image photographing unit 601, and from the extracted license plate image By extracting letters and numbers in text format, the identification number (N) of the vehicle (C) is extracted.

이어서, 통신부(607)는, 차량(C)의 속도에 대한 속도정보(v_1)와 식별번호(N)에 대한 식별번호정보(p_1)를 포함하는 경고정보(WI)를 속도경고모듈(109)을 통해 송출한다.Next, the communication unit 607 transmits warning information WI including the speed information v_1 for the speed of the vehicle C and the identification number information p_1 for the identification number N to the speed warning module 109 sent through

통신부(607)는 일예로, LoRa 등의 IoT 통신기술을 활용한 무선데이터통신방식으로 관련정보를 송출할 수 있다.The communication unit 607 may transmit related information in a wireless data communication method utilizing IoT communication technology such as LoRa, for example.

한편, 속도경고모듈(109)는, 차량(C)의 속도정보(v_1)와 식별번호정보(p_1)를 포함하는 경고정보(WI)를 텍스트 또는 이미지로 표시하는 디스플레이부(609)를 더 포함할 수 있다.On the other hand, the speed warning module 109 further includes a display unit 609 for displaying warning information WI including speed information v_1 and identification number information p_1 of the vehicle C as text or an image. can do.

이를 통해 스쿨존 등 특정 보행구역 외부에서 내부로 도로를 따라 진입하는 차량(C)이 기준속도 이상으로 주행하는 경우, 그 차량(C)의 운전자에게 전방에 유소년 등이 있음을 알림으로써, 특정 보행구역 내에서의 교통사고 발생 가능성을 획기적으로 낮출 수 있게 된다.Through this, if a vehicle (C) entering along the road from outside a specific pedestrian zone such as a school zone is traveling at a speed higher than the standard speed, by notifying the driver of the vehicle (C) that there is a youth in front, It is possible to dramatically reduce the possibility of a traffic accident occurring within the area.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100 : 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템
101 : 촬영모듈
103 : 보행자정보산출모듈
105 : 보호대상보행자정보생성모듈
107 : 보행자 판단 시스템
109 : 속도경고모듈
111 : 가변형 차량 속도 경고 시스템
601 : 영상촬영부
603 : 속도계산부
605 : 차량판별부
607 : 통신부
609 : 디스플레이부
i1 : 촬영이미지정보
PI : 보행자정보들
SP : 특정 보행자
SPI : 보호대상보행자정보
WI : 경고정보
C : 차량
100: Variable vehicle speed warning system including pedestrian judgment system
101: shooting module
103: pedestrian information calculation module
105: protection target pedestrian information generation module
107: pedestrian judgment system
109: speed warning module
111: variable vehicle speed warning system
601: video recording unit
603: speed calculator
605: vehicle identification unit
607: communication department
609: display unit
i1 : Shooting image information
PI: Pedestrian information
SP: specific pedestrian
SPI: Pedestrian information subject to protection
WI: Warning information
C: vehicle

Claims (6)

도로에 인접한 특정 보행구역을 촬영하여 2차원 영상좌표로 매핑된 촬영이미지정보(i1)를 생성하는 촬영모듈(101)과, 상기 촬영모듈(101)로부터 인가된 상기 촬영이미지정보(i1)를 이용하여 상기 보행구역 내에 존재하는 보행자들을 검출한 후 검출된 보행자들 각각의 보행자정보들(PI)을 산출하는 보행자정보산출모듈(103)과, 상기 보행자정보산출모듈(103)로부터 인가된 각각의 상기 보행자정보들(PI)을 분석하여 기설정된 보호대상에 해당하는 특정 보행자(SP)의 존재 여부를 판단한 후 상기 특정 보행자(P)의 존재시 상기 특정 보행자(SP)에 대한 보호대상보행자정보(SPI)를 생성하는 보호대상보행자정보생성모듈(105)을 포함하는 보행자 판단 시스템(107); 및
상기 보행자 판단 시스템(107)으로부터 상기 보호대상보행자정보(SPI)를 인가받은 경우, 상기 보행구역 외부에서 내부로 상기 도로를 따라 진입하는 차량(C)의 속도를 계산하여, 기설정된 기준속도 이상일 때 상기 차량의 진행방향 전방에 설치된 속도경고모듈(109)을 통해 경고정보(WI)를 송출하는 가변형 차량 속도 경고 시스템(111);
을 포함하는 것을 특징으로 하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템.
Using the photographing module 101 which generates photographed image information i1 mapped to two-dimensional image coordinates by photographing a specific walking area adjacent to the road, and the photographed image information i1 applied from the photographing module 101 a pedestrian information calculation module 103 that detects pedestrians existing in the pedestrian zone and then calculates pedestrian information PI of each detected pedestrian, and each of the pedestrian information calculation module 103 applied from the After determining whether a specific pedestrian (SP) corresponding to a preset protection target exists by analyzing the pedestrian information (PI), when the specific pedestrian (P) is present, the protection target pedestrian information (SPI) for the specific pedestrian (SP) ) Pedestrian determination system 107 including a protection target pedestrian information generation module 105 to generate; and
When the pedestrian information (SPI) to be protected is authorized from the pedestrian determination system 107, the speed of the vehicle (C) entering along the road from outside the pedestrian zone is calculated, and when it is equal to or greater than a preset reference speed a variable vehicle speed warning system 111 that transmits warning information WI through a speed warning module 109 installed in front of the vehicle in the traveling direction;
Variable vehicle speed warning system including a pedestrian determination system, characterized in that it comprises a.
제 1 항에 있어서,
상기 보행자정보들(PI)은 각 보행자들의 키에 대한 정보들을 포함하며,
상기 보행자정보산출모듈(103)은, 하기 수학식들에 의해 각 보행자들의 키를 산출하는 것을 특징으로 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템.

1. 상기 촬영이미지정보(i1)로부터 보행자의 바닥점에 대한 지도좌표계(World Coordinate System) 위치를 2D 중심 투영 변환으로 추출하는 식
Figure pat00023

여기서, (XL,YL,ZL)은 지도좌표계에서 촬영모듈(101)의 투영중심 위치, (XPbp,YPbp,0)은 지도좌표계에서 보행자의 바닥점 투영 위치, (x'bp,y'bp)은 카메라좌표계에서 보행자의 바닥점 위치, f는 촬영모듈(101)의 초점거리, k는 축척계수(영상의 scale),
Figure pat00024
은 회전행렬 M
Figure pat00025
의 역행렬, 회전행렬 M의 행렬성분은 다음으로 정의됨(ω,φ,K는 카메라좌표계를 각각 지도좌표계인 X축, Y축, Z축에 대해 반시계방향을 양의 값으로 하는 회전각).
Figure pat00026


2. 상기 촬영이미지정보(i1)로부터 보행자의 꼭대기점에 대한 지도좌표계(World Coordinate System) 위치를 2D 중심 투영 변환으로 추출하는 식
Figure pat00027

여기서, (XPtp,YPtp,0)은 지도좌표계에서 노면 위 보행자의 꼭대기점 투영 위치, (x'tp,y'tp)은 카메라좌표계에서 보행자의 꼭대기점 위치

3. 보행자의 키(H)를 산출하는 식
Figure pat00028

여기서, d1은 (XL,YL,0)에서 (XPbp,YPbp,0)까지의 거리, d2는 (XL,YL,0)에서 (XPtp,YPtp,0)까지의 거
The method of claim 1,
The pedestrian information (PI) includes information about the height of each pedestrian,
The pedestrian information calculation module 103 is a variable vehicle speed warning system including a pedestrian determination system, characterized in that it calculates the height of each pedestrian by the following equations.

1. Equation for extracting the location of the world coordinate system for the floor of the pedestrian from the photographed image information (i1) by 2D center projection transformation
Figure pat00023

Here, (X L ,Y L ,Z L ) is the projection center position of the imaging module 101 in the map coordinate system, (X Pbp ,Y Pbp ,0) is the floor point projection position of the pedestrian in the map coordinate system, (x' bp , y' bp ) is the position of the foot of the pedestrian in the camera coordinate system, f is the focal length of the imaging module 101, k is the scale factor (scale of the image),
Figure pat00024
is the rotation matrix M
Figure pat00025
The matrix components of the inverse matrix of and rotation matrix M are defined as follows (ω, φ, K are rotation angles with positive values in the counterclockwise direction with respect to the X, Y, and Z axes of the map coordinate system, respectively) .
Figure pat00026


2. Equation for extracting the World Coordinate System position for the top point of the pedestrian from the photographed image information (i1) by 2D center projection transformation
Figure pat00027

where (X Ptp ,Y Ptp ,0) is the projection position of the pedestrian’s apex on the road surface in the map coordinate system, and (x’ tp ,y’ tp ) is the position of the pedestrian’s apex in the camera coordinate system

3. Equation for calculating the height (H) of pedestrians
Figure pat00028

Here, d 1 is (X L, Y L, 0 ) in the (X Pbp, Y Pbp, 0 ) Distance, d 2 is (X L, Y L, 0 ) in the (X Ptp, Y Ptp, 0 ) up to
제 1 항에 있어서,
상기 촬영모듈(101)은,
상기 촬영이미지정보(i1)를 생성하는 CMOS 카메라를 포함하는 것을 특징으로 하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템.
The method of claim 1,
The photographing module 101,
Variable vehicle speed warning system including a pedestrian determination system, characterized in that it includes a CMOS camera that generates the photographed image information (i1).
제 1 항에 있어서,
상기 보행자정보산출모듈(103)은,
CNN(Convolutional Neural Network) 알고리즘을 이용하여 상기 촬영이미지정보(i1)로부터 상기 보행자들을 검출하는 것을 특징으로 하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템.
The method of claim 1,
The pedestrian information calculation module 103,
A variable vehicle speed warning system including a pedestrian determination system, characterized in that the pedestrians are detected from the photographed image information (i1) by using a Convolutional Neural Network (CNN) algorithm.
제 1 항에 있어서,
상기 가변형 차량 속도 경고 시스템(111)은,
각각의 구획된 영역이 GPS좌표로 매핑된 촬영이미지영역(S) 내에 진입한 상기 차량(C)을 촬영하여 기준시각(t_0)에서의 촬영이미지(i_0)와 경과시각(t_1)에서의 촬영이미지(i_1)를 각각 생성하는 영상촬영부(601);
상기 촬영이미지(i_0)에서 상기 차량(C)의 가상기준선(L_0)과 상기 촬영이미지(i_1)에서 상기 차량(C)의 가상기준선(L_1) 및 상기 GPS좌표로 매핑된 상기 구획된 영역을 이용하여 상기 차량(C)의 속도를 계산하는 속도계산부(603);
계산된 상기 차량(C)의 속도가 기설정된 기준속도 이상인 경우, 상기 영상촬영부(601)가 촬영한 상기 차량(C)의 번호판으로부터 상기 차량(C)의 식별번호(N)를 추출하는 차량판별부(605); 및
상기 차량(C)의 속도에 대한 속도정보(v_1)와 상기 식별번호(N)에 대한 식별번호정보(p_1)를 포함하는 상기 경고정보(WI)를 상기 속도경고모듈(109)을 통해 송출하는 통신부(607);
를 포함하는 것을 특징으로 하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템.
The method of claim 1,
The variable vehicle speed warning system 111,
By photographing the vehicle (C) entering the photographed image area (S) in which each partitioned area is mapped with GPS coordinates, the photographed image (i_0) at the reference time (t_0) and the photographed image at the elapsed time (t_1) an image capturing unit 601 that generates (i_1), respectively;
Using the partitioned area mapped to the virtual reference line L_0 of the vehicle C in the photographed image i_0, the virtual reference line L_1 of the vehicle C in the photographed image i_1, and the GPS coordinates a speed calculator 603 for calculating the speed of the vehicle (C);
When the calculated speed of the vehicle C is greater than or equal to a preset reference speed, the vehicle extracting the identification number N of the vehicle C from the license plate of the vehicle C photographed by the image capturing unit 601 determining unit 605; and
Transmitting the warning information (WI) including speed information (v_1) for the speed of the vehicle (C) and identification number information (p_1) for the identification number (N) through the speed warning module (109) communication unit 607;
Variable vehicle speed warning system including a pedestrian determination system, characterized in that it comprises a.
제 5 항에 있어서,
상기 속도경고모듈(109)은,
상기 속도정보(v_1)와 상기 식별번호정보(p_1)를 포함하는 상기 경고정보(WI)를 텍스트 또는 이미지로 표시하는 디스플레이부(609)를 포함하는 것을 특징으로 하는 보행자 판단 시스템을 포함하는 가변형 차량 속도 경고 시스템.
6. The method of claim 5,
The speed warning module 109,
Variable vehicle including a pedestrian determination system, characterized in that it includes a display unit 609 for displaying the warning information WI including the speed information v_1 and the identification number information p_1 as text or an image speed warning system.
KR1020200075478A 2020-06-22 2020-06-22 Variable vehicle speed warning system including pedestrian determination system KR102415620B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200075478A KR102415620B1 (en) 2020-06-22 2020-06-22 Variable vehicle speed warning system including pedestrian determination system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200075478A KR102415620B1 (en) 2020-06-22 2020-06-22 Variable vehicle speed warning system including pedestrian determination system

Publications (2)

Publication Number Publication Date
KR20210157551A true KR20210157551A (en) 2021-12-29
KR102415620B1 KR102415620B1 (en) 2022-07-04

Family

ID=79176810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200075478A KR102415620B1 (en) 2020-06-22 2020-06-22 Variable vehicle speed warning system including pedestrian determination system

Country Status (1)

Country Link
KR (1) KR102415620B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102435442B1 (en) * 2022-06-22 2022-08-24 한국건설기술연구원 System, apparatus and method for varying speed limit in child protection zone
DE102022109549A1 (en) 2021-11-16 2023-05-17 Hayashi Kogyosyo Co., Ltd. METHOD FOR MAKING A STATOR AND DEVICE FOR MAKING A STATOR

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101031995B1 (en) * 2010-08-16 2011-05-02 (유)티에스산업개발 Guiding system for traffic safety in school zone
KR20190046317A (en) * 2017-10-26 2019-05-07 주식회사 래도 Walking safety system
KR20200037737A (en) * 2018-09-28 2020-04-09 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Pedestrian probability prediction system for autonomous vehicles
KR102101956B1 (en) * 2019-12-27 2020-05-29 주식회사 한솔리드텍 Enforcement system for school-zone using pedestrian detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101031995B1 (en) * 2010-08-16 2011-05-02 (유)티에스산업개발 Guiding system for traffic safety in school zone
KR20190046317A (en) * 2017-10-26 2019-05-07 주식회사 래도 Walking safety system
KR20200037737A (en) * 2018-09-28 2020-04-09 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 Pedestrian probability prediction system for autonomous vehicles
KR102101956B1 (en) * 2019-12-27 2020-05-29 주식회사 한솔리드텍 Enforcement system for school-zone using pedestrian detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022109549A1 (en) 2021-11-16 2023-05-17 Hayashi Kogyosyo Co., Ltd. METHOD FOR MAKING A STATOR AND DEVICE FOR MAKING A STATOR
KR102435442B1 (en) * 2022-06-22 2022-08-24 한국건설기술연구원 System, apparatus and method for varying speed limit in child protection zone

Also Published As

Publication number Publication date
KR102415620B1 (en) 2022-07-04

Similar Documents

Publication Publication Date Title
CN108883725B (en) Driving vehicle alarm system and method
KR101843773B1 (en) Advanced Driver Assistance System, Display apparatus for vehicle and Vehicle
US6396535B1 (en) Situation awareness system
JP4783430B2 (en) Drive control device, drive control method, drive control program, and recording medium
US10481606B1 (en) Self-driving vehicle systems and methods
KR101967610B1 (en) Multi lane monitoring system that can recognize vehicle velocity and license plate number of multi lane
JP4311426B2 (en) Display system, in-vehicle device, and display method for displaying moving object
US20120089321A1 (en) System and method for alarming front impact danger coupled with driver viewing direction and vehicle using the same
CN109733283B (en) AR-based shielded barrier recognition early warning system and recognition early warning method
US10732420B2 (en) Head up display with symbols positioned to augment reality
JP2016218732A (en) Automobile peripheral information display system
CN112365741B (en) Safety early warning method and system based on multilane vehicle distance detection
WO2019181284A1 (en) Information processing device, movement device, method, and program
TW201333896A (en) Remote traffic management system using video radar
JP4214841B2 (en) Ambient situation recognition system
KR102415620B1 (en) Variable vehicle speed warning system including pedestrian determination system
KR101281629B1 (en) Driving guidance system using sensors
JP7043785B2 (en) Information generator
TW201724052A (en) Vehicle monitoring system and method thereof
JP2008097279A (en) Vehicle exterior information display device
JP2008046766A (en) Vehicle external information display device
JP2017126213A (en) Intersection state check system, imaging device, on-vehicle device, intersection state check program and intersection state check method
JP7359099B2 (en) Mobile object interference detection device, mobile object interference detection system, and mobile object interference detection program
JP5354193B2 (en) Vehicle driving support device
KR102339026B1 (en) Vehicle speed warning system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant