KR20210012282A - Multifunctional street light apparatus and its operation method - Google Patents

Multifunctional street light apparatus and its operation method Download PDF

Info

Publication number
KR20210012282A
KR20210012282A KR1020190089731A KR20190089731A KR20210012282A KR 20210012282 A KR20210012282 A KR 20210012282A KR 1020190089731 A KR1020190089731 A KR 1020190089731A KR 20190089731 A KR20190089731 A KR 20190089731A KR 20210012282 A KR20210012282 A KR 20210012282A
Authority
KR
South Korea
Prior art keywords
street light
sensor module
sensor
multifunctional
edge camera
Prior art date
Application number
KR1020190089731A
Other languages
Korean (ko)
Inventor
백장운
김진홍
임길택
문기영
최윤원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190089731A priority Critical patent/KR20210012282A/en
Publication of KR20210012282A publication Critical patent/KR20210012282A/en

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21SNON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S8/00Lighting devices intended for fixed installation
    • F21S8/08Lighting devices intended for fixed installation with a standard
    • F21S8/085Lighting devices intended for fixed installation with a standard of high-built type, e.g. street light
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V33/00Structural combinations of lighting devices with other articles, not otherwise provided for
    • F21V33/0004Personal or domestic articles
    • F21V33/0052Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21WINDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2131/00Use or application of lighting devices or systems not provided for in codes F21W2102/00-F21W2121/00
    • F21W2131/10Outdoor lighting
    • F21W2131/103Outdoor lighting of streets or roads

Abstract

The present invention relates to an apparatus which applies an edge camera (100), a dimming sensor module (200), a multi-sensor module (300), and a communication module (400) to a streetlight to provide various intelligent services in accordance with application environments and purposes; and a method thereof. According to the present invention, a multifunctional streetlight (500) comprises the edge camera (100), the dimming sensor module (200), the multi-sensor module (300), and the communication module (400). The edge camera (100) includes an image sensing unit (110), an image processing unit (120), and a data storage unit (130). The dimming sensor module (200) includes a dimming sensor (210), a lighting control unit (220), and a data storage unit (230). The multi-sensor module (300) includes a brightness sensor (310), a fine dust sensor (320), a temperature/humidity sensor (330), and a noise measurement sensor (340). Accordingly, when a streetlight having an edge camera and an environmental information collection sensor embedded therein is used, there is no need to redo pole installation work, electrical work, communication work, and the like, thereby having a great effect in reducing costs.

Description

다기능 가로등 장치 및 운용방법{Multifunctional street light apparatus and its operation method}Multifunctional street light apparatus and its operation method

본 발명은 가로등에 디밍센서모듈, 엣지카메라 모듈, 그리고 무선통신 모듈을 적용하여 응용환경과 목적에 따라 지능형 서비스를 제공하는 다기능 가로등 장치 및 운용방법에 관한 것이다.The present invention relates to a multifunctional street light device and operation method for providing intelligent services according to an application environment and purpose by applying a dimming sensor module, an edge camera module, and a wireless communication module to a street light.

현재 스마트 가로등이 있다. 스마트 가로등이란 일반 가로등보다 밝기가 밝고 비용적인 측면에서 효율적인 조명을 갖췄을 뿐만 아니라, 다양한 스마트 센서와 스마트 통신 노드를 탑재함으로써 교통, 안전, 환경, 도시 등과 같은 산업분야에서 스마트 서비스를 제공하는 기술이다. There are currently smart street lights. Smart street light is a technology that provides smart services in industrial fields such as traffic, safety, environment, and cities by mounting various smart sensors and smart communication nodes, as well as having brighter and more cost-effective lighting than ordinary street lights. .

한편, 스마트 가로등은 스마트 시티 건설의 일환으로 개발되었다. 스마트 시티란, 기존의 도시에 신기술인 스마트 플랫폼을 활용하여 도시의 효율성과 가치를 증대시키는 것이다.Meanwhile, smart street lights were developed as part of smart city construction. A smart city is to increase the efficiency and value of a city by using a new technology, a smart platform, in an existing city.

종래의 스마트 가로등은 야간의 조명 기능은 물론 교통의 흐름 및 보행자에 따라 신호등을 제어함과 아울러 전기자동차의 충전, 방범 기능, 위급상황 알림 기능 등의 유용한 기능을 가졌다.Conventional smart street lights have useful functions such as charging of electric vehicles, crime prevention functions, and emergency notification functions, as well as controlling traffic lights according to traffic flows and pedestrians as well as lighting functions at night.

또 다른 종래의 스마트 가로등은 가로등에 CCTV를 설치하여 기존의 가로등이 갖는 조명 시설물로서의 한계를 극복하고, 가로 주변에 불법 주/정차중인 차량의 정보수집과 통보가 이루어지도록 주차단속 기능을 겸비하였다.Another conventional smart street light is equipped with a parking control function to overcome the limitation as a lighting facility of the existing street light by installing CCTV on the street light, and to collect and notify information of illegally parked/stopped vehicles around the street.

이와 같이 종래의 스마트 가로등은 LED 조명, CCTV 카메라, WIFI 공유기, 멀티센서 등을 부착하고 있지만, 가로등 로컬에서 객체를 검출 및 추적하는 기능은 없다. 또한, 검출된 객체의 정보를 이용하여 인접한 가로등과 정보를 주고받는 기능도 제공하지 않는다.As described above, the conventional smart street light is equipped with LED lighting, CCTV camera, WIFI router, and multi-sensor, but there is no function to detect and track objects in the street light. In addition, it does not provide a function of exchanging information with neighboring street lights by using the detected object information.

본 발명에서는 현존의 스마트 가로등의 단점을 해결하기 위하여 객체 검출/추적 및 통신 기능을 활용하여 다양한 응용에 적용가능한 다기능 가로등 장치 및 운용방법을 제안하고자 한다.In the present invention, in order to solve the shortcomings of the existing smart street light, an object detection/tracking and communication function is used to propose a multifunctional street light device and operation method applicable to various applications.

상기 과제를 해결하기 위하여, 본 발명은 엣지카메라 모듈, 통신 모듈 및 디밍센서 모듈을 가로등에 적용하여 응용 환경과 목적에 따라 지능형 서비스를 제공하는 다기능 가로등 장치 및 운용방법을 제공한다.In order to solve the above problems, the present invention provides a multifunctional street light device and an operating method that provides an intelligent service according to an application environment and purpose by applying an edge camera module, a communication module and a dimming sensor module to a street light.

구체적으로, 본 발명의 한 측면에 따르면, 이미지 센서로 획득한 영상을 처리하여 객체 검출 및 인식, 추적 기능을 수행하여 영상정보를 출력하는 엣지카메라; 조도, 온도, 습도, 소음, 미세먼지 중 적어도 하나 이상의 주변 환경정보를 생성하는 멀티센서모듈; 및 상기 엣지카메라의 영상정보 및 상기 멀티센서모듈의 환경정보 중 적어도 하나를 이용하여 가로등의 조명을 적응적으로 디밍 제어하는 조명제어부를 포함하는 디밍센서모듈을 포함하는 다기능 가로등 장치가 제공된다.Specifically, according to an aspect of the present invention, there is provided an edge camera that processes an image acquired by an image sensor to perform object detection, recognition, and tracking functions to output image information; A multi-sensor module that generates information about at least one or more surroundings of illumination, temperature, humidity, noise, and fine dust; And a dimming sensor module including a lighting control unit for adaptively dimming the lighting of the streetlight using at least one of the image information of the edge camera and the environment information of the multi-sensor module.

본 발명의 다른 특징에 따르면, 상기와 같이 엣지카메라, 멀티센서모듈, 및 디밍센서모듈을 포함하는 다기능 가로등 장치를 도로상에 다수 개 설치하여 교통정보를 수집하는 방법이 제공된다. 이 방법은 다수의 다기능 가로등 장치 중 하나에 포함된 엣지카메라를 이용하여 교통정보를 검출하는 단계; 상기 검출된 교통정보를 다른 다기능 가로등 장치로 전송하는 단계; 상기 다른 다기능 가로등 장치가 전송받은 교통정보를 관제센터 서버로 전송하고, 관제센터 서버는 상기 교통정보를 분석하여 차량 운전자에게 메시지를 제공하는 단계를 포함한다. According to another feature of the present invention, there is provided a method of collecting traffic information by installing a plurality of multifunctional street light devices including an edge camera, a multi-sensor module, and a dimming sensor module on a road as described above. The method includes the steps of detecting traffic information using an edge camera included in one of a plurality of multifunctional street light devices; Transmitting the detected traffic information to another multifunctional street light device; And transmitting the traffic information received by the other multifunctional street light device to a control center server, and the control center server analyzing the traffic information and providing a message to a vehicle driver.

본 발명의 다른 특징에 따르면, 상기와 같이 엣지카메라, 멀티센서모듈, 및 디밍센서모듈을 포함하는 다기능 가로등 장치를 도로상에 다수 개 설치하여 가로등의 조명을 적응적으로 제어하는 방법이 제공된다. 이 방법은 상기 다수의 다기능 가로등 장치 중 하나가 설치된 영역에서의 차량 또는 보행자의 이동정보를 상기 엣지카메라를 통해 검출하는 단계; 상기 이동정보를 바탕으로 다기능 가로등 장치의 관할 영역에 차량이나 보행자에 진입한 것을 판단하고 다른 다기능 가로등 장치로 조명제어 요청 메시지를 전송하는 단계; 및 조명제어 요청 메시지를 받은 다른 다기능 가로등 장치가 수신 정보를 기반으로 조명 제어를 수행하고 다른 이웃 가로등에 조명제어 요청 메시지를 전파하는 단계를 포함하여, 차량 또는 보행자의 이동에 적응하여(adaptive) 조명 제어를 수행한다. According to another feature of the present invention, there is provided a method of adaptively controlling the lighting of a street light by installing a plurality of multifunctional street light devices including an edge camera, a multi-sensor module, and a dimming sensor module on a road as described above. The method includes the steps of detecting movement information of a vehicle or a pedestrian in an area in which one of the plurality of multifunctional street light devices is installed, through the edge camera; Determining that a vehicle or pedestrian has entered the jurisdiction area of the multifunctional streetlight device based on the movement information and transmitting a lighting control request message to another multifunctional streetlight device; And another multifunctional street light device receiving the lighting control request message performing lighting control based on the received information and propagating the lighting control request message to other neighboring street lights, and adaptive lighting to the movement of a vehicle or pedestrian. Perform control.

이상에서 소개한 본 발명의 구성 및 작용은 이후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.The configuration and operation of the present invention introduced above will become more apparent through specific embodiments described with reference to the drawings.

본 발명에 따르면, 엣지카메라와 환경정보수집 센서를 내장한 가로등을 활용할 경우 폴대 설치공사, 전기공사, 통신공사 등을 다시 할 필요가 없어 비용 절감 효과가 크다.According to the present invention, when using a street light with an edge camera and a sensor for collecting environmental information, there is no need to perform pole installation, electrical work, communication work, etc., resulting in great cost reduction.

도 1a는 본 발명의 한 실시예에 따른 다기능 가로등 장치의 구성을 나타내는 구성도이다.
도 1b는 본 발명의 다른 실시예에 따른 다기능 가로등 장치의 구성을 나타내는 구성도이다.
도 2a는 본 발명의 실시예에 따른 가로에 설치된 다기능 가로등을 이용하여 교통정보를 수집하는 서비스의 개념도이다.
도 2b는 도 2a의 다기능 가로등(500)의 교통정보를 수집하는 프로세스 흐름도이다.
도 3a는 본 발명의 실시예에 따른 교차로에서 다기능 가로등(500)을 이용하여 교통량을 수집하는 서비스의 개념도이다.
도 3b는 도 3a의 다기능 가로등(500)을 이용하여 교통량을 수집하는 프로세스 흐름도이다.
도 4는 본 발명의 실시예에 따른 교통이벤트를 검지하는 다기능 가로등의 프로세스 흐름도이다.
도 5a는 본 발명의 실시예에 따른 적응적 조명제어하는 다기능 가로등의 서비스 개념도이다.
도 5b는 도 5a의 다기능 가로등을 이용하여 적응적 조명제어하는 프로세스의 흐름도이다.
도 6은 본 발명의 실시예에 따른 다기능 가로등에서의 불법 주/정차 차량을 감시하는 프로세스 흐름도를 나타낸다.
도 7은 본 발명의 실시예에 따른 다기능 가로등을 이용한 노변주차장의 정보 안내 프로세스 흐름도를 나타낸다.
도 8은 본 발명의 실시예에 따른 다기능 가로등을 이용한 쓰레기 투기를 감시하는 프로세스 흐름도를 나타낸다.
도 9는 본 발명의 실시예에 따른 다기능 가로등을 이용한 화재 발생 시 알림 서비스 프로세스 흐름도를 나타낸다.
도 10a, 10b는 본 발명의 실시예에 따른 다기능 가로등을 이용한 성범죄자 모니터링, 치매노인과 미아찾기 프로세스 흐름도를 나타낸다.
도 11은 본 발명의 실시예에 따른 다기능 가로등을 이용하여 독거노인의 이동패턴 모델링 및 이상검출하는 프로세스 흐름도를 나타낸다.
도 12는 본 발명의 실시예에 따른 다기능 가로등을 이용한 야생동물의 출현 알림 프로세스 흐름도를 나타낸다.
1A is a block diagram showing the configuration of a multifunctional street light device according to an embodiment of the present invention.
Figure 1b is a block diagram showing the configuration of a multi-function street light device according to another embodiment of the present invention.
2A is a conceptual diagram of a service for collecting traffic information using a multifunctional streetlight installed on a street according to an embodiment of the present invention.
Figure 2b is a flow diagram of a process for collecting traffic information of the multi-function street light 500 of Figure 2a.
3A is a conceptual diagram of a service for collecting traffic by using a multifunctional street light 500 at an intersection according to an embodiment of the present invention.
3B is a flow chart of a process of collecting traffic using the multifunctional street light 500 of FIG. 3A.
4 is a process flow diagram of a multifunctional streetlight detecting a traffic event according to an embodiment of the present invention.
5A is a service conceptual diagram of a multifunctional street light for adaptive lighting control according to an embodiment of the present invention.
5B is a flowchart of a process of adaptive lighting control using the multifunctional street light of FIG. 5A.
6 is a flowchart illustrating a process of monitoring illegal parking/stopping vehicles in a multifunctional street light according to an embodiment of the present invention.
7 is a flowchart illustrating an information guide process for a roadside parking lot using a multifunctional street light according to an embodiment of the present invention.
8 is a flowchart illustrating a process of monitoring garbage dumping using a multifunctional street light according to an embodiment of the present invention.
9 is a flowchart illustrating a process of a notification service when a fire occurs using a multifunctional street light according to an embodiment of the present invention.
10A and 10B are flowcharts illustrating a process for monitoring sex offenders using a multifunctional street light and finding dementia elderly and missing children according to an embodiment of the present invention.
11 is a flowchart illustrating a process of modeling a movement pattern of an elderly living alone and detecting an abnormality using a multifunctional street light according to an embodiment of the present invention.
12 is a flowchart illustrating a process of notifying the appearance of wild animals using a multifunctional street light according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 이들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 기술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms different from each other, only this embodiment makes the disclosure of the present invention complete, and those skilled in the art to which the present invention pertains. It is provided to fully inform the scope of the invention to the person, and the invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.On the other hand, terms used in the present specification are for explaining examples and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprise" or "comprising" means the presence of one or more other components, steps, operations and/or elements other than the mentioned elements, steps, operations and/or elements, or Does not rule out addition.

이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명을 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In adding reference numerals to elements of each drawing, even though they are indicated on different drawings, the same elements are assigned the same reference numerals as much as possible, and in describing the present invention, a detailed description of related known configurations or functions If the gist of the present invention may be obscured, a detailed description thereof will be omitted.

도 1a는 본 발명의 대표적 실시예에 따른 다기능 가로등 장치의 구성을 나타내는 구성도이다. 도 1b는 본 발명의 다른 실시예에 따른 다기능 가로등 장치의 구성을 나타내는 구성도이다. 1A is a block diagram showing the configuration of a multifunctional street light device according to an exemplary embodiment of the present invention. Figure 1b is a block diagram showing the configuration of a multi-function street light device according to another embodiment of the present invention.

도 1a, b의 다기능 가로등(500)은 엣지카메라(100), 디밍센서모듈(200), 멀티센서모듈(300), 통신모듈(400)로 구성된다. 여기서, 엣지카메라(100)는 이미지 센싱부(110), 영상처리부(120), 그리고 데이터 저장부(130)로 구성된다. 디밍센서모듈(200)은 디밍센서(210), 조명 제어부(220), 그리고 데이터 저장부(230)로 구성된다. 그리고 멀티센서모듈(300)은 조도센서(310), 미세먼지 센서(320), 그리고 온도/습도 센서(330), 소음측정 센서(340)로 구성된다. The multifunctional street light 500 of FIGS. 1a and b is composed of an edge camera 100, a dimming sensor module 200, a multi-sensor module 300, and a communication module 400. Here, the edge camera 100 includes an image sensing unit 110, an image processing unit 120, and a data storage unit 130. The dimming sensor module 200 includes a dimming sensor 210, a lighting control unit 220, and a data storage unit 230. In addition, the multi-sensor module 300 includes an illuminance sensor 310, a fine dust sensor 320, a temperature/humidity sensor 330, and a noise measurement sensor 340.

다기능 가로등(500)의 엣지카메라(100)는 이미지 센싱부(110)에서 획득한 영상을 기반으로 영상처리를 시행하여 객체 검출 및 인식, 추적기능을 수행한다. 이 때, 이미지 센싱부(110)는 응용분야에 따라 PTZ(Pan, Tilt, Zoom) 기능을 필요로 할 수 있다. The edge camera 100 of the multifunctional street light 500 performs image processing based on the image acquired by the image sensing unit 110 to detect, recognize, and track objects. In this case, the image sensing unit 110 may require a PTZ (Pan, Tilt, Zoom) function according to an application field.

디밍센서모듈(200)은 디밍(조명 제어)에 필요한 정보를 제공받거나 디밍센서로 감지하여 조명 제어 기능을 수행한다. 예를 들어, 엣지카메라(100)에서 수집한 차량 또는 보행자 정보 및/또는 멀티센서모듈(300)로부터 받은 환경 정보를 바탕으로 적응적으로 조명을 제어하는 기능을 한다.The dimming sensor module 200 performs a lighting control function by receiving information necessary for dimming (light control) or sensing it with a dimming sensor. For example, it functions to adaptively control lighting based on vehicle or pedestrian information collected by the edge camera 100 and/or environmental information received from the multi-sensor module 300.

멀티센서모듈(300)은 해당 지역(가로등이 위치한 도로, 마을 등의 구역)의 다양한 주변 환경정보(예를 들어, 조도, 습도, 미세먼지 등)를 측정하여 수집하는 기능을 수행한다. 이 환경정보를 디밍센서모듈(200)로 보내어 조명 제어에 활용하도록 할 수 있다. 이 때, 멀티센서모듈과 디밍센서간의 통신은 RS232와 같은 간단한 시리얼 통신으로 할 수 있다(아래에서 설명할 통신모듈(400)을 통해 멀티센서모듈과 디밍센서간의 통신이 수행될 수 있음). The multi-sensor module 300 performs a function of measuring and collecting various surrounding environment information (eg, illumination, humidity, fine dust, etc.) of a corresponding area (area such as a road, village, etc. where a street light is located). This environmental information can be sent to the dimming sensor module 200 to be used for lighting control. At this time, communication between the multi-sensor module and the dimming sensor can be performed by simple serial communication such as RS232 (communication between the multi-sensor module and the dimming sensor can be performed through the communication module 400 to be described below).

통신모듈(400)은 엣지카메라(100)에서 검출한 교통, 생활, 방범, 이벤트 등의 정보를 관제센터서버(450)에 알리는 기능을 하고, 멀티센서모듈(300)에서 수집한 주변환경 정보를 주기적으로 관제센터서버(450)에 전송하는 기능을 한다. 예를 들어 멀티홉 무선통신을 이용하여 가로등(500) 간의 통신을 지원하고 이더넷망을 통해 관제/모니터링 센터(도 1의 관제센터서버(450))와 통신을 수행할 수 있다. 관제센터서버(450)에서는 각각의 센서 모듈에서 취득한 다양한 환경정보를 수신하여 가로등의 상태를 모니터링하고, 가로등을 원격으로 제어할 수 있다. 그 밖에, 엣지카메라(100), 디밍센서모듈(200), 멀티센서모듈(300) 간의 정보 교환도 이 통신모듈(400)을 통해 이루어질 수 있다.The communication module 400 functions to inform the control center server 450 of information such as traffic, life, crime prevention, and events detected by the edge camera 100, and provides information on the surrounding environment collected by the multi-sensor module 300. It performs a function of periodically transmitting to the control center server 450. For example, it is possible to support communication between streetlights 500 using multi-hop wireless communication, and perform communication with a control/monitoring center (control center server 450 of FIG. 1) through an Ethernet network. The control center server 450 may receive various environmental information acquired from each sensor module, monitor the state of the streetlight, and remotely control the streetlight. In addition, information exchange between the edge camera 100, the dimming sensor module 200, and the multi-sensor module 300 may also be performed through the communication module 400.

현재 카메라를 장착한 스마트가로등이 시중에 소개되어 있으나 영상처리기능을 포함하고 있지 않다. 본 발명에 따른 다기능 가로등(500)의 엣지카메라(100)는 객체를 검출하여 추적한 결과를 디밍센서모듈(200)에 전송하여 조명제어에 활용한다. 엣지카메라(100), 디밍센서모듈(200) 및 멀티센서모듈(300)에서 검출한 정보는 통신모듈(400)을 통해 관제센터서버(450)로 전송된다. 이 때, 엣지카메라(100)는 영상정보를 관제센터서버(450)로 전송해야 하므로 통신모듈(400)은 이더넷 혹은 5G와 같은 대역폭이 넓은 통신망을 사용하는 것이 바람직하다.Currently, a smart street light equipped with a camera is introduced on the market, but does not include an image processing function. The edge camera 100 of the multifunctional street light 500 according to the present invention detects an object and transmits the tracking result to the dimming sensor module 200 to use it for lighting control. Information detected by the edge camera 100, the dimming sensor module 200 and the multi-sensor module 300 is transmitted to the control center server 450 through the communication module 400. At this time, since the edge camera 100 needs to transmit the image information to the control center server 450, the communication module 400 preferably uses a communication network having a wide bandwidth such as Ethernet or 5G.

도 1a에 나타낸 것과 같이 엣지카메라(100), 디밍센서모듈(200), 멀티센서모듈(200)은 각각 통신모듈(400)을 통하여 관제센터서버(450)와 통신할 수 있지만, 대안으로서, 도 1b와 같이 엣지카메라(100)가 상대적으로 컴퓨팅 성능이 좋으므로 관제센터서버(450)와의 통신이 엣지카메라(100)를 매개로 이루어지는 실시예의 구성도 가능하다. 이 경우에는 도 1b와 같이 통신모듈(400)이 다른 모듈과는 연결되지 않고 엣지카메라(100)와만 연결되고, 다른 모듈들(200, 300)은 엣지카메라(100)와 연결될 수 있다.As shown in Fig. 1a, the edge camera 100, the dimming sensor module 200, and the multi-sensor module 200 can each communicate with the control center server 450 through the communication module 400, but as an alternative, As shown in 1b, since the edge camera 100 has relatively good computing performance, the configuration of an embodiment in which communication with the control center server 450 is via the edge camera 100 is also possible. In this case, as shown in FIG. 1B, the communication module 400 is not connected to other modules, but only connected to the edge camera 100, and other modules 200 and 300 may be connected to the edge camera 100.

도 1a, b에 나타낸 다기능 가로등(500)은 엣지카메라(100), 디밍센서모듈(200), 멀티센서모듈(300)이 하나의 시스템에 결합된 일체형일 수 있고, 개별적으로 동작하면서 인터페이스를 통해 데이터를 주고받는 형태일 수도 있다.The multi-function street light 500 shown in FIGS. 1a and b may be an integrated type in which the edge camera 100, the dimming sensor module 200, and the multi-sensor module 300 are combined in one system, and operate individually through an interface. It may be in the form of exchanging data.

다음, 도 1a, b의 다기능 가로등(500)을 이용하여 제공되는 서비스의 운용방법 프로세스에 대해 도 2a~도 12를 참조하여 개념적으로 설명한다. 이하에서 설명할 다양한 서비스 제공을 위하여 다기능 가로등(500) 또는 보안등은 독립적으로 동작하며, 안내스피커나 디지털표지판 등이 부가적으로 부착될 수 있다. Next, a process of operating a service provided using the multifunctional street light 500 of FIGS. 1A and B will be conceptually described with reference to FIGS. 2A to 12. In order to provide various services to be described below, the multifunctional street light 500 or the security lamp operates independently, and a guide speaker or digital sign may be additionally attached.

<교통정보수집><Traffic Information Collection>

도 2a는 가로에 설치된 다기능 가로등을 이용하여 교통정보를 수집하는 서비스의 개념도이다.2A is a conceptual diagram of a service for collecting traffic information using a multifunctional street light installed on a street.

다기능 가로등(500)의 엣지카메라(100)에서는 차량을 검출(detection), 추적(tracking) 및 인식(recognition)하는 기능을 제공한다. 이러한 기능을 이용하여 가로 상에서 차량의 교통량, 지점 속도, 구간 속도 등의 교통정보를 수집한다. 또한, 엣지카메라(100)는 교통이벤트(예를 들어, 지정체, 사고, 갓길주차, 불법주정차, 돌발상황 등)를 검지한다. 엣지카메라(100)에서는 교통이벤트를 검지하면 (예를 들어 멀티홉 무선통신(즉, I2I)을 이용하여) 이웃한 다기능 가로등(501)(이웃 가로등)에 이벤트 정보를 전송한다. 이웃 가로등(501) 중에는 관제센터서버(450)와 통신하는 게이트웨이 가로등(502)이 있다. 여기서, 이웃 가로등(501)과 게이트웨이 가로등(502)은 본 발명에 따른 다기능 가로등(500)과 동일한 장치이다. 다기능 가로등(500) 또는 이웃 가로등(501)으로부터 이벤트를 수신한 게이트웨이 가로등(502)은 관제센터서버(450)로 이벤트를 전송한다(이 때, 통신은 유선 또는 이동통신망을 이용함). 관제센터서버(450)는 안내표지판/안내방송 시스템을 통해 진입차량에게 교통이벤트 정보 또는 메시지를 제공한다. 또한, 횡단보도와 교차로에 위치한 다기능 가로등(500)의 엣지카메라(100)는 보행자를 인식하고, 보행자가 횡단보도 상에 있을 경우 안내표지판을 통해 진입차량에게 운전자 주의 메시지를 제공한다. 혹은 다기능 가로등(500)의 디밍센서모듈(200)을 통해 가로등의 밝기를 조절하여 운전자가 주의를 기울이도록 한다. 또한, 사고 예방 차원에서 가로등이 꼭 필요한 지역이지만 통행량이 적은 지역에 설치된 가로등은 불필요한 에너지 소모를 줄이기 위해 진입차량을 사전에 검출하고, 이를 기반으로 다기능 가로등(500)에 탑재된 디밍센서모듈(200)을 이용하여 적응적으로 가로등의 조명 밝기를 조절한다. 한편, 다기능 가로등(500)의 멀티센서모듈(300)은 조도, 습도, 및 미세먼지 등의 환경정보(600)를 측정 수집하고, 이 정보를 이용하여 조명을 제어한다. The edge camera 100 of the multifunctional street light 500 provides a function of detecting, tracking, and recognizing a vehicle. Using this function, traffic information such as vehicle traffic volume, point speed, and section speed on the street is collected. In addition, the edge camera 100 detects a traffic event (for example, a designated object, an accident, parking on the shoulder, illegal parking, unexpected situations, etc.). When the edge camera 100 detects a traffic event (for example, using multi-hop wireless communication (i.e., I2I)), the edge camera 100 transmits event information to the neighboring multi-function street light 501 (neighbor street light). Among the neighboring street lights 501, there is a gateway street light 502 that communicates with the control center server 450. Here, the neighboring street light 501 and the gateway street light 502 are the same device as the multifunctional street light 500 according to the present invention. The gateway street light 502, which has received the event from the multifunctional street light 500 or the neighboring street light 501, transmits the event to the control center server 450 (in this case, communication is performed using a wired or mobile communication network). The control center server 450 provides traffic event information or a message to the entering vehicle through a guide sign/announcement system. In addition, the edge camera 100 of the multifunctional streetlight 500 located at the crosswalk and the intersection recognizes a pedestrian, and when the pedestrian is on the crosswalk, it provides a driver caution message to the entering vehicle through a guide sign. Alternatively, the brightness of the streetlight is adjusted through the dimming sensor module 200 of the multifunctional streetlight 500 so that the driver pays attention. In addition, streetlights installed in areas where streetlights are essential to prevent accidents, but in areas with low traffic, detect vehicles entering in advance to reduce unnecessary energy consumption, and based on this, the dimming sensor module 200 mounted on the multifunctional streetlight 500 ) To adaptively adjust the brightness of the street light. On the other hand, the multi-sensor module 300 of the multifunctional street light 500 measures and collects environmental information 600 such as illumination, humidity, and fine dust, and controls lighting using this information.

도 2b는 도 2a에 나타낸 다기능 가로등(500)을 이용한 교통정보 수집 서비스의 프로세스 흐름도이다.Figure 2b is a process flow diagram of a traffic information collection service using the multi-function street light 500 shown in Figure 2a.

다기능 가로등(500)은 내부에 탑재된 엣지카메라(100)를 이용하여 도 2b에서와 같이 교통정보를 수집하는 프로세스를 수행한다. 이 프로세스는 엣지카메라(100)의 이미지 센싱부(110)를 통해 입력된 이미지에 대해 영상처리부(120)에서의 영상처리를 통해 실행될 수 있다. 영상처리부(120)는 먼저, 이미지 센싱부(110)에서 취득된 입력 이미지를 전처리 작업한다(S10). 전처리된 이미지에서 검출영역(즉, 관심영역)을 설정한다(S12). 설정된 검출영역에서 차량(또는 보행자)을 검출하고 그 차량을 추적한다(S14). S14 단계를 통해 얻어진 차량/보행자 추적 리스트로부터 검출영역을 통과하는 차량을 계수하여 통행량을 계산하고, 카메라가 설치된 위치와 프레임별 차량의 위치를 이용하여 차량의 지점속도를 계산한다. 즉, 엣지카메라(100)는 차량 및 보행자 추적 리스트를 생성한다. 단계 S14에서 획득한 차량 및 보행자 추적 리스트로부터의 차량의 식별 및 재식별을 통해 현재 가로등의 위치와 시간, 이전에 차량이 식별되었던 위치와 시간을 이용하여 각 차량의 경로별 교통량과 구간속도를 획득한다(S16). 이 때, 차량의 식별은 차량 검출영역을 특정 값으로 변환(embedding)하여, 그 변환 값의 유사도를 차량 식별 시 이용할 수 있다. 차량의 식별은 페이스넷(FaceNet)의 얼굴인식 기능과 유사한 방식으로 동작할 수 있다. The multifunctional street light 500 performs a process of collecting traffic information as shown in FIG. 2B using the edge camera 100 mounted therein. This process may be executed through image processing in the image processing unit 120 on an image input through the image sensing unit 110 of the edge camera 100. The image processing unit 120 first preprocesses the input image acquired by the image sensing unit 110 (S10). A detection area (ie, an ROI) is set in the preprocessed image (S12). A vehicle (or pedestrian) is detected in the set detection area and the vehicle is tracked (S14). From the vehicle/pedestrian tracking list obtained in step S14, the traffic volume is calculated by counting the vehicle passing through the detection area, and the point speed of the vehicle is calculated using the location where the camera is installed and the location of the vehicle by frame. That is, the edge camera 100 generates a vehicle and pedestrian tracking list. Through the identification and re-identification of the vehicle from the vehicle and pedestrian tracking list obtained in step S14, the traffic volume and section speed for each vehicle route are obtained using the location and time of the current street light and the location and time where the vehicle was previously identified. Do (S16). In this case, vehicle identification may be performed by embedding the vehicle detection region into a specific value, and the similarity of the converted value can be used when vehicle identification. Vehicle identification can operate in a manner similar to FaceNet's facial recognition function.

<교차로 교통량 수집><Collection of traffic at intersections>

도 3a는 교차로에서 다기능 가로등(500)을 이용하여 교통량을 수집하는 서비스의 개념도이다.3A is a conceptual diagram of a service for collecting traffic by using a multifunctional street light 500 at an intersection.

도 3a와 같이 교차로에 설치된 가로등에 엣지카메라(100)를 적용하여 교통정보를 수집한다. 각각의 다기능 가로등(500)의 엣지카메라(100)는 검출영역을 설정하고 해당영역의 차량 및 보행자를 검출, 또는 추적한다. 추적 리스트를 이용하여 차로별, 방향별 차량을 카운팅하고, 지점 속도를 계측한다. 또한, 횡단보도의 보행자의 수와 횡단 시 보행자의 보행시간을 측정한다. 이러한 교통정보로써 교통신호체계를 구축할 수 있다.As shown in FIG. 3A, traffic information is collected by applying an edge camera 100 to a street lamp installed at an intersection. The edge camera 100 of each multifunctional street light 500 sets a detection area and detects or tracks vehicles and pedestrians in the corresponding area. By using the tracking list, vehicles are counted by lane and direction, and point speed is measured. In addition, the number of pedestrians on the crosswalk and the walking time of the pedestrians when crossing are measured. A traffic signal system can be built with such traffic information.

도 3b는 도 3a의 다기능 가로등(500)을 이용하여 교통량을 수집하는 프로세스 흐름도이다. 3B is a flow chart of a process of collecting traffic using the multifunctional street light 500 of FIG. 3A.

먼저, 다기능 가로등(500)에 탑재된 엣지카메라(100)의 이미지 센싱부(110)에서 취득된 입력 이미지를 전처리 작업한다(S20). 전처리된 이미지에서 검출영역(즉, 관심영역)이 설정된다(S22). 엣지카메라(100)는 설정된 검출영역에서 차량 및 보행자를 검출하고 추적한다(S24). 단계 S24를 통해 생성된 차량 및 보행자 추적리스트를 이용하여 차로별, 방향별 차량의 수와, 차량의 속도를 측정하고 횡단보도 보행자의 수와 횡단 시 보행자의 보행시간을 측정한다(S26). 단계 S26에서 획득한 교통정보수집 데이터는 통신모듈(400)을 통해 관제센터서버(450)로 전송된다. First, the input image acquired by the image sensing unit 110 of the edge camera 100 mounted on the multifunctional street light 500 is pre-processed (S20). A detection area (ie, an ROI) is set in the preprocessed image (S22). The edge camera 100 detects and tracks vehicles and pedestrians in the set detection area (S24). Using the vehicle and pedestrian tracking list generated through step S24, the number of vehicles by lane and direction, and the speed of the vehicle are measured, and the number of pedestrians crossing and the walking time of pedestrians when crossing are measured (S26). The traffic information collection data acquired in step S26 is transmitted to the control center server 450 through the communication module 400.

<교통이벤트 검지><Traffic event detection>

도 4는 본 발명의 실시예에 따른 교통이벤트를 검지하는 다기능 가로등의 프로세스 흐름도이다.4 is a process flow diagram of a multifunctional streetlight detecting a traffic event according to an embodiment of the present invention.

다기능 가로등(500)은 교통이벤트를 검지하고 이웃 가로등(501)과 관제센터서버(450)로 교통이벤트를 전송한다. 이와 같은 작동을 수행하기 위해 엣지카메라(100)의 이미지 센싱부(110)에서 취득된 입력 이미지를 전처리 작업한다(S30). 전처리된 이미지에서 검출영역을 설정한다(S32). 설정된 검출영역에 대한 차량 및 보행자를 검출한다(S34). 백그라운드 모델링을 통해 배경을 모델링하고, 차량 검출영역을 기반으로 차량 경로(trajectory)를 생성한다(S36). 차량이 평상시(normal)와 달리 정지해 있거나 경로를 벗어나 갓길에 정차된 경우, 그리고 차로에 보행자가 검지되는 경우를 케이스별로 검출한다(S36). 검출한 결과를 토대로 교통이벤트 메시지를 생성하고, 이 메시지를 이웃 가로등(501)과 관제센터(450)에 전송한다(S38). 가로등과 교통상황안내표지판(VMS: variable message sign)간의 통신이 가능하면 VMS를 통해 운전자에게 교통상황을 즉시 알려줄 수 있을 것이다.The multifunctional streetlight 500 detects the traffic event and transmits the traffic event to the neighboring streetlight 501 and the control center server 450. In order to perform such an operation, the input image acquired by the image sensing unit 110 of the edge camera 100 is pre-processed (S30). A detection area is set in the preprocessed image (S32). Vehicles and pedestrians in the set detection area are detected (S34). The background is modeled through background modeling, and a vehicle trajectory is generated based on the vehicle detection area (S36). A case in which the vehicle is stopped differently from normal or is stopped on the shoulder outside the path, and a case where a pedestrian is detected in the lane is detected for each case (S36). A traffic event message is generated based on the detected result, and the message is transmitted to the neighboring street lights 501 and the control center 450 (S38). If communication between streetlights and traffic condition information signs (VMS: variable message sign) is possible, traffic conditions can be immediately informed to the driver through VMS.

<적응적 조명제어><Adaptive lighting control>

도 5a는 본 발명의 다기능 가로등을 이용한 적응적 조명제어 서비스의 개념도이다. 도 5b는 도 5a의 서비스를 구현하여 적응적 조명제어하는 프로세스의 흐름도이다.5A is a conceptual diagram of an adaptive lighting control service using a multifunctional street light of the present invention. 5B is a flowchart of a process for adaptive lighting control by implementing the service of FIG. 5A.

도 5a에서 가로의 가로등은 서로 연결되어 있고, PLC(전력선 통신)를 통해 각각의 전원제어가 이루어진다. 하나의 제어기에 20 여개의 다기능 가로등(500)이 연결되어 각각의 다기능 가로등(500)이 상호연동되어 동작한다. 여기서 다기능 가로등(500)을 이용한 적응적 조명제어 서비스는 도로의 특정 영역에 차량 혹은 보행자가 진입한 것이 검출되면 해당 영역에 위치한 가로등의 디밍조절을 통해 조명의 밝기를 강하게 조절하여 운전자와 보행자의 시인성을 높여주기 위한 것이다. 차량과 보행자가 없는 영역에서는 해당 가로등의 조명의 밝기를 약하게 조절한다. 부수적으로, 환경정보(600)를 멀티센서모듈(300)로 수집하여 조명제어를 실행하는 데 반영할 수 있다. 이러한 적응적 조명제어는 가로등의 에너지 소모를 줄이고 인근 농작물의 피해를 줄일 수 있다. In FIG. 5A, street lights are connected to each other, and power is controlled through PLC (power line communication). About 20 multifunctional streetlights 500 are connected to one controller, and each multifunctional streetlight 500 is operated by interworking with each other. Here, the adaptive lighting control service using the multifunctional street light 500 is the visibility of the driver and pedestrian by strongly adjusting the brightness of the lighting through dimming control of the street light located in the corresponding area when a vehicle or pedestrian entering a specific area of the road is detected. It is to increase the value. In areas where there are no vehicles or pedestrians, the brightness of the corresponding streetlight is weakly adjusted. Incidentally, the environmental information 600 may be collected by the multi-sensor module 300 and reflected in executing lighting control. Such adaptive lighting control can reduce energy consumption of streetlights and reduce damage to nearby crops.

구체적으로 도 5b를 참조하면, 차량 또는 보행자가 진입한 영역(가로등의 관할 영역)에 위치한 가로등(500)은 탑재된 엣지카메라(100)를 이용하여 차량과 보행자를 검출하고 추적한다(S40). (입력 이미지의 전처리 단계와 검출영역 설정 단계는 앞에서 설명한 것과 동일하므로 설명을 생략한다.) 단계 S40에서 검출한 결과(차량/보행자 추적 리스트)를 바탕으로 가로등의 관할 영역에 차량이나 보행자에 진입한 것을 판단하고 (예를 들어 멀티홉 통신을 통해) 이웃 노드(즉, 이웃 가로등(501))로 조명제어 요청 메시지를 전송한다(S42). 조명제어 요청 메시지를 받은 이웃 가로등(501)은 수신한 정보를 기반으로 조명 제어를 수행하고 다른 이웃 가로등에 조명제어 메시지를 전파한다(S44). 이를 수신한 이웃 가로등은 수신한 조명제어 요청 메시지에 따라 자신의 조명을 제어한다(S46). 이와 같이, 차량이나 보행자가 가로등의 관할 영역을 거쳐서 이동함에 따라 각 관할 영역의 가로등들이 이웃 가로등에 조명제어 요청 메시지를 전파함으로써 차량이나 보행자의 이동에 적응하여(adaptive) 조명 제어를 수행할 수 있다. Specifically, referring to FIG. 5B, a streetlight 500 located in an area (area under jurisdiction of streetlights) where a vehicle or pedestrian enters detects and tracks a vehicle and a pedestrian using the mounted edge camera 100 (S40). (The steps for pre-processing the input image and setting the detection area are the same as described above, so the explanation is omitted.) Based on the detection result in step S40 (vehicle/pedestrian tracking list), a vehicle or pedestrian entering the jurisdiction area of the street light And transmits a lighting control request message to a neighboring node (ie, a neighboring street light 501) (eg, through multi-hop communication) (S42). Upon receiving the lighting control request message, the neighboring streetlight 501 performs lighting control based on the received information and transmits the lighting control message to other neighboring streetlights (S44). Upon receiving this, the neighboring street lights control their own lighting according to the received lighting control request message (S46). In this way, as a vehicle or a pedestrian moves through the jurisdiction of a streetlight, the streetlights of each jurisdiction propagate a lighting control request message to neighboring streetlights, thereby adaptively controlling the movement of the vehicle or pedestrian. .

<불법 주/정차 감시><Illegal parking/stop monitoring>

도 6은 본 발명의 실시예에 따른 다기능 가로등을 이용하여 불법 주/정차 차량을 감시하는 프로세스 흐름도를 나타낸다.6 is a flowchart illustrating a process of monitoring illegal parking/stop vehicles using a multifunctional street light according to an embodiment of the present invention.

주/정차 금지구역에 위치한 다기능 가로등(500)의 엣지카메라(100)는 불법 주/정차 차량을 검출 및 추적하고 차량번호를 인식한다(S50). 단계 S50에서 검출된 주/정차 차량 중에서, 주/정차한 일정시간이 경과하면 가로등(500)에 설치된 방송장치(도시하지 않음)를 이용하여 안내방송을 하고 해당차량이 조치를 취하지 않을 경우 관제센터서버(450)로 이벤트 정보(예를 들어, 주/정차위반한 차량의 위치, 시간, 차량정보)를 전송한다(S52).The edge camera 100 of the multifunctional streetlight 500 located in the parking/stop prohibited area detects and tracks illegal parking/stop vehicles and recognizes the vehicle number (S50). Among the parking/stopping vehicles detected in step S50, when a certain time has elapsed, a broadcasting device (not shown) installed in the streetlight 500 is used to broadcast an announcement, and if the vehicle does not take action, the control center Event information (eg, location, time, and vehicle information of the vehicle in violation of parking/stopping) is transmitted to the server 450 (S52).

<노변주차장 정보 안내><Roadside parking information guide>

도 7은 본 발명의 실시예에 따른 다기능 가로등을 이용한 노변주차장의 정보 안내 프로세스 흐름도를 나타낸다.7 is a flowchart illustrating an information guide process of a roadside parking lot using a multifunctional street light according to an embodiment of the present invention.

노변주차장을 모니터링하는 엣지카메라(100)가 설치된 다기능 가로등(500)은 검출영역(즉, 노변주차장)의 차량 및 주차공간을 검지하고 추적한다(S60). 차량 및 주차공간의 추적을 통해 가용주차공간을 산출하고 차량별 주차시간을 계산한다(S62). 다기능 가로등(500)은 주차공간을 안내하는 디지털 표지판(도시하지 않음)과 연동함으로써 주차하려는 차량에게 주차공간에 대한 정보를 제공할 수 있다. 또한, 주차 과금 시스템과 연계하여 차량별 주차비용을 사용자에게 알려줄 수 있다.The multi-functional street light 500 in which the edge camera 100 for monitoring the roadside parking lot is installed detects and tracks the vehicle and the parking space in the detection area (ie, the roadside parking lot) (S60). The available parking space is calculated through the tracking of the vehicle and the parking space, and the parking time for each vehicle is calculated (S62). The multifunctional street light 500 may provide information on the parking space to a vehicle to be parked by interlocking with a digital sign (not shown) guiding the parking space. In addition, it is possible to inform the user of the parking cost for each vehicle in connection with the parking charging system.

<쓰레기투기 감시><Trash monitoring>

도 8은 본 발명의 실시예에 따른 다기능 가로등을 이용하여 쓰레기 투기를 감시하는 프로세스 흐름도를 나타낸다.8 is a flowchart illustrating a process of monitoring garbage dumping using a multifunctional street light according to an embodiment of the present invention.

쓰레기 투기가 잦은 구역에 위치한 다기능 가로등(500)의 엣지카메라(100)는 사람을 검출 및 추적한다(S70). 검출영역(즉, 쓰레기 투기가 잦은 지역)에서 투기물이 발견되면 경고방송(옵션에 해당됨)을 하고, 관제센터서버(450)에 이벤트 정보(예를 들어, 쓰레기 투기, 위치, 시간, 보행자 정보)를 전송한다(S72). The edge camera 100 of the multifunctional street light 500 located in an area where garbage is frequently dumped detects and tracks a person (S70). When a dump is found in the detection area (that is, an area where dumping is frequent), a warning broadcast (corresponding to an option) is performed, and event information (e.g., garbage dumping, location, time, pedestrian information) to the control center server 450 ) Is transmitted (S72).

이 때, 보행자 정보는 의상색상과 성별 등과 같은 보행자의 속성을 포함한다. 딥러닝기반 다중객체검출기능을 이용하여 쓰레기봉지 뿐만 아니라 생활폐기물(예를 들어, 장롱, 쇼파, 책상, 피아노, 가구류)을 검출할 수 있다. 이처럼 쓰레기 투기 감시 지역에서 쓰레기 봉지 및 생활 폐기물이 추가로 발견되면, 다기능 가로등(500)에서 쓰레기 투기임을 판단하여 관제센터서버(450)로 쓰레기 투기를 알리고, 필요한 경우에는(옵션으로서) 경고방송 등의 현장 조치를 취한다.At this time, the pedestrian information includes attributes of the pedestrian such as the color of clothing and gender. Using the deep learning-based multi-object detection function, it is possible to detect not only garbage bags but also household wastes (for example, closets, sofas, desks, pianos, furniture). As such, when additional garbage bags and household waste are found in the garbage dumping monitoring area, the multifunctional streetlight 500 determines that the garbage is dumped and informs the control center server 450 of the dumping, and if necessary, a warning broadcast, etc. Take action on site.

<화재 감시><Fire monitoring>

도 9는 본 발명의 실시예에 따른 다기능 가로등을 이용한 화재 발생 시 알림 서비스의 프로세스 흐름도를 나타낸다.9 shows a process flow diagram of a notification service when a fire occurs using a multifunctional street light according to an embodiment of the present invention.

인적이 드문 곳에서 화재가 발생 시 조기 발견하기 어렵다. 만약, 농촌이나 산간지역 등과 같은 인적이 드문 곳에 위치한 가로등이 화재 감지 기능을 가지면 화재(예를 들어, 산불 등) 피해를 줄일 수 있다.It is difficult to detect early in the event of a fire in a sparse place. If a streetlight located in a remote place, such as a rural or mountainous area, has a fire detection function, it is possible to reduce the damage of fire (eg, forest fire).

다기능 가로등(500)의 엣지카메라(100)의 PTZ 기능을 장착한 이미지 센싱부(110)에서는 주기적으로 회전하면서 주변 영상을 획득하고, 딥러닝 기반의 영상처리부(120)에서 화재를 검출한다(S80). 화재 검출 결과로 화재 가능성이 일정 수준 이상이면, 검출 영역을 줌인하여 다시 검출한다(S82). 화재 확률이 높을수록 경보 수준 및 이벤트 알람 빈도를 증가시킨다.The image sensing unit 110 equipped with the PTZ function of the edge camera 100 of the multifunctional street light 500 acquires surrounding images while periodically rotating, and detects a fire in the deep learning-based image processing unit 120 (S80). ). If the fire possibility is higher than a certain level as a result of fire detection, the detection area is zoomed in and detected again (S82). The higher the probability of fire, the higher the alarm level and frequency of event alarms.

<성범죄자 모니터링, 치매노인·미아 찾기><Sex Offender Monitoring, Finding Dementia Elderly and Missing Children>

도 10a, 10b는 본 발명의 실시예에 따른 다기능 가로등을 이용한 성범죄자 모니터링, 치매노인과 미아 찾기 프로세스 흐름도를 나타낸다.10A and 10B are flowcharts illustrating a process for monitoring sex offenders using a multifunctional street light and finding dementia elderly and missing children according to an embodiment of the present invention.

성범죄 재범율에 관한 통계에 따르면, 아동 성범죄 재범률이 50%이상, 6개월 이내에 발생하는 성범죄 재범률이 30%에 이른다. 발생하는 성범죄 재범률을 낮추기 위해 스쿨존에 있는 다기능 가로등(500)의 엣지카메라(100)는 아동 및 청소년 성범죄자의 얼굴인식 기능을 제공한다. 아동, 청소년 성범죄자의 얼굴을 엣지카메라(100)에 등록하고 발견되면 관제센터서버(450)에 알림을 제공한다. 엣지카메라(100)의 이미지 센싱부(110)에서는 보행자를 검출 및 추적한다(S84). 추적하는 보행자의 얼굴을 줌인(PTZ)하여 얼굴영역을 검출한다. 얼굴영역을 정렬(Alignment)한 후, 등록되어 있는 얼굴과의 유사도를 측정하여 얼굴을 인식한다(S86). 등록된 얼굴과 일치하면(즉, 성범죄자, 치매노인, 미아, 청소년 등이 발견), 관제센터서버(450)에 알림을 제공한다(S88). 본 발명의 엣지카메라(100)는 딥러닝알고리즘에 의해 동작할 수 있고, 매우 높은 인식률을 제공한다. According to statistics on the re-offense rate of sexual offenses, the re-offense rate of child sexual offenses is over 50%, and the re-offense rate of sexual offenses occurring within 6 months reaches 30%. The edge camera 100 of the multifunctional streetlight 500 in the school zone provides a face recognition function of child and adolescent sex offenders in order to lower the rate of sexual offenses that occur. The faces of children and juvenile sex offenders are registered in the edge camera 100 and, if found, a notification is provided to the control center server 450. The image sensing unit 110 of the edge camera 100 detects and tracks a pedestrian (S84). The face of the pedestrian being tracked is zoomed in (PTZ) to detect the face area. After aligning the face area, the face is recognized by measuring the similarity with the registered face (S86). If it matches the registered face (ie, sex offenders, dementia elderly, lost children, teenagers, etc.), a notification is provided to the control center server 450 (S88). The edge camera 100 of the present invention can be operated by a deep learning algorithm and provides a very high recognition rate.

도 10b에서와 같이, 관제센터서버(450)에서는 게이트웨이 가로등(502)으로 얼굴(예를 들어, 성범죄자, 치매노인, 미아, 청소년 등)등록요청 메시지를 전송한다(S90). 메시지를 전달받은 게이트웨이 가로등(502)은 얼굴을 등록하고, 이웃 가로등(501)에 얼굴등록요청 메시지를 전송한다(S92). 메시지를 전달받은 이웃 가로등(501)은 얼굴등록을 수행한다.As shown in FIG. 10B, the control center server 450 transmits a face (eg, sex offender, dementia elderly, lost child, youth, etc.) registration request message to the gateway street light 502 (S90). The gateway streetlight 502 receiving the message registers a face, and transmits a face registration request message to the neighboring streetlight 501 (S92). The neighboring streetlight 501 receiving the message performs face registration.

<독거노인 이동패턴 모델링 및 이상검출><Moving pattern modeling and abnormality detection for the elderly living alone>

도 11은 본 발명의 실시예에 따른 다기능 가로등을 이용한 독거노인의 이동패턴 모델링 및 이상검출 프로세스 흐름도를 나타낸다.11 is a flowchart illustrating a process of modeling a movement pattern of an elderly living alone and detecting an abnormality using a multifunctional street light according to an embodiment of the present invention.

고령화가 심각해지고 독거노인의 비중이 증가하면서, 독거노인의 사고나 고독사 예방의 필요성이 증가하고 있다. 따라서, 다기능 가로등(500)에 개인정보활용을 동의한 독거노인의 얼굴을 등록하고, 다기능 가로등(500)에 등록된 정보(즉, 얼굴정보)를 관제센터서버(450)로 전송한다. As the aging becomes serious and the proportion of elderly living alone increases, the need to prevent accidents and lone death among elderly people living alone is increasing. Accordingly, the face of the elderly living alone who has agreed to use personal information on the multifunctional streetlight 500 is registered, and information registered on the multifunctional streetlight 500 (ie, face information) is transmitted to the control center server 450.

엣지카메라(100)의 영상처리부(120)에서는 보행자를 검출 및 추적한다(S94). 추적된 보행자의 얼굴을 줌인(PTZ)하여 얼굴을 인식한다(S96). 얼굴을 인식한 다기능 가로등(500)은 등록된 독거노인의 정보(예를 들어, ID, 위치정보 등)를 관제센터서버(450)로 전송한다(S97). 관제센터서버(450)에서는 데이터분석을 통해 독거노인의 이동패턴(예를 들어, 평상시와 비정상적인 이동패턴)을 파악하여 특정 기간(예를 들어, 몇 일)동안 독거노인의 이동패턴이 검지되지 않을 경우(즉, 이동패턴 분석을 통해 이상 감지하는 경우) 관제센터서버(450)(예를 들어, 보호자나 관할지자체)로 알림을 보낸다(S98).The image processing unit 120 of the edge camera 100 detects and tracks a pedestrian (S94). The face of the tracked pedestrian is zoomed in (PTZ) to recognize the face (S96). The multifunctional streetlight 500 that recognizes the face transmits registered information of the elderly living alone (eg, ID, location information, etc.) to the control center server 450 (S97). The control center server 450 detects the movement pattern of the elderly living alone (for example, normal and abnormal movement patterns) through data analysis, so that the movement pattern of the elderly living alone is not detected for a specific period (eg, several days). In case (that is, when abnormality is detected through movement pattern analysis), a notification is sent to the control center server 450 (eg, a guardian or a competent local government) (S98).

<야생동물 출현 인지/추적><Recognition/Tracking of Wild Animal Appearance>

도 12는 본 발명의 실시예에 따른 다기능 가로등을 이용한 야생동물의 출현 알림 프로세스 흐름도를 나타낸다.12 is a flowchart illustrating a process of notifying the appearance of wild animals using a multifunctional street light according to an embodiment of the present invention.

야생동물(예를 들어, 멧돼지)로 인한 농작물의 피해 사례를 해결하기 위해 다기능 가로등(500)의 엣지카메라(100)에서는 야생동물의 출몰지역을 감시하고 야생동물을 검출 및 추적한다(S100). 검출된 야생동물이 농작지로 계속 이동할 경우, 농작지에 설치된 광전식 자동점멸기(스트로보)를 제어하여 멧돼지의 출입을 막는 시도를 실행한다. 광전식 자동점멸기의 동작에도 멧돼지가 계속 진입을 시도하면 스피커를 가동한다(S102). 관제센터서버(450)에도 야생동물의 출현을 알려 인명상의 피해는 없는지 확인한다(S104). In order to solve the case of damage to crops caused by wild animals (eg, wild boars), the edge camera 100 of the multifunctional street light 500 monitors the haunting area of wild animals and detects and tracks wild animals (S100). If the detected wild animal continues to move to the farmland, an attempt is made to block the entry of wild boars by controlling the photoelectric automatic flasher (strobo) installed on the farmland. If the boar continues to attempt to enter despite the operation of the photoelectric flasher, the speaker is operated (S102). The control center server 450 also notifies the appearance of wild animals and checks whether there is any damage to human life (S104).

이상에서 설명한 본 발명은 장치 측면 또는 방법적 측면으로 실시가능한데, 특히 본 발명의 각 구성요소의 기능(function) 또는 과정(process)은 DSP(digital signal processor), 프로세스, 컨트롤러, ASIC(application-specific IC), 프로그래머블 로직소자(FPGA 등), 기타 전자소자 중의 적어도 하나 그리고 이들의 조합이 포함되는 하드웨어 요소로써 구현 가능하다. 또한 하드웨어 요소와 결합되어 또는 독립적으로 소프트웨어로써도 구현 가능한데, 이 소프트웨어는 기록매체에 저장 가능하다.The present invention described above can be implemented in terms of a device or a method. In particular, a function or process of each component of the present invention is a digital signal processor (DSP), a process, a controller, and an application-specific application (ASIC). IC), programmable logic devices (FPGA, etc.), and at least one of other electronic devices, and a combination of these can be implemented as hardware elements. It can also be implemented as software in combination with hardware elements or independently, and this software can be stored on a recording medium.

이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술한 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.Above, the configuration of the present invention has been described in detail through a preferred embodiment of the present invention, but those of ordinary skill in the art to which the present invention pertains, the present invention is disclosed in the present specification without changing the technical spirit or essential features. It will be appreciated that it may be implemented in a specific form different from that of. It should be understood that the embodiments described above are illustrative in all respects and not limiting. The scope of protection of the present invention is determined by the claims described later rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalent concepts should be interpreted as being included in the technical scope of the present invention. .

Claims (1)

조명을 포함하는 가로등에 있어서,
이미지 센서로 획득한 영상을 처리하여 객체 검출 및 인식, 추적 기능을 수행하여 영상정보를 출력하는 엣지카메라;
조도, 온도, 습도, 소음, 미세먼지 중 적어도 하나 이상의 주변 환경정보를 생성하는 멀티센서모듈; 및
상기 엣지카메라의 영상정보 및 상기 멀티센서모듈의 환경정보 중 적어도하나를 이용하여 가로등의 조명을 적응적으로 디밍 제어하는 조명제어부를 포함하는 디밍센서모듈을 포함하는 다기능 가로등 장치.
In the street light including lighting,
An edge camera that processes an image acquired by an image sensor to perform object detection, recognition, and tracking functions to output image information;
A multi-sensor module that generates information about at least one or more surroundings of illumination, temperature, humidity, noise, and fine dust; And
Multi-function street light device comprising a dimming sensor module including a lighting control unit for adaptively dimming the lighting of the street light using at least one of the image information of the edge camera and the environment information of the multi-sensor module.
KR1020190089731A 2019-07-24 2019-07-24 Multifunctional street light apparatus and its operation method KR20210012282A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190089731A KR20210012282A (en) 2019-07-24 2019-07-24 Multifunctional street light apparatus and its operation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190089731A KR20210012282A (en) 2019-07-24 2019-07-24 Multifunctional street light apparatus and its operation method

Publications (1)

Publication Number Publication Date
KR20210012282A true KR20210012282A (en) 2021-02-03

Family

ID=74572266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190089731A KR20210012282A (en) 2019-07-24 2019-07-24 Multifunctional street light apparatus and its operation method

Country Status (1)

Country Link
KR (1) KR20210012282A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310845B1 (en) * 2021-02-04 2021-10-12 주식회사 라이브시큐 Cctv one body type smart street light based on artificial intelligence
WO2022174242A1 (en) * 2021-02-10 2022-08-18 Lhp, Inc. Streetlight situational awareness system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310845B1 (en) * 2021-02-04 2021-10-12 주식회사 라이브시큐 Cctv one body type smart street light based on artificial intelligence
WO2022174242A1 (en) * 2021-02-10 2022-08-18 Lhp, Inc. Streetlight situational awareness system

Similar Documents

Publication Publication Date Title
CN109686109B (en) Parking lot safety monitoring management system and method based on artificial intelligence
KR101737803B1 (en) Apparatus for collecting object information and method thereof
US20090262189A1 (en) Energy savings and improved security through intelligent lighting systems
KR102122850B1 (en) Solution for analysis road and recognition vehicle license plate employing deep-learning
KR101440478B1 (en) Intelligent controlloing method and the system of traffic signal and sensor array
KR20210020590A (en) A Crosswalk Pedestrian Safety Support System Based on Smart Sensor and its Method
KR20210012282A (en) Multifunctional street light apparatus and its operation method
KR102362304B1 (en) Traffic accidents notification system for accident sensing and secondary traffic accident prevention
CN113380002A (en) High-altitude parabolic intelligent early warning device and method
KR102456869B1 (en) System for smart managing traffic
KR102284286B1 (en) Integrated system and method for monitoring vehicles using radar sensor on spot and combine management traffic-signal
KR20190090221A (en) Intelligence safety device
KR102051592B1 (en) Method of protecting pedestrian using vehicle to vehicle communication and black box apparatus using thereof
Shirabur et al. Vanet based embedded traffic control system
KR20210014527A (en) Speed-sensitive Road transversal person Warning Device
RU127866U1 (en) STREET LIGHTING REGULATION SYSTEM AND DETERMINATION OF OFFENSES AND EXTRAORDINARY ACCIDENTS
KR20100108887A (en) Method and apparatus intellegent controlling a traffic signal lamp for object recognigtion cctv
KR100944033B1 (en) Method of monitoring bicycle path intelligently and system using it
KR102434154B1 (en) Method for tracking multi target in traffic image-monitoring-system
KR102148826B1 (en) Speed-sensitive Road transversal person Warning Device
KR102158854B1 (en) School zone accident detection system
KR102310845B1 (en) Cctv one body type smart street light based on artificial intelligence
RU2554073C2 (en) System for regulation of outdoor lighting and determination of delicts and non-standard incidents
KR20210090318A (en) Multifunction smart street light
KR20180024747A (en) Smart monitoring cctv system and method for complex situation establishment and automatic situation recognition with 8 basic activity pattern based on organic relations of object, area and event caused by object