KR20210090318A - Multifunction smart street light - Google Patents
Multifunction smart street light Download PDFInfo
- Publication number
- KR20210090318A KR20210090318A KR1020200003057A KR20200003057A KR20210090318A KR 20210090318 A KR20210090318 A KR 20210090318A KR 1020200003057 A KR1020200003057 A KR 1020200003057A KR 20200003057 A KR20200003057 A KR 20200003057A KR 20210090318 A KR20210090318 A KR 20210090318A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- smart street
- environment
- area
- input image
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S8/00—Lighting devices intended for fixed installation
- F21S8/08—Lighting devices intended for fixed installation with a standard
- F21S8/085—Lighting devices intended for fixed installation with a standard of high-built type, e.g. street light
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
- F21V33/0004—Personal or domestic articles
- F21V33/0052—Audio or video equipment, e.g. televisions, telephones, cameras or computers; Remote control devices therefor
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
- F21V33/0064—Health, life-saving or fire-fighting equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/12—Manually actuated calamity alarm transmitting arrangements emergency non-personal manually actuated alarm, activators, e.g. details of alarm push buttons mounted on an infrastructure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
- F21W2131/00—Use or application of lighting devices or systems not provided for in codes F21W2102/00-F21W2121/00
- F21W2131/10—Outdoor lighting
- F21W2131/103—Outdoor lighting of streets or roads
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 다기능 스마트 가로등에 관한 것으로, 보다 구체적으로는 공공장소에 설치되어 있는 가로등에 카메라, 스피커, EV 충전기, 디스플레이과 같은 IT 장치를 부가하여 기본적인 조명 기능 이외에 실생활의 편의를 도모할 수 있는 다양한 기능을 제공할 수 있도록 한 다기능 스마트 가로등에 관한 것이다. The present invention relates to a multifunctional smart street lamp, and more specifically, by adding IT devices such as a camera, speaker, EV charger, and display to a street lamp installed in a public place, various functions that can promote convenience in real life in addition to the basic lighting function It is about a multi-functional smart street light that can provide
일반적으로, 가로등은 가로 교통의 안전과 보행자에 대한 범죄 예방의 보안을 위하여 가로를 따라서 소정 거리를 간격으로 설치되는 조명시설을 말하는 것이다.In general, a street lamp refers to a lighting facility installed at a predetermined distance along a street for the safety of street traffic and the security of crime prevention against pedestrians.
여기서 가로라 함은 차량용 도로의 가는 물론 보행자용 통행로의 가를 모두 포함하는 개념이다.Here, the term "horizontal" is a concept including both the width of the road for vehicles as well as the width of the pedestrian passage.
또한, 가로등이라 함은 가로 주변을 밝히기 위한 조명만을 지칭하기도 하나 상기 조명을 고정하기 위한 가로등 전주(이하에서 가로등 폴대(pole)라고도 함)를 포함하여 가로등이라고 부르는 것이 일반적이다.In addition, although the term "street lamp" refers only to lighting for illuminating the periphery of the street, it is common to call it a street lamp including a street lamp pole (hereinafter also referred to as a street lamp pole) for fixing the light.
상기와 같은 종래의 가로등은 고속도로, 시가지의 주요 도로, 상업지구 도로, 해안 도로, 및 주택지구 도로 등 다양한 장소에 설치되고 있으며, 그에 알맞은 종류의 가로등이 사용되고 있다. 즉, 자동차 또는 사람이 통행하는 길에는 가로를 밝혀주기 위한 가로등이 설치되어 있다고 해도 무방하다.The conventional streetlights as described above are installed in various places such as highways, main roads in city areas, roads in commercial districts, roads in coastal areas, and roads in residential areas, and a suitable type of streetlight is used. That is, it may be said that a street lamp for illuminating a street is installed on a road through which a car or a person passes.
종래의 가로등은 도로 주변에 다양한 형태로 설치되어 차량의 교통안전이나 보행자의 범죄 예방을 위한 보안을 유지함에 일조를 하고 있기는 하지만, 가로를 밝히기 위한 조명 시설로서의 역할 이외의 다른 용도로는 거의 사용되지 못하고 있는 실정이다.Conventional streetlights are installed in various forms around roads and contribute to maintaining security for vehicle traffic safety and pedestrian crime prevention, but are rarely used for purposes other than as a lighting facility to illuminate the street. It is currently not possible.
특히, 종래의 가로등은 각각이 개별적으로 관리자에 의해 현장에서 확인 관리되는 방식의 시설물로서, 관리자에 의한 유지보수 및 현장 관리에 많은 불편함이 따르는 문제가 있었다.In particular, as a conventional street lamp is a facility in which each is individually checked and managed on site by a manager, there is a problem with a lot of inconvenience in maintenance and on-site management by the manager.
따라서, 상기와 같이 다양한 장소에 수없이 설치되는 가로등을 가로를 밝히기 위한 조명 시설로 사용함은 물론, 유익한 정보전달의 매체 및 통신수단의 인터페이스로 사용하는 것이 가능한 다기능 스마트 가로등의 개발이 절실히 요구되고 있다.Therefore, there is an urgent need for the development of a multifunctional smart street lamp that can be used as a lighting facility to illuminate the street, as well as as an interface for useful information transfer and communication means, by using the street lights installed countless times in various places as described above. .
특히, 사회 안전망 구축 차원에서 도로 곳곳에 설치되어 있는 가로등을 보안 시스템으로 활용하는 방안에 대하여 다양한 연구가 진행되고 있으며, 안전 사고 등의 발생을 실시간으로 감지하여 신속한 조치 등에 활용하는 방안에 대하여 다양한 아이디어가 제안되고 있는 실정이다. In particular, various studies are being conducted on how to use street lights installed in various parts of the road as a security system in order to build a social safety net, and various ideas about how to detect the occurrence of safety accidents in real time and use them for quick measures, etc. is being proposed.
이는 카메라를 통한 객체 인식 기술과 관련되어 있다는 것은 주지의 사실이다. It is a well-known fact that this is related to object recognition technology through a camera.
알려진 바와 같이, 객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다. As is known, the technology for recognizing and tracking an object is widely applied in many fields such as image synthesis, motion capture, security monitoring system, and Human Computer Interaction (HCI).
특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.In particular, as the requirements for security and surveillance in real life increase in recent years, object recognition and tracking technology in a video surveillance system is increasingly important.
최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다. Until recently, many algorithms for object recognition and tracking have been developed.
객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다. Many algorithms for object recognition and tracking include, for example, an adaptive background generation and background difference technique, an area-based object tracking technique, and an object extraction technique based on shape information.
하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워 소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.However, the moving object detection technique of the existing image processing system still has a problem in stability. In addition, there are also problems in power consumption, accuracy, and processing speed according to the detection process.
영상에서 객체 인식이란 입력된 영상에서 목표 객체의 위치를 찾아내는 일련의 과정을 말한다. Object recognition in an image refers to a series of processes for finding the location of a target object in an input image.
영상에서 객체 인식을 수행함에 있어 같은 객체라고 하더라도 개개의 영상 안에서는 객체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 객체가 포함되어 있거나, 목표 객체가 다른 객체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다. In performing object recognition in an image, even if it is the same object, the size, direction, position, pose, etc. of the object may appear differently in each image. In addition, there may be cases in which several objects are included in one image, or a target object is obscured by other objects, so that only a part of the object is visible.
이러한 모든 조건하에서도 강인하게 동작하는 객체 인식 방법은 쉽지 않은 문제이다. An object recognition method that operates robustly under all these conditions is not an easy problem.
그 동안 영상에서 객체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근 방식이 활발하게 모색되고 있다.In the meantime, many studies on object recognition techniques in images have been conducted, and various approaches are being actively sought even now.
이러한 영상에서 객체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다. A technique for recognizing an object in such an image may be utilized in various technical fields.
예를 들어, 영상에서 객체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다. For example, technology to recognize objects in images can be used for security in a variety of places, including military facilities, airports, parking lots, subways, highways, discount stores, gas stations, construction sites, kindergartens, hospital transportation systems, ATMs and convenience stores. Currently, the video security market is continuously increasing.
또한, 영상을 편집하는 기술에서도 영상에서 객체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 객체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.Also, a technique for recognizing an object in an image may be used in a technique for editing an image. In order to be used in these various fields, a technique for increasing the accuracy of recognizing an object in an image is required.
최근에는 딥러닝 기술을 적용하여 영상 분할하는 방법이 제안되고 있으나, 사람이 도로에 있는 경우는 사람이 도로에 포함되어 버리거나, 사람과 도로가 분리되어 자동으로 상관 관계를 인지하는데 어려움이 있었다.Recently, a method of image segmentation by applying deep learning technology has been proposed, but when a person is on the road, the person is included in the road or the person and the road are separated, so it is difficult to automatically recognize the correlation.
이 때문에, 최근 들어, 카메라 입력 영상을 분석하여 상황을 보다 정확하게 인식하기 위하여 객체와 주변 환경을 검출 및 인식하고 객체와 주변 환경의 위상 관계를 분석하는 방법의 필요성이 대두되고 있다.For this reason, in recent years, the need for a method of detecting and recognizing an object and the surrounding environment and analyzing the phase relationship between the object and the surrounding environment has emerged in order to more accurately recognize a situation by analyzing a camera input image.
본 발명은 공공장소 도로 곳곳에 설치되어 있는 가로등에 카메라, 스피커, EV 충전기, 디스플레이과 같은 IT 장치를 부가하여 기본적인 조명 기능 이외에 실생활의 편의를 도모할 수 있는 다양한 기능을 제공할 수 있도록 한 다기능 스마트 가로등를 제공하고자 한다. The present invention provides a multifunctional smart street lamp that adds IT devices such as cameras, speakers, EV chargers, and displays to street lights installed in various places on roads in public places to provide various functions that can promote convenience in real life in addition to basic lighting functions. would like to provide
특히, 본 발명에서는 카메라를 통하여 얻은 영상을 분석하고 그 상황을 인식하기 위하여 영상으로부터 주변 환경(도로, 건물, 녹지 등)을 분류하여 인식하고, 객체(사람, 차량 등) 검출 인식하여 객체와 주변 환경의 관계로부터 상황을 인식하는 방법을 제안하고자 한다.In particular, in the present invention, in order to analyze the image obtained through the camera and recognize the situation, the surrounding environment (road, building, green area, etc.) is classified and recognized from the image, and the object (person, vehicle, etc.) is detected and recognized to recognize the object and the surrounding environment. I would like to propose a method for recognizing a situation from the relationship of the environment.
이를 위하여 본 발명은 입력 영상 중에서 소정의 객체를 별도로 딥 러닝 방식에 의하여 검출하고, 이와 병렬적으로 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 방법을 제안하고자 한다.To this end, the present invention is a method of separately detecting a predetermined object from an input image by a deep learning method, and applying a semantic image segmentation technique to the input image in parallel thereto to divide the input image into at least one environment image region. would like to propose
본 발명의 기술적 사상인 다기능 스마트 가로등은,Multifunctional smart street light, which is the technical idea of the present invention,
상기 스마트 가로등 폴대 상부에 설치되는 지능형 조명부와,An intelligent lighting unit installed on the top of the smart street lamp pole,
상기 스마트 가로등 폴대 일측에 부설되어 주위를 촬영하는 카메라와,A camera installed on one side of the smart street light pole to photograph the surroundings;
상기 스마트 가로등 폴에의 다른 일측에 부설되어 외부 사운드를 수신하는 마이크, 방송을 위한 스피커, 조명부와 연동되는 조도센서, 온도센서, 습도 센서, 미세먼지 감기 센서, 위치 확인을 위한 GPS 모듈, 보행자들이 긴급 상황 발생시 사용하기 위한 비상 버튼부와, 각종 정보를 제공하는 터치형 디스플레이부와,A microphone installed on the other side of the smart street lamp pole to receive external sound, a speaker for broadcasting, an illuminance sensor interlocked with the lighting unit, a temperature sensor, a humidity sensor, a fine dust cold sensor, a GPS module for positioning, and pedestrians An emergency button unit for use in an emergency situation, and a touch type display unit providing various information;
상기 스마트 가로등 폴대 하부에 설치되어 전기 차량의 충전을 가능하게 하는 전기 충전기를 구비하되,Provided with an electric charger installed under the smart street lamp pole to enable charging of an electric vehicle,
입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 상기 입력 영상을 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 상기 객체 인식기의 출력 정보와 상기 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 감지하는 상관 관계 분석기를 구비하는 상기 카메라는 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하기 위하여, an object recognizer for recognizing an object by receiving an input image; a peripheral environment recognizer for dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image; and output information of the object recognizer; The camera having a correlation analyzer for detecting a correlation between an object and a surrounding situation by superimposing the information of the surrounding environment recognizer to detect a change in the correlation of the object area with respect to the environment image area,
(a) 상기 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;(a) detecting a predetermined object region from the input image;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;(b) dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계를 실시하여, (c) displaying the object area detected in step (a) on the environment image area by overlapping the environment image area;
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하되, 상기 입력 영상에 대하여 상기 단계 (a)와 단계 (b)는 병렬적으로 수행하는 것을 특징으로 한다.Counting the number of pixels overlapping each other among the object area and the environment image area, and detecting a change in the correlation between the object area and the environment image area by using the change in the number of pixels, the step (a) ) and step (b) are characterized in that they are performed in parallel.
본 발명에서 제안하는 다기능 스마트 가로등은 지능형 조명은 물론, 각종 환경 센서와 마이크, 스피커, 디스플레이부, 전기차 충전기 등을 제공함으로써 실생활의 편의를 도모함은 물론 보행자들의 안전을 감시하기 위하여 객체의 추출을 보다 명확하게 하기 위하여 카메라에 입력되는 영상 속의 객체와 주변 환경과의 상관 관계를 파악하여 위험 예방 또는 사고 발생시 신속한 대체가 가능할 수 있도록 하였다.The multifunctional smart street light proposed in the present invention provides not only intelligent lighting, but also various environmental sensors, microphones, speakers, display units, electric vehicle chargers, etc. For clarity, the correlation between the object in the image input to the camera and the surrounding environment was identified so that risk prevention or prompt replacement in the event of an accident was possible.
도 1은 본 발명에서 제안하는 다기능 스마트 가로등의 개념도이다.
도 2는1은 본 발명 스마트 가로등에 사용되는 카메라의 기본 기능 모듈을 설명한다.
도 3은 본 발명에 따른 객체 인식, 환경 영상 영역 분할 방법을 설명하는 도면이다.
도 4 ~6은 의미론적 영상 분할 방법을 설명하는 도면이다.
도 7은 객체와 주변 환경과의 상관관계를 실시간으로 파악할 수 있음을 보여주는 도면이다. 1 is a conceptual diagram of a multifunctional smart street light proposed by the present invention.
Figure 2 1 describes the basic function module of the camera used in the smart street light of the present invention.
3 is a view for explaining an object recognition and environment image region segmentation method according to the present invention.
4 to 6 are diagrams for explaining a semantic image segmentation method.
7 is a diagram illustrating that a correlation between an object and a surrounding environment can be grasped in real time.
이하, 도면 등을 참조하여 본 발명에서 제안하는 다기능 스마트 가로등에 대하여 설명하고자 한다. Hereinafter, with reference to the drawings, etc. will be described with respect to the multi-functional smart street light proposed by the present invention.
도 1은 본 발명에서 제안하는 다기능 스마트 가로등의 개념도이다. 1 is a conceptual diagram of a multifunctional smart street light proposed by the present invention.
본 발명에서 제안하는 다기능 스마트 가로등은 스마트 가로등 폴대 상부에 설치되는 지능형 조명부와, 스마트 가로등 폴대 일측에 부설되어 주위를 촬영하는 카메라, 외부 사운드를 수신하는 마이크, 방송을 위한 스피커, 조명부와 연동되는 조도센서, 온도센서, 습도 센서, 미세먼지 감기 센서, 위치 확인을 위한 GPS 모듈, 보행자들이 긴급 상황 발생시 사용하기 위한 비상 버튼부와, 각종 정보를 제공하는 터치형 디스플레이부와, 스마트 가로등 폴대 하부에 설치되어 전기 차량의 충전을 가능하게 하는 전기 충전기(EV 충전기)를 구비한다. The multifunctional smart street light proposed in the present invention includes an intelligent lighting unit installed on the top of the smart street light pole, a camera installed on one side of the smart street light pole to photograph the surroundings, a microphone for receiving external sound, a speaker for broadcasting, and illuminance interlocked with the lighting unit Sensor, temperature sensor, humidity sensor, fine dust cold sensor, GPS module for location confirmation, emergency button for pedestrians to use in an emergency, touch-type display that provides various information, and smart street lamp installed under the pole and an electric charger (EV charger) that enables charging of an electric vehicle.
한편, 본 발명의 다기능 스마트 가로등은 무선 네트워크를 통하여 원격지의 서버와 통신 가능하다.On the other hand, the multifunctional smart street light of the present invention can communicate with a remote server through a wireless network.
본 발명에 있어서, 다기능 스마트 가로등 내부에 설치되어 있는 제어부에서는 상기 스마트 가로등에 설치되어 있는 상기 각 장치(조명부, 카메라, 스피커...., 전기 충전기)의 정상 작동 상태를 주기적으로 서버로 전송하며, 서버에서는 이를 데이터베이스화하여 저장한다In the present invention, the control unit installed inside the multi-function smart street light periodically transmits the normal operating state of each device (lighting unit, camera, speaker, ..., electric charger) installed in the smart street light to the server, , the server stores it as a database
한편, 본 발명에 있어서, 상기 서버가 상기 스마트 가로등에 설치되어 있는 상기 각 장치(조명부, 카메라, 스피커...., 전기 충전기)로부터 정상 작동 상태임을 나타내는 정보를 수신하지 못하는 경우, 서버에서는 이를 고장으로 판단하고 관리자 단말기 등으로 수리가 필요하다는 정보를 전송할 수 있다On the other hand, in the present invention, when the server does not receive information indicating that it is in a normal operating state from each of the devices (lighting unit, camera, speaker, ..., electric charger) installed in the smart street lamp, the server It is judged as a failure and information that repair is required can be transmitted to the manager's terminal, etc.
본 발명의 다기능 스마트 가로등은 도로, 해안가, 주택가 주변과 같은 다양한 공공 장소에 설치되어 사용될 수 있으며, 특히 본 발명에서는 스마트 가로등에 설치되는 카메라를 이용하여 보행자의 사고 등을 실시간으로 감지할 수 있는 방법을 제안한다The multi-functional smart street light of the present invention can be installed and used in various public places such as roads, waterfronts, and surrounding residential areas, and in particular, in the present invention, a method for detecting pedestrian accidents in real time using a camera installed in a smart street light to suggest
본 발명의 스마트 가로등에 사용되는 카메라의 경우, 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법을 실시하는 하여,영상 속의 객체와 주변 환경과의 상관 관계를 신속히 파악하여 도로를 침범하거나 방파제 등에서 추락하는 경우 등을 실시간으로 감지할 수 있도록 하였다.In the case of the camera used in the smart street lamp of the present invention, the image-based object detection and semantic image segmentation are superimposed to implement the surrounding situation recognition method to actively detect the change of the object, and the correlation between the object in the image and the surrounding environment By quickly grasping the relationship, it was possible to detect in real time the case of intrusion of a road or a fall from a breakwater, etc.
즉, 본 발명의 경우, 일반적인 객체 검출 방식과 달리 주변 환경과의 관계에서 보행자(객체)의 사고 발행 여부를 인식할 수 있는 방법을 제안한다.That is, in the case of the present invention, unlike a general object detection method, a method for recognizing whether a pedestrian (object) has an accident in relation to the surrounding environment is proposed.
이하에서는 본 발명의 카메라에 적용된 기술적 사상에 대하여 보다 구체적으로 설명하기로 한다.Hereinafter, the technical idea applied to the camera of the present invention will be described in more detail.
먼저, 본 발명의 실시를 위하여 본 발명에서는 도 2에 도시된 바와 같이, 입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 입력 영상을 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 객체 인식기의 출력 정보와 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 판단하는 상관 관계 분석기가 제공된다. First, in the present invention, as shown in FIG. 2 , in order to practice the present invention, an object recognizer for recognizing an object by receiving an input image, and a semantic image segmentation technique for the input image are applied to generate the input image into at least one environment. Provided are a surrounding environment recognizer that is divided into image regions, and a correlation analyzer that determines a correlation between an object and a surrounding situation by superimposing output information of the object recognizer and information of the surrounding environment recognizer.
도 2의 객체 인식기는 다양한 딥러닝에 의하여 학습되어 있으며, 소정의 영상이 입력되면 해당 영상 속에서 소정의 객체를 추출할 수 있는 기능을 수행한다. The object recognizer of FIG. 2 is learned by various deep learning methods, and when a predetermined image is input, it performs a function of extracting a predetermined object from the corresponding image.
한편, 도 2의 주변 환경 인식기 또한 다양한 딥러닝 기법에 의하여 학습되어 있으며, 특히 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 기능을 수행한다. Meanwhile, the surrounding environment recognizer of FIG. 2 is also learned by various deep learning techniques, and performs a function of dividing an input image into at least one environment image region by applying a semantic image segmentation technique in particular.
마지막으로, 도 2의 상관 관계 분석기는 객체 인식기의 출력 정보와 주변 환경 인식기의 출력 정보를 상호 중첩시켜 객체와 주변 환경간의 상호 관계를 알 수 있도록 하는 기능을 수행한다. Finally, the correlation analyzer of FIG. 2 performs a function of mutually overlapping the output information of the object recognizer and the output information of the surrounding environment recognizer to know the mutual relationship between the object and the surrounding environment.
이러한 3가지 구성 요소를 이용하여 본 발명에서는 입력 영상에 대하여 객체와 주변 환경 인식을 분리하는 기능을 독립적으로 별도 수행한 후, 검출된 객체의 영역과 주변 환경 요소가 겹쳐지는 화소 수를 계수하여 상황을 인식한다. 즉, 상관관계 방법은 주변 환경 요소와 객체가 겹쳐지는 화소수를 계수하여 상황을 인식한다. In the present invention using these three components, the function of separating the object and the surrounding environment recognition for the input image is separately performed, and then the number of pixels overlapping the detected object area and the surrounding environment element is counted to determine the situation. recognize That is, the correlation method recognizes the situation by counting the number of pixels overlapping the surrounding environment element and the object.
이하에서는 본 발명에서 제안하는 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법의 실시예 1 및 2 를 설명하기로 한다.Hereinafter, Embodiments 1 and 2 of a method for recognizing a surrounding situation for actively detecting a change in an object by overlapping image-based object detection and semantic image segmentation proposed by the present invention will be described.
본 발명의 실시예 1은 다음과 같은 단계로 이루어진다. Embodiment 1 of the present invention consists of the following steps.
본 발명의 제 1 실시예인 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법은,The first embodiment of the present invention is a method for recognizing a surrounding situation that actively detects changes in an object by overlapping image-based object detection and semantic image segmentation,
(a) 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;(a) detecting a predetermined object region from the input image;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;(b) dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계로 이루어지며, (c) displaying the object area detected in step (a) on the environment image area by overlapping the environment image area;
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지한다.The number of pixels overlapping each other among the object area and the environment image area is counted, and a change in the correlation between the object area and the environment image area is sensed by using the change in the number of pixels.
한편, 본 발명의 제 2 실시예인 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법은,On the other hand, the second embodiment of the present invention, the surrounding situation recognition method for actively sensing changes in objects by overlapping image-based object detection and semantic image segmentation,
(a) 입력 영상에 대하여 합성곱 기법을 적용하여 인코딩된 특징 영상을 추출하는 단계;(a) extracting an encoded feature image by applying a convolution technique to the input image;
(b) 인코딩된 상기 특징 영상에 대하여 Fully Connected Neural Networks 기법을 적용하여 소정의 객체 영역을 검출하는 단계;(b) detecting a predetermined object region by applying a Fully Connected Neural Networks technique to the encoded feature image;
(c) 인코딩된 상기 특징 영상을 디코딩 변화시켜 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계로 이루어지며, (c) decoding and changing the encoded feature image to divide the input image into at least one environment image region,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지한다. The number of pixels overlapping each other among the object area and the environment image area is counted, and a change in the correlation between the object area and the environment image area is sensed by using the change in the number of pixels.
전술한 실시예 1 및 2는 도 3에 도시된 프로세스로 진행된다. Embodiments 1 and 2 described above proceed with the process shown in FIG.
도 3에서 알 수 있듯이, 입력 영상에 대하여 합성곱 기법을 적용하여 인코딩된 특징 영상을 추출한 후, 객체 생성 및 의미론적 영상 분할 방법이 병렬적으로 수행됨을 알 수 있다. As can be seen from FIG. 3 , after extracting the encoded feature image by applying the convolution technique to the input image, it can be seen that the object creation and semantic image segmentation method are performed in parallel.
도 4 ~ 도 6은 본 발명에 따라 의미론적 영상 분할 기법을 적용하여 바다, 테트라포트, 및 도로 영역을 분할한 예들을 보여준다. 4 to 6 show examples of dividing the sea, tetraport, and road regions by applying the semantic image segmentation technique according to the present invention.
특히, 도 6은 학습된 모듈을 사용하여 새로운 테스트 영상을 입력한 경우인데, 도시된 바와 같이, 바다, 테트라포트 및 기타 영역을 충실히 분할하는 것을 알 수 있다. In particular, FIG. 6 is a case in which a new test image is input using the learned module. As shown, it can be seen that the sea, tetrapod, and other areas are faithfully divided.
도 7은 본 발명에 따라 구현된 방법을 실시한 것으로, 의미론적 영상 분합법에 의하여 복수개의 환경 영상 영역으로 분할된 상태에서 차량 또는 행인의 객체가 중첩되어 별도로 관리되는 것을 알 수 있다. 7 is a method implemented according to the present invention, and it can be seen that objects of vehicles or passersby are overlapped and managed separately in a state in which they are divided into a plurality of environmental image regions by a semantic image segmentation method.
특히, 본 발명의 경우, 객체의 이동을 검출함으로써 주변 상황과의 상관 관계를 알 수 있고 이 때문에 위기 상황의 발생 등을 예측할 수도 있다. In particular, in the case of the present invention, it is possible to know the correlation with the surrounding situation by detecting the movement of the object, and thus the occurrence of a crisis situation can be predicted.
특히, 본 발명을 해안가의 테트라포트 등에 적용하는 경우 사람이 테트라포트에 있는지 여부, 그리고 테트라포트에서 갑자기 사라진 경우와 같은 상황 변화를 능동적으로 감지할 수 있기 때문에 신속한 대응이 가능할 수 있다는 이점이 있다. In particular, when the present invention is applied to a tetrapot on the coast, etc., there is an advantage that a rapid response can be possible because it is possible to actively detect a change in the situation, such as whether a person is in the tetrapot and suddenly disappears from the tetrapot.
즉, 본 발명에서 제안하는 카메라를 이용한 보안 및 안전 감시 방법을 사용하는 경우, 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법을 실시하는 경우 영상 속의 객체와 주변 환경과의 상관 관계를 파악할 수 있기 때문에 위험 예방 또는 사고 발생시 신속한 대체가 가능하기에 이벤트 발생 유무를 보다 정확하게 파악할 수 있다는 이점이 있다.That is, in the case of using the security and safety monitoring method using the camera proposed in the present invention, when performing the surrounding situation recognition method of actively detecting changes in objects by overlapping image-based object detection and semantic image segmentation, Since the correlation between the object and the surrounding environment can be identified, risk prevention or rapid replacement in the event of an accident is possible, which has the advantage of more accurately determining whether an event has occurred.
Claims (1)
상기 스마트 가로등은
상기 스마트 가로등 폴대 상부에 설치되는 지능형 조명부와,
상기 스마트 가로등 폴대 일측에 부설되어 주위를 촬영하는 카메라와
상기 스마트 가로등 폴에의 다른 일측에 부설되어 외부 사운드를 수신하는 마이크, 방송을 위한 스피커, 조명부와 연동되는 조도센서, 온도센서, 습도 센서, 미세먼지 감기 센서, 위치 확인을 위한 GPS 모듈, 보행자들이 긴급 상황 발생시 사용하기 위한 비상 버튼부와, 각종 정보를 제공하는 터치형 디스플레이부와,
상기 스마트 가로등 폴대 하부에 설치되어 전기 차량의 충전을 가능하게 하는 전기 충전기를 구비하되,
입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 상기 입력 영상을 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 상기 객체 인식기의 출력 정보와 상기 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 감지하는 상관 관계 분석기를 구비하는 상기 카메라는 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하기 위하여,
(a) 상기 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계를 실시하여,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하되, 상기 입력 영상에 대하여 상기 단계 (a)와 단계 (b)는 병렬적으로 수행하는 것을 특징으로 하는 다기능 스마트 가로등.In a multifunctional smart street light,
The smart street light
An intelligent lighting unit installed on the top of the smart street lamp pole,
A camera installed on one side of the smart street light pole to photograph the surroundings;
A microphone installed on the other side of the smart street lamp pole to receive external sound, a speaker for broadcasting, an illuminance sensor interlocked with the lighting unit, a temperature sensor, a humidity sensor, a fine dust cold sensor, a GPS module for positioning, and pedestrians An emergency button unit for use in an emergency situation, and a touch type display unit providing various information;
Provided with an electric charger installed under the smart street lamp pole to enable charging of an electric vehicle,
an object recognizer for recognizing an object by receiving an input image; a peripheral environment recognizer for dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image; and output information of the object recognizer; The camera having a correlation analyzer for detecting a correlation between an object and a surrounding situation by superimposing the information of the surrounding environment recognizer to detect a change in the correlation of the object area with respect to the environment image area,
(a) detecting a predetermined object region from the input image;
(b) dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image;
(c) displaying the object area detected in step (a) on the environment image area by overlapping the environment image area;
Counting the number of pixels overlapping each other among the object area and the environment image area, and detecting a change in the correlation between the object area and the environment image area by using the change in the number of pixels, the step (a) ) and step (b) are multifunctional smart street lights, characterized in that performed in parallel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200003057A KR20210090318A (en) | 2020-01-09 | 2020-01-09 | Multifunction smart street light |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200003057A KR20210090318A (en) | 2020-01-09 | 2020-01-09 | Multifunction smart street light |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210090318A true KR20210090318A (en) | 2021-07-20 |
Family
ID=77127246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200003057A KR20210090318A (en) | 2020-01-09 | 2020-01-09 | Multifunction smart street light |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210090318A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220002182A (en) | 2021-12-13 | 2022-01-06 | 윤세빈 | A Pedestrian warning light and street light |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190004771A (en) | 2016-08-31 | 2019-01-14 | 가부시키가이샤 사무코 | Method of lapping semiconductor wafers and semiconductor wafers |
-
2020
- 2020-01-09 KR KR1020200003057A patent/KR20210090318A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190004771A (en) | 2016-08-31 | 2019-01-14 | 가부시키가이샤 사무코 | Method of lapping semiconductor wafers and semiconductor wafers |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220002182A (en) | 2021-12-13 | 2022-01-06 | 윤세빈 | A Pedestrian warning light and street light |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109686109B (en) | Parking lot safety monitoring management system and method based on artificial intelligence | |
| KR102189569B1 (en) | Multifunctional smart object recognition accident prevention sign guide plate and accident prevention method using the same | |
| KR101146583B1 (en) | Smart computer camera for identifying vehicles in parking area | |
| KR102122859B1 (en) | Method for tracking multi target in traffic image-monitoring-system | |
| KR102122850B1 (en) | Solution for analysis road and recognition vehicle license plate employing deep-learning | |
| CN101739809A (en) | Automatic alarm and monitoring system for pedestrian running red light | |
| CN201307337Y (en) | Automatic alarming and monitoring device for traffic-lights nonobservance of pedestrian | |
| CN101388145A (en) | Auto alarming method and device for traffic safety | |
| KR101515166B1 (en) | A Parking Event Detection System Based on Object Recognition | |
| CN113074714B (en) | Multi-state potential sensing sensor based on multi-data fusion and processing method thereof | |
| CN107221175B (en) | Pedestrian intention detection method and system | |
| KR102499340B1 (en) | Hybrid video analysis device based on object filters and method | |
| KR20210090318A (en) | Multifunction smart street light | |
| KR20190050113A (en) | System for Auto tracking of moving object monitoring system | |
| KR101780929B1 (en) | Image surveillence system for moving object | |
| KR20210012282A (en) | Multifunctional street light apparatus and its operation method | |
| CN113223276B (en) | Pedestrian hurdling behavior alarm method and device based on video identification | |
| Zheng et al. | A method of detect traffic police in complex scenes | |
| US20200065591A1 (en) | System for the monitoring and security of the environment | |
| KR102434154B1 (en) | Method for tracking multi target in traffic image-monitoring-system | |
| KR102321716B1 (en) | Security and safety surveillance with dual cameras | |
| KR20230052443A (en) | Smart safety mirror device | |
| CN114912536A (en) | Target identification method based on radar and double photoelectricity | |
| KR102038574B1 (en) | Multi-purpose road image monitoring system with TOD sensor and easy to install | |
| Prasanth et al. | Intelligent traffic control system using WSN: a perspective |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |