KR20220101535A - On-device real-time traffic signal control system based on deep learning - Google Patents

On-device real-time traffic signal control system based on deep learning Download PDF

Info

Publication number
KR20220101535A
KR20220101535A KR1020210019506A KR20210019506A KR20220101535A KR 20220101535 A KR20220101535 A KR 20220101535A KR 1020210019506 A KR1020210019506 A KR 1020210019506A KR 20210019506 A KR20210019506 A KR 20210019506A KR 20220101535 A KR20220101535 A KR 20220101535A
Authority
KR
South Korea
Prior art keywords
intersection
road
server
calculated
current time
Prior art date
Application number
KR1020210019506A
Other languages
Korean (ko)
Other versions
KR102494953B1 (en
Inventor
유태하
심규영
조석영
안진형
김재정
채명수
김태호
Original Assignee
주식회사 노타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 노타 filed Critical 주식회사 노타
Publication of KR20220101535A publication Critical patent/KR20220101535A/en
Application granted granted Critical
Publication of KR102494953B1 publication Critical patent/KR102494953B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/07Controlling traffic signals
    • G08G1/075Ramp control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06Q50/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

A deep learning-based on-device real-time traffic control system is disclosed. A traffic control method performed in an electronic device according to an embodiment comprises the steps of: obtaining road information related to object information from road image data for each intersection through a deep learning-based object detection and tracking model; calculating a signal cycle for the intersection based on the obtained road information related to object information; determining whether there is a communication connection with a server; and transmitting the obtained road information related to object information and the calculated signal cycle to the server when it is determined that communication with the server is connected. A signal controller for each intersection may be controlled based on the road information related to object information and signal cycle information considering each intersection adjusted using the calculated signal cycle transmitted from the server. Accordingly, traffic signals can be controlled and operated more accurately and quickly.

Description

딥러닝 기반 온-디바이스 실시간 교통제어 시스템{ON-DEVICE REAL-TIME TRAFFIC SIGNAL CONTROL SYSTEM BASED ON DEEP LEARNING} On-device real-time traffic control system based on deep learning {ON-DEVICE REAL-TIME TRAFFIC SIGNAL CONTROL SYSTEM BASED ON DEEP LEARNING}

아래의 설명은 딥러닝 기술을 이용하여 교통 신호를 제어하는 기술에 관한 것이다. The description below relates to a technology for controlling traffic signals using deep learning technology.

교통 신호제어 시스템이란 도로에 설치된 차량검지기에 의해 수집된 자료를 분석하여 실제 교통량에 가장 적합한 신호주기 및 현시를 설정하여 신호를 제어하는 시스템을 말한다. 국내 신호제어 시스템은 크게 일반 신호제어, 전자 신호제어, 실시간 신호제어로 구분된다. 현재, 실시간 신호제어 시스템에서는 일반적으로 교통량 파악에 루프 검지기를 사용하고 있다. 교통량 파악에 루프 검지기를 활용할 때 발생할 수 있는 치명적인 단점은 루프 검지기가 설치된 부분적 특성만 활용된다는 것이다. 이는 검지기 설치 위치에 따라 도로 상황을 다르게 오판하거나 교통사고 같은 돌발상황에 대처 할 수 없다는 것을 의미한다.Traffic signal control system refers to a system that controls signals by analyzing data collected by vehicle detectors installed on roads and setting the most appropriate signal period and display for the actual traffic volume. The domestic signal control system is largely divided into general signal control, electronic signal control, and real-time signal control. Currently, in real-time signal control systems, a loop detector is generally used to determine the amount of traffic. A fatal disadvantage that can occur when using a loop detector to identify traffic is that only the partial characteristics where the loop detector is installed are utilized. This means that depending on the location of the detector, it is impossible to misjudg the road conditions differently or to deal with unexpected situations such as traffic accidents.

루프 검지기 외에도 자기 검지기, 영상 검지기 등이 존재한다. 현재 교통량 분석에 활용되는 영상 검지기의 문제점으로는 날씨와 같은 외부 변수에 의한 성능 편차와 다른 검지기와 비교했을 때 성능이 낮다는 것이다. 최근 딥러닝을 활용한 컴퓨터 비전의 성능이 비약적으로 상승하였고 다양한 상황에서도 일관되게 높은 성능을 가지게 되었다. 이로 인해 딥러닝 모델을 활용한 영상 검지기는 기존 영상검지기의 단점을 보완할 수 있게 되었다. 하지만 딥러닝 모델은 이전의 컴퓨터 비전 모델들과는 다르게 기본적으로 많은 연산량이 필요로 하기 때문에 고성능 서버를 필요로 하고 이로 인해 과도한 비용 발생과 중요 개인정보 중 하나인 번호판이 담겨있는 이미지를 서버로 전송해야 한다는 개인정보 이슈가 존재한다. In addition to the loop detector, there are magnetic detectors, image detectors, and the like. Problems with image detectors currently used for traffic analysis include performance deviation due to external variables such as weather and low performance compared to other detectors. Recently, the performance of computer vision using deep learning has risen dramatically, and it has consistently high performance in various situations. As a result, the image detector using the deep learning model was able to supplement the shortcomings of the existing image detector. However, unlike previous computer vision models, the deep learning model basically requires a large amount of computation, so it requires a high-performance server. There is a privacy issue.

교통량을 딥러닝 모델을 온-디바이스(On-device)에서 파악하여 실시간으로 도로 상황에 최적화된 신호를 제어하는 실시간 교통 신호제어 시스템 및 방법을 제공할 수 있다. It is possible to provide a real-time traffic signal control system and method that controls the traffic volume optimized for road conditions in real time by grasping the deep learning model on-device.

전자 기기에서 수행되는 교통제어 방법은, 딥러닝 기반의 객체 감지 및 추적 모델을 통해 교차로에 대한 도로 영상 데이터로부터 객체 정보와 관련된 도로 정보를 획득하는 단계; 상기 획득된 객체 정보와 관련된 도로 정보에 기반하여 교차로에 대한 신호주기를 산출하는 단계; 서버와의 통신 연결 유무를 판단하는 단계; 및 상기 서버와의 통신이 연결된 것으로 판단됨에 따라 상기 획득된 객체 정보와 관련된 도로 정보 및 상기 산출된 신호주기를 서버로 전송하는 단계를 포함하고, 상기 교통제어 방법에서, 상기 서버로부터 상기 전송받은 객체 정보와 관련된 도로 정보와 상기 산출된 신호주기를 이용하여 조정된 각 교차로를 고려한 신호주기 정보에 기초하여 각 교차로의 신호제어기가 제어될 수 있다. A traffic control method performed in an electronic device includes: acquiring road information related to object information from road image data for an intersection through a deep learning-based object detection and tracking model; calculating a signal period for an intersection based on road information related to the obtained object information; determining whether there is a communication connection with the server; and transmitting road information related to the obtained object information and the calculated signal period to a server as it is determined that communication with the server is connected, wherein in the traffic control method, the object received from the server The signal controller of each intersection may be controlled based on information-related road information and signal period information considering each intersection adjusted using the calculated signal period.

상기 획득하는 단계는, 각 교차로에 설치된 촬영 기기로부터 촬영된 교차로에 대한 도로 영상 데이터를 수집하고, 상기 수집된 교차로에 대한 도로 영상 데이터를 상기 딥러닝 기반의 객체 감지 및 추적 모델에 입력하고, 상기 딥러닝 기반의 객체 감지 및 추적 모델을 이용하여 상기 수집된 교차로에 대한 영상 데이터로부터 객체 정보와 관련된 도로 정보를 추출하고, 상기 추출된 객체 정보와 관련된 도로 정보에 대한 비식별화하는 단계를 포함할 수 있다. The acquiring includes collecting road image data for an intersection photographed from a photographing device installed at each intersection, and inputting the collected road image data for the intersection into the deep learning-based object detection and tracking model, and Extracting road information related to object information from the image data for the collected intersection using a deep learning-based object detection and tracking model, and de-identifying road information related to the extracted object information can

상기 획득하는 단계는, 상기 수집된 교차로에 대한 도로 영상 데이터로부터 차량들의 타입을 인식하고, 상기 인식된 차량들의 위치 변화를 추적하고, 상기 인식된 차량들이 상기 각 교차로를 포함하는 도로에서 단위 시간당 통과하는 통행량, 상기 인식된 차량들이 상기 각 교차로를 포함하는 도로에서 점유하고 있는 점유율을 나타내는 포화도를 포함하는 객체 정보와 관련된 도로 정보를 추출하는 단계를 포함할 수 있다. The acquiring may include recognizing the types of vehicles from the collected road image data for the intersection, tracking the position change of the recognized vehicles, and passing the recognized vehicles per unit time on a road including each intersection. The method may include extracting road information related to object information including a traffic volume and a saturation degree indicating a occupancy occupied by the recognized vehicles on a road including the respective intersections.

상기 산출하는 단계는, 상기 획득된 객체 정보와 관련된 도로 정보를 통해 단위 시간당 교차로를 포함하는 도로의 통행량, 교차로를 포함하는 도로의 통행량을 기반으로 현시시간을 산출하고, 상기 산출된 현시시간의 도로 정보와 상기 산출된 현시시간 이전의 현시시간의 도로 정보와 비교하여 교차로를 포함하는 도로에 가중치 및 감산치를 부여하는 과정을 통해 교차로에 대한 현시시간을 산출하는 단계를 포함할 수 있다. In the calculating step, the current time is calculated based on the traffic volume of the road including the intersection per unit time through the road information related to the obtained object information, and the traffic volume of the road including the intersection, and the calculated current time road Comparing the information with the road information of the current time before the calculated current time, calculating the current time for the intersection through a process of assigning a weight and a subtraction value to the road including the intersection may be included.

상기 산출하는 단계는, 교차로를 포함하는 도로의 포화도를 통해 상기 산출된 현시시간을 기준으로 상기 산출된 현시시간의 이후에 차량들이 남이 있을 경우, 가중치를 부여하고, 상기 산출된 현시시간의 이내에 차량들이 비어 있을 경우, 감산치를 부여하고, 상기 산출된 현시시간의 도로 정보와 상기 산출된 현시시간 이전의 현시시간의 도로 정보와 비교하여 교차로를 포함하는 도로에 가중치 및 감산치를 부여하는 과정을 통해 교차로에 대한 현시시간을 산출하는 단계를 포함할 수 있다. In the calculating step, if there are vehicles remaining after the calculated current time based on the calculated current time through the saturation of the road including the intersection, a weight is assigned to the vehicle within the calculated current time. When the intersections are empty, a subtraction value is given, and the calculated current time road information is compared with the road information of the current current time before the calculated current time. It may include the step of calculating the present time for

상기 판단하는 단계는, 상기 서버와의 통신이 연결되지 않을 것으로 판단됨에 따라, 상기 전자 기기와 신호제어기 간 통신을 통해 상기 산출된 신호주기에 기초하여 신호등이 제어되도록 상기 신호제어기를 운영하는 단계를 포함하고, 상기 신호제어기는, 상기 전자 기기로부터 상기 산출된 신호주기를 전달받고, 상기 전달받은 신호주기를 통해 신호등을 운영할 수 있다. In the determining step, when it is determined that communication with the server will not be connected, operating the signal controller so that the traffic light is controlled based on the calculated signal period through communication between the electronic device and the signal controller The signal controller may receive the calculated signal period from the electronic device and operate a traffic light through the received signal period.

상기 서버에서 교차로로 구성된 최소제어단위 지역에 대한 도로 정보를 취합하고, 직진, 좌회전, 우회전의 차량 수를 통해 각 교차로 별 진입 차량과 이탈 차량의 수를 산출하고, 상기 진입 차량과 이탈 차량을 고려하여 교차로와 인접한 인접 교차로의 현시시간에 가중치를 반영하고, 교차로를 기준으로 각 교차로의 오프셋(offset) 시간 및 신호주기 정보를 산출할 수 있다. The server collects road information for the minimum control unit area composed of intersections, calculates the number of vehicles entering and leaving each intersection through the number of vehicles going straight, left and right turns, and taking into account the entering and leaving vehicles Thus, weights are reflected in the current time of the intersection and adjacent intersections, and offset time and signal period information of each intersection can be calculated based on the intersection.

상기 서버에서 상기 인접 교차로에서 상기 교차로의 방향으로 이탈 차량이 기 설정된 기준 이상일 경우, 상기 교차로를 포함하는 도로 정보의 현시시간에 가중치를 부여하고, 상기 인접 교차로의 통행량과 상기 교차로의 진입량 및 포화도를 고려하여 상기 오프셋 시간을 조정할 수 있다. When the number of vehicles departing from the adjacent intersection in the direction of the intersection in the server exceeds a preset criterion, weight is given to the current time of road information including the intersection, and the traffic volume of the adjacent intersection and the amount of entry and saturation of the intersection The offset time may be adjusted in consideration of .

상기 서버에서 상기 교차로의 진입량 및 포화도가 기 설정된 기준 이상일 경우, 상기 오프셋 시간을 축소시키고, 상기 교차로의 진입량 및 포화도가 기 설정된 기준 이하일 경우, 상기 오프셋 시간을 증가시킬 수 있다. The server may reduce the offset time when the entrance amount and saturation of the intersection are equal to or greater than a preset standard, and increase the offset time when the entry amount and saturation of the intersection are less than or equal to the preset reference.

교통제어를 위한 전자 기기는, 딥러닝 기반의 객체 감지 및 추적 모델을 통해 각 교차로에 대한 도로 영상 데이터로부터 객체 정보와 관련된 도로 정보를 획득하는 획득부; 상기 획득된 객체 정보와 관련된 도로 정보에 기반하여 교차로에 대한 신호주기를 산출하는 신호 산출부; 서버와의 통신 연결 유무를 판단하는 통신 판단부; 및 상기 서버와의 통신이 연결된 것으로 판단됨에 따라 상기 획득된 객체 정보와 관련된 도로 정보 및 상기 산출된 신호주기를 서버로 전송하는 데이터 송신부를 포함하고, 상기 서버로부터 상기 전송받은 객체 정보와 관련된 도로 정보와 상기 산출된 신호주기를 이용하여 조정된 각 교차로를 고려한 신호주기 정보에 기초하여 각 교차로의 신호제어기가 제어될 수 있다.An electronic device for traffic control includes: an acquisition unit configured to acquire road information related to object information from road image data for each intersection through a deep learning-based object detection and tracking model; a signal calculating unit for calculating a signal period for an intersection based on the obtained road information related to the object information; a communication determination unit for determining whether a communication connection with the server is present; and a data transmitter configured to transmit road information related to the obtained object information and the calculated signal period to a server as it is determined that communication with the server is connected, and road information related to the object information transmitted from the server And the signal controller of each intersection may be controlled based on the signal period information considering each intersection adjusted using the calculated signal period.

비식별화된 객체 정보와 관련된 도로 정보를 이용하여 신호주기를 제어함으로써 각 차량에 대한 프라이버시를 보호할 수 있다. By controlling the signal period using road information related to de-identified object information, privacy for each vehicle can be protected.

네트워크가 단절되었을 때도 엣지 단말에서의 딥러닝 동작을 통해 교차로에 대한 신호주기를 산출함으로써 독립적으로 교차로의 신호제어기를 제어할 수 있다. Even when the network is disconnected, it is possible to independently control the signal controller at the intersection by calculating the signal period for the intersection through the deep learning operation in the edge terminal.

엣지 단말에서 송신된 도로 정보와 신호 주기를 이용하여 서버에서 각 교차로에 대한 신호주기를 산출함으로써 인접 교차로의 영향력을 고려한 신호주기를 운영할 수 있다.By calculating the signal period for each intersection in the server using the road information and signal period transmitted from the edge terminal, the signal period in consideration of the influence of the adjacent intersection can be operated.

엣지 단말에서 교차로에 대한 신호주기를 산출한 후, 서버에서 각 교차로에 대한 인접 교차로와의 신호주기를 고려하여 최적화함으로써 보다 정확하고 빠르게 교통신호를 제어 및 운영할 수 있다. After calculating the signal period for an intersection at the edge terminal, the server can control and operate traffic signals more accurately and quickly by optimizing the signal period with an adjacent intersection for each intersection.

도 1은 일 실시예에 따른 교통제어 시스템의 구성을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 교통제어 시스템에서 교통제어 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 있어서, 최소제어단위의 구성을 설명하기 위한 도면이다.
도 4는 일 실시예에 있어서, 엣지 단말의 구성을 설명하기 위한 블록도이다.
도 5는 일 실시예에 있어서, 엣지 단말에서 교통제어 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 있어서, 딥러닝 기반의 객체 감지 및 추적 모델을 통해 객체 정보와 관련된 도로 정보를 획득하는 동작을 설명하기 위한 예이다.
도 7은 일 실시예에 있어서, 서버에서 신호주기 정보를 제어하는 동작을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 있어서, 객체 감지 모델을 설명하기 위한 예이다.
도 9 및 도 10은 일 실시예에 있어서, 추적 모델을 설명하기 위한 예이다.
1 is a view for explaining the configuration of a traffic control system according to an embodiment.
2 is a view for explaining a traffic control operation in a traffic control system according to an embodiment.
3 is a diagram for explaining a configuration of a minimum control unit according to an embodiment.
4 is a block diagram illustrating the configuration of an edge terminal according to an embodiment.
5 is a flowchart illustrating a traffic control method in an edge terminal according to an embodiment.
6 is an example for explaining an operation of acquiring road information related to object information through a deep learning-based object detection and tracking model, according to an embodiment.
7 is a flowchart illustrating an operation of controlling signal period information in a server according to an embodiment.
8 is an example for describing an object detection model according to an embodiment.
9 and 10 are examples for describing a tracking model according to an embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 교통제어 시스템의 구성을 설명하기 위한 도면이다. 1 is a diagram for explaining the configuration of a traffic control system according to an embodiment.

교통제어 시스템은 딥러닝 기반의 온-디바이스 실시간 교통 신호를 제어하기 위한 것으로, 전자 기기(100), 서버(110), 신호제어기(120) 및 촬영 기기(130)를 포함할 수 있다. 교통제어 시스템은 현장부와 서버로 구성될 수 있다. The traffic control system is for controlling on-device real-time traffic signals based on deep learning, and may include an electronic device 100 , a server 110 , a signal controller 120 , and a photographing device 130 . The traffic control system may be composed of a field unit and a server.

일례로, 전자 기기(100), 신호제어기(120) 및 촬영 기기(130)는 현장에 설치되어 동작될 수 있다. 현장부는 각 교차로를 포함하는 도로 현장에 설치된 기기들을 포함할 수 있다. For example, the electronic device 100 , the signal controller 120 , and the photographing device 130 may be installed and operated in the field. The field unit may include devices installed on the road site including each intersection.

전자 기기(100)은 현장에서 교통 정보를 수집 및 분석하기 위한 기기일 수 있다. 이때, 전자 기기(100)는 교차로를 포함하는 도로와 관련된 데이터를 이용하여 교차로에 대한 교통 정보를 분석할 수 있다. 전자 기기(100)는 신호제어기(120) 및 촬영 기기(130)와 유/무선 통신을 통하여 데이터를 송수신할 수 있다. 이하에서는, 전자 기기(100)를 엣지 단말(edge device)로 기재하기로 한다. The electronic device 100 may be a device for collecting and analyzing traffic information in the field. In this case, the electronic device 100 may analyze traffic information on the intersection by using data related to the road including the intersection. The electronic device 100 may transmit and receive data through wired/wireless communication with the signal controller 120 and the photographing device 130 . Hereinafter, the electronic device 100 will be described as an edge device.

엣지 단말(100)은 촬영 기기(130)를 통해 교차로의 도로 영상 데이터를 수신할 수 있고, 수신된 교차로의 도로 영상 데이터에서 딥러닝 기반의 객체 감지 및 추적 모델을 이용하여 객체 정보와 관련된 도로 정보를 추출할 수 있다. 엣지 단말(100)은 추출된 객체 정보와 관련된 도로 정보에서 개인정보와 관련된 데이터를 비식별화할 수 있다. 엣지 단말(100)은 비식별화된 데이터(객체 정보와 관련된 도로 정보)를 서버(110)로 전송할 수 있다. 이때, 엣지 단말(100)은 현장에서 촬영 기기(130)로부터 수신된 도로 영상 데이터를 수집 및 분석을 수행한 후, 서버(100)로 데이터를 전달하기 때문에 서버(100)에서 각 교차로에 대한 데이터를 각각 수집 및 분석하는 것보다 빠르게 신호정보를 제어할 수 있다. 또한, 서버(100)에서 송수신되는 데이터가 중간에 중단되거나, 잘못된 데이터를 이용하여 분석이 수행하는 것을 방지할 수 있다. The edge terminal 100 may receive road image data of the intersection through the photographing device 130, and road information related to object information using a deep learning-based object detection and tracking model from the received road image data of the intersection can be extracted. The edge terminal 100 may de-identify data related to personal information from road information related to the extracted object information. The edge terminal 100 may transmit de-identified data (road information related to object information) to the server 110 . At this time, the edge terminal 100 collects and analyzes road image data received from the photographing device 130 at the site, and then transmits the data to the server 100 , so the server 100 data for each intersection It is possible to control signal information faster than to collect and analyze each. In addition, it is possible to prevent data transmitted and received from the server 100 from being interrupted in the middle or from being analyzed using wrong data.

서버(110)는 현장 이외의 다른 곳에 존재하여, 엣지 단말(100)로부터 전송되는 데이터를 수신하여 각 교차로에 대한 최적화된 신호주기를 생성할 수 있다. 서버(110)는 생성된 신호주기를 각각의 신호제어기(120)에 전송할 수 있다.The server 110 may exist in a place other than the field, and may receive data transmitted from the edge terminal 100 and generate an optimized signal cycle for each intersection. The server 110 may transmit the generated signal period to each signal controller 120 .

신호제어기(120)는 각 교차로와 관련된 신호등의 신호주기를 제어하는 기기를 의미할 수 있다. 신호제어기(120)를 통해 제어되는 신호주기에 기초하여 신호등이 운영될 수 있다. The signal controller 120 may refer to a device that controls a signal cycle of a traffic light associated with each intersection. A traffic light may be operated based on a signal period controlled through the signal controller 120 .

촬영 기기(130)는 각 교차로를 포함하는 도로를 촬영할 수 있다. 이때, 촬영 기기(130)는 특정 위치에 설치되어 교차로를 포함하는 도로를 촬영할 수 있다. 촬영 기기(130)는 교차로를 포함하는 도로를 촬영하는 적어도 하나 이상의 카메라, 카메라 기능을 포함하고 있는 CCTV 등이 해당될 수 있다. 예를 들면, 적어도 하나 이상의 카메라가 각각 서로 다른 방향을 촬영하되, 일부 영역이 중첩되도록 촬영 수 있다. 또는, 360도 회전이 가능한 카메라를 이용하여 촬영될 수 있다. The photographing device 130 may photograph a road including each intersection. In this case, the photographing device 130 may be installed at a specific location to photograph a road including an intersection. The photographing device 130 may correspond to at least one camera for photographing a road including an intersection, a CCTV including a camera function, and the like. For example, at least one or more cameras may take pictures in different directions, but some areas may overlap each other. Alternatively, the image may be photographed using a camera capable of 360-degree rotation.

실시예에서는 각 교차로마다 엣지 단말(100), 신호제어기(120) 및 촬영 기기(130)가 구성되어 각 교차로를 포함하는 도로가 촬영 및 분석되고, 분석된 신호주기가 신호제어기(120)에 전달될 수 있다. 이에, 신호제어기(120)는 교차로와 연관된 신호등에 신호주기를 반영할 수 있다.In the embodiment, the edge terminal 100, the signal controller 120, and the photographing device 130 are configured for each intersection so that the road including each intersection is photographed and analyzed, and the analyzed signal cycle is transmitted to the signal controller 120 can be Accordingly, the signal controller 120 may reflect the signal cycle to the traffic light associated with the intersection.

일 실시예에 따르면, 경량화 기술을 통해 딥러닝 모델의 성능 열화없이 연산량을 획기적으로 줄임으로써 고성능의 서버가 아니라 모바일이나 SBC(Single Board Computer) 등에서 온-디바이스(on-device)로 구동이 가능해진다. 이를 활용하면 비용 문제와 온-디바이스에서 비식별화를 거친 도로정보를 서버로 전송하기 때문에 개인정보 문제를 해결할 수 있다. According to one embodiment, it is possible to run on-device in a mobile or SBC (Single Board Computer) rather than a high-performance server by dramatically reducing the amount of computation without degrading the performance of the deep learning model through lightweight technology. . By using this, the problem of cost and personal information can be solved because road information that has undergone de-identification from on-device is transmitted to the server.

도 2는 일 실시예에 따른 교통제어 시스템에서 교통제어 동작을 설명하기 위한 도면이다. 2 is a view for explaining a traffic control operation in a traffic control system according to an embodiment.

도 2에서는 CCTV(130)를 촬영 기기의 예를 들어 설명하기로 한다. CCTV(130)에서 교차로를 포함하는 도로가 촬영됨에 따라 도로 영상 데이터가 획득될 수 있다. CCTV(130)에서 실시간으로 도로를 촬영한 도로 영상 데이터가 수집될 수 있고, 촬영된 도로 영상 데이터가 기 설정된 기간 동안 축적될 수 있다. CCTV(130)에서 수집된 도로 영상 데이터가 엣지 단말(100)로 송신될 수 있다. 예를 들면, CCTV(130)에서 수집된 도로 영상 데이터가 실시간으로 또는 주기적/비주기적으로 송신될 수 있다. In FIG. 2, the CCTV 130 will be described as an example of a photographing device. As a road including an intersection is photographed by the CCTV 130 , road image data may be acquired. Road image data obtained by photographing a road in real time by the CCTV 130 may be collected, and the photographed road image data may be accumulated for a preset period. The road image data collected from the CCTV 130 may be transmitted to the edge terminal 100 . For example, road image data collected from the CCTV 130 may be transmitted in real time or periodically/aperiodically.

엣지 단말(100)은 CCTV(130)로부터 도로 영상 데이터를 수신할 수 있다. 엣지 단말(100)은 딥러닝 기반의 객체 감지 및 추적 모델을 이용하여 도로 영상 데이터로부터 객체 정보를 인식할 수 있다. 도 6, 8, 9, 10을 참고하면, 딥러닝 기반의 객체 감지 및 추적 모델을 통해 객체 정보와 관련된 도로 정보를 획득하는 동작을 설명하기 위한 예이다. 도로 영상 데이터(601)가 딥러닝 기반의 객체 감지 및 추적 모델(600)에 입력될 수 있다. 딥러닝 기반의 객체 감지 및 추적 모델(600)은 도로 영상 데이터(601)로부터 객체를 탐지하고, 탐지된 객체의 위치 변화를 추적하는 모델을 의미한다. 딥러닝 기반의 객체 감지 및 추적 모델(600)은 객체 감지 및 추적을 위하여 구성된 모델로서, 객체 감지 및 추적을 위한 데이터 셋을 이용하여 훈련된 것일 수 있다. 실시예에서는 데이터 셋을 이용하여 훈련된 딥러닝 기반의 객체 감지 및 추적 모델(600)에 도로 영상 데이터(601)가 입력될 수 있다. 이와 같이, 훈련된 딥러닝 기반의 객체 감지 및 추적 모델(600)을 이용하여 도로 영상 데이터(601)로부터 객체 정보와 관련된 도로 정보(602)가 획득될 수 있다. 이때, 객체 정보와 관련된 도로 정보(602)란, 도로 영상 데이터(601)로부터 감지된 객체 정보 및 객체 정보를 포함하는 도로 정보(예를 들면, 교통량)를 포함할 수 있다. 예를 들면, 차량들의 타입(예를 들면, 승용차, 트럭, 앰뷸런스, 지게차, 오토바이, 또는 승용차, 버스, 트럭 등의 일반 차량, 구급차, 경찰차, 소방차 등의 특수 차량, 특수 차량의 긴급성(경광등을 켠 차량) 등)이 인식 및 추적될 수 있다. 또한, 도로가 인식될 수 있다. 또한, 차량들이 도로에서의 단위 시간당 지나가는 통행량, 차량들이 도로의 점유율을 나타내는 포화도 등이 객체 정보와 관련된 도로 정보(602)로 획득될 수 있다. 통행량이란 단위 시간당 정의된 ROI(Region of Interest)를 통과한 차량의 수를 의미한다. 포화도란 (특정 범위 내에 존재하는 차량의 수)/(해당 범위 내에서 수용 가능한 차량의 수)를 의미한다. 이때, 특정 범위 내에 존재하는 차량의 수는 카메라에 의해 한대 또는 한대 이상의 카메라에서 정의된 ROI 영역 내에 들어오는 연속된 도로 내에서 인식된 차량의 수를 의미한다. The edge terminal 100 may receive road image data from the CCTV 130 . The edge terminal 100 may recognize object information from road image data using a deep learning-based object detection and tracking model. 6, 8, 9, and 10 are examples for explaining an operation of acquiring road information related to object information through a deep learning-based object detection and tracking model. The road image data 601 may be input to the deep learning-based object detection and tracking model 600 . The deep learning-based object detection and tracking model 600 refers to a model for detecting an object from the road image data 601 and tracking a change in the position of the detected object. The deep learning-based object detection and tracking model 600 is a model configured for object detection and tracking, and may be trained using a data set for object detection and tracking. In an embodiment, the road image data 601 may be input to the deep learning-based object detection and tracking model 600 trained using the data set. In this way, road information 602 related to object information may be obtained from the road image data 601 using the trained deep learning-based object detection and tracking model 600 . In this case, the road information 602 related to the object information may include object information detected from the road image data 601 and road information (eg, traffic volume) including the object information. For example, the type of vehicle (e.g., passenger car, truck, ambulance, forklift, motorcycle, or general vehicle such as passenger car, bus, truck, etc., special vehicle such as ambulance, police car, fire engine, etc. ), etc.) can be recognized and tracked. Also, roads can be recognized. In addition, the amount of traffic that vehicles pass per unit time on the road, the degree of saturation indicating the occupancy of the road by vehicles, etc. may be acquired as the road information 602 related to the object information. The traffic volume refers to the number of vehicles passing through a defined ROI (Region of Interest) per unit time. Saturation means (the number of vehicles that exist within a certain range)/(the number of vehicles that can be accommodated within that range). In this case, the number of vehicles existing within a specific range means the number of vehicles recognized by the camera within a continuous road entering the ROI area defined by one or more cameras.

상세하게는, 딥러닝 기반의 객체 감지 및 추적 모델(600)은 도로 영상 데이터로부터 객체를 감지하고, 객체의 위치 변화를 추적하여 객체 정보를 획득할 수 있다. 예를 들면, 딥러닝 기반의 객체 감지 및 추적 모델(600)은 객체 감지 모델 및 추적 모델이 각각 구성되어 있을 수 있으며, 결합된 형태로 구성될 수 있다. 이외에도 다양한 형태로 구성되어 딥러닝 기반의 객체 감지 및 추적 모델(600)을 통해 객체를 감지하고, 감지된 객체가 추적될 수 있다. In detail, the deep learning-based object detection and tracking model 600 may detect an object from road image data and acquire object information by tracking a change in the position of the object. For example, the object detection and tracking model 600 based on deep learning may include an object detection model and a tracking model, respectively, and may be configured in a combined form. In addition, it is configured in various forms to detect an object through the deep learning-based object detection and tracking model 600 , and the detected object may be tracked.

우선적으로, 객체 감지 모델에 대하여 설명하기로 한다. 도 8은 일 실시예에 있어서, 객체 감지 모델을 설명하기 위한 예이다. 최근 인공지능과 딥러닝의 가파른 성장으로 인해 컴퓨터 비전의 성능이 비약적으로 상승하였다. 객체 감지 모델은 크게 1-스테이지(stage) 기반 모델과 2-스테이지(stage)기반 모델로 나누어진다. 이미지처럼 확률 분포를 정의하기 어려운 비정형 데이터 내에서 규칙을 학습하며 객체의 위치와 종류를 구분할 수 있는 능력을 가진 모델을 의미한다. First, an object detection model will be described. 8 is an example for describing an object detection model according to an embodiment. Recently, due to the rapid growth of artificial intelligence and deep learning, the performance of computer vision has risen dramatically. The object detection model is largely divided into a 1-stage-based model and a 2-stage-based model. It refers to a model with the ability to classify the location and type of objects by learning rules within unstructured data, such as images, where it is difficult to define a probability distribution.

1-스테이지 기반 모델은 객체의 위치를 찾는 로컬리제이션(localization)과 객체가 무엇인지 구분하는 분류(classification)를 한번에 진행하는 방식으로 대표적으로 YOLO, SSD 등의 모델이 존재한다. 2-스테이지 기반 모델보다 효율적인 구조로 빠른 속도를 보이지만 비교적 낮은 성능을 갖는다. The 1-stage-based model performs localization to find the location of an object and classification to classify what an object is, and representative models such as YOLO and SSD exist. It is an efficient structure than the two-stage-based model, and it shows high speed, but has relatively low performance.

2-스테이지 기반 모델은 객체의 위치를 찾는 로컬리제이션에서 지역 제안(region proposal) 단계를 우선적으로 진행한 이후, 객체의 종류를 탐색하는 분류(classification) 단계를 진행하는 방식으로 대표적으로 R-CNN 모델이 존재한다. 1-스테이지 기반 모델보다 높은 성능을 보이지만 보다 복잡한 구조로 인해 속도가 느리다는 단점이 있다.In the two-stage-based model, the region proposal step is first performed in localization to find the location of an object, and then the classification step is performed to search the type of object. The model exists. It has higher performance than the 1-stage-based model, but has the disadvantage of being slow due to a more complex structure.

도 9 및 도 10은 일 실시예에 있어서, 추적 모델을 설명하기 위한 예이다. 객체 추적 모델은 컴퓨터 비전 및 영상처리에서 오랫동안 연구하던 분야로, 비디오 영상에서 특정 객체의 위치 변화를 추적하는 분야이다. 기존 객체 추적 분야에서는 Point Tracking, Kernel Tracking 등의 방법이 있었으나 최근 딥러닝의 급격한 성장으로 딥러닝을 활용한 모델이 최근에 활발히 연구되고 있다. 딥러닝을 활용한 객체추적 분야에는 크게 보면 상관관계 필터(Correlation filter) 기반과 샴 네트워크(Siamese Network) 기반이 있다. 9 and 10 are examples for describing a tracking model according to an embodiment. The object tracking model is a field that has been studied for a long time in computer vision and image processing, and is a field that tracks a change in the position of a specific object in a video image. In the existing object tracking field, there have been methods such as Point Tracking and Kernel Tracking, but with the rapid growth of deep learning recently, models using deep learning are being actively studied. Broadly speaking, in the field of object tracking using deep learning, there are correlation filter-based and Siamese network-based.

도 9를 참고하면, 상관관계 필터 기반 객체 추적 동작을 나타낸 예이다. 상관관계 필터 기반 분야에서는 딥러닝 모델로 추출한 특징을 가지고 목표 물체와 상관관계가 높은 부분을 찾아 물체를 추적하는 방식이다. Referring to FIG. 9 , an example of a correlation filter-based object tracking operation is illustrated. In the correlation filter-based field, it is a method of tracking an object by finding a part that has a high correlation with a target object with features extracted with a deep learning model.

도 10을 참고하면, 샴 네트워크 기반 객체 추적 동작을 나타낸 예이다. 샴 네트워크는 딥러닝 분야에서 두 이미지의 유사도를 비교하기 위해 네트워크로 컨볼루션 네트워크로 특징을 추출하면 유사한 이미지 간에는 특징의 거리가 가깝도록 학습하고 다른 이미지에서 추출된 특징의 거리는 멀어질수록 학습하는 네트워크이다. Referring to FIG. 10 , it is an example illustrating a Siamese network-based object tracking operation. A Siamese network is a network that extracts features with a convolutional network to compare the similarity of two images in the deep learning field. to be.

엣지 단말(100)은 딥러닝 기반의 객체 감지 및 추적 모델을 이용하여 도로 영상 데이터로부터 객체 정보를 인식할 수 있다. 엣지 단말(100)은 객체 정보와 관련된 도로 정보를 획득할 수 있다. 엣지 단말(100)은 번호판과 차종 등의 개인정보 관련 데이터의 비식별화를 진행할 수 있다. 예를 들면, 엣지 단말(100)은 객체 정보와 관련된 도로 정보 중 개인정보 관련 데이터에 대하여 모자이크, 블러(blur) 등 특수 처리를 수행할 수 있고, 개인정보 관련 데이터에 암호화를 수행할 수도 있다. 이와 같이, 모자이크, 블러, 암호화 등 특수 처리를 통해 비식별화가 진행될 수 있다. 다시 말해서, 객체 정보와 관련된 도로 정보에 대하여 일부 데이터가 비공개된 형태로 비식별화될 수 있다.The edge terminal 100 may recognize object information from road image data using a deep learning-based object detection and tracking model. The edge terminal 100 may acquire road information related to object information. The edge terminal 100 may proceed with de-identification of personal information-related data such as license plate and vehicle model. For example, the edge terminal 100 may perform special processing such as mosaic and blur on personal information-related data among road information related to object information, and may perform encryption on personal information-related data. In this way, de-identification may proceed through special processing such as mosaic, blur, and encryption. In other words, some data may be de-identified in a private form with respect to road information related to object information.

엣지 단말(100)은 객체 정보와 관련된 도로 정보를 기반으로 교차로에 대하여 최적화된 신호주기를 산출할 수 있다. 엣지 단말(100)은 단위시간 당 교차로를 포함하는 도로의 통행량을 파악할 수 있다. 예를 들면, 15초당 차량 통행량을 파악할 수 있다. 엣지 단말(100)은 교차로를 포함하는 도로의 통행량을 기반으로 현시시간을 산출할 수 있다. 엣지 단말(100)은 포화도를 통해 현시시간 이후에도 차량이 남아 있는 도로(교차로)일 경우, 상기 도로에 대한 현시시간에 가중치를 부여할 수 있다. 엣지 단말(100)은 포화도를 통해 현시시간 내에 차량이 모두 통과하고 비어있는 도로일 경우, 상기 도로에 대한 현시시간에 감산치를 부여할 수 있다. 엣지 단말(100)은 현시시간을 기준으로 이전 현시시간의 도로정보(예를 들면, 통행량, 포화도)와 비교하여 증감 주세 파악을 통해 교차로 내 도로에 가중치, 감산치를 부여할 수 있다. 엣지 단말(100)은 기존의 현시시간에 대하여 산출된 가중치와 감산치를 이용하여 교차로에 대한 최적화된 현시시간을 산출할 수 있다. 이에, 엣지 단말(100)은 현시시간에 기초하여 교차로에 대한 신호주기를 산출할 수 있다. The edge terminal 100 may calculate an optimized signal period for an intersection based on road information related to object information. The edge terminal 100 may determine the amount of traffic on the road including the intersection per unit time. For example, it is possible to determine the amount of vehicle traffic per 15 seconds. The edge terminal 100 may calculate the current time based on the amount of traffic on the road including the intersection. When the edge terminal 100 is a road (intersection) on which the vehicle remains after the current time through saturation, the edge terminal 100 may give weight to the current time for the road. The edge terminal 100 may give a subtraction value to the current time for the road when all vehicles pass through the saturation and the road is empty within the current time. The edge terminal 100 may give weights and subtractions to the roads within the intersection through understanding the increase/decrease in state tax by comparing the current time with road information (eg, traffic volume, saturation) of the previous current time based on the current time. The edge terminal 100 may calculate the optimized display time for the intersection by using the weight and the subtraction calculated with respect to the existing display time. Accordingly, the edge terminal 100 may calculate the signal period for the intersection based on the current time.

각 교차로의 기존 신호 정보가 파악될 수 있다. 예를 들면, 기존 주기는 150초이고, 기존 현시시간은 각각 70초, 25초, 25초, 30초로 구성될 수 있다. 또한, 각 현시별 1현시(30, 105), 2현시(130, 35), 3현시(13, 40), 4현시(15, 50)을 포함하는 최소 시간 및 최대 시간이 설정되어 있을 수 있다. 교차로의 단위시간 당 통행 차량의 수가 산출될 수 있다. 단위시간은 15초이고, 단위시간 당 통행량이 5대일 경우, 3차선 도로의 단위시간당 통행량은 5*3을 통해 15대로 도출될 수 있다. 교차로의 포화도가 산출될 수 있다. ROI 내 최대 감지 차량수가 15대 이고, 검지된 차량의 수가 5대일 경우, 포화도는 5/15=33%로 도출될 수 있다. 기존 신호 정보에 통행량과 포화도를 고려하여 현시시간이 산출될 수 있다. 각 현시별 통행량이 산출될 수 있다(예를 들면, 1현시 30대, 2현시 15대, 3현시 15대, 4현시 25대). 또한, 각 현시별 포화도가 산출될 수 있다(예를 들면, 1현시 50%, 2현시 0%, 3현시 10%, 4현시 30%). 또한, 통행량을 기반으로 각 현시별 우선순위가 설정될 수 있다(예를 들면, 1현시 1순위, 2현시 3순위, 3현시 3순위, 4현시 2순위). 또한, 우선순위를 기반으로 현시별 가중치 값이 설정될 수 있다. 포화도를 기반으로 각 현시시간이 조정될 수 있다. 예를 들면, 포화도가 50%~100%이상인 도로(교차로)의 현시시간을 +10초, 포화도가 0%~50%이상인 도로(교차로)의 현시시간을 +5초, 포화도가 0%인 도로(교차로)의 현시시간을 -5초로 조정할 수 있다. 이에, 기존 현시시간이 70, 25, 25, 30이고, 기존 주기가 150초에서 새로운 현시시간 82, 20, 26, 37, 새로운 주기가 165로 조정될 수 있다. 상기 언급된 동작에 대하여 반복적으로 수행할 수 있고, 새로운 현시시간 및 주기정보가 서버로 송신될 수 있다. Existing signal information of each intersection can be identified. For example, the existing period is 150 seconds, the existing display time may be configured as 70 seconds, 25 seconds, 25 seconds, 30 seconds, respectively. In addition, the minimum time and the maximum time including the first appearance (30, 105), the two manifestations (130, 35), the three manifestations (13, 40), and the four manifestations (15, 50) for each manifestation may be set. . The number of passing vehicles per unit time of the intersection may be calculated. If the unit time is 15 seconds and the amount of traffic per unit time is 5, the amount of traffic per unit time of a three-lane road can be derived from 5*3 by 15. The saturation of the intersection can be calculated. When the maximum number of detected vehicles in the ROI is 15 and the number of detected vehicles is 5, the saturation can be derived as 5/15=33%. The current time may be calculated by considering the traffic volume and saturation in the existing signal information. The traffic volume for each prefecture may be calculated (for example, 30 units in 1 prefecture, 15 cars in 2 counties, 15 cars in 3 counties, 25 cars in 4 counties). In addition, the degree of saturation for each manifestation may be calculated (eg, 50% for 1st display, 0% for 2nd display, 10% for 3rd display, 30% for 4th display). Also, a priority for each prefecture may be set based on the amount of traffic (eg, 1st prefecture, 2nd prefecture 3rd priority, 3rd prefecture 3rd priority, 4th prefecture 2nd priority). In addition, a weight value for each appearance may be set based on the priority. Each display time can be adjusted based on saturation. For example, the display time of a road (intersection) with a saturation of 50% to 100% or more is +10 seconds, the display time of a road (intersection) with a saturation of 0% to 50% or more is +5 seconds, and a road with a saturation of 0%. (Intersection) display time can be adjusted to -5 seconds. Accordingly, the existing display time is 70, 25, 25, 30, and the existing period is 150 seconds to the new display time 82, 20, 26, 37, the new period can be adjusted to 165. The above-mentioned operation may be repeatedly performed, and new current time and period information may be transmitted to the server.

엣지 단말(100)은 비식별화된 객체 정보와 관련된 도로 정보 및 산출된 신호 정보를 서버(110)로 송신할 수 있다. 또한, 엣지 단말(100)은 산출된 신호주기를 신호제어기(120)로 전송할 수 있다. 엣지 단말(100)은 네트워크 문제로 서버와의 통신이 원활하지 않을 때, 엣지 단말(100)과 신호제어기(120) 간 통신을 통해 신호제어기(120)를 운영할 수 있다. The edge terminal 100 may transmit road information and calculated signal information related to the de-identified object information to the server 110 . In addition, the edge terminal 100 may transmit the calculated signal period to the signal controller 120 . The edge terminal 100 may operate the signal controller 120 through communication between the edge terminal 100 and the signal controller 120 when communication with the server is not smooth due to a network problem.

서버(110)는 엣지 단말(100)로부터 비식별화된 객체 정보와 관련된 도로 정보 및 산출된 신호주기를 수신할 수 있다. 서버(110)는 비식별화된 객체 정보와 관련된 도로 정보 및 산출된 신호주기를 이용하여 각 교차로에 대한 신호주기를 연산할 수 있다. 상세하게는, 서버(110)는 각 교차로에 대한 비식별화된 객체 정보와 관련된 도로 정보 및 산출된 신호주기를 수신함으로써, 각 교차로에 대한 신호주기 정보를 최적화할 수 있다. The server 110 may receive road information related to the de-identified object information and the calculated signal period from the edge terminal 100 . The server 110 may calculate a signal period for each intersection by using the road information related to the de-identified object information and the calculated signal period. In detail, the server 110 may optimize the signal period information for each intersection by receiving road information related to the de-identified object information for each intersection and the calculated signal period.

도 7을 참고하면, 단계(710)에서 서버(110)는 복수 개의 교차로에 대한 객체 정보와 관련된 도로 정보와 신호주기를 취합하여 각 교차로의 오프셋 시간 및 신호주기 정보를 산출할 수 있다. 서버(110)는 유사한 교통패턴을 갖는 교차로로 구성된 그룹인 최소제어단위 지역의 교차로 도로 정보를 취합할 수 있다. 서버(110)는 인접한 도로의 영향력을 고려하기 위해 직진, 좌회전, 우회전 차량의 수를 통해 각 교차로별 진입 차량과 이탈 차량의 수를 산출할 수 있다. 서버(110)는 진입 차량과 이탈 차량을 고려하여 인접 교차로의 현시시간에 가중치를 반영할 수 있다. 서버(110)는 최소제어단위에서 중요 교차로를 기준으로 각 교차로의 오프셋(offset) 시간 및 신호주기 정보를 산출할 수 있다. 서버(110)는 인접 교차로에서 특정 교차로 방향으로 기 설정된 기준 이상으로 이탈 차량이 많다면, 해당 교차로에 대한 현시시간에 가중치를 부여할 수 있다. Referring to FIG. 7 , in step 710 , the server 110 may calculate the offset time and signal period information of each intersection by collecting road information and signal period related to object information for a plurality of intersections. The server 110 may collect intersection road information of the minimum control unit area, which is a group consisting of intersections having a similar traffic pattern. The server 110 may calculate the number of vehicles entering and leaving each intersection based on the number of vehicles going straight, left, and right in order to consider the influence of adjacent roads. The server 110 may reflect the weight to the current time of the adjacent intersection in consideration of the vehicle entering and leaving the vehicle. The server 110 may calculate the offset time and signal period information of each intersection based on the important intersection in the minimum control unit. The server 110 may assign a weight to the current time for a corresponding intersection when there are many vehicles departing from an adjacent intersection in the direction of a specific intersection more than a preset criterion.

단계(720)에서 서버(110)는 각 교차로의 통행량과 각 교차로에 대한 인접 교차로의 진입량, 포화도에 따라 오프셋 시간을 조정할 수 있다. 서버(110)는 진입량과 포화도가 많다면 오프셋 시간을 줄이고, 진입량과 포화도가 적다면 오프셋 시간을 늘려서 진입하는 차량들이 멈추지 않고 원활하게 교차로를 통과할 수 있도록 오프셋 시간을 조정할 수 있다. In step 720 , the server 110 may adjust the offset time according to the amount of traffic at each intersection, the amount of entry into an adjacent intersection for each intersection, and saturation. The server 110 may reduce the offset time if the entry amount and saturation level are high, and increase the offset time if the entry amount and saturation level are small, so that the entering vehicles can smoothly pass through the intersection without stopping.

단계(730)에서 서버(110)는 조정을 통해 각 교차로에 대한 영향력을 고려한 신호주기 정보를 각 신호제어기(120)로 전송할 수 있다. 서버(110)는 산출된 신호주기 정보를 각 교차로에 대한 신호제어기(120)로 송신할 수 있다. 신호제어기(120)는 엣지 단말(100) 또는 서버(110)로부터 신호주기를 수신할 수 있다. 신호제어기(120)는 수신된 신호주기를 신호등에 반영할 수 있다. 일 실시예에 따르면, 인접 교차로의 영향을 받기 때문에 각 교차로의 정보를 서버로 전송하여, 인접 교차로의 영향력까지 고려한 신호주기 운영을 가능하게 가능하게 한다. In step 730 , the server 110 may transmit signal period information in consideration of the influence on each intersection to each signal controller 120 through adjustment. The server 110 may transmit the calculated signal period information to the signal controller 120 for each intersection. The signal controller 120 may receive a signal period from the edge terminal 100 or the server 110 . The signal controller 120 may reflect the received signal period to the traffic light. According to an embodiment, since it is affected by an adjacent intersection, information on each intersection is transmitted to the server, enabling operation of a signal cycle in consideration of the influence of an adjacent intersection.

예를 들면, 서버(110)는 인접 교차로를 고려한 현시시간을 조정할 수 있다. 각 교차로별 새로운 현시시간 및 주기정보가 수신될 수 있다. 예를 들면, A 교차로에 대한 현시시간(70, 25, 25, 30)에서 새로운 현시시간(80, 20, 26, 37)으로 조정되었고, 150이었던 주기정보가 165로 조정될 수 있고, B 교차로에 대한 현시시간(40, 35, 45, 25)이 새로운 현시시간(65, 40, 55, 40)으로 조정된 것을 확인할 수 있다. 서버(110)는 인접 교차로 사이에 연관된 현시시간 및 주기정보를 조정할 수 있다. 예를 들면, 서버(110)는 A 교차로에 대한 현시시간(82, 20, 26, 37 -> 85, 21, 28, 42), 주기정보(165->176) 조정하고, B 교차로에 대한 현시시간(65, 40, 55, 40 -> 62, 36, 48, 35), 주기정보(200->181)로 조정할 수 있다. 서버(110)는 각 교차로로 인접 교차로를 고려한 현시시간을 전송할 수 있다. 서버(110)는 각 교차로별 현시시간을 각 신호제어기(120)로 전송할 수 있다. 예를 들면, 서버(110)는 A교차로에 대한 신호제어기(120)에게 A 교차로의 최종 현시시간(85, 21, 28, 42), 주기 정보(176)를 전송하고, B교차로에 대한 신호제어기(120)에게 B교차로의 최종 현시시간(62, 36, 48, 35), 주기정보(181)를 전송할 수 있다.For example, the server 110 may adjust the display time in consideration of the adjacent intersection. New current time and period information for each intersection may be received. For example, the current display time (70, 25, 25, 30) for the intersection A was adjusted to the new display time (80, 20, 26, 37), and the period information that was 150 may be adjusted to 165, and at the intersection B It can be seen that the display time (40, 35, 45, 25) is adjusted to the new display time (65, 40, 55, 40). The server 110 may adjust the current time and period information associated with adjacent intersections. For example, the server 110 adjusts the display time (82, 20, 26, 37 -> 85, 21, 28, 42), period information (165->176) for the intersection A, and displays the display for the intersection B Time (65, 40, 55, 40 -> 62, 36, 48, 35) and period information (200 -> 181) can be adjusted. The server 110 may transmit a current time in consideration of an adjacent intersection to each intersection. The server 110 may transmit the current time for each intersection to each signal controller 120 . For example, the server 110 transmits the final display time (85, 21, 28, 42) and period information 176 of the intersection A to the signal controller 120 for the intersection A, and the signal controller for the intersection B It is possible to transmit the final display time (62, 36, 48, 35) and period information (181) of the intersection B to (120).

도 3은 일 실시예에 있어서, 최소제어단위의 구성을 설명하기 위한 도면이다. 3 is a diagram for explaining a configuration of a minimum control unit according to an embodiment.

현재 실시간 신호제어기는 제어 센터에서 사람이 조정하거나 TOD(Time of Day) plan에 기반하여 시간대별로 반복적인 신호주기를 보내야 한다는 단점이 있다. 실시예에서는 이러한 문제점을 해결하기 위하여 실시간으로 도로의 정보를 반영하여 최적화된 신호제어를 가능하게 한다. Currently, the real-time signal controller has a disadvantage in that it has to be adjusted by a human in the control center or repeatedly send a signal cycle for each time based on a TOD (Time of Day) plan. In order to solve this problem, the embodiment enables optimized signal control by reflecting road information in real time.

최소제어단위란 경찰청, 도로교통공단 등에서 지리적인 특성을 파악하여 적어도 하나 이상의 교차로를 묶은 것을 의미할 수 있다. 지리적인 특성에 따라 특정 지역에 적어도 하나 이상의 교차로가 최소제어단위로 묶여질 수 있다. 예를 들면, 도심지역에서 외곽으로 나갈수록 차량의 영향을 덜 받을 수 있다. 이에, 교통의 영향을 많이 받는 중요 교차로 및 교통의 영향을 덜 받는 준중요 교차로 및 교통의 영향을 거의 받지 않는 비중요 교차로 등으로 구분될 수 있다.The minimum control unit may mean a group of at least one or more intersections by identifying geographic characteristics at the National Police Agency, the Road Traffic Authority, and the like. At least one intersection may be grouped as a minimum control unit in a specific area according to geographical characteristics. For example, the farther you go out of an urban area, the less you may be affected by vehicles. Accordingly, it can be divided into important intersections that are heavily influenced by traffic, semi-important intersections that are less affected by traffic, and non-important intersections that are not affected by traffic.

또한, 현시시간에 대하여 설명하기로 한다. 현시시간이란 교차로에서 차량들이 전체적으로 통행할 수 있도록 제공하는 것을 의미하며, 특정 위치(특정 위치의 도로 방향)를 기준으로 직진, 좌회전, 우회전 등의 신호 명령을 현시라고 한다. 예를 들면, 제1 현시는 직진, 제2 현시는 좌회전, 제3 현시는 우회전이라고 하면, 각각의 현시가 모두 진행되면 이를 신호주기라고 한다. In addition, the present time will be described. Display time means to provide vehicles to pass as a whole at the intersection, and signal commands such as straight ahead, left turn, and right turn based on a specific location (the direction of the road at a specific location) are called display. For example, if the first display is straight forward, the second display is a left turn, and the third display is a right turn, when all of the respective displays are progressed, this is called a signal cycle.

도 4는 일 실시예에 있어서, 엣지 단말의 구성을 설명하기 위한 블록도이고, 도 5는 일 실시예에 있어서, 엣지 단말에서 교통제어 방법을 설명하기 위한 흐름도이다.4 is a block diagram for explaining the configuration of an edge terminal according to an embodiment, and FIG. 5 is a flowchart for explaining a traffic control method in an edge terminal according to an embodiment.

엣지 단말(100)의 프로세서는 획득부(410), 주기 산출부(420), 통신 판단부(430) 및 데이터 송신부(440)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 차량 제어 장치에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 5의 교통제어 방법이 포함하는 단계들(510 내지 541)을 수행하도록 엣지 단말을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. The processor of the edge terminal 100 may include an acquisition unit 410 , a period calculation unit 420 , a communication determination unit 430 , and a data transmission unit 440 . The components of such a processor may be representations of different functions performed by the processor according to a control instruction provided by a program code stored in the vehicle control device. The processor and components of the processor may control the edge terminal to perform steps 510 to 541 included in the traffic control method of FIG. 5 . In this case, the processor and the components of the processor may be implemented to execute instructions according to the code of the operating system included in the memory and the code of at least one program.

프로세서는 교통제어 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 엣지 단말에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 엣지 단말을 제어할 수 있다. 이때, 획득부(410), 주기 산출부(420), 통신 판단부(430) 및 데이터 송신부(440) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(510 내지 541)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.The processor may load the program code stored in the file of the program for the traffic control method into the memory. For example, when a program is executed in the edge terminal, the processor may control the edge terminal to load the program code from the program file into the memory according to the control of the operating system. At this time, each of the acquisition unit 410 , the period calculation unit 420 , the communication determination unit 430 , and the data transmission unit 440 executes a command of a corresponding portion of the program code loaded in the memory to perform subsequent steps 510 to 541) may be different functional representations of the processor.

단계(510)에서 획득부(410)는 딥러닝 기반의 객체 감지 및 추적 모델을 통해 각 교차로에 대한 도로 영상 데이터로부터 객체 정보와 관련된 도로 정보를 획득할 수 있다. 획득부(410)는 각 교차로에 설치된 촬영 기기로부터 촬영된 교차로에 대한 도로 영상 데이터를 수집하고, 수집된 교차로에 대한 도로 영상 데이터를 상기 딥러닝 기반의 객체 감지 및 추적 모델에 입력하고, 딥러닝 기반의 객체 감지 및 추적 모델을 이용하여 수집된 교차로에 대한 영상 데이터로부터 객체 정보와 관련된 도로 정보를 추출하고, 추출된 객체 정보와 관련된 도로 정보에 대한 비식별화할 수 있다. 획득부(410)는 수집된 교차로에 대한 도로 영상 데이터로부터 차량들의 타입을 인식하고, 인식된 차량들의 위치 변화를 추적하고, 인식된 차량들이 각 교차로를 포함하는 도로에서 단위 시간당 통과하는 통행량, 인식된 차량들이 각 교차로를 포함하는 도로에서 점유하고 있는 점유율을 나타내는 포화도를 포함하는 객체 정보와 관련된 도로 정보를 추출할 수 있다. In step 510 , the acquisition unit 410 may acquire road information related to object information from road image data for each intersection through a deep learning-based object detection and tracking model. Acquisition unit 410 collects road image data for intersections photographed from a photographing device installed at each intersection, inputs the collected road image data for intersections into the deep learning-based object detection and tracking model, and deep learning It is possible to extract road information related to object information from the collected image data for an intersection using the based object detection and tracking model, and de-identify road information related to the extracted object information. The acquisition unit 410 recognizes the types of vehicles from the collected road image data for the intersection, tracks the position change of the recognized vehicles, and recognizes the amount of traffic that the recognized vehicles pass per unit time on a road including each intersection. It is possible to extract road information related to object information including saturation indicating the occupancy occupied by the vehicles on the road including each intersection.

단계(520)에서 주기 산출부(420)는 획득된 객체 정보와 관련된 도로 정보에 기반하여 교차로에 대한 신호주기를 산출할 수 있다. 주기 산출부(420)는 획득된 객체 정보와 관련된 도로 정보를 통해 단위 시간당 교차로를 포함하는 도로의 통행량, 교차로를 포함하는 도로의 통행량을 기반으로 현시시간을 산출하고, 산출된 현시시간의 도로 정보와 산출된 현시시간 이전의 현시시간의 도로 정보와 비교하여 교차로를 포함하는 도로에 가중치 및 감산치를 부여하는 과정을 통해 교차로에 대한 현시시간을 산출할 수 있다. 주기 산출부(420)는 교차로를 포함하는 도로의 포화도를 통해 산출된 현시시간을 기준으로 산출된 현시시간의 이후에 차량들이 남이 있을 경우, 가중치를 부여하고, 산출된 현시시간의 이내에 차량들이 비어 있을 경우, 감산치를 부여하고, 산출된 현시시간의 도로 정보와 산출된 현시시간 이전의 현시시간의 도로 정보와 비교하여 교차로를 포함하는 도로에 가중치 및 감산치를 부여하는 과정을 통해 교차로에 대한 현시시간을 산출할 수 있다. In operation 520, the period calculator 420 may calculate a signal period for the intersection based on the obtained road information related to the object information. The period calculator 420 calculates the current time based on the traffic volume of the road including the intersection per unit time and the traffic volume of the road including the intersection per unit time through the road information related to the obtained object information, and the calculated current time road information The current time for the intersection can be calculated through the process of assigning weights and subtractions to the road including the intersection by comparing with the road information of the current time before the calculated current time. If there are vehicles remaining after the current time calculated based on the current time calculated through the saturation of the road including the intersection, the period calculator 420 gives weights, and the vehicles are empty within the calculated current time. If there is, a subtraction value is given, and the current time for the intersection is compared with the calculated current time road information and the calculated current time road information before the calculated current time. can be calculated.

단계(530)에서 통신 판단부(430)는 서버와의 통신 연결 유무를 판단할 수 있다. 예를 들면, 통신 판단부(430)는 통신 연결 유무를 판단함에 있어서, 산출된 교차로에 대한 신호주기를 서버로 전송할 수 있다. 산출된 교차로에 대한 신호주기가 서버로 전송될 경우, 서버와 통신이 연결되었다고 판단할 수 있고, 산출된 교차로에 대한 신호주기가 서버로 전송되지 않고 반환될 경우, 서버와 통신이 연결되지 않은 것으로 판단할 수 있다. 또는, 통신 판단부(430)는 통신 상황을 체크하여 서버와의 통신 연결 유무를 판단할 수 있다. In step 530 , the communication determination unit 430 may determine whether communication is connected with the server. For example, the communication determination unit 430 may transmit the calculated signal period for the intersection to the server in determining whether communication is connected. When the calculated signal period for the intersection is transmitted to the server, it can be determined that communication with the server is connected. can judge Alternatively, the communication determination unit 430 may check the communication condition to determine whether communication is connected with the server.

단계(540)에서 데이터 송신부(440)는 서버와의 통신이 연결된 것으로 판단됨에 따라 획득된 객체 정보와 관련된 도로 정보 및 산출된 신호주기를 서버로 전송할 수 있다. 이에, 서버로부터 전송받은 객체 정보와 관련된 도로 정보와 산출된 신호주기를 이용하여 산출된 각 교차로를 고려한 신호주기 정보에 기초하여 각 교차로의 신호제어기가 제어될 수 있다. 단계(541)에서 데이터 송신부(440)는 전자 기기(엣지 단말)와 신호제어기 간 통신을 통해 산출된 신호주기에 기초하여 신호등이 제어되도록 신호제어기를 운영할 수 있다. In step 540 , the data transmitter 440 may transmit road information related to the obtained object information and the calculated signal period to the server as it is determined that communication with the server is connected. Accordingly, the signal controller of each intersection may be controlled based on the road information related to the object information transmitted from the server and the signal period information in consideration of each intersection calculated using the calculated signal period. In step 541 , the data transmitter 440 may operate a signal controller to control the traffic lights based on a signal period calculated through communication between the electronic device (edge terminal) and the signal controller.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (10)

전자 기기에서 수행되는 교통제어 방법에 있어서,
딥러닝 기반의 객체 감지 및 추적 모델을 통해 교차로에 대한 도로 영상 데이터로부터 객체 정보와 관련된 도로 정보를 획득하는 단계;
상기 획득된 객체 정보와 관련된 도로 정보에 기반하여 교차로에 대한 신호주기를 산출하는 단계;
서버와의 통신 연결 유무를 판단하는 단계; 및
상기 서버와의 통신이 연결된 것으로 판단됨에 따라 상기 획득된 객체 정보와 관련된 도로 정보 및 상기 산출된 신호주기를 서버로 전송하는 단계를 포함하고,
상기 서버로부터 상기 전송받은 객체 정보와 관련된 도로 정보와 상기 산출된 신호주기를 이용하여 조정된 각 교차로를 고려한 신호주기 정보에 기초하여 각 교차로의 신호제어기가 제어되는
것을 특징으로 하는 교통제어 방법.
In the traffic control method performed in an electronic device,
obtaining road information related to object information from road image data for an intersection through a deep learning-based object detection and tracking model;
calculating a signal period for an intersection based on road information related to the obtained object information;
determining whether there is a communication connection with the server; and
Comprising the step of transmitting road information related to the obtained object information and the calculated signal period to a server as it is determined that communication with the server is connected,
The signal controller of each intersection is controlled based on the road information related to the object information received from the server and the signal period information considering each intersection adjusted using the calculated signal period.
Traffic control method, characterized in that.
제1항에 있어서,
상기 획득하는 단계는,
각 교차로에 설치된 촬영 기기로부터 촬영된 교차로에 대한 도로 영상 데이터를 수집하고, 상기 수집된 교차로에 대한 도로 영상 데이터를 상기 딥러닝 기반의 객체 감지 및 추적 모델에 입력하고, 상기 딥러닝 기반의 객체 감지 및 추적 모델을 이용하여 상기 수집된 교차로에 대한 영상 데이터로부터 객체 정보와 관련된 도로 정보를 추출하고, 상기 추출된 객체 정보와 관련된 도로 정보에 대한 비식별화하는 단계
를 포함하는 교통제어 방법.
According to claim 1,
The obtaining step is
Collects road image data for an intersection taken from a photographing device installed at each intersection, inputs the collected road image data for the intersection into the deep learning-based object detection and tracking model, and detects the deep learning-based object and extracting road information related to object information from the collected image data on the intersection using a tracking model, and de-identifying road information related to the extracted object information.
A traffic control method comprising a.
제2항에 있어서,
상기 획득하는 단계는,
상기 수집된 교차로에 대한 도로 영상 데이터로부터 차량들의 타입을 인식하고, 상기 인식된 차량들의 위치 변화를 추적하고, 상기 인식된 차량들이 상기 각 교차로를 포함하는 도로에서 단위 시간당 통과하는 통행량, 상기 인식된 차량들이 상기 각 교차로를 포함하는 도로에서 점유하고 있는 점유율을 나타내는 포화도를 포함하는 객체 정보와 관련된 도로 정보를 추출하는 단계
를 포함하는 교통제어 방법.
3. The method of claim 2,
The obtaining step is
Recognizing the types of vehicles from the collected road image data for the intersection, tracking the position change of the recognized vehicles, the amount of traffic that the recognized vehicles pass per unit time on a road including each intersection, the recognized vehicle extracting road information related to object information including saturation indicating the occupancy occupied by vehicles on the road including the respective intersections;
A traffic control method comprising a.
제1항에 있어서,
상기 산출하는 단계는,
상기 획득된 객체 정보와 관련된 도로 정보를 통해 단위 시간당 교차로를 포함하는 도로의 통행량, 교차로를 포함하는 도로의 통행량을 기반으로 현시시간을 산출하고, 상기 산출된 현시시간의 도로 정보와 상기 산출된 현시시간 이전의 현시시간의 도로 정보와 비교하여 교차로를 포함하는 도로에 가중치 및 감산치를 부여하는 과정을 통해 교차로에 대한 현시시간을 산출하는 단계
를 포함하는 교통제어 방법.
According to claim 1,
The calculating step is
The current time is calculated based on the traffic volume of the road including the intersection per unit time and the traffic volume of the road including the intersection per unit time through the road information related to the obtained object information, and the calculated current time road information and the calculated current time Comparing with the road information of the current time before the time, calculating the current time for the intersection through the process of assigning weights and subtractions to the road including the intersection
A traffic control method comprising a.
제4항에 있어서,
상기 산출하는 단계는,
교차로를 포함하는 도로의 포화도를 통해 상기 산출된 현시시간을 기준으로 상기 산출된 현시시간의 이후에 차량들이 남이 있을 경우, 가중치를 부여하고, 상기 산출된 현시시간의 이내에 차량들이 비어 있을 경우, 감산치를 부여하고, 상기 산출된 현시시간의 도로 정보와 상기 산출된 현시시간 이전의 현시시간의 도로 정보와 비교하여 교차로를 포함하는 도로에 가중치 및 감산치를 부여하는 과정을 통해 교차로에 대한 현시시간을 산출하는 단계
를 포함하는 교통제어 방법.
5. The method of claim 4,
The calculating step is
Based on the calculated current time through the saturation of the road including the intersection, if there are vehicles remaining after the calculated current time, weight is given, and if the vehicles are empty within the calculated current time, subtraction The current time for the intersection is calculated through the process of assigning a value and assigning a weight and a subtraction value to the road including the intersection by comparing the calculated road information of the current time with the road information of the current time before the calculated current time step to do
A traffic control method comprising a.
제1항에 있어서,
상기 판단하는 단계는,
상기 서버와의 통신이 연결되지 않을 것으로 판단됨에 따라, 상기 전자 기기와 신호제어기 간 통신을 통해 상기 산출된 신호주기에 기초하여 신호등이 제어되도록 상기 신호제어기를 운영하는 단계
를 포함하고,
상기 신호제어기는, 상기 전자 기기로부터 상기 산출된 신호주기를 전달받고, 상기 전달받은 신호주기를 통해 신호등을 운영하는
것을 특징으로 하는 교통제어 방법.
According to claim 1,
The determining step is
operating the signal controller to control the traffic lights based on the calculated signal period through communication between the electronic device and the signal controller when it is determined that communication with the server will not be connected
including,
The signal controller receives the calculated signal period from the electronic device, and operates a traffic light through the received signal period.
Traffic control method, characterized in that.
제1항에 있어서,
상기 서버에서 교차로로 구성된 최소제어단위 지역에 대한 도로 정보를 취합하고, 직진, 좌회전, 우회전의 차량 수를 통해 각 교차로 별 진입 차량과 이탈 차량의 수를 산출하고, 상기 진입 차량과 이탈 차량을 고려하여 교차로와 인접한 인접 교차로의 현시시간에 가중치를 반영하고, 교차로를 기준으로 각 교차로의 오프셋(offset) 시간 및 신호주기 정보를 산출하는
것을 특징으로 하는 교통제어 방법.
According to claim 1,
The server collects road information for the minimum control unit area composed of intersections, calculates the number of vehicles entering and leaving each intersection through the number of vehicles going straight, left and right turns, and taking into account the entering and leaving vehicles In this way, the weight is reflected in the current time of the intersection and the adjacent intersection, and the offset time and signal period information of each intersection are calculated based on the intersection.
Traffic control method, characterized in that.
제7항에 있어서,
상기 인접 교차로에서 상기 교차로의 방향으로 이탈 차량이 기 설정된 기준 이상일 경우, 상기 교차로를 포함하는 도로 정보의 현시시간에 가중치를 부여하고, 상기 인접 교차로의 통행량과 상기 교차로의 진입량 및 포화도를 고려하여 상기 오프셋 시간을 조정하는
것을 특징으로 하는 교통제어 방법.
8. The method of claim 7,
When the number of vehicles departing from the adjacent intersection in the direction of the intersection exceeds a preset standard, weight is given to the current time of road information including the intersection, and the traffic volume of the adjacent intersection, the amount of entry into the intersection, and saturation are considered to adjust the offset time
Traffic control method, characterized in that.
제8항에 있어서,
상기 교차로의 진입량 및 포화도가 기 설정된 기준 이상일 경우, 상기 오프셋 시간을 축소시키고, 상기 교차로의 진입량 및 포화도가 기 설정된 기준 이하일 경우, 상기 오프셋 시간을 증가시키는
것을 특징으로 하는 교통제어 방법.
9. The method of claim 8,
When the amount of entry and saturation of the intersection are greater than or equal to preset standards, the offset time is reduced, and when the amount of entry and saturation of the intersection are less than or equal to the preset standards, the offset time is increased.
Traffic control method, characterized in that.
교통제어를 위한 전자 기기에 있어서,
딥러닝 기반의 객체 감지 및 추적 모델을 통해 각 교차로에 대한 도로 영상 데이터로부터 객체 정보와 관련된 도로 정보를 획득하는 획득부;
상기 획득된 객체 정보와 관련된 도로 정보에 기반하여 교차로에 대한 신호주기를 산출하는 신호 산출부;
서버와의 통신 연결 유무를 판단하는 통신 판단부; 및
상기 서버와의 통신이 연결된 것으로 판단됨에 따라 상기 획득된 객체 정보와 관련된 도로 정보 및 상기 산출된 신호주기를 서버로 전송하는 데이터 송신부
를 포함하고,
상기 서버로부터 상기 전송받은 객체 정보와 관련된 도로 정보와 상기 산출된 신호주기를 이용하여 조정된 각 교차로를 고려한 신호주기 정보에 기초하여 각 교차로의 신호제어기가 제어되는, 것을 특징으로 하는 전자 기기.
In the electronic device for traffic control,
an acquisition unit for acquiring road information related to object information from road image data for each intersection through a deep learning-based object detection and tracking model;
a signal calculating unit for calculating a signal period for an intersection based on road information related to the obtained object information;
a communication determination unit for determining whether a communication connection with the server is present; and
When it is determined that communication with the server is connected, the data transmitter transmits road information related to the obtained object information and the calculated signal period to the server.
including,
and a signal controller of each intersection is controlled based on road information related to the object information transmitted from the server and signal period information in consideration of each intersection adjusted using the calculated signal period.
KR1020210019506A 2021-01-11 2021-02-10 On-device real-time traffic signal control system based on deep learning KR102494953B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210003485 2021-01-11
KR1020210003485 2021-01-11

Publications (2)

Publication Number Publication Date
KR20220101535A true KR20220101535A (en) 2022-07-19
KR102494953B1 KR102494953B1 (en) 2023-02-06

Family

ID=82607271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210019506A KR102494953B1 (en) 2021-01-11 2021-02-10 On-device real-time traffic signal control system based on deep learning

Country Status (1)

Country Link
KR (1) KR102494953B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102526583B1 (en) 2022-11-22 2023-04-27 주식회사 에이엔비 Deep learning-based intersection object detection and automatic alarm system
KR102645077B1 (en) 2023-08-24 2024-03-08 (주)소프트윙스 Deep learning-based intersection object detection and automatic alarm method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066393A (en) * 2010-12-14 2012-06-22 한국전자통신연구원 Vehicle video recording and servicing apparatus and method, apparatus and method acquiring local area information using the same
KR101696881B1 (en) * 2016-01-06 2017-01-17 주식회사 씨티아이에스 Method and apparatus for analyzing traffic information
KR20170074076A (en) * 2015-12-21 2017-06-29 동국대학교 산학협력단 Method and system for adaptive traffic signal control
KR102021534B1 (en) * 2018-08-29 2019-10-18 주식회사 핀텔 Image analysis apparatus for sensing vehicle and pedestrian based on deep learning and method thereof
KR102155050B1 (en) * 2019-10-28 2020-09-11 라온피플 주식회사 Video image detector and system and method for controlling traffic signal using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120066393A (en) * 2010-12-14 2012-06-22 한국전자통신연구원 Vehicle video recording and servicing apparatus and method, apparatus and method acquiring local area information using the same
KR20170074076A (en) * 2015-12-21 2017-06-29 동국대학교 산학협력단 Method and system for adaptive traffic signal control
KR101696881B1 (en) * 2016-01-06 2017-01-17 주식회사 씨티아이에스 Method and apparatus for analyzing traffic information
KR102021534B1 (en) * 2018-08-29 2019-10-18 주식회사 핀텔 Image analysis apparatus for sensing vehicle and pedestrian based on deep learning and method thereof
KR102155050B1 (en) * 2019-10-28 2020-09-11 라온피플 주식회사 Video image detector and system and method for controlling traffic signal using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102526583B1 (en) 2022-11-22 2023-04-27 주식회사 에이엔비 Deep learning-based intersection object detection and automatic alarm system
KR102645077B1 (en) 2023-08-24 2024-03-08 (주)소프트윙스 Deep learning-based intersection object detection and automatic alarm method

Also Published As

Publication number Publication date
KR102494953B1 (en) 2023-02-06

Similar Documents

Publication Publication Date Title
CN111506980B (en) Method and device for generating traffic scene for virtual driving environment
KR101995107B1 (en) Method and system for artificial intelligence based video surveillance using deep learning
CN111860155B (en) Lane line detection method and related equipment
KR102499398B1 (en) Lane detection method and apparatus
US9436877B2 (en) Pedestrian right of way monitoring and reporting system and method
CN109345829B (en) Unmanned vehicle monitoring method, device, equipment and storage medium
US11170272B2 (en) Object detection device, object detection method, and computer program for object detection
KR102282800B1 (en) Method for trackig multi target employing ridar and camera
CN111505690B (en) Method and device for detecting emergency vehicle and planning driving path in real time
KR102493930B1 (en) Apparatus and method for controlling traffic signal based on reinforcement learning
KR20220101535A (en) On-device real-time traffic signal control system based on deep learning
WO2021199584A1 (en) Detecting debris in a vehicle path
CN115618932A (en) Traffic incident prediction method and device based on internet automatic driving and electronic equipment
KR102616571B1 (en) System and method for providing road traffic information based on image analysis using artificial intelligence
Singh et al. Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes
Dinh et al. Development of a tracking-based system for automated traffic data collection for roundabouts
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
CN109800684A (en) The determination method and device of object in a kind of video
KR102221158B1 (en) Apparatus and method for detecting vehicle type, speed and traffic using radar device and image processing
CN114693722B (en) Vehicle driving behavior detection method, detection device and detection equipment
CN111627224A (en) Vehicle speed abnormality detection method, device, equipment and storage medium
KR20230126927A (en) Traffic accident prevention system and its service method
Li et al. Vehicle tracking fusing the prior information of Kalman filter under occlusion conditions
CN112706159B (en) Robot control method and device and robot
CN115797469A (en) Signal lamp image processing method, device, equipment and storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant