KR102145217B1 - Apparatus and method for controlling traffic signal - Google Patents
Apparatus and method for controlling traffic signal Download PDFInfo
- Publication number
- KR102145217B1 KR102145217B1 KR1020190143842A KR20190143842A KR102145217B1 KR 102145217 B1 KR102145217 B1 KR 102145217B1 KR 1020190143842 A KR1020190143842 A KR 1020190143842A KR 20190143842 A KR20190143842 A KR 20190143842A KR 102145217 B1 KR102145217 B1 KR 102145217B1
- Authority
- KR
- South Korea
- Prior art keywords
- traffic
- traffic signal
- image
- signal control
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명의 실시예에 따른 교통신호 제어 장치는 카메라와 신호등 각각에 연결된 통신부, 및 카메라로부터 촬영된 영상으로부터 영상 내 객체를 검출하고, 검출된 객체를 분석하여 교통상황을 확인하고, 교통상황에 기초하여 교통신호의 조절이 필요하면, 신호등의 동작을 제어하는 제어부를 포함한다.A traffic signal control device according to an embodiment of the present invention detects an object in an image from a communication unit connected to each of a camera and a traffic light, and an image captured from the camera, analyzes the detected object to check the traffic condition, and determines the traffic condition. Thus, when it is necessary to adjust the traffic signal, it includes a control unit for controlling the operation of the traffic light.
Description
본 명세서에서 개시되는 실시예들은 교통신호 제어 장치 및 방법에 관한 것이다. 보다 상세하게는, 차량의 교통 흐름에 따른 교통상황정보를 실시간으로 반영하여 교통신호를 제어하는 교통신호 제어 장치 및 방법에 관한 것이다.Embodiments disclosed herein relate to a traffic signal control apparatus and method. More specifically, it relates to a traffic signal control apparatus and method for controlling a traffic signal by reflecting traffic condition information according to a traffic flow of a vehicle in real time.
최근에는 생활의 편리나 직업적인 이유로 차량을 구입하는 사람들이 증가함에 따라 도로에서 운행 중인 차량이 증가하고 있다. 이러한 차량의 증가로 인해 교통난이 증가하고 있으며, 도로환경, 운전자상황, 차량고장, 및 차량사고 등의 다양한 요인으로 인해 교통난이 발생될 수 있다.In recent years, as the number of people who purchase vehicles for convenience or professional reasons increases, vehicles running on the road are increasing. Traffic difficulties are increasing due to the increase of such vehicles, and traffic difficulties may occur due to various factors such as road environment, driver situation, vehicle breakdown, and vehicle accident.
교통난이 발생하는 이유 중의 하나로 도로환경에서 교통신호체계의 문제가 있다. 예를 들어, 교통신호는 차량의 흐름을 제어하며, 미리 정해진 시간 간격으로 차량의 통행방향을 결정하여 주기 때문에, 특정 방향에 차량이 증가하는 경우 교통체증이 발생할 수 밖에 없다. 이로 인해, 교통체증이 발생하면, 경찰관이나 관련자가 직접 신호 제어기를 조작하여 교통 흐름을 조절한다. 이와 같은 방식은 교통신호를 제어하기 위해 사람이 상시 대기할 수 없는 한계가 존재하기 때문에 교통신호를 제어하기 위한 다양한 시도들이 있었다.One of the reasons for traffic difficulties is a traffic signal system problem in the road environment. For example, since a traffic signal controls the flow of a vehicle and determines the direction of the vehicle at predetermined time intervals, traffic congestion inevitably occurs when the number of vehicles increases in a specific direction. For this reason, when a traffic jam occurs, a police officer or a person concerned directly controls the traffic flow by operating a signal controller. In such a method, there have been various attempts to control traffic signals because there is a limit that a person cannot always wait to control traffic signals.
관련하여 선행기술문헌인 한국공개특허 특1997-0007751호에서는 교통신호를 제어하기 위해 소음감지기를 이용하여 소음을 측정하고, 소음의 측정 정도에 따라 교통신호의 길이를 조절하는 교통신호등 자동 제어기를 기재한다.Relatedly, Korean Patent Publication No. 1997-0007751, a prior art document, describes an automatic controller for traffic lights that measures noise using a noise detector to control traffic signals, and adjusts the length of traffic signals according to the measurement level of the noise. do.
하지만, 선행기술문헌은 소음을 이용하기 때문에 교차로와 같이 차량이 혼재하는 구간에서 신호 제어가 필요한 방향을 정확히 예측할 수 없고, 수시로 변화하는 교통량을 정확히 반영하기 어렵다. 또한, 선행기술문헌은 현장 부근에서 공사가 진행 중이거나, 행사 등을 진행하여 소음이 발생하는 환경에서는 잘못된 작동을 수행할 수 있다.However, since the prior art literature uses noise, it is not possible to accurately predict a direction requiring signal control in a section where vehicles are mixed, such as an intersection, and it is difficult to accurately reflect the amount of traffic that changes from time to time. In addition, the prior art literature may perform incorrect operation in an environment where construction is in progress near a site or noise is generated due to an event or the like.
선행기술문헌에 기재된 같이 기존의 교통신호등 자동 제어기에서는 교통상황을 정확히 확인할 수 없어 교통신호를 제어하는데 한계가 존재하는 문제점이 있었다.As described in the prior art literature, there is a problem in that there is a limitation in controlling the traffic signals because the existing automatic controller for traffic lights cannot accurately check the traffic conditions.
따라서, 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.Therefore, there is a need for a technique for solving the above-described problem.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-described background technology is technical information that the inventor possessed for derivation of the present invention or acquired during the derivation process of the present invention, and is not necessarily a known technology disclosed to the general public prior to filing the present invention. .
본 명세서에서 개시되는 실시예들은 교통상황을 정확하게 반영하여 교통신호를 제어하는 교통신호 제어 장치 및 방법을 제시하는데 목적이 있다.The embodiments disclosed in the present specification aim to provide a traffic signal control apparatus and method for controlling traffic signals by accurately reflecting traffic conditions.
본 명세서에서 개시되는 실시예들은 교통상황에 따라 원활한 차량의 이동을 지원할 수 있는 교통신호 제어 장치 및 방법을 제시하는데 목적이 있다.Embodiments disclosed in the present specification aim to provide a traffic signal control apparatus and method capable of supporting smooth movement of a vehicle according to traffic conditions.
본 명세서에서 개시되는 실시예들은 교통상황을 실시간으로 반영하여 교통신호를 제어할 수 있는 교통신호 제어 장치 및 방법을 제시하는데 목적이 있다.The embodiments disclosed in the present specification aim to provide a traffic signal control apparatus and method capable of controlling a traffic signal by reflecting a traffic condition in real time.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 교통신호 제어 장치는 카메라와 신호등 각각에 연결된 통신부, 및 상기 카메라로부터 촬영된 영상으로부터 영상 내 객체를 검출하고, 검출된 객체를 분석하여 교통상황을 확인하고, 교통상황에 기초하여 교통신호의 조절이 필요하면, 상기 신호등의 동작을 제어하는 제어부를 포함한다.As a technical means for achieving the above-described technical problem, according to an embodiment, a traffic signal control device detects an object in an image from a communication unit connected to each of a camera and a traffic light, and an image captured from the camera, and detects the detected object. It analyzes and checks the traffic condition, and if it is necessary to adjust the traffic signal based on the traffic condition, and a control unit for controlling the operation of the traffic light.
다른 실시예에 따르면, 교통신호 제어 장치에 의해 수행되는 교통신호 제어 방법은, 카메라로부터 촬영된 영상을 수신하는 단계, 상기 영상 내 객체를 검출하고, 상기 객체를 분석하여 교통상황을 확인하는 단계, 및 상기 교통상황에 기초하여 교통신호의 조절이 필요하면, 신호등의 동작을 제어하는 단계를 포함한다.According to another embodiment, a traffic signal control method performed by a traffic signal control device includes receiving an image captured from a camera, detecting an object in the image, and analyzing the object to confirm a traffic condition, And controlling an operation of a traffic light if it is necessary to adjust the traffic signal based on the traffic condition.
또 다른 실시예에 따르면, 교통신호 제어 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 교통신호 제어 방법은 카메라로부터 촬영된 영상을 수신하는 단계, 상기 영상 내 객체를 검출하고, 상기 객체를 분석하여 교통상황을 확인하는 단계, 및 상기 교통상황에 기초하여 교통신호의 조절이 필요하면, 신호등의 동작을 제어하는 단계를 포함한다.According to another embodiment, a computer-readable recording medium in which a program for performing a traffic signal control method is recorded, wherein the traffic signal control method includes the steps of receiving an image captured from a camera, detecting an object in the image, and Analyzing the object to check the traffic condition, and if it is necessary to adjust the traffic signal based on the traffic condition, controlling the operation of the traffic light.
또 다른 실시예에 따르면, 교통신호 제어 장치에 의해 수행되며, 교통신호 제어 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램으로서, 상기 교통신호 제어 방법은 카메라로부터 촬영된 영상을 수신하는 단계, 상기 영상 내 객체를 검출하고, 상기 객체를 분석하여 교통상황을 확인하는 단계, 및 상기 교통상황에 기초하여 교통신호의 조절이 필요하면, 신호등의 동작을 제어하는 단계를 포함한다.According to another embodiment, a computer program performed by a traffic signal control device and stored in a medium to perform a traffic signal control method, wherein the traffic signal control method comprises: receiving an image captured from a camera, Detecting an object, analyzing the object to confirm a traffic condition, and controlling an operation of a traffic light if it is necessary to adjust a traffic signal based on the traffic condition.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 교통상황을 정확하게 반영하여 교통신호를 제어하는 교통신호 제어 장치 및 방법을 제시할 수 있다.According to any one of the above-described problem solving means of the present invention, it is possible to provide a traffic signal control apparatus and method for controlling a traffic signal by accurately reflecting a traffic situation.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 교통상황에 따라 원활한 차량의 이동을 지원할 수 있는 교통신호 제어 장치 및 방법을 제시할 수 있다.According to any one of the problem solving means of the present invention, it is possible to provide a traffic signal control apparatus and method capable of supporting smooth movement of a vehicle according to a traffic situation.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 교통상황을 실시간으로 반영하여 교통신호를 제어할 수 있는 교통신호 제어 장치 및 방법을 제시할 수 있다.According to any one of the problem solving means of the present invention, it is possible to provide a traffic signal control device and method capable of controlling a traffic signal by reflecting a traffic situation in real time.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art from the following description. will be.
도 1은 일 실시예에 따른 교통신호 제어 시스템을 도시한 도면이다.
도 2는 일 실시예에 따른 교통신호 제어 장치를 도시한 도면이다.
도 3는 일 실시예에 따른 교통신호 제어 장치의 동작을 도시한 순서도이다.
도 4는 일 실시예에 따른 카메라의 촬영 영상으로부터 객체를 검출하는 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 교통상황에 따른 교통신호 제어 동작을 설명하기 위한 도면이다.
도 6과 도 7은 일 실시예에 따른 교통신호 제어 장치에서 교통신호의 변경을 결정하고, 교통신호의 변경을 위한 신호 제어 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 카메라가 설치된 복수의 신호등이 밀집한 지점에서의 신호등 간의 통신을 통한 영상 획득을 설명하기 위한 도면이다.
도 9와 도 10은 일 실시예에 따른 교통신호 제어 장치에서 두 개 이상의 교차로에서의 신호 제어 동작을 설명하기 위한 도면이다.1 is a diagram illustrating a traffic signal control system according to an embodiment.
2 is a diagram illustrating a traffic signal control device according to an embodiment.
3 is a flow chart showing the operation of the traffic signal control apparatus according to an embodiment.
4 is a diagram for describing an operation of detecting an object from an image captured by a camera according to an exemplary embodiment.
5 is a view for explaining a traffic signal control operation according to a traffic situation according to an embodiment.
6 and 7 are diagrams for explaining a signal control operation for determining a change of a traffic signal and changing a traffic signal in a traffic signal control apparatus according to an exemplary embodiment.
FIG. 8 is a diagram for explaining an image acquisition through communication between traffic lights at a point where a plurality of traffic lights installed with a camera is concentrated, according to an exemplary embodiment.
9 and 10 are diagrams for explaining a signal control operation at two or more intersections in a traffic signal control apparatus according to an exemplary embodiment.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, various embodiments will be described in detail with reference to the accompanying drawings. The embodiments described below may be modified and implemented in various different forms. In order to more clearly describe the features of the embodiments, detailed descriptions of matters widely known to those of ordinary skill in the art to which the following embodiments belong are omitted. In addition, parts not related to the description of the embodiments are omitted in the drawings, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a configuration is said to be "connected" with another configuration, this includes not only a case of being'directly connected' but also a case of being'connected with another configuration in between'. In addition, when a certain configuration "includes" a certain configuration, this means that other configurations may be further included rather than excluding other configurations, unless specifically stated to the contrary.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.However, before describing this, the meaning of the terms used below is first defined.
'영상'은 카메라를 사용하여 도로를 촬영한 파일로서, 이미지 파일과 동영상 파일을 포함할 수 있다. 여기서, 영상은 2차원뿐만 아니라 3차원 영상을 포함할 수도 있다. 하기에서는 설명의 편의를 위하여 이미지 파일과 동영상 파일을 포함한 '영상'을 기준으로 설명하지만, 오디오 신호를 포함한 영상을 포함할 수도 있다.The'video' is a file photographing a road using a camera, and may include an image file and a video file. Here, the image may include not only a 2D image but also a 3D image. In the following description, for convenience of explanation, a'video' including an image file and a moving image file is used as a reference, but an image including an audio signal may be included.
'객체'는 도로를 촬영한 영상으로부터 추출될 수 있는 모든 정보를 포함할 수 잇다. 객체는 영상 내에서 검출될 수 있는 요소로서, 예를 들어 차선, 중앙분리대, 차선안내표지, 도로표지판, 횡단보도, 인도, 신호등, 차량, 및 사람(보행자) 등을 포함할 수 있다.The'object' can include all information that can be extracted from an image of a road. The object is an element that can be detected in the image, and may include, for example, a lane, a center divider, a lane guide sign, a road sign, a crosswalk, a sidewalk, a traffic light, a vehicle, and a person (pedestrian).
도 1은 일 실시예에 따른 교통신호 제어 시스템을 도시한 도면이다.1 is a diagram illustrating a traffic signal control system according to an embodiment.
도 1을 참조하면, 교통신호 제어 시스템(10)은 카메라(20), 신호등(30) 및 교통신호 제어 장치(100)를 포함할 수 있다.Referring to FIG. 1, the traffic
교통신호 제어 시스템(10)에 포함되는 구성은 네트워크를 통해 서로 통신할 수 있다. 이때, 네트워크(N)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet), Mobile WiMAX, HSDPA(High Speed Downlink Packet Access) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다. 또한, 교통신호 제어 시스템(10)에 포함되는 구성은 네트워크를 이용하지 않고 전용선을 이용하여 직접 연결되거나 블루투스와 같은 근거리 무선 통신 방식 등을 이용하여 유/무선 통신을 할 수도 있다.Components included in the traffic
카메라(20)는 도로 내 또는 도로 주변에 설치되어 도로의 영상을 촬영할 수 있다. 예를 들어, 카메라(20)는 신호등(30)과 같이 도로의 주변에 위치한 구조물에 결합되어 도로의 영상을 촬영할 수도 있다. 카메라(20)는 영상을 실시간으로 촬영할 수 있으며, 교통신호 제어 장치(100)로 실시간으로 촬영된 영상을 전송할 수 있다. 카메라(20)는 엣지 디바이스(edge device)의 형태로 구현될 수 있으며, 엣지 디바이스로 구현 시 촬영된 영상 내에서 차선, 차선안내표지, 도로표지판, 신호등, 차량, 및 사람 등의 객체를 검출하고, 촬영 영상에 검출된 객체에 대한 정보를 포함시켜 교통신호 제어 장치로 전송할 수도 있다.The
신호등(30)은 색채, 광선, 모양 및 소리 등의 일정한 부호에 의하여 자동차 또는 사람에게 교통신호를 전달하는 장치로서, 도로의 교차지점이나 횡단보도 주변에 설치되어 자동차, 자전거, 통행인에게 통행 우선권을 부여하고 있다. 이와 같은 신호등(30)의 신호표시방식은 적색(Red), 황색(Yellow), 녹색(Green)의 3색이 일반적이나 용도에 따라서는 녹색, 황색의 화살표가 구비된 것도 있고, 보행자 전용과 자동차 전용을 구분하기 위해 단순하게 적색, 녹색 점등이 구비된 신호등(30)도 사용되고 있다.The
신호등(30)은 유선 또는 무선 통신을 통해 주변의 다른 신호등과 상호 간에 데이터를 송수신할 수도 있다.The
한편, 하기에서 설명되는 '신호등'의 용어는, 사람에게 신호를 전달하기 위해 색상을 출력하는 장치뿐만 아니라 신호등 자체의 색상 또는 점등방식을 제어하는 신호 제어기를 포함한 의미로 사용된다.Meanwhile, the term'traffic light' described below is used to include a signal controller that controls the color or lighting method of the traffic light itself as well as a device that outputs color to transmit a signal to a person.
교통신호 제어 장치(100)는 카메라(20)와 신호등(30)에 각각 연결되어 데이터를 송수신할 수 있다. 여기서, 교통신호 제어 장치(100)는 카메라(20)와 신호등(30)을 구성 요소로 내부에 포함할 수도 있으며, 신호등(30)의 신호 제어기와 같은 일부 기능을 내부에서 구현할 수도 있다. 이와 달리, 교통신호 제어 장치(100)는 카메라(20)에 포함되거나, 신호등(30)에 포함될 수 있어, 카메라(20) 또는 신호등(30) 내부에서 기능이 구현되도록 할 수도 있다.The traffic
교통신호 제어 장치(100)에는 한 개의 카메라(20)와 한 개의 신호등(30)이 연결된 구조를 설명의 편의를 위하여 예시적으로 설명하지만, 두 개 이상의 카메라에 연결되거나, 두 개 이상의 신호등에 연결될 수도 있다.A structure in which one
한편, 교통신호 제어 장치(100)는 카메라(20)를 통해 촬영된 영상으로부터 도로 내의 객체를 인식할 수 있다. 교통신호 제어 장치(100)는 인식된 도로 내 객체를 이용하여 도로의 상황을 파악하기 위한 교통상황을 분석할 수 있다. 여기서, 교통상황은 객체를 이용하여 분석된 정보로서, 도로 내의 차로, 차로 각각에 대한 진행방향, 교통신호, 차량수, 사람수 등의 교통신호를 제어하기 위한 다양한 정보를 모두 포함할 수 있다.Meanwhile, the traffic
교통신호 제어 장치(100)는 교통상황의 분석을 통해 교통상황을 확인할 수 있으며, 교통상황에 따라 교통신호의 제어가 필요한지 판단되면, 신호등(30)을 제어하여 교통신호를 제어할 수 있다.The traffic
이러한, 교통신호 제어 장치(100)는 실시간으로 촬영된 영상을 일정 주기를 간격 또는 연속으로 수신(예를 들어, 동영상을 수신)할 수 있어, 차량 또는 사람의 이동에 따른 교통상황의 변화를 실시간으로 반영하여 교통신호를 제어할 수 있다.Such, the traffic
도 2는 일 실시예에 따른 교통신호 제어 장치를 도시한 블록도이다.2 is a block diagram illustrating an apparatus for controlling a traffic signal according to an exemplary embodiment.
도 2를 참조하면, 교통신호 제어 장치(100)는 입출력부(110), 통신부(120), 저장부(130), 및 제어부(140)를 포함할 수 있다.Referring to FIG. 2, the traffic
입출력부(110)는 사용자로부터 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 교통신호 제어 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널 및 화면을 표시하는 디스플레이 패널 등을 포함할 수 있다.The input/
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.Specifically, the input unit may include devices capable of receiving various types of user input, such as a keyboard, a physical button, a touch screen, a camera, or a microphone. In addition, the output unit may include a display panel or a speaker. However, the present invention is not limited thereto, and the input/
통신부(120)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(120)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.The
통신부(120)는 유무선 통신을 지원할 수 있으며, 교통신호 제어 장치(100)가 통신을 수행할 수 있도록 하는 각종 통신 기법이 가능하다. 이를 통해, 통신부(120)는 카메라(20) 및 신호등(30)과 통신할 수 있다. 예를 들어, 통신부(120)는 카메라(20)로부터 촬영된 영상을 수신할 수 있으며, 교통신호를 제어하기 위한 신호를 신호등(30)으로 전송할 수 있다.The
저장부(130)는 파일, 애플리케이션, 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 저장부(130)에 저장된 데이터는 후술될 제어부(140)에 의해 액세스되어 이용되거나, 또는 제어부(140)에 의해 새로운 데이터가 저장될 수 있다. 또한 저장부(130)는 제어부(140)에 의해 교통상황을 분석하고, 교통신호의 제어를 수행할 수 있는 프로그램을 저장할 수 있다.The
저장부(130)는 카메라로 촬영된 영상을 저장할 수 있다. 또한, 저장부(130)는 영상으로부터 획득된 정보를 사용하여 교통상황을 분석하기 위한 프로그램을 저장할 수 있다. 저장부(130)는 영상을 이용하여 분석된 교통상황정보의 딥러닝을 수행하여 교통신호의 조절을 필요로 하는 상황을 학습하기 위한 프로그램을 저장할 수도 있다.The
한편, 제어부(140)는 교통신호 분석 장치(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(140)는 입출력부(110)를 통해 수신한 사용자 입력에 대응되는 동작을 수행하도록 교통신호 분석 장치(100)에 포함된 다른 구성들을 제어할 수 있다.Meanwhile, the
제어부(140)는 카메라(20)로부터 수신된 영상으로부터, 차선, 중앙분리대, 차선안내표지, 도로표지판, 횡단보도, 인도, 신호등, 차량, 및 사람 등의 객체를 검출할 수 있다. 또한, 제어부(140)는 카메라(20)의 영상으로부터 영상을 촬영한 위치정보, 방향정보, 및 촬영시간 정보 등을 함께 획득할 수도 있다.The
제어부(140)는 영상에서 검출된 객체를 분석하여 교통상황에 대한 정보를 획득할 수 있으며, 교통상황에 대한 정보를 획득하는 동작을 하기에서 설명한다.The
예를 들어, 제어부(140)는 영상 내에서 검출된 차선을 분석하여 차로를 구분할 수 있다. 제어부(140)는 검출된 차선 각각에 대해서 차선 번호를 부여할 수 있으며, 중앙 차선(황색선)(또는 중앙분리대 등)을 검출하여 양방향 차로 각각을 구분하고, 구분된 차로 내지는 구분된 차로의 차선 번호 등을 구분할 수 있다.For example, the
제어부(140)는 영상에서 도로의 구분된 차선 내의 차선안내표지를 검출할 수 있다. 차선안내표지는 좌회전(좌측), 우회전(우측), 직진, 유턴 등의 차량의 진행방향을 안내하기 위해 도로 상에 표시된 표식을 나타낸다. 제어부(140)는 구분된 차로 내에서 차선안내표지를 검출하면, 구분된 차로 각각에 위치한 차량의 이동방향을 확인할 수 있다.The
제어부(140)는 영상에서 차량수와 사람수를 검출할 수 있다. 제어부(140)는 차선 각각에 대해 차선 내에 위치한 차량수를 검출할 수 있다. 이를 통해, 제어부(140)는 차선 내에서 이동 중이거나 신호대기 중인 차량수를 확인할 수 있으며, 특정 방향으로 진행 예정인 차량수를 확인할 수 있다.The
제어부(140)는 횡단보도를 검출하고, 횡단보도 내에서 이동 중이거나 횡단보도 주변의 인도에 위치한 사람수를 확인할 수 있다. 이를 통해, 제어부(140)는 횡단보도를 이용하여 이동 중이거나 횡단보도에서 보행자 신호를 대기 중인 사람수를 확인할 수 있다.The
제어부(140)는 신호등을 검출하며, 신호등의 밝기 또는 색상 등을 함께 검출할 수 있다. 제어부(140)는 신호등의 밝기와 색상을 검출하면, 현재 신호등이 출력하고 있는 교통신호를 검출할 수 있다. 한편, 제어부(140)는 신호등 각각의 신호 제어기 등과 통신하는 경우, 영상을 이용하지 않고도, 직접 현재 교통신호 상태 내지는 교통신호 변경 주기 등의 정보를 획득할 수도 있다.The
제어부(140)는 검출된 차선을 통해 차선 각각에 대한 진행방향을 확인하고, 진행방향 각각에 대한 차량수를 확인할 수 있다. 이를 통해, 제어부(140)는 현재 교통신호를 확인하여 교통신호의 조절이 필요하면, 신호등의 동작을 제어할 수 있다. 이를 통해, 제어부(140)는 교통신호(예를 들어, 교통신호의 색상 또는 종류)를 변경하거나 교통신호의 길이 등을 제어할 수 있다.The
이를 위해, 제어부(140)는 딥러닝을 수행하여 교통신호의 변경상황에 대해 학습을 할 수 있다. 제어부(140)는 카메라의 촬영 영상을 사용하여 학습을 할 수 있다. 예를 들어, 제어부(140)는 객체분석을 통해 차량수 또는 차량의 진행방향을 학습할 수 있으며, 보행자수 또는 보행자의 진행(이동)방향을 학습할 수 있다. 또는, 제어부(140)는 교통신호체계를 분석할 수 있으며, 교통신호의 제어를 위한 동작에 대해 학습할 수 있다. 이를 통해, 제어부(140)는 교통신호의 변경 상황을 학습을 하고, 학습된 정보를 교통신호의 제어에 활용하기 때문에 지능형 교통신호의 제어가 가능하다.To this end, the
제어부(140)는 한 방향의 차선에 대해서만 고려하지 않고, 반대편 차선이나 교차로 내 다른 차선들에 대한 영상 또는 교통정보를 획득하면, 다른 차선을 고려하여 교통신호의 변경을 판단할 수 있다. 예를 들어, 제어부(140)는 현재 검출된 영상 내에서 좌회전방향에 대기 중인 차량이 존재하지 않고, 직진방향에 대기 중인 차량이 존재하여 교통신호를 좌회전신호에서 직진신호로의 변경을 판단하지만, 맞은편 차선에서 좌회전방향으로 대기중인 차량수가 많은 경우, 교통신호를 변경하지 않는 것으로 결정할 수도 있다.When the
제어부(140)는 서로 다른 차선들 간에 신호가 서로 연관된 경우, 다른 차선 내의 교통상황을 함께 고려하여 교통신호의 변경을 판단할 수 있으며, 교통체증의 발생확률을 가장 낮게 하는 교통신호를 선택할 수 있다. 예를 들어, 교통체증의 발생확률을 계산하기 위해 진행방향 각각에 대해 대기 중인 차량수와 해당 진행방향에 대해 이동 가능한 차량수 등에 기초하여 제어부(140)는 교통신호의 변경을 판단할 수 있다.When signals are related to each other between different lanes, the
제어부(140)는 복수의 카메라(예를 들어, 모든 교차로를 촬영하기 위해 인접한 카메라들 또는 교통흐름을 예상할 수 있도록 소정 거리 이상 이격되어 위치한 카메라들)를 이용하거나, 다른 교통신호 제어 장치와 연동하여 동작할 수 있다.The
도 3는 일 실시예에 따른 교통신호 제어 장치의 동작을 도시한 순서도이다.3 is a flow chart showing the operation of the traffic signal control apparatus according to an embodiment.
도 3을 참조하면, 교통신호 제어 장치(100)는 카메라에 의해 촬영된 영상을 수신할 수 있다(S210). 교통신호 제어 장치(100)는 카메라의 촬영 동작을 제어할 수도 있다. 예를 들어, 카메라 내부 또는 외부에 촬영 방향을 조절할 수 있는 구조물을 포함한 경우, 교통신호 제어 장치(100)는 카메라 또는 카메라 구조물을 제어하여 카메라의 촬영방향, 촬영범위, 초점 등의 동작을 제어하여 원하는 도로의 영상을 획득할 수도 있다.Referring to FIG. 3, the traffic
교통신호 제어 장치(100)는 수신된 영상으로부터 객체를 검출할 수 있다(S220). 교통신호 제어 장치(100)는 차선, 중앙분리대, 차선안내표지, 도로표지판, 횡단보도, 인도, 신호등, 차량, 및 사람(보행자)과 같은 객체를 검출할 수 있으며, 상술한 정보 외에도 영상에서 검출 가능한 다른 구성요소에 대해서도 검출할 수 있다.The traffic
교통신호 제어 장치(100)는 객체를 분석하여 교통상황을 확인할 수 있다(S230). 교통신호 제어 장치(100)는 차량수 또는 보행자수를 확인할 수 있으며, 진행방향 각각에 대응되는 차량수 또는 보행자수를 확인할 수 있다. 또한, 교통신호 제어 장치(100)는 교통신호의 상태를 확인할 수 있다. 교통신호 제어 장치(100)는 상술한 정보들 이외에도 교통신호의 제어에 필요한 다른 교통상황에 대한 정보를 획득할 수 있다.The traffic
교통신호 제어 장치(100)는 교통상황에 대한 정보를 이용하여 교통신호의 제어가 필요한지를 판단한다(S240).The traffic
S240단계의 판단결과, 교통신호의 제어가 필요하지 않으면, 교통신호 제어 장치(100)는 S210단계로 진행하여 다음 영상을 수신한다.As a result of the determination in step S240, if control of the traffic signal is not required, the traffic
S240단계의 판단결과, 교통신호의 제어가 필요하면, 교통신호 제어 장치(100)는 S250단계로 진행한다.As a result of the determination in step S240, if control of the traffic signal is required, the traffic
교통신호 제어 장치(100)는 교통신호를 제어하고 S210단계로 진행한다(S250). 교통신호 제어 장치(100)는 교통신호의 색상, 종류, 및 주기 등을 변경하여 현재 교통상황에 따라 통행이 필요한 방향에 대한 교통신호를 제어할 수 있다. 이를 통해, 교통신호 제어 장치(100)는 교통체증을 완화하거나 해소할 수 있다.The traffic
도 4는 일 실시예에 따른 카메라의 촬영 영상으로부터 객체를 검출하는 동작을 설명하기 위한 도면이다.4 is a diagram for describing an operation of detecting an object from an image captured by a camera according to an exemplary embodiment.
도 4를 참조하면, 교통신호 제어 장치(100)는 카메라의 촬영 영상(300) 내에서 차선(311, 312)을 검출할 수 있다. 일반차선(311)은 동일한 진행방향에 대한 차로를 구분하기 위한 차선으로 예를 들어, 흰색이 사용될 수 있으며, 중앙차선(312)은 서로 다른 진행방향을 구분하기 위한 차선으로, 예를 들어, 노란색이 사용될 수 있다.Referring to FIG. 4, the traffic
교통신호 제어 장치(100)는 차선을 검출하여 1차로 내지 4차로로 구분할 수 있으며, 도면 내에서 숫자가 표기된 동그라미는 교통신호 제어 장치(100)에 의해 인식된 차선을 나타낸다.The traffic
교통신호 제어 장치(100)는 카메라의 촬영 영상 내에서 도로안내표지(321, 322, 323)를 검출할 수 있다. 예를 들어, 제 1 도로안내표지(321)는 좌회전방향과 유턴방향을 나타내고, 제 2 도로안내표지(322)는 직진방향을 나타내고, 제 3 도로안내표지(323)는 직진과 우측방향을 나타낸다. 교통신호 제어 장치(100)는 구분된 차선 각각에 대한 진행방향을 확인할 수 있다.The traffic
교통신호 제어 장치(100)는 신호등(330)을 검출할 수 있다. 이때, 교통신호 제어 장치(100)는 신호등(330)으로부터 녹색으로 점등되는 직진신호(331), 적색과 녹색이 동시에 점등되는 좌회전신호(332), 황색으로 점등되는 주의신호(333), 붉은색으로 점등되는 정지신호(334)를 검출할 수 있다. 이와 달리, 교통신호 제어 장치(100)는 직진신호와 좌회전신호가 모두 점등되는 동시신호를 검출하거나, 황색 또는 붉은색의 점멸 신호(깜빡이는 신호) 등을 검출할 수 있다.The traffic
교통신호 제어 장치(100)는 횡단보도(340)를 검출할 수 있으며, 도로가 아닌 사람(보행자)(362)의 이동 경로인 인도(350)를 검출할 수도 있다.The traffic
또한, 교통신호 제어 장치(100)는 차량(361)과 사람(362)을 검출할 수 있다. 여기서, 차량(361)과 사람(362)은 숫자를 카운트할 수 있으며, 영상 내 위치도 함께 검출할 수 있다.In addition, the traffic
도 5는 일 실시예에 따른 교통상황에 따른 교통신호 제어 동작을 설명하기 위한 도면이다.5 is a view for explaining a traffic signal control operation according to a traffic situation according to an embodiment.
도 5를 참조하면, 교통신호 제어 장치(100)는 제 1 방향(401)에 대해 구분된 차선들 각각에서 검출된 차량수를 확인할 수 있다. 예를 들어, 교통신호 제어 장치(100)는 객체의 분석을 통해 교통상황에 대한 정보를 확인할 수 있다. 예를 들어, 교통신호 제어 장치(100)는 좌회전방향의 제 1 차선(411)에는 차량이 존재하지 않음을 확인하고, 직진방향의 제 2 및 제 3 차선(412)에는 차량이 10대의 차량이 신호대기 중임을 확인할 수 있다. 또한, 직진 및 우측방향의 제 4차선(413)에는 5대의 차량이 신호대기 중임을 확인할 수 있다.Referring to FIG. 5, the traffic
교통신호 제어 장치(100)는 좌회전차량이 존재하지 않기 때문에 신호등(421)에서 교통체증을 해소하기 위해서는 좌회전신호 대신에 직진 신호를 출력하도록 판단할 수 있다. 따라서, 교통신호 제어 장치(100)는 좌회전신호를 표시하고 있는 신호등(421)의 현재 상태를 직진신호를 표시하는 신호등(422)으로 변경되도록, 교통신호를 변경할 수 있다.The traffic
교통신호 제어 장치(100)는 교통신호를 변경한 후에도 차량을 모니터링하여 변경된 교통신호의 길이를 조절할 수도 있다. 예를 들어, 교통신호 제어 장치(100)는 직진방향에 대해 통행할 차량이 감소하면, 직진신호의 신호 길이(시간)를 짧게 조절할 수 있고, 직진방향에 대해 통행할 차량이 증가하면, 직진신호의 신호 길이(시간)를 길게 조절할 수도 있다.The traffic
이와 같이, 교통신호 제어 장치(100)는 교통신호를 확인하고, 교통상황에 따라 교통신호의 변경이 필요하면, 교통신호를 변경할 수 있다. 또한, 교통신호 제어 장치(100)는 교통신호의 변경뿐만 아니라 교통신호의 길이도 함께 제어할 수 있다.In this way, the traffic
도 6과 도 7은 일 실시예에 따른 교통신호 제어 장치에서 교통신호의 변경을 결정하고, 교통신호의 변경을 위한 신호 제어 동작을 설명하기 위한 도면이다.6 and 7 are diagrams for explaining a signal control operation for determining a change of a traffic signal and changing a traffic signal in a traffic signal control apparatus according to an exemplary embodiment.
도 6을 참조하면, 교통신호 제어 장치(100)는 교차로 내에서 양방향 차로 각각에 대해 대기 중인 차량수를 검출할 수 있다. 교통신호 제어 장치(100)는 영상으로부터 좌측에 위치한 차량들 중에서 직진방향으로 진행 예정인 차량(501)이 다수이고, 우측에 위치한 차량들 중에서 직진방향으로 진행 예정인 차량(502)이 다수임을 확인할 수 있다. 또한, 교통신호 제어 장치(100)는 영상으로부터 좌측에 위치한 차량들 중에서 좌회전방향으로 진행 예정인 차량이 존재하지 않고, 우측에 위치한 차량들 중에서 좌회전방향으로 진행 예정인 차량(503)이 소수, 약 2대인 것을 확인할 수 있다.Referring to FIG. 6, the traffic
또한, 교통신호 제어 장치(100)는 현재 좌회전과 우회전방향 각각에 대해 신호등(510, 520)이 모두 적색의 정지신호임을 확인할 수 있다.In addition, the traffic
교통신호 제어 장치(100)는 딥러닝을 통해 학습된 영상과의 비교 등을 통해 현재 신호등의 신호가 직진방향에 대한 신호의 변경을 결정할 수 있다.The traffic
이와 관련하여, 도 7을 참조하면, 교통신호 제어 장치(100)는 좌측과 우측에 위치한 직진방향(531, 532)의 차선 각각에 대해 신호등(510, 520)에서의 교통신호를 직진신호로의 변경으로 결정할 수 있다.In this regard, referring to FIG. 7, the traffic
교통신호 제어 장치(100)는 직진방향(531, 532)의 차선 각각에 대해 교통신호를 직진방향에 대한 녹색신호가 표시되도록 신호등(510, 520)을 제어하거나, 녹색신호의 점등 시간이 소정시간 이상 표시되도록 신호등(510, 520)을 제어할 수 있다. 또는, 교통신호 제어 장치(100)는 직진방향(531, 532)에 대한 녹색신호를 표시하는 기준시간(신호등에 설정된 직진방향의 표시 시간)보다 소정 시간 이상 더 길게 표시되도록 신호등(510, 520)을 제어할 수 있다.The traffic
도 8은 일 실시예에 따른 카메라가 설치된 복수의 신호등이 밀집한 지점에서의 신호등 간의 통신을 통한 영상 획득을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining an image acquisition through communication between traffic lights at a point where a plurality of traffic lights installed with a camera is concentrated, according to an exemplary embodiment.
도 8을 참조하면, 제 1신호등(610)에는 제 1카메라(611)가 설치되고, 제 2신호등(620)에는 제 2카메라(621)가 설치되고, 제 3 신호등(630)에는 제 3 카메라(631)가 설치되고, 제 4 신호등(640)에는 제 4 카메라(641)가 설치될 수 있다.8, a
이때, 교차로 등에 위치한 신호등(610, 620, 630, 640)은 카메라를 통해 촬영된 영상을 수신할 수 있으며, 점선으로 표시된 바와 같이 상호 간에 유/무선 방식으로 데이터의 송수신을 할 수 있다.At this time, the
이때, 교통신호 제어 장치(100)는 신호등(610, 620, 630, 640)을 사용하여 수신한 신호를 이용하여 교차로 내 모든 방향(예를 들어, 동(E)서(W)남(S)북(N)의 네 방향) 모두에 대한 차량 또는 보행자를 촬영한 영상을 수집할 수 있다. 교통신호 제어 장치(100)는 수집된 영상을 분석하여 차량이 이동하는 모둔 구간을 동시에 모니터링하면서 신호를 제어할 수 있다.At this time, the traffic
한편, 신호등(610, 620, 630, 640)은 특정한 하나의 신호등에 의해 나머지 신호등이 교통신호 제어 장치(100)에 의해 제어되도록 설정되거나, 특정한 하나의 신호등이 나머지 신호등에서 수집된 정보를 모아 교통신호 제어 장치(100)로 전달할 수도 있다.Meanwhile, the
이러한 경우, 교통신호 제어 장치(100)는 교차로와 같은 지역의 모든 방향에 대한 신호 제어를 할 수 있다.In this case, the traffic
이와 달리, 교통신호 제어 장치(100)는 차량에 대해 연속된 교차로 또는 연속된 신호등에 대한 영상을 획득하는 경우, 두 개 이상의 신호를 함께 제어할 수도 있다. 예를 들어, 특정 방향에 대한 두 개의 연속한 신호등 또는 두 개의 연속한 교차로 등에서 하나의 신호등 또는 하나의 교차로에서 교통신호만을 제어하는 경우, 다음 신호등 또는 다음 교차로에서 교통신호를 제어하지 못할 수 있다.Alternatively, the traffic
예를 들어, 교통신호 제어 장치(100)는 특정 진행방향(예를 들어, 하나의 차량 또는 하나의 보행자가 이동하게 되는 방향)을 기준으로 두 개 이상의 교통신호의 변경 여부를 판단하여 두 개 이상의 신호등을 동시 또는 소정 시간 간격을 두고 순차적으로 제어하여 교통흐름을 개선할 수도 있다.For example, the traffic
도 9와 도 10은 일 실시예에 따른 교통신호 제어 장치에서 두 개 이상의 교차로에서의 신호 제어 동작을 설명하기 위한 도면이다.9 and 10 are diagrams for explaining a signal control operation at two or more intersections in a traffic signal control apparatus according to an exemplary embodiment.
도 9를 참조하면, 교통신호 제어 장치(100)는 직진방향(701)을 기준으로 제 1교차로(710)와 제 2교차로(720)에 위치한 차량수를 검출할 수 있다. 이때, 교통신호 제어 장치(100)는 하나의 카메라를 이용하여 획득한 영상을 이용하거나 두 개 이상의 카메라로부터 획득된 영상을 이용하여 두 개 이상의 교차로의 객체를 검출할 수 있다.Referring to FIG. 9, the traffic
교통신호 제어 장치(100)는 제 1 교차로(710)와 제 2 교차로(720) 각각에 위치한 차량(711, 721)을 검출하여 차량수를 획득하고, 추가로 다음 진행 방향에 위치한 차량(731)을 검출하여 차량수를 획득할 수 있다. 이를 통해, 교통신호 제어 장치(100)는 직진방향(701)을 기준으로 차량이 정체되어 있음을 확인할 수 있다.The traffic
교통신호 제어 장치(100)는 차량이 정체되어 있어 차량이 진입하는 경우, 교차로에 차량이 위치하여 교차로에서 교통이 마비될 수 있으므로, 신호등(712)과 신호등(722) 각각에 대해 교차로(710, 720)로의 진입을 차단하기 위해 적색(R)의 정지신호를 유지하도록 교통신호를 제어하거나, 녹색(G)의 직진신호를 짧은 시간 동안만 점등되도록 교통신호를 제어할 수 있다.The traffic
또는 교통신호 제어 장치(100)는 차량이 존재하지 않는 다른 경로, 예를 들면 우회전 또는 좌회전 방향으로 차량을 유도하도록 신호등(712)과 신호등(722)의 교통신호를 제어할 수 있다.Alternatively, the traffic
도 10을 참조하면, 교통신호 제어 장치(100)는 직진방향(801)을 기준으로 제 1교차로(810)와 제 2교차로(820)에 위치한 차량수를 검출할 수 있다. 여기서도, 교통신호 제어 장치(100)는 하나 이상의 카메라를 사용하여 촬영된 영상을 이용할 수 있다.Referring to FIG. 10, the traffic
교통신호 제어 장치(100)는 제 1 교차로(810)와 제 2 교차로(820) 각각에 위치한 차량(811, 821)을 검출하여 차량수를 획득하고, 추가로 다음 진행 방향에 위치한 차량(831)을 검출하여 차량수를 획득할 수 있다. 이를 통해, 교통신호 제어 장치(100)는 직진방향(801)을 기준으로 차량이 정체되어 있음을 확인할 수 있다.The traffic
교통신호 제어 장치(100)는 차량의 소통이 원활하지만, 제 2교차로(821)에서 신호가 변경되지 않으면, 차량이 정체될 수 있으므로, 제 1신호등(812)에서 녹색(G)의 직진신호 점등 시점의 전후로 제 2신호등(822)도 녹색(G)의 직진신호가 점등되도록 제어할 수 있다.The traffic
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term'~ unit' used in this embodiment refers to software or hardware components such as field programmable gate array (FPGA) or ASIC, and'~ unit' performs certain roles. However,'~ part' is not limited to software or hardware. The'~ unit' may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors. Thus, as an example,'~ unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, and procedures. , Subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays, and variables.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.The components and functions provided in the'~ units' may be combined into a smaller number of elements and'~ units', or may be separated from additional elements and'~ units'.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.In addition, components and'~ units' may be implemented to play one or more CPUs in a device or a security multimedia card.
또한 본 발명의 일 실시예에 따르는 교통신호 제어 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.In addition, the traffic signal control method according to an embodiment of the present invention may be implemented as a computer program (or computer program product) including instructions executable by a computer. The computer program includes programmable machine instructions processed by a processor, and may be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language. . Further, the computer program may be recorded on a tangible computer-readable recording medium (eg, memory, hard disk, magnetic/optical medium, solid-state drive (SSD), etc.).
따라서 본 발명의 일 실시예에 따르는 교통신호 제어 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.Therefore, the traffic signal control method according to an embodiment of the present invention may be implemented by executing the computer program as described above by the computing device. The computing device may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device. Each of these components is connected to each other using a variety of buses, and can be mounted on a common motherboard or in other suitable manner.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.Here, the processor can process commands within the computing device. These commands include, for example, to display graphic information for providing a GUI (Graphic User Interface) on an external input or output device, such as a display connected to a high-speed interface. Examples are instructions stored in memory or storage devices. As another embodiment, multiple processors and/or multiple buses may be utilized with multiple memories and memory types as appropriate. In addition, the processor may be implemented as a chipset formed by chips including a plurality of independent analog and/or digital processors.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.The memory also stores information within the computing device. As an example, the memory may be composed of volatile memory units or a set of them. As another example, the memory may be composed of a nonvolatile memory unit or a set of them. Further, the memory may be another type of computer-readable medium such as a magnetic or optical disk.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.In addition, the storage device can provide a large-capacity storage space to the computing device. The storage device may be a computer-readable medium or a configuration including such a medium, for example, devices in a storage area network (SAN) or other configurations, and a floppy disk device, a hard disk device, an optical disk device, Alternatively, it may be a tape device, flash memory, or similar semiconductor memory device or device array.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
10: 교통신호 제어 시스템 20: 카메라
30: 신호등 100: 교통신호 제어 장치
110: 입출력부 120: 통신부
130: 저장부 140: 제어부10: traffic signal control system 20: camera
30: traffic light 100: traffic signal control device
110: input/output unit 120: communication unit
130: storage unit 140: control unit
Claims (16)
복수의 카메라에 의해 촬영된 영상으로부터 영상 내 객체를 검출하고, 검출된 객체를 분석하여 교통상황을 확인하고, 교통상황에 기초하여 교통신호의 조절이 필요하면 신호등의 동작을 제어하는 제어부를 포함하고,
상기 제어부는,
상기 영상 내 도로 상에 표시된 차선을 검출하고, 검출된 차선을 분석하여 차로를 구분하고, 상기 차로 각각 내에 위치한 차선 무늬를 검출하여 상기 차로 각각에 대한 차량의 이동방향을 확인하여 상기 차로와 상기 차로 내 차량의 이동방향을 확인하며,
상기 제어부는,
제 1 교차로 및 제 2 교차로 각각에 위치한 차량의 수를 검출하되 상기 제 1 교차로에서 상기 제 2 교차로의 진행 방향의 다음 진행 방향에 위치한 차량 수를 검출하여 상기 제 1 교차로 및 상기 제 2 교차로 각각에서의 교통상황 및 상기 다음 진행 방향에서의 교통상황을 결정하고,
상기 제 1 교차로 및 상기 제 2 교차로 각각에서의 교통상황 및 상기 다음 진행 방향에서의 교통상황에 기초하여, 상기 제 1 교차로 및 상기 제 2 교차로 각각에 위치한 두 개의 연속한 신호등을 순차적으로 제어하는, 교통신호 제어 장치. A communication unit connected to each of a plurality of cameras and a plurality of traffic lights; And
It includes a control unit that detects an object in the image from an image captured by a plurality of cameras, analyzes the detected object to check the traffic condition, and controls the operation of the traffic light when it is necessary to adjust the traffic signal based on the traffic condition. ,
The control unit,
The lane displayed on the road in the image is detected, the detected lane is analyzed to identify the lane, and the lane pattern located within each lane is detected to check the moving direction of the vehicle for each of the lanes, and the lane and the lane are Check the direction of movement of my vehicle,
The control unit,
The number of vehicles located at each of the first intersection and the second intersection is detected, but the number of vehicles located in the next driving direction from the first intersection to the driving direction of the second intersection is detected at each of the first intersection and the second intersection. Determine the traffic conditions of the above and the traffic conditions in the next direction,
Sequentially controlling two consecutive traffic lights located at each of the first and second intersections based on the traffic conditions at each of the first and second intersections and the traffic conditions in the next direction, Traffic signal control device.
상기 제어부는,
상기 영상 내 신호등을 검출하고, 상기 검출된 신호등의 색상과 밝기를 분석하여 상기 신호등에서 출력되는 교통신호를 확인하는 교통신호 제어 장치.The method of claim 1,
The control unit,
Traffic signal control device for detecting a traffic light in the image, analyzing the color and brightness of the detected traffic light to check a traffic signal output from the traffic light.
상기 제어부는,
상기 영상 내에서 신호 대기 중인 차량수와 보행자수를 검출하는 교통신호 제어 장치.The method of claim 1,
The control unit,
Traffic signal control device for detecting the number of vehicles and pedestrians waiting for a signal in the image.
상기 제어부는,
상기 차량수 또는 상기 보행자수에 기초하여 상기 교통신호의 변경이 필요한지를 판단하는 교통신호 제어 장치.The method of claim 4,
The control unit,
Traffic signal control device for determining whether the change of the traffic signal is necessary based on the number of vehicles or the number of pedestrians.
상기 제어부는,
상기 영상을 이용한 딥러닝을 수행하여 교통신호의 변경을 필요로 하는 상황을 학습하고, 상기 학습된 정보를 사용하여 상기 교통신호의 조절이 필요한지를 결정하는 교통신호 제어 장치.The method of claim 1,
The control unit,
A traffic signal control device that learns a situation requiring change of a traffic signal by performing deep learning using the image, and determines whether it is necessary to adjust the traffic signal using the learned information.
카메라로부터 촬영된 영상을 수신하는 단계;
상기 영상 내 객체를 검출하고, 상기 객체를 분석하여 교통상황을 확인하는 단계; 및
상기 교통상황에 기초하여 교통신호의 조절이 필요하면, 신호등의 동작을 제어하는 단계를 포함하고,
상기 교통상황을 확인하는 단계는,
상기 영상 내 도로 상에 표시된 차선을 검출하는 단계;
상기 차선을 분석하여 차로를 구분하는 단계; 및
상기 차로 각각 내에 위치한 차선 무늬를 검출하여 상기 차로 각각에 대한 차량의 이동방향을 확인하여 상기 차로와 상기 차로 내 차량의 이동방향을 확인하는 단계를 포함하고,
상기 교통상황을 확인하는 단계는,
제 1 교차로 및 제 2 교차로 각각에 위치한 차량의 수를 검출하되 상기 제 1 교차로에서 상기 제 2 교차로의 진행 방향의 다음 진행 방향에 위치한 차량 수를 검출하여 상기 제 1 교차로 및 상기 제 2 교차로 각각에서의 교통상황 및 상기 다음 진행 방향에서의 교통상황을 결정하는 단계를 더 포함하고,
상기 신호등의 동작을 제어하는 단계는,
상기 제 1 교차로 및 상기 제 2 교차로 각각에서의 교통상황 및 상기 다음 진행 방향에서의 교통상황에 기초하여, 상기 제 1 교차로 및 상기 제 2 교차로 각각에 위치한 두 개의 연속한 신호등을 순차적으로 제어하는 단계를 포함하는, 교통신호 제어 방법.In the traffic signal control method performed by the traffic signal control device,
Receiving an image captured from the camera;
Detecting an object in the image and analyzing the object to check a traffic condition; And
If it is necessary to adjust the traffic signal based on the traffic condition, comprising the step of controlling the operation of the traffic light,
The step of checking the traffic condition,
Detecting a lane displayed on the road in the image;
Dividing the lane by analyzing the lane; And
Detecting a lane pattern located in each of the lanes and checking a moving direction of a vehicle for each of the lanes, and confirming a moving direction of the lane and the vehicle within the lane,
The step of checking the traffic condition,
The number of vehicles located at each of the first intersection and the second intersection is detected, but the number of vehicles located in the next driving direction from the first intersection to the second intersection is detected, and at each of the first and second intersections Further comprising the step of determining the traffic condition and the traffic condition in the next direction of travel,
Controlling the operation of the traffic light,
Sequentially controlling two consecutive traffic lights located at each of the first and second intersections, based on the traffic conditions at each of the first and second intersections and the traffic conditions in the next direction Containing, traffic signal control method.
상기 교통상황을 확인하는 단계는,
상기 영상 내 신호등을 검출하고, 상기 검출된 신호등의 색상과 밝기를 분석하여 신호등에서 출력되는 교통신호를 확인하는 단계를 포함하는 교통신호 제어 방법.The method of claim 8,
The step of checking the traffic condition,
Detecting a traffic light in the image, analyzing the color and brightness of the detected traffic light, and checking a traffic signal output from the traffic light.
상기 교통상황을 확인하는 단계는,
상기 영상 내에서 신호 대기 중인 차량수와 보행자수를 검출하는 단계를 포함하는 교통신호 제어 방법.The method of claim 8,
The step of checking the traffic condition,
Traffic signal control method comprising the step of detecting the number of vehicles and pedestrians waiting for a signal in the image.
상기 신호등의 동작을 제어하는 단계는,
상기 차량수 또는 상기 보행자수에 기초하여 상기 교통신호의 변경이 필요한지를 판단하는 단계를 포함하는 교통신호 제어 방법.The method of claim 11,
Controlling the operation of the traffic light,
And determining whether the traffic signal needs to be changed based on the number of vehicles or the number of pedestrians.
상기 신호등의 동작을 제어하는 단계는,
상기 영상을 이용한 딥러닝을 수행하여 교통신호의 변경을 필요로 하는 상황을 학습하는 단계; 및
상기 학습된 정보를 사용하여 상기 교통신호의 조절이 필요한지를 결정하는 단계를 더 포함하는 교통신호 제어 방법.The method of claim 8,
Controlling the operation of the traffic light,
Performing deep learning using the image to learn a situation in which a traffic signal needs to be changed; And
The traffic signal control method further comprising the step of determining whether the control of the traffic signal is necessary using the learned information.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20180159263 | 2018-12-11 | ||
KR1020180159263 | 2018-12-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200071656A KR20200071656A (en) | 2020-06-19 |
KR102145217B1 true KR102145217B1 (en) | 2020-08-18 |
Family
ID=71137320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190143842A Active KR102145217B1 (en) | 2018-12-11 | 2019-11-11 | Apparatus and method for controlling traffic signal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102145217B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230063080A (en) | 2021-11-01 | 2023-05-09 | 주식회사 오션소프트 | Traffic light operation system according to the results of analysis of road surface conditions and traffic patterns at signal intersections to increase traffic volume |
KR20230082154A (en) | 2021-12-01 | 2023-06-08 | 주식회사 오션소프트 | Method for determining the installation location of traffic information detector for interrupted traffic flow, and method for initial queue processing at a signal intersection and method for measuring congestion information using the traffic information detector for interrupted traffic flow |
KR20230169630A (en) | 2022-06-09 | 2023-12-18 | 한밭대학교 산학협력단 | Traffic big data construction system and method that can build traffic big data for signal intersections and links in the city center |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102166283B1 (en) | 2020-08-03 | 2020-10-15 | 공주대학교 산학협력단 | Device for controlling traffic signal |
KR102510896B1 (en) * | 2021-03-31 | 2023-03-16 | 렉스젠(주) | Signal control system based on image analysis |
KR102624143B1 (en) * | 2021-09-24 | 2024-01-12 | (주) 오토노머스에이투지 | Method for controlling traffic light using lidar installed at intersection and server using the same. |
CN114973661B (en) * | 2022-05-16 | 2024-05-10 | 深圳市中建恒峰电子有限公司 | Traffic signal lamp with intelligent control and traffic flow data storage |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101821494B1 (en) * | 2016-08-10 | 2018-01-24 | 중앙대학교 산학협력단 | Adaptive traffic signal control method and apparatus |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101043912B1 (en) * | 2009-05-25 | 2011-06-29 | 한국산업기술대학교산학협력단 | System to control traffic signal at intersection using day and night integrated video detector |
KR101566782B1 (en) * | 2013-11-21 | 2015-11-11 | 김진환 | Traffic regulation system for stop-line violation and speed limit viloation and method for controlling thereof |
KR101606476B1 (en) * | 2014-04-02 | 2016-03-25 | 한양대학교 산학협력단 | Apparatus and method for recognition signal light using multiple exposure image of camera |
KR101846663B1 (en) * | 2016-04-29 | 2018-05-18 | 김기한 | Intelligent traffic light control method and controller by vision image analysis |
-
2019
- 2019-11-11 KR KR1020190143842A patent/KR102145217B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101821494B1 (en) * | 2016-08-10 | 2018-01-24 | 중앙대학교 산학협력단 | Adaptive traffic signal control method and apparatus |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230063080A (en) | 2021-11-01 | 2023-05-09 | 주식회사 오션소프트 | Traffic light operation system according to the results of analysis of road surface conditions and traffic patterns at signal intersections to increase traffic volume |
KR20230082154A (en) | 2021-12-01 | 2023-06-08 | 주식회사 오션소프트 | Method for determining the installation location of traffic information detector for interrupted traffic flow, and method for initial queue processing at a signal intersection and method for measuring congestion information using the traffic information detector for interrupted traffic flow |
KR20230169630A (en) | 2022-06-09 | 2023-12-18 | 한밭대학교 산학협력단 | Traffic big data construction system and method that can build traffic big data for signal intersections and links in the city center |
Also Published As
Publication number | Publication date |
---|---|
KR20200071656A (en) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102145217B1 (en) | Apparatus and method for controlling traffic signal | |
US11993290B2 (en) | Predicting and responding to cut in vehicles and altruistic responses | |
US10753758B2 (en) | Top-down refinement in lane marking navigation | |
US10832066B2 (en) | Controlling host vehicle based on detection of a one-way road | |
US11155249B2 (en) | Systems and methods for causing a vehicle response based on traffic light detection | |
KR102534353B1 (en) | Navigating a vehicle based on a detected barrier | |
CN113158820B (en) | Identification and prediction of lane limits and construction areas in navigation | |
CN108198441B (en) | Rapid intelligent traffic system and method | |
KR102130966B1 (en) | Apparatus and method for controlling traffic signal | |
JP5522475B2 (en) | Navigation device | |
CN118235172A (en) | Traffic light relevance mapping based on machine learning | |
KR102418051B1 (en) | Lane traffic situation judgement apparatus, system, and method thereof | |
US20230007156A1 (en) | Dual sensor readout channel to allow for frequency detection | |
KR20210126307A (en) | A traffic information collecting camera | |
JPWO2020071132A1 (en) | Camera device | |
WO2023178510A1 (en) | Image processing method, device, and system and movable platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20191111 |
|
PA0201 | Request for examination | ||
PA0302 | Request for accelerated examination |
Patent event date: 20191119 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20191111 Patent event code: PA03021R01I Comment text: Patent Application |
|
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200106 Patent event code: PE09021S01D |
|
AMND | Amendment | ||
E601 | Decision to refuse application | ||
PE0601 | Decision on rejection of patent |
Patent event date: 20200522 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20200106 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
PG1501 | Laying open of application | ||
AMND | Amendment | ||
PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20200522 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20200306 Comment text: Amendment to Specification, etc. |
|
PX0701 | Decision of registration after re-examination |
Patent event date: 20200805 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20200727 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20200522 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20200306 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200811 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20200811 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20230510 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20250617 Start annual number: 6 End annual number: 6 |