KR102523637B1 - A traffic data processor, traffic controlling system and method of processing traffic data - Google Patents

A traffic data processor, traffic controlling system and method of processing traffic data Download PDF

Info

Publication number
KR102523637B1
KR102523637B1 KR1020210064133A KR20210064133A KR102523637B1 KR 102523637 B1 KR102523637 B1 KR 102523637B1 KR 1020210064133 A KR1020210064133 A KR 1020210064133A KR 20210064133 A KR20210064133 A KR 20210064133A KR 102523637 B1 KR102523637 B1 KR 102523637B1
Authority
KR
South Korea
Prior art keywords
coordinate
vehicle
value
image
bounding box
Prior art date
Application number
KR1020210064133A
Other languages
Korean (ko)
Other versions
KR20220156292A (en
Inventor
여화수
노병준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020210064133A priority Critical patent/KR102523637B1/en
Publication of KR20220156292A publication Critical patent/KR20220156292A/en
Application granted granted Critical
Publication of KR102523637B1 publication Critical patent/KR102523637B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

차량을 포함하는 이미지를 처리하는 교통 데이터 프로세서는 객체 탐지 모듈, 지상 전면부 탐지 모듈 및 시점 변환 모듈을 포함한다. 상기 객체 탐지 모듈은 도로변에 설치되고, 단일 이미지 센서를 사용하는 CCTV로부터 적어도 하나의 차량을 포함하는, 경사진 화각의 제1 이미지를 수신하고, 상기 제1 이미지에서 객체를 탐지하여 상기 차량과 관계되는 바운딩 박스와 상기 차량과 관계되는 마스크 매트릭스를 추출한다. 상기 지상 전면부 탐지 모듈은 상기 바운딩 박스 및 상기 마스크 매트릭스를 수신하고, 상기 바운딩 박스 및 상기 마스크 매트릭스에 기초하여 상기 바운딩 박스에서 상기 차량의 제1 방향의 제1 끝점의 제1 좌표와 상기 제1 방향과 직교하는 제2 방향의 제2 끝점의 제2 좌표를 산출하고, 상기 제1 좌표와 상기 제2 좌표에 기초하여 상기 차량의 지상 전면부 좌표 정보를 생성한다. 상기 시점 변환 모듈은 상기 지상 전면부 좌표 정보를 상기 차량이 주행하는 도로의 면에 평행한 오버헤드 전면부 좌표 정보로 변환한다.A traffic data processor processing an image including a vehicle includes an object detection module, a ground front detection module, and a viewpoint conversion module. The object detection module is installed on a roadside, receives a first image of an inclined angle of view, including at least one vehicle, from a CCTV using a single image sensor, detects an object in the first image, and establishes a relationship with the vehicle. A bounding box and a mask matrix related to the vehicle are extracted. The ground front detection module receives the bounding box and the mask matrix, and based on the bounding box and the mask matrix, a first coordinate of a first end point in a first direction of the vehicle in the bounding box and the first A second coordinate of a second end point in a second direction orthogonal to the direction is calculated, and coordinate information of the front surface of the vehicle is generated based on the first coordinate and the second coordinate. The viewpoint conversion module converts the ground front part coordinate information into overhead front part coordinate information parallel to the surface of the road on which the vehicle travels.

Description

교통 데이터 프로세서, 교통 관제 시스템 및 교통 데이터 처리 방법{A traffic data processor, traffic controlling system and method of processing traffic data} A traffic data processor, traffic controlling system and method of processing traffic data}

본 발명은 도로 교통 관제에 관한 것으로, 보다 상세하게는 교통 데이터 프로세서, 교통 관제 시스템 및 교통 데이터 처리 방법에 관한 것이다.The present invention relates to road traffic control, and more particularly to a traffic data processor, a traffic control system, and a traffic data processing method.

일반적으로, 산업발달이 고도화되면서 차량의 보급률은 기아급수 적으로 증가하여 기존의 도로망이 수용할 수 있는 차량의 수용능력을 초과하고 있다. 그에 따라, 최근에는 도로에 대한 교통 상황 및 GPS 정보 등을 이용하여 교통 정보를 제공하는 네비게이션 등의 차량항법 장치 등이 많이 이용되고 있다.In general, with the advancement of industrial development, the vehicle penetration rate has increased exponentially, exceeding the vehicle capacity that the existing road network can accommodate. Accordingly, in recent years, vehicle navigation devices such as navigation that provide traffic information using traffic conditions and GPS information on roads have been widely used.

도로 위를 주행 중인 차량에게 전방 도로의 교통 정보를 제공하는 교통 정보 제공기도 많이 이용되고 있다. 이러한 교통 정보 제공기는 교통 정보를 제공하는 중앙 센터 등으로부터 도로 상황에 대한 정보 등을 수신하여 안내 하는 방식을 채용하고 있다. 이러한 교통 정보는 통신원으로부터 직접 입력되거나 도로 내부에 설치된 센서(CCTV)등으로부터 전방 도로의 교통 정보를 수집되고 있다.A traffic information provider that provides traffic information of a road ahead to a vehicle running on the road is also widely used. Such a traffic information provider adopts a method of receiving and guiding information on road conditions from a central center that provides traffic information. Such traffic information is directly input from a communication source or traffic information of a road ahead is collected from a sensor (CCTV) installed inside the road.

상기 CCTV를 이용한 교통 정보 수집에서, CCTV의 화각(view point)은 비스듬하게 설정되어 있어서 차량의 정확한 속도 및 위치를 획득하기에 어려움이 존재한다. In traffic information collection using the CCTV, it is difficult to obtain an accurate speed and location of the vehicle because the view point of the CCTV is set obliquely.

영상 데이터 분석 등의 작업 시, 수동적으로 차량의 정보를 추출하며, 이는 시간비용이 높고, 높은 노동력을 필요로 하는 비효율성이 존재한다. 스마트 교통 시스템으로의 전환을 위해서는 반드시 대용량 영상 데이터의 분석이 필요로 하며, 이에 따라 차량의 속도, 위치 등과 같은 행동 정보 추출의 자동화가 필요하다. When performing tasks such as image data analysis, vehicle information is manually extracted, which is costly in terms of time and inefficiency that requires high labor. In order to switch to a smart traffic system, large-capacity video data must be analyzed, and accordingly, the automation of behavioral information extraction, such as vehicle speed and location, is required.

이에 따라, 본 발명의 일 목적은 단일 이미지 센서 기반의 CCTV로부터 획득한 경사진 화각의 이미지로부터 오버헤드 뷰의 차량의 전면부 좌표를 빠르게 추출할 수 있는 교통 데이터 프로세서를 제공하는데 있다. Accordingly, one object of the present invention is to provide a traffic data processor capable of quickly extracting coordinates of the front of a vehicle in an overhead view from an image of an inclined angle of view obtained from a CCTV based on a single image sensor.

본 발명의 일 목적은 상기 교통 데이터 프로세서를 포함하는 교통 관제 시스템을 제공하는데 있다.One object of the present invention is to provide a traffic control system including the traffic data processor.

본 발명의 일 목적은 일 이미지 센서 기반의 CCTV로부터 획득한 경사진 화각의 이미지로부터 오버헤드 뷰의 차량의 전면부 좌표를 빠르게 추출할 수 있는 교통 데이터 처리 방법을 제공하는데 있다.One object of the present invention is to provide a traffic data processing method capable of quickly extracting coordinates of the front of a vehicle in an overhead view from an image of an oblique angle of view obtained from an image sensor-based CCTV.

상기 일 목적을 달성하기 위한 본 발명의 실시예에 따른 차량을 포함하는 이미지를 처리하는 교통 데이터 프로세서는 객체 탐지 모듈, 지상 전면부 탐지 모듈 및 시점 변환 모듈을 포함한다. 상기 객체 탐지 모듈은 도로변에 설치되고, 단일 이미지 센서를 사용하는 CCTV로부터 적어도 하나의 차량을 포함하는, 경사진 화각의 제1 이미지를 수신하고, 상기 제1 이미지에서 객체를 탐지하여 상기 차량과 관계되는 바운딩 박스와 상기 차량과 관계되는 마스크 매트릭스를 추출한다. 상기 지상 전면부 탐지 모듈은 상기 바운딩 박스 및 상기 마스크 매트릭스를 수신하고, 상기 바운딩 박스 및 상기 마스크 매트릭스에 기초하여 상기 바운딩 박스에서 상기 차량의 제1 방향의 제1 끝점의 제1 좌표와 상기 제1 방향과 직교하는 제2 방향의 제2 끝점의 제2 좌표를 산출하고, 상기 제1 좌표와 상기 제2 좌표에 기초하여 상기 차량의 지상 전면부 좌표 정보를 생성한다. 상기 시점 변환 모듈은 상기 지상 전면부 좌표 정보를 상기 차량이 주행하는 도로의 면에 평행한 오버헤드 전면부 좌표 정보로 변환한다.A traffic data processor for processing an image including a vehicle according to an embodiment of the present invention for achieving the above object includes an object detection module, a ground front part detection module, and a viewpoint conversion module. The object detection module is installed on a roadside, receives a first image of an inclined angle of view, including at least one vehicle, from a CCTV using a single image sensor, detects an object in the first image, and establishes a relationship with the vehicle. A bounding box and a mask matrix related to the vehicle are extracted. The ground front detection module receives the bounding box and the mask matrix, and based on the bounding box and the mask matrix, a first coordinate of a first end point in a first direction of the vehicle in the bounding box and the first A second coordinate of a second end point in a second direction orthogonal to the direction is calculated, and coordinate information of the front surface of the vehicle is generated based on the first coordinate and the second coordinate. The viewpoint conversion module converts the ground front part coordinate information into overhead front part coordinate information parallel to the surface of the road on which the vehicle travels.

실시예에 있어서, 상기 객체 탐지 모듈은 인공 신경망 엔진을 포함하고, 상기 인공 신경망 엔진은 상기 제1 이미지에 마스크 R-CNN(region based convolutional neural network)을 적용하여 상기 바운딩 박스와 상기 마스크 매트릭스를 추출할 수 있다.In an embodiment, the object detection module includes an artificial neural network engine, and the artificial neural network engine extracts the bounding box and the mask matrix by applying a mask region based convolutional neural network (R-CNN) to the first image. can do.

실시예에 있어서, 상기 마스크 행렬은 상기 바운딩 박스에 대응되는 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들 중 상기 차량이 존재하는 픽셀들은 제1 값을 가지고, 상기 차량이 존재하지 않는 픽셀들은 상기 제1 값과는 다른 제2 값을 가질 수 있다.In an embodiment, the mask matrix includes a plurality of pixels corresponding to the bounding box, pixels where the vehicle exists among the plurality of pixels have a first value, and pixels where the vehicle does not exist have the first value. It may have a second value different from the first value.

실시예에 있어서, 상기 지상 전면부 탐지 모듈은 상기 바운딩 박스와 상기 마스크 매트릭스에 기초하여 상기 제1 이미지 내에서 상기 차량의 전면부와 관계되는 상기 제1 좌표 및 상기 제2 좌표를 산출하고, 상기 제1 좌표와 상기 제2 좌표를 상기 도로의 차선 함수에 맵핑하여 상기 지상 전면부 좌표 정보를 생성할 수 있다.In an embodiment, the ground front part detection module calculates the first coordinates and the second coordinates related to the front part of the vehicle in the first image based on the bounding box and the mask matrix; The coordinate information of the front of the ground may be generated by mapping the first coordinates and the second coordinates to the lane function of the road.

실시예에 있어서, 상기 마스크 행렬은 상기 바운딩 박스에 대응되는 복수의 픽셀들을 포함할 수 있다. 상기 복수의 픽셀들 중 상기 차량이 존재하는 픽셀들은 제1 값을 가지고, 상기 차량이 존재하지 않는 픽셀들은 상기 제1 값과는 다른 제2 값을 가질 수 있다. 상기 차량이 상기 CCTV 방향인 경우에 상기 제1 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제1 방향의 좌표 값들 중 제1 최대 좌표 값에 해당하고, 상기 제2 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향의 좌표 값들 중 제2 최대 좌표 값에 해당할 수 있다. 상기 차량이 상기 CCTV 방향이 아닌 경우에 상기 제1 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제1 방향의 좌표 값들 중 제1 최소 좌표 값에 해당하고, 상기 제2 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향의 좌표 값들 중 제2 최소 좌표 값에 해당할 수 있다.In an embodiment, the mask matrix may include a plurality of pixels corresponding to the bounding box. Among the plurality of pixels, pixels where the vehicle exists may have a first value, and pixels where the vehicle does not exist may have a second value different from the first value. When the vehicle is in the direction of the CCTV, the first coordinate corresponds to a first maximum coordinate value among coordinate values in the first direction of pixels having the first value, and the second coordinate has the first value It may correspond to a second maximum coordinate value among coordinate values of pixels in the second direction. When the vehicle is not in the CCTV direction, the first coordinate corresponds to a first minimum coordinate value among coordinate values of pixels having the first value in the first direction, and the second coordinate corresponds to the first value may correspond to a second minimum coordinate value among coordinate values of pixels in the second direction.

실시예에 있어서, 상기 지상 전면부 탐지 모듈은 상기 제1 좌표와 상기 제2 좌표의 중점을 상기 차선 함수(l(x))에 매핑하여 상기 지상 전면부 좌표 정보를 산출할 수 있다. 상기 중점은 하기의 수학식 1로 표현될 수 있다. In an embodiment, the ground front part detection module may calculate the ground front part coordinate information by mapping midpoints of the first coordinates and the second coordinates to the lane function l(x). The midpoint can be expressed by Equation 1 below.

[수학식 1][Equation 1]

Figure 112021057418989-pat00001
Figure 112021057418989-pat00001

여기서, Mc는 상기 중점을 나타내고, Mh는 상기 제1 좌표를 나타내고, Mv는 하기 제2 좌표를 나타내고, x는 상기 제1 방향의 좌표 값을 나타내고, y는 상기 제2 방향의 좌표 값을 나타낼 수 있다.Here, M c represents the midpoint, M h represents the first coordinate, M v represents the second coordinate, x represents the coordinate value in the first direction, and y represents the coordinate in the second direction value can be displayed.

상기 지상 전면부 좌표 정보는 하기의 수학식 2로 표현되고,The ground front coordinate information is expressed by Equation 2 below,

[수학식 2][Equation 2]

Figure 112021057418989-pat00002
Figure 112021057418989-pat00002

Gtip은 상기 지상 전면부 좌표 정보를 나타낼 수 있다.G tip may indicate the coordinate information of the ground front part.

실시예에 있어서, 상기 도로에 복수의 차선들이 포함되는 경우, 상기 지상 전면부 탐지 모듈은 상기 복수의 차선들 중 상기 차량에 최인접한 차선을 선택하고, 상기 제1 좌표와 상기 제2 좌표의 중점을 상기 최인접한 차선의 차선 함수에 매핑할 수 있다.In an embodiment, when the road includes a plurality of lanes, the ground front part detection module selects a lane closest to the vehicle from among the plurality of lanes, and selects a midpoint between the first coordinate and the second coordinate. may be mapped to the lane function of the nearest lane.

실시예에 있어서, 상기 시점 변환 모듈은 상기 지상 전면부 좌표 정보를 변환 행렬에 적용하여 상기 오버헤드 전면부 좌표 정보를 생성하고,In an embodiment, the viewpoint conversion module generates the overhead front coordinate information by applying the ground front coordinate information to a transformation matrix;

상기 변환 행렬은 하기의 수학식3에 의하여 도출되고The transformation matrix is derived by Equation 3 below,

[수학식 3][Equation 3]

Figure 112021057418989-pat00003
Figure 112021057418989-pat00003

여기서, MT는 변환 행렬을 나타내고, xi, yi는 가상의 공간 상의 좌표 값들을 나타내고, i는 상기 제1 이미지에서 상기 바운딩 박스의 네 개의 꼭지점들의 위치를 나타낼 수 있다.Here, M T denotes a transformation matrix, xi and yi denote coordinate values in a virtual space, and i may denote positions of four vertices of the bounding box in the first image.

상기 시점 변환 모듈은 하기의 수학식 4를 이용하여 상기 지상 전면부 좌표 정보를 상기 오버헤드 전면부 좌표 정보로 변환하고,The viewpoint conversion module converts the ground front coordinate information into the overhead front coordinate information using Equation 4 below,

[수학식 4][Equation 4]

Figure 112021057418989-pat00004
,
Figure 112021057418989-pat00004
,

Gtip은 상기 지상 전면부 좌표 정보를 나타내고, x', y', w'는 하기의 수학식 5에 의하여 산출되고,G tip represents the coordinate information of the front surface of the ground, and x', y', and w' are calculated by Equation 5 below,

[수학식 5][Equation 5]

Figure 112021057418989-pat00005
,
Figure 112021057418989-pat00005
,

여기서 w'가 0이 아니면 w는 w'와 동일하고, w'가 0이면 w는 무한대일 수 있다.Here, if w' is not 0, w is equal to w', and if w' is 0, w may be infinite.

상기 일 목적을 달성하기 위한 교통 관제 시스템은 적어도 하나의 CCTV 및 교통 관제 센터를 포함한다. 상기 적어도 하나의 CCTV는 도로변에 설치되고, 단일 이미지 센서를 사용하여 도로를 운행하는 차량들을 포함하는 경사진 화각의 제1 이미지를 수집한다. 상기 교통 관제 센터는 상기 제1 이미지에 기초하여 관제 정보를 생성한다. 상기 교통 관제 센터는 교통 데이터 프로세서 및 통합 제어부를 포함한다. 상기 교통 데이터 프로세서는 상기 제1 이미지를 수신하고, 상기 제1 이미지에서 객체인 상기 차량을 탐지하고, 상기 차량의 지상 전면부 좌표 정보를 산출하고, 상기 지상 전면부 좌표 정보를 상기 도로의 면에 평행한 오버헤드 전면부 좌표 정보로 변환한다. 상기 통합 제어부는 상기 오버헤드 전면부 좌표 정보에 기초하여 상기 도로상의 교통 데이터를 분석하고, 상기 교통 데이터에 기초하여 상기 관제 정보를 생성한다. A traffic control system for achieving the above object includes at least one CCTV and a traffic control center. The at least one CCTV is installed on a roadside and collects a first image of an inclined view angle including vehicles operating on the road using a single image sensor. The traffic control center generates control information based on the first image. The traffic control center includes a traffic data processor and an integrated control unit. The traffic data processor receives the first image, detects the vehicle as an object in the first image, calculates coordinate information of the front of the ground of the vehicle, and displays the coordinate information of the front of the ground on the surface of the road. Converts to parallel overhead front coordinate information. The integrated control unit analyzes traffic data on the road based on the overhead front part coordinate information and generates the control information based on the traffic data.

상기 목적을 달성하기 위한 교통 데이터 처리 방법에서는 도로변에 설치되고, 단일 이미지 센서를 사용하는 CCTV로부터 적어도 하나의 차량을 포함하는, 경사진 화각의 CCTV 이미지를 획득하고, 상기 CCTV 이미지에서 객체를 탐지하여 상기 차량과 관계되는 바운딩 박스와 상기 차량과 관계되는 마스크 매트릭스를 추출하고, 상기 바운딩 박스 및 상기 마스크 매트릭스에 기초하여 상기 바운딩 박스에서 상기 차량의 지상 전면부 좌표 정보를 산출하고, 상기 지상 전면부 좌표 정보를 상기 차량이 주행하는 도로의 면에 평행한 오버헤드 전면부 좌표 정보로 변환하고 상기 오버헤드 전면부 좌표 정보에 기초하여 상기 도로와 관련된 교통 데이터를 분석한다.In the traffic data processing method for achieving the above object, a CCTV image having an inclined angle of view, including at least one vehicle, is obtained from a CCTV installed on a roadside and using a single image sensor, and an object is detected in the CCTV image. A bounding box related to the vehicle and a mask matrix related to the vehicle are extracted, based on the bounding box and the mask matrix, coordinate information of the front surface of the vehicle is calculated from the bounding box, and coordinates of the front surface of the vehicle are calculated. Information is converted into overhead front coordinate information parallel to the plane of the road on which the vehicle travels, and traffic data related to the road is analyzed based on the overhead front coordinate information.

본 발명의 예시적인 실시예들에 따른 교통 데이터 처리 회로 및 교통 관제 시스템에서는 도로변의 CCTV에서 수집한 기울어진 화각을 가지는 차량을 포함하는 이미지를 도로의 면에 평행한 오버헤드 이미지로 변환하고 오버헤드 전면부 좌표 정보로부터 도로 상의 차량의 속도, 위치 등과 같은 다양한 정보를 추출할 수 있다. 추출된 정보는 지능형 CCTV 기반의 차량 움직임 분석을 위한 교통정보 시스템, 영상정보 기반의 도로 안정성 평가를 위한 교통 안전 분야 및 지능형 CCTV 기반의 차량 및 보행자의 실제 사고 및 사고 가능성 탐지 시스템에 적용될 수 있다. 따라서 저비용으로 지능형 CCTV 기반의 관제 시스템 등을 구축할 수 있다.In the traffic data processing circuit and traffic control system according to exemplary embodiments of the present invention, an image including a vehicle having an inclined angle of view collected from a roadside CCTV is converted into an overhead image parallel to the surface of the road and overhead Various information such as the speed and location of the vehicle on the road may be extracted from the coordinate information of the front part. The extracted information can be applied to a traffic information system for analyzing vehicle motion based on intelligent CCTV, a traffic safety field for evaluating road safety based on image information, and a system for detecting actual accidents and possible accidents of vehicles and pedestrians based on intelligent CCTV. Therefore, it is possible to build an intelligent CCTV-based control system at low cost.

도 1은 본 발명의 실시예들에 따른 교통 관제 시스템과 도로 환경을 나타낸다.
도 2는 본 발명의 실시예들에 따른 도 1의 교통 관제 시스템에서 CCTV를 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 도 1의 교통 관제 시스템에서 미들웨어 서브를 나타내는 블록도이다.
도 4는 본 발명의 실시예들에 따른 도 1의 교통 관제 시스템에서 교통 관제 센터를 나타내는 블록도이다.
도 5는 본 발명의 실시예들에 따른 도 4의 교통 관제 시스템에서 교통 데이터 프로세서를 나타내는 블록도이다.
도 6은 도 5에서 객체 탐지 모듈이 제공하는 바운딩 박스와 마스크 매트릭스를 나타낸다.
도 7은 본 발명의 실시예들에 따른 마스크 매트릭스에서 차량 전면부 부분을 나타낸다.
도 8은 본 발명의 실시예들에 따른 도 5의 지상 전면부 탐지 모듈이 마스크 매트릭스에서 차량의 지상 전면부 좌표 정보를 산출하는 것을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예들에 따른 도 5의 시점 변환 모듈이 이미지의 시점을 변환하는 것을 나타낸다.
도 10은 본 발명의 실시예들에 따른 교통 데이터 처리 방법을 나타내는 흐름도이다.1 shows a traffic control system and a road environment according to embodiments of the present invention.
Figure 2 is a block diagram showing a CCTV in the traffic control system of Figure 1 according to embodiments of the present invention.
3 is a block diagram illustrating a middleware sub in the traffic control system of FIG. 1 according to embodiments of the present invention.
4 is a block diagram illustrating a traffic control center in the traffic control system of FIG. 1 according to embodiments of the present invention.
5 is a block diagram illustrating a traffic data processor in the traffic control system of FIG. 4 according to embodiments of the present invention.
FIG. 6 shows a bounding box and a mask matrix provided by the object detection module in FIG. 5 .
7 shows a vehicle front part in a mask matrix according to embodiments of the present invention.
FIG. 8 is a diagram for explaining that the ground front part detection module of FIG. 5 according to embodiments of the present invention calculates coordinate information of the ground front part of the vehicle from a mask matrix.
9 illustrates that the viewpoint conversion module of FIG. 5 converts a viewpoint of an image according to embodiments of the present invention.
10 is a flowchart illustrating a traffic data processing method according to embodiments of the present invention.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.For the embodiments of the present invention disclosed in the text, specific structural or functional descriptions are only exemplified for the purpose of explaining the embodiments of the present invention, and the embodiments of the present invention may be implemented in various forms and the text It should not be construed as being limited to the embodiments described above.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.Since the present invention may have various changes and various forms, specific embodiments are illustrated in the drawings and described in detail in the text. However, it should be understood that this is not intended to limit the present invention to the specific disclosed form, and includes all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Similar reference numerals have been used for components while describing each figure.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as "comprise" or "having" are intended to indicate that the described feature, number, step, operation, component, part, or combination thereof exists, but that one or more other features or numbers are present. However, it should be understood that it does not preclude the presence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in more detail. The same reference numerals are used for the same components in the drawings, and redundant descriptions of the same components are omitted.

도 1은 본 발명의 실시예들에 따른 교통 관제 시스템과 도로 환경을 나타낸다.1 shows a traffic control system and a road environment according to embodiments of the present invention.

도 1을 참조하면, 교통 관제 시스템은 CCTV(100), 미들웨어 서버(200) 및 관제 센터(400)를 포함할 수 있다.Referring to FIG. 1 , the traffic control system may include a CCTV 100 , a middleware server 200 and a control center 400 .

CCTV(100)는 도로(170) 변에 설치되고, 도로(170)를 운행하는 적어도 하나의 차량(150)을 촬영하고, 적어도 하나의 차량(150)을 포함하는 경사진 화각의 CCTV 이미지(제1 이미지)를 수집하여 제1 이미지를 미들웨어 서버(200)를 통하여 관제 센터(400)로 제공할 수 있다.The CCTV 100 is installed on the side of the road 170, takes pictures of at least one vehicle 150 running on the road 170, and has an inclined view angle CCTV image including the at least one vehicle 150 (first 1 image) may be collected and the first image may be provided to the control center 400 through the middleware server 200 .

실시예에 있어서, CCTV(100)는 단일 이미지 센서를 사용하여 적어도 하나의 차량(150)을 촬영할 수 있고, 단일 이미지 센서는 RGB 이미지 센서일 수 있다.In an embodiment, the CCTV 100 may photograph at least one vehicle 150 using a single image sensor, and the single image sensor may be an RGB image sensor.

실시예에 있어서, CCTV(100)는 미들웨어 서버(200)를 통하지 않고, 유무선 통신을 통하여 제1 이미지를 관제 센터(400)로 제공할 수 있다.In an embodiment, the CCTV 100 may provide the first image to the control center 400 through wired/wireless communication without going through the middleware server 200 .

도 1에 도시된 바와 같이, CCTV(100)는 도로(170) 변에 설치되어 차량(150)을 촬영하므로, CCTV(100)에서 생성되는 차량(150)을 포함하는 제1 이미지는 경사진 화각을 가질 수 있다.As shown in FIG. 1, since the CCTV 100 is installed on the side of the road 170 and photographs the vehicle 150, the first image including the vehicle 150 generated by the CCTV 100 has an inclined angle of view. can have

미들웨어 서버(200)는 CCTV(100)와 연결되고, CCTV(100)를 제어하고, CCTV(100)로부터 제공되는 제1 이미지를 저장하고, 제1 이미지를 관제 센터(400)로 송신할 수 있다.The middleware server 200 may be connected to the CCTV 100, control the CCTV 100, store a first image provided from the CCTV 100, and transmit the first image to the control center 400. .

관제 센터(400)는 경사진 화각의 제1 이미지를 수신하고, 상기 제1 이지미에서 차량을 탐지하고, 상기 제1 이미지에 포함된 차량의 지상 전면부 좌표 정보를 산출하고, 지상 전면부 좌표 정보를 상기 도로(170)의 면에 평행한 오버헤드 전면부 좌표 정보로 변환하고, 오버헤드 전면부 좌표 정보에 기초하여 도로(170)의 교통 정보를 분석할 수 있다. 관제 센터(400)는 분석된 교통 정보에 기초하여 도로의 상황에 관련된 관제 데이터를 도로(170)에 설치되는 디스플레이나 라디오 등을 통하여 차량(150)에 알릴 수 있다.The control center 400 receives a first image of an inclined angle of view, detects a vehicle in the first image, calculates coordinate information of the front of the vehicle included in the first image, and coordinates information of the front of the ground. It is possible to transform the coordinate information of the overhead front part parallel to the plane of the road 170, and analyze the traffic information of the road 170 based on the coordinate information of the overhead front part. The control center 400 may inform the vehicle 150 of control data related to road conditions based on the analyzed traffic information through a display installed on the road 170 or a radio.

도 2는 본 발명의 실시예들에 따른 도 1의 교통 관제 시스템에서 CCTV를 나타내는 블록도이다.Figure 2 is a block diagram showing a CCTV in the traffic control system of Figure 1 according to embodiments of the present invention.

도 2를 참조하면, CCTV(100)는 이미지 센서(110), 인코더(120), 메모리(130) 및 송신 모듈(140)을 포함할 수 있다.Referring to FIG. 2 , CCTV 100 may include an image sensor 110, an encoder 120, a memory 130, and a transmission module 140.

이미지 센서(110)는 차량(150)을 촬영하여, 차량(150)을 포함하는 이미지를 생성하고, 인코더(120)는 차량(150)을 포함하는 이미지를 정해진 포맷으로 인코딩하고, 메모리(130)는 인코딩된 이미지를 저장하고, 송신 모듈(140)은 저장된 이미지 또는 실시간 이미지를 미들웨어 서버(200)를 통하거나 또는 직접 관제 센터(400)로 송신할 수 있다.The image sensor 110 photographs the vehicle 150 to generate an image including the vehicle 150, the encoder 120 encodes the image including the vehicle 150 into a predetermined format, and the memory 130 stores an encoded image, and the transmission module 140 may transmit the stored image or real-time image to the control center 400 through the middleware server 200 or directly.

도 3은 본 발명의 실시예들에 따른 도 1의 교통 관제 시스템에서 미들웨어 서브를 나타내는 블록도이다.3 is a block diagram illustrating a middleware sub in the traffic control system of FIG. 1 according to embodiments of the present invention.

도 3을 참조하면, 미들웨어 서버(200)는 CCTV 제어 모듈(210), 통신 모듈(220) 및 데이터 베이스(230)를 포함할 수 있다.Referring to FIG. 3 , the middleware server 200 may include a CCTV control module 210, a communication module 220 and a database 230.

미들웨어 서버(200)는 CCTV(100)와 100m~1000m이내의 도로 갓길에 위치되어, CCTV(100)에서 측정된 차량을 포함하는 이미지를 교통 관제 센터(400)에 송신할 수 있다.The middleware server 200 may be located on the shoulder of the road within 100 m to 1000 m from the CCTV 100 and transmit an image including a vehicle measured by the CCTV 100 to the traffic control center 400 .

CCTV 제어 모듈(210)는 CCTV(100)의 전반적인 동작을 제어하는 것으로, 교통 관제 센터(400)로부터 영상 데이터 요청신호가 수신되는 경우에, CCTV(100)에서 측정된 영상 데이터를 교통 관제 센터(400)로 제공한다.The CCTV control module 210 controls the overall operation of the CCTV 100, and when a video data request signal is received from the traffic control center 400, the video data measured by the CCTV 100 is sent to the traffic control center ( 400) is provided.

통신 모듈(220)은 무선 통신망을 통해 교통 관제 센터(400)와 무선 데이터 통신을 수행한다.The communication module 220 performs wireless data communication with the traffic control center 400 through a wireless communication network.

데이터 베이스(230)는 CCTV(100)에서 측정된 차량의 영상데이터를 저장한다.The database 230 stores image data of the vehicle measured by the CCTV 100.

도 4는 본 발명의 실시예들에 따른 도 1의 교통 관제 시스템에서 교통 관제 센터를 나타내는 블록도이다.4 is a block diagram illustrating a traffic control center in the traffic control system of FIG. 1 according to embodiments of the present invention.

도 4를 참조하면, 교통 관제 센터(400)는 데이터 수신 모듈(410), 교통 데이터 프로세서(420), 통합 제어부(460), 서버(470), 데이터 송신 모듈(480)을 포함할 수 있다.Referring to FIG. 4 , the traffic control center 400 may include a data reception module 410, a traffic data processor 420, an integrated controller 460, a server 470, and a data transmission module 480.

데이터 수신 모듈(410)는 CCTV(100) 또는 미들웨어 서버(200)로부터 적어도 하나의 차량을 포함하는, 경사진 화각의 제1 이미지(RIMG)를 수신하고, 제1 이미지(RIMG)를 교통 데이터 프로세서(420)에 제공할 수 있다.The data receiving module 410 receives a first image RIMG of an inclined angle of view, including at least one vehicle, from the CCTV 100 or the middleware server 200, and transmits the first image RIMG to a traffic data processor. (420).

교통 데이터 프로세서(420)는 상기 제1 이미지(RIMG)에서 객체인 상기 차량을 탐지하고, 상기 차량의 지상 전면부 좌표 정보를 산출하고, 상기 지상 전면부 좌표 정보를 상기 도로(170)의 면에 평행한 오버헤드 전면부 좌표 정보(OFCI)로 변환하고, 오버헤드 전면부 좌표 정보(OFCI)를 통합 제어부(460)로 제공할 수 있다.The traffic data processor 420 detects the vehicle as an object in the first image RIMG, calculates the coordinate information of the front of the ground of the vehicle, and displays the coordinate information of the front of the ground on the surface of the road 170. It can be converted into parallel overhead front part coordinate information (OFCI), and the overhead front part coordinate information (OFCI) can be provided to the integrated control unit 460.

통합 제어부(460)는 교통 데이터 프로세서(420) 및 데이터 송신 모듈(480)을 제어할 수 있다. 통합 제어부(460)는 오버헤드 전면부 좌표 정보(OFCI)를 수신하고, 오버헤드 전면부 좌표 정보(OFCI)에 기초하여 도로(170)의 교통 데이터를 분석하고, 분석된 교통 데이터에 기초하여 도로상의 자동차들에 관련된 관제 정보(CTI)를 생성하고, 관제 정보(CTI)를 데이터 송신 모듈(480)에 제공할 수 있다.The integrated controller 460 may control the traffic data processor 420 and the data transmission module 480 . The integrated control unit 460 receives the overhead front coordinate information (OFCI), analyzes the traffic data of the road 170 based on the overhead front coordinate information (OFCI), and analyzes the road based on the analyzed traffic data. It is possible to generate control information (CTI) related to vehicles on the road and provide the control information (CTI) to the data transmission module 480 .

데이터 송신 모듈(480)은 관제 정보(CTI)를 도로 상의 정보 제공 장치나 라디오 등을 통하여 운전자들에게 제공할 수 있다.The data transmission module 480 may provide the control information CTI to drivers through an information providing device on the road or a radio.

서버(470)는 데이터 수신 모듈(410)이 수신한 이미지들을 저장하고, 교통 데이터 프로세서(420)가 처리할 데이터 또는 교통 데이터 프로세서(420)가 처리한 데이터를 저장할 수 있다.The server 470 may store images received by the data reception module 410 and store data to be processed by the traffic data processor 420 or data processed by the traffic data processor 420 .

도 5는 본 발명의 실시예들에 따른 도 4의 교통 관제 시스템에서 교통 데이터 프로세서를 나타내는 블록도이다.5 is a block diagram illustrating a traffic data processor in the traffic control system of FIG. 4 according to embodiments of the present invention.

도 5를 참조하면, 교통 데이터 프로세서(420)는 객체 탐지 모듈(430), 지상 전면부 탐지 모듈(440) 및 시점 변환 모듈(450)를 포함할 수 있다.Referring to FIG. 5 , the traffic data processor 420 may include an object detection module 430, a ground front part detection module 440, and a viewpoint conversion module 450.

객체 탐지 모듈(420)은 적어도 하나의 차량을 포함하는, 경사진 화각의 제1 이미지(RIMG)를 수신하고, 제1 이미지(RIMG)에서 객체인 차량을 탐지하여 상기 차량(150)과 관계되는 바운딩 박스(BB)와 상기 차량과 관계되는 마스크 매트릭스(MMT)를 추출할 수 있다.The object detection module 420 receives a first image RIMG with an inclined angle of view including at least one vehicle, detects a vehicle as an object in the first image RIMG, and determines a vehicle 150 related to the vehicle 150. A bounding box BB and a mask matrix MMT related to the vehicle may be extracted.

객체 탐지 모듈(420)은 인공 신경망 엔진(ANN, 425)을 포함하고, 인공 신경망 엔진(425)은 제1 이미지(RIMG)에 마스크 R-CNN(region based convolutional neural network)을 적용하여 상기 바운딩 박스(BB)와 상기 마스크 매트릭스(MMT)를 추출할 수 있다.The object detection module 420 includes an artificial neural network engine (ANN, 425), and the artificial neural network engine 425 applies a mask region based convolutional neural network (R-CNN) to the first image RIMG to detect the bounding box (BB) and the mask matrix (MMT) can be extracted.

마스트 R-CNN은 이미지 면(plane)에서 인스턴스 객체를 인식하는 알고리즘 중 하나이다. 수많은 바운딩 박스를 제안(proposal-based)하고 제안된 바운딩 박스 내에서 CNN(Convolutional Neural Network) 기반의 딥러닝 알고리즘으로 가장 주요한 인스턴스 객체를 픽셀 단위(pixel-wise)로 나타낸다. 이때 찾아낸 결과가 옳을 경우에는 이미지 내에서 인스턴스 객체에 해당하는 모든 픽셀들이 찾아질 것이다.Mast R-CNN is one of the algorithms for recognizing instance objects in an image plane. Numerous bounding boxes are proposed (proposal-based), and within the proposed bounding boxes, the most important instance objects are represented pixel-wise by a convolutional neural network (CNN)-based deep learning algorithm. At this time, if the found result is correct, all pixels corresponding to the instance object in the image will be found.

또한, 마스크 R-CNN은 제안된 바운딩 박스(RoI라고도 함)에서, 해당 위치의 특징 맵(feature map)을 RoIAlign 방식으로 추출하고, 추출된 특징 맵으로부터 객체의 클래스를 분류함과 동시에 객체의 마스크를 얻을 수 있으며, 여러 객체들을 각각의 인스턴스로 인식할 수 있다. 즉, 마스크 R-CNN은 RoIAlign과 클래스별 마스크를 분리하는 알고리즘이며, 객체 검출(object detection)과 semantic segmentation(이론적 분할)을 별개의 작업으로 수행하지 않을 수 있다. 그리고 RoIAlign은 특징 맵을 정렬(align)시켜 바이리니어 인터폴레이션(bilinear interpolation)과 같은 보간법을 사용하여 보정된 특정 값을 사용한다. 즉, RoIAlign은 반올림 등을 사용하지 않고 바이리니어 인터폴레이션을 이용해서 특징 맵의 RoI 영역을 정확하게 정렬되도록 할 수 있다.In addition, mask R-CNN extracts a feature map of the corresponding location from the proposed bounding box (also called RoI) using the RoIAlign method, classifies the object class from the extracted feature map, and at the same time masks the object. can be obtained, and multiple objects can be recognized as individual instances. That is, mask R-CNN is an algorithm that separates RoIAlign and mask for each class, and object detection and semantic segmentation (theoretical segmentation) may not be performed as separate tasks. In addition, RoIAlign aligns the feature maps and uses a specific value calibrated using an interpolation method such as bilinear interpolation. That is, RoIAlign can accurately align the RoI region of the feature map using bilinear interpolation without using rounding.

다시 말해, 마스크 R-CNN은 RoI 영역 안에 있는 객체의 마스클 예측할 때 클래스별로 독립적으로 예측할 수 있다. 즉 k개의 클래스가 존재한다면 마스크를 k개 예측할 수 있으며, 실제 클래스에 해당하는 마스크 채널의 loss(손실)만 사용해서 학습시킬 수 있다. 종래의 분할(segmentation) 네트워크에서는 영상의 한 픽셀이 어떤 클래스에 해당하는지를 예측하기 위해서 모든 클래스들은 서로 상호 배제임을 가정하였다. 그러므로 한 픽셀에 대해 모든 클래스가 경쟁 상태에 놓이게 된다.In other words, mask R-CNN can independently predict for each class when masking prediction of objects in the RoI area. That is, if there are k classes, k masks can be predicted, and only the loss of the mask channel corresponding to the actual class can be used for learning. In a conventional segmentation network, in order to predict which class a pixel of an image corresponds to, it is assumed that all classes are mutually exclusive. Therefore, all classes are in competition for one pixel.

그러나 마스크 R-CNN은 RoI의 객체의 클래스가 무엇인지 예측하는 것과 그 객체의 마스크를 예측하는 것이 분리되어 있다. 객체의 클래스 예측은 다른 네트워크와 마찬가지로 상호 배제를 가정하여 서로 경쟁하나, 그 객체의 마스크를 예측할 때는 객체에 대한 k개의 마스크를 예측하고, k개의 마스크는 loss 계산이 독립적으로 이루어지기 때문에 서로 경쟁하지 않을 수 있다.However, in Mask R-CNN, predicting what the class of an object of RoI is and predicting the mask of that object are separated. Like other networks, object class prediction competes with each other by assuming mutual exclusion, but when predicting the object's mask, k masks for the object are predicted, and the k masks do not compete with each other because the loss calculation is performed independently. may not be

지상 전면부 탐지 모듈(430)은 상기 바운딩 박스(BB)와 상기 마스크 매트릭스(MMT)를 수신하고, 상기 바운딩 박스(BB) 및 상기 마스크 매트릭스(MMT)에 기초하여 상기 바운딩 박스(BB)에서 상기 차량의 제1 방향의 제1 끝점의 제1 좌표와 상기 제1 방향과 직교하는 제2 방향의 제2 끝점의 제2 좌표를 산출하고, 상기 제1 좌표와 상기 제2 좌표에 기초하여 상기 차량의 지상 전면부 좌표 정보(GFCI)를 산출할 수 있다.The ground front part detection module 430 receives the bounding box BB and the mask matrix MMT, and in the bounding box BB based on the bounding box BB and the mask matrix MMT, A first coordinate of a first end point in a first direction of the vehicle and a second coordinate of a second end point in a second direction orthogonal to the first direction are calculated, and the vehicle is determined based on the first coordinate and the second coordinate. Ground front part coordinate information (GFCI) of can be calculated.

시점 변환 모듈(450)은 지상 전면부 좌표 정보(GFPI)를 수신하고, 지상 전면부 좌표 정보(GFCI)를 차량(150)이 주행하는 도로(170)의 면에 평행한 오버헤드 전면부 좌표 정보(OFCI)를 산출하고, 오버헤드 전면부 좌표 정보(OFCI)를 도 4의 통합 제어부(460)에 제공할 수 있다.The viewpoint conversion module 450 receives the ground front part coordinate information (GFPI), and converts the ground front part coordinate information (GFCI) into overhead front part coordinate information parallel to the plane of the road 170 on which the vehicle 150 is traveling. (OFCI) may be calculated and the overhead front part coordinate information (OFCI) may be provided to the integrated control unit 460 of FIG. 4 .

도 6은 도 5에서 객체 탐지 모듈이 제공하는 바운딩 박스(BB)와 마스크 매트릭스(MMT)를 나타낸다. FIG. 6 shows a bounding box (BB) and a mask matrix (MMT) provided by the object detection module in FIG. 5 .

도 6을 참조하면, 제1 이미지(RIMG)에서 차량을 포함하는 사각형 박스가 바운딩 박스(BB)로 추출될 수 있고, 바운딩 박스(BB) 내에서 차량이 위치하는 픽셀들이 마스크 매트릭스(MMT)로 추출될 수 있다.Referring to FIG. 6 , a rectangular box including a vehicle in the first image RIMG may be extracted as a bounding box BB, and pixels in which the vehicle is located in the bounding box BB may be extracted as a mask matrix MMT. can be extracted.

도 6에서, 바운딩 박스(BB)는 복수의 픽셀들로 구성될 수 있고, 마스크 매트릭스(MMT)도 바운딩 박스(BB)에 대응되는 복수의 픽셀들을 포함하고, 마스크 매트릭스(MMT) 내의 픽셀들 중 차량이 존재하는 픽셀들은 제1 값(예를 들어 하이 레벨)을 가지고, 차량이 존재하지 않는 픽셀들은 제2 값(예를 들어 로우 레벨)을 가질 수 있다.6, the bounding box BB may be composed of a plurality of pixels, the mask matrix MMT also includes a plurality of pixels corresponding to the bounding box BB, and among the pixels in the mask matrix MMT Pixels with a vehicle present may have a first value (eg, high level), and pixels without a vehicle may have a second value (eg, low level).

도 7은 본 발명의 실시예들에 따른 마스크 매트릭스에서 차량 전면부 부분을 나타낸다.7 shows a vehicle front part in a mask matrix according to embodiments of the present invention.

도 7를 참조하면, 차량 전면부의 마스크 매트릭스(MMT)의 픽셀들 중 차량이 존재하는 픽셀들은 제1 값('1')을 가지고, 차량이 존재하지 않는 픽셀들은 제2 값('0')을 가지고 있어 차량과 배경을 구분할 수 있다. 또한 차량 전면부는 제2 값을 가지는 픽셀들에 인접한 제1 값을 가지는 픽셀들로 구성될 수 있으므로, 전면부 탐지 모듈(440)은 마스크 매트릭스에서 차량의 전면부를 구분하고, 상기 차량의 전면부로부터 지상 전면부 좌표 정보를 산출할 수 있다.Referring to FIG. 7 , among the pixels of the mask matrix MMT of the front part of the vehicle, pixels where the vehicle is present have a first value ('1'), and pixels where the vehicle is not present have a second value ('0'). , so that the vehicle and the background can be distinguished. In addition, since the front part of the vehicle may be composed of pixels having a first value adjacent to pixels having a second value, the front part detection module 440 identifies the front part of the vehicle in the mask matrix and identifies the front part of the vehicle from the front part of the vehicle. It is possible to calculate the coordinate information of the ground front part.

도 8은 본 발명의 실시예들에 따른 도 5의 지상 전면부 탐지 모듈이 마스크 매트릭스에서 차량의 지상 전면부 좌표 정보를 산출하는 것을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining that the ground front part detection module of FIG. 5 according to embodiments of the present invention calculates coordinate information of the ground front part of the vehicle from a mask matrix.

도 5 및 도 8을 참조하면, 지상 전면부 탐지 모듈(440)은 도 7의 마스크 매트릭스(MMT)의 제1 값을 가지는 픽셀들 중, 차량의 제1 방향(D1, x 방향)의 제1 끝점의 제1 좌표(Mh)와 상기 제1 방향(D1)과 직교하는 제2 방향(D2, y 방향)의 제2 끝점의 제2 좌표(Mv)를 산출하고, 상기 제1 좌표(Mh)와 상기 제2 좌표(Mv)에 기초하여 상기 차량의 지상 전면부 좌표 정보를 산출할 수 있다.Referring to FIGS. 5 and 8 , the ground front part detection module 440 detects a first pixel in a first direction (D1, x direction) of the vehicle among pixels having a first value of the mask matrix MMT of FIG. 7 . Calculate the first coordinate (Mh) of the end point and the second coordinate (Mv) of the second end point in the second direction (D2, y direction) orthogonal to the first direction (D1), and the first coordinate (Mh) Based on the and the second coordinate Mv, coordinate information of the ground front part of the vehicle may be calculated.

지상 전면부 탐지 모듈(440)은 상기 제1 좌표(Mh)와 상기 제2 좌표(Mv)를 도로의 차선 함수(l(x))에 매핑하여 지상 전면부 좌표 정보를 산출할 수 있다.The ground front part detection module 440 may calculate ground front part coordinate information by mapping the first coordinate Mh and the second coordinate Mv to the lane function l(x) of the road.

도 1에서 차량(150)이 CCTV 방향(100)인 경우에 상기 제1 좌표(Mh)는 상기 제1 값을 가지는 픽셀들의 상기 제1 방향(D1)의 좌표 값들 중 제1 최대 좌표 값에 해당하고, 상기 제2 좌표(Mv)는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향(D2)의 좌표 값들 중 제2 최대 좌표 값에 해당할 수 있다.In FIG. 1 , when the vehicle 150 is in the CCTV direction 100, the first coordinate Mh corresponds to a first maximum coordinate value among coordinate values of pixels having the first value in the first direction D1. The second coordinate Mv may correspond to a second maximum coordinate value among coordinate values of the pixels having the first value in the second direction D2.

상기 차량(150)이 CCTV 방향(100)이 아닌 경우에 상기 제1 좌표(Mh)는 상기 제1 값을 가지는 픽셀들의 상기 제1 방향(D1)의 좌표 값들 중 제1 최소 좌표 값에 해당하고, 상기 제2 좌표(Mv)는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향(D2)의 좌표 값들 중 제2 최소 좌표 값에 해당할 수 있다.When the vehicle 150 is not in the CCTV direction 100, the first coordinate Mh corresponds to a first minimum coordinate value among coordinate values in the first direction D1 of pixels having the first value, , The second coordinate Mv may correspond to a second minimum coordinate value among coordinate values in the second direction D2 of pixels having the first value.

지상 전면부 탐지 모듈(440)은 상기 제1 좌표(Mh)와 상기 제2 좌표(Mv)의 중점(Mc)을 상기 차선 함수(l(x))에 매핑하여 상기 지상 전면부 좌표 정보를 산출할 수 있다.The ground front part detection module 440 calculates the ground front part coordinate information by mapping the midpoint Mc of the first coordinate Mh and the second coordinate Mv to the lane function l(x). can do.

상기 제1 좌표(Mh)와 상기 제2 좌표(Mv)의 중점(Mc)의 하기의 수학식 1에 의하여 산출될 수 있다.The midpoint Mc of the first coordinate Mh and the second coordinate Mv may be calculated by Equation 1 below.

[수학식 1][Equation 1]

Figure 112021057418989-pat00006
Figure 112021057418989-pat00006

여기서, x는 상기 제1 방향(D1)의 좌표 값을 나타내고, y는 상기 제2 방향(D2)의 좌표 값을 나타낼 수 있다.Here, x may represent a coordinate value in the first direction D1, and y may represent a coordinate value in the second direction D2.

지상 전면부 좌표 정보는 하기의 수학식 2로 표현될 수 있다.The ground front coordinate information may be expressed by Equation 2 below.

[수학식 2][Equation 2]

Figure 112021057418989-pat00007
Figure 112021057418989-pat00007

여기서, Gtip은 상기 지상 전면부 좌표 정보(GFCI)를 나타낸다.Here, G tip represents the ground front part coordinate information (GFCI).

도 1에서 도로(170)에 복수의 차선들이 포함되는 경우, 지상 전면부 탐지 모듈(440)은 상기 복수의 차선들 중 상기 차량(150)에 가징 인접한 차선을 선택하고, 상기 제1 좌표와 상기 제2 좌표의 중점을 상기 가징 인접한 차선의 차선 함수에 매핑할 수 있다. In FIG. 1 , when the road 170 includes a plurality of lanes, the ground front part detection module 440 selects a lane closest to the vehicle 150 from among the plurality of lanes, and determines the first coordinates and the A midpoint of the second coordinate may be mapped to a lane function of a lane adjacent thereto.

시점 변환 모듈(450)은 지상 전면부 좌표 정보(GFCI)를 변환 행렬에 적용하여 상기 오버헤드 전면부 좌표 정보(OFCI)를 산출하고,The viewpoint conversion module 450 applies the ground front coordinate information (GFCI) to a transformation matrix to calculate the overhead front coordinate information (OFCI),

상기 변환 행렬은 하기의 [수학식3]에 의하여 도출되고The conversion matrix is derived by [Equation 3] below,

[수학식 3][Equation 3]

Figure 112021057418989-pat00008
Figure 112021057418989-pat00008

여기서, MT는 변환 행렬을 나타내고, xi, yi는 가상의 공간 상의 좌표 값들을 나타내고, i는 상기 제1 이미지(RIMG)에서 상기 바운딩 박스(BB)의 네 개의 꼭지점들의 위치를 나타낼 수 있다.Here, M T denotes a transformation matrix, xi and yi denote coordinate values in a virtual space, and i denotes positions of four vertexes of the bounding box BB in the first image RIMG.

시점 변환 모듈(450)은 하기의 [수학식 4]를 이용하여 상기 지상 전면부 좌표 정보(Gtip)를 상기 오버헤드 전면부 좌표 정보(OFCI)로 변환하고,The viewpoint conversion module 450 converts the ground front coordinate information (Gtip) into the overhead front coordinate information (OFCI) using the following [Equation 4],

[수학식 4][Equation 4]

Figure 112021057418989-pat00009
,
Figure 112021057418989-pat00009
,

여기서, x', y', w'는 하기의 [수학식 5]에 의하여 산출되고,Here, x', y', w' are calculated by [Equation 5] below,

[수학식 5][Equation 5]

Figure 112021057418989-pat00010
,
Figure 112021057418989-pat00010
,

여기서 w'가 0이 아니면 w는 w'와 동일하고, w'가 0이면 w는 무한대일 수 있다.Here, if w' is not 0, w is equal to w', and if w' is 0, w may be infinite.

도 9는 본 발명의 실시예들에 따른 도 5의 시점 변환 모듈이 이미지의 시점을 변환하는 것을 나타낸다.9 illustrates that the viewpoint conversion module of FIG. 5 converts a viewpoint of an image according to embodiments of the present invention.

도 9를 참조하면, 시점 변환 모듈(450)은 기울어진 화각을 가지는 도로의 차선(511)과 차량의 움직임(513)을 도로(170)의 면에 평행한 오버헤드 이미지로 변환(520)할 수 있음을 알 수 있다.Referring to FIG. 9 , the viewpoint conversion module 450 converts a lane 511 of a road having an inclined angle of view and a motion 513 of a vehicle into an overhead image parallel to the plane of the road 170 (520). know that it can.

기울어진 화각을 가지는 차량을 포함하는 이미지가 도로(170)의 면에 평행한 오버헤드 이미지로 변환되면, 도 4의 통합 제어부(460)는 오버헤드 전면부 좌표 정보(OFCI)로부터 차량(150)의 속도, 위치 등과 같은 다양한 정보를 추출할 수 있다. 추출된 정보는 지능형 CCTV 기반의 차량 움직임 분석을 위한 교통정보 시스템, 영상정보 기반의 도로 안정성 평가를 위한 교통 안전 분야 및 지능형 CCTV 기반의 차량 및 보행자의 실제 사고 및 사고 가능성 탐지 시스템에 적용될 수 있다.When an image including a vehicle having an inclined view angle is converted into an overhead image parallel to the plane of the road 170, the integrated controller 460 of FIG. 4 converts the vehicle 150 from the overhead front coordinate information OFCI. It is possible to extract various information such as speed and location of The extracted information can be applied to a traffic information system for analyzing vehicle motion based on intelligent CCTV, a traffic safety field for evaluating road safety based on image information, and a system for detecting actual accidents and possible accidents of vehicles and pedestrians based on intelligent CCTV.

또한, 단일 이미지 센서를 이용하는 CCTV(100)를 사용하므로, 추가적인 센서의 부착 및 설치 등과 같은 인프라 비용의 증가 없이 단일 CCTV 영상 센서만으로 차량의 속도 및 위치 등과 같은 행동정보를 추출할 수 있고, 획득한 정보를 바탕으로 실제 사고 발생 전 교통 위험상황을 사전에 감지할 수 있고, 현재 운영 중인 시스템과 다르게 차량 행동 정보 추출의 자동화를 통해 인건비 감소 및 데이터 분석의 효율성을 증대시킬 수 있다.In addition, since the CCTV 100 using a single image sensor is used, it is possible to extract behavioral information such as vehicle speed and location using only a single CCTV image sensor without increasing infrastructure costs such as attachment and installation of additional sensors, and obtained Based on the information, it is possible to detect traffic danger situations in advance before an actual accident occurs, and unlike the currently operating system, automation of vehicle behavior information extraction can reduce labor costs and increase the efficiency of data analysis.

도 10은 본 발명의 실시예들에 따른 교통 데이터 처리 방법을 나타내는 흐름도이다.10 is a flowchart illustrating a traffic data processing method according to embodiments of the present invention.

도 1 내지 도 10을 참조하면, 본 발명의 실시예들에 따른 교통 데이터 처리 방법에서는, 도로변에 설치되고, 단일 이미지 센서를 사용하는 CCTV(100)로부터 적어도 하나의 차량을 포함하는, 경사진 화각의 CCTV 이미지(RIMG)를 획득한다(S110).1 to 10, in the traffic data processing method according to the embodiments of the present invention, an inclined angle of view including at least one vehicle from a CCTV 100 installed on a roadside and using a single image sensor. Obtain a CCTV image (RIMG) of (S110).

상기 CCTV 이미지(RIMG)에서 객체를 탐지하여 상기 차량(150)과 관계되는 바운딩 박스(BB)와 상기 차량(150)과 관계되는 마스크 매트릭스(MMT)를 추출한다(S120).An object is detected in the CCTV image RIMG, and a bounding box BB related to the vehicle 150 and a mask matrix MMT related to the vehicle 150 are extracted (S120).

상기 바운딩 박스(BB) 및 상기 마스크 매트릭스(MMT)에 기초하여 상기 바운딩 박스(BB)에서 상기 차량의 지상 전면부 좌표 정보(GFCI)를 산출한다(S130).Ground front part coordinate information GFCI of the vehicle is calculated in the bounding box BB based on the bounding box BB and the mask matrix MMT (S130).

상기 지상 전면부 좌표 정보(GFCI)를 상기 차량(150)이 주행하는 도로(170)의 면에 평행한 오버헤드 전면부 좌표 정보(OFCI)로 변환한다(S140).The ground front part coordinate information (GFCI) is converted into overhead front part coordinate information (OFCI) parallel to the plane of the road 170 on which the vehicle 150 is traveling (S140).

상기 오버헤드 전면부 좌표 정보(OFCI)에 기초하여 상기 도로(170)와 관련된 교통 데이터를 분석한다(S150). Traffic data related to the road 170 is analyzed based on the overhead front part coordinate information (OFCI) (S150).

본 발명은 교통 데이터를 이용하는 시스템에 다양하게 사용될 수 있다.The present invention can be used in a variety of systems using traffic data.

상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다. Although the above has been described with reference to the embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

Claims (17)

차량을 포함하는 이미지를 처리하는 교통 데이터 프로세서로서,
도로변에 설치되고, 단일 이미지 센서를 사용하는 CCTV로부터 적어도 하나의 차량을 포함하는, 경사진 화각의 제1 이미지를 수신하고, 상기 제1 이미지에서 객체를 탐지하여 상기 차량과 관계되는 바운딩 박스와 상기 차량과 관계되는 마스크 매트릭스를 추출하는 객체 탐지 모듈;
상기 바운딩 박스 및 상기 마스크 매트릭스를 수신하고, 상기 바운딩 박스 및 상기 마스크 매트릭스에 기초하여 상기 바운딩 박스에서 상기 차량의 제1 방향의 제1 끝점의 제1 좌표와 상기 제1 방향과 직교하는 제2 방향의 제2 끝점의 제2 좌표를 산출하고, 상기 제1 좌표와 상기 제2 좌표에 기초하여 상기 차량의 지상 전면부 좌표 정보를 생성하는 지상 전면부 탐지 모듈; 및
상기 지상 전면부 좌표 정보를 상기 차량이 주행하는 도로의 면에 평행한 오버헤드 전면부 좌표 정보로 변환하는 시점 변환 모듈을 포함하는 교통 데이터 프로세서. As a traffic data processor for processing images containing vehicles,
Installed on the roadside and receiving a first image with an inclined angle of view, including at least one vehicle, from a CCTV using a single image sensor, detecting an object in the first image, and detecting an object in the bounding box associated with the vehicle and the an object detection module for extracting a mask matrix related to the vehicle;
Receives the bounding box and the mask matrix, and based on the bounding box and the mask matrix, a first coordinate of a first end point of the vehicle in the first direction and a second direction orthogonal to the first direction in the bounding box a ground front part detection module that calculates second coordinates of a second end point of and generates ground front part coordinate information of the vehicle based on the first coordinates and the second coordinates; and
and a viewpoint conversion module for converting the coordinate information of the front part of the ground into coordinate information of the overhead front part parallel to the surface of the road on which the vehicle travels. 제1항에 있어서,
상기 객체 탐지 모듈은 인공 신경망 엔진을 포함하고,
상기 인공 신경망 엔진은 상기 제1 이미지에 마스크 R-CNN(region based convolutional neural network)을 적용하여 상기 바운딩 박스와 상기 마스크 매트릭스를 추출하는 교통 데이터 프로세서.According to claim 1,
The object detection module includes an artificial neural network engine,
The artificial neural network engine extracts the bounding box and the mask matrix by applying a mask region based convolutional neural network (R-CNN) to the first image. 제2항에 있어서,
상기 마스크 매트릭스는 상기 바운딩 박스에 대응되는 복수의 픽셀들을 포함하고,
상기 복수의 픽셀들 중 상기 차량이 존재하는 픽셀들은 제1 값을 가지고, 상기 차량이 존재하지 않는 픽셀들은 상기 제1 값과는 다른 제2 값을 가지는 교통 데이터 프로세서.According to claim 2,
The mask matrix includes a plurality of pixels corresponding to the bounding box,
Among the plurality of pixels, pixels where the vehicle is present have a first value, and pixels where the vehicle is not present have a second value different from the first value. 제1항에 있어서, 상기 지상 전면부 탐지 모듈은
상기 바운딩 박스와 상기 마스크 매트릭스에 기초하여 상기 제1 이미지 내에서 상기 차량의 전면부와 관계되는 상기 제1 좌표 및 상기 제2 좌표를 산출하고,
상기 제1 좌표와 상기 제2 좌표를 상기 도로의 차선 함수에 맵핑하여 상기 지상 전면부 좌표 정보를 생성하는 교통 데이터 프로세서.The method of claim 1, wherein the ground front detection module
calculating the first coordinates and the second coordinates related to the front portion of the vehicle in the first image based on the bounding box and the mask matrix;
A traffic data processor configured to generate the coordinate information of the front of the ground by mapping the first coordinates and the second coordinates to a lane function of the road. 제4항에 있어서,
상기 마스크 매트릭스는 상기 바운딩 박스에 대응되는 복수의 픽셀들을 포함하고,
상기 복수의 픽셀들 중 상기 차량이 존재하는 픽셀들은 제1 값을 가지고, 상기 차량이 존재하지 않는 픽셀들은 상기 제1 값과는 다른 제2 값을 가지고,
상기 차량의 주행 방향이 상기 CCTV의 촬영 방향과 일치하는 경우에 상기 제1 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제1 방향의 좌표 값들 중 제1 최대 좌표 값에 해당하고, 상기 제2 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향의 좌표 값들 중 제2 최대 좌표 값에 해당하고,
상기 차량의 주행 방향이 상기 CCTV의 촬영 방향과 일치하는 않는 경우에 상기 제1 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제1 방향의 좌표 값들 중 제1 최소 좌표 값에 해당하고, 상기 제2 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향의 좌표 값들 중 제2 최소 좌표 값에 해당하는 교통 데이터 프로세서.According to claim 4,
The mask matrix includes a plurality of pixels corresponding to the bounding box,
Among the plurality of pixels, pixels where the vehicle is present have a first value, and pixels where the vehicle is not present have a second value different from the first value;
When the driving direction of the vehicle coincides with the photographing direction of the CCTV, the first coordinate corresponds to a first maximum coordinate value among coordinate values of pixels having the first value in the first direction, and the second coordinate corresponds to a second maximum coordinate value among the coordinate values of the pixels having the first value in the second direction,
When the driving direction of the vehicle does not match the photographing direction of the CCTV, the first coordinate corresponds to a first minimum coordinate value among coordinate values of pixels having the first value in the first direction, and the second A coordinate corresponds to a second minimum coordinate value among coordinate values in the second direction of pixels having the first value. 제5항에 있어서,
상기 지상 전면부 탐지 모듈은 상기 제1 좌표와 상기 제2 좌표의 중점을 상기 차선 함수(l(x))에 매핑하여 상기 지상 전면부 좌표 정보를 산출하고,
상기 중점은 하기의 수학식 1로 표현되고,
[수학식 1]
Figure 112021057418989-pat00011

여기서, Mc는 상기 중점을 나타내고, Mh는 상기 제1 좌표를 나타내고, Mv는 하기 제2 좌표를 나타내고, x는 상기 제1 방향의 좌표 값을 나타내고, y는 상기 제2 방향의 좌표 값을 나타내는 교통 데이터 프로세서. According to claim 5,
The ground front part detection module calculates the ground front part coordinate information by mapping the midpoint of the first coordinate and the second coordinate to the lane function l(x);
The midpoint is represented by Equation 1 below,
[Equation 1]
Figure 112021057418989-pat00011

Here, M c represents the midpoint, M h represents the first coordinate, M v represents the second coordinate, x represents the coordinate value in the first direction, and y represents the coordinate in the second direction A traffic data processor representing values. 제6항에 있어서,
상기 지상 전면부 좌표 정보는 하기의 수학식 2로 표현되고,
[수학식 2]
Figure 112021057418989-pat00012

Gtip은 상기 지상 전면부 좌표 정보를 나타내는 교통 데이터 프로세서.According to claim 6,
The ground front coordinate information is expressed by Equation 2 below,
[Equation 2]
Figure 112021057418989-pat00012

G tip is a traffic data processor indicating the coordinate information of the front of the ground. 제7항에 있어서,
상기 도로에 복수의 차선들이 포함되는 경우, 상기 지상 전면부 탐지 모듈은 상기 복수의 차선들 중 상기 차량에 최인접한 차선을 선택하고, 상기 제1 좌표와 상기 제2 좌표의 중점을 상기 최인접한 차선의 차선 함수에 매핑하는 교통 데이터 프로세서.According to claim 7,
When the road includes a plurality of lanes, the ground front part detection module selects a lane closest to the vehicle among the plurality of lanes, and sets the midpoint of the first coordinate and the second coordinate to the closest lane. A traffic data processor that maps to a lane function of 제1항에 있어서,
상기 시점 변환 모듈은 상기 지상 전면부 좌표 정보를 변환 행렬에 적용하여 상기 오버헤드 전면부 좌표 정보를 생성하고,
상기 변환 행렬은 하기의 수학식3에 의하여 도출되고
[수학식 3]
Figure 112023007633390-pat00013

여기서, MT는 변환 행렬을 나타내고, xi, yi는 가상의 공간 상의 좌표 값들을 나타내고, i는 상기 제1 이미지에서 상기 바운딩 박스의 네 개의 꼭지점들의 위치를 나타내는 교통 데이터 프로세서. According to claim 1,
The viewpoint conversion module generates the overhead front coordinate information by applying the ground front coordinate information to a transformation matrix;
The transformation matrix is derived by Equation 3 below,
[Equation 3]
Figure 112023007633390-pat00013

Here, M T represents a transformation matrix, xi and yi represent coordinate values in a virtual space, and i represents positions of four vertices of the bounding box in the first image. 제9항에 있어서,
상기 시점 변환 모듈은 하기의 수학식 4를 이용하여 상기 지상 전면부 좌표 정보를 상기 오버헤드 전면부 좌표 정보로 변환하고,
[수학식 4]
Figure 112023007633390-pat00014
,
Gtip은 상기 지상 전면부 좌표 정보를 나타내고, x', y', w'는 하기의 수학식 5에 의하여 산출되고,
[수학식 5]
Figure 112023007633390-pat00015
,
여기서 w'가 0이 아니면 w는 w'와 동일하고, w'가 0이면 w는 무한대인 교통 데이터 프로세서. According to claim 9,
The viewpoint conversion module converts the ground front coordinate information into the overhead front coordinate information using Equation 4 below,
[Equation 4]
Figure 112023007633390-pat00014
,
G tip represents the coordinate information of the front of the ground, and x', y', and w' are calculated by Equation 5 below,
[Equation 5]
Figure 112023007633390-pat00015
,
Here, if w' is not 0, w is equal to w', and if w' is 0, then w is infinite. 도로변에 설치되고, 단일 이미지 센서를 사용하여 도로를 운행하는 차량들을 포함하는 경사진 화각의 제1 이미지를 수집하는 적어도 하나의 CCTV; 및
상기 제1 이미지에 기초하여 관제 정보를 생성하는 교통 관제 센터를 포함하고,
상기 교통 관제 센터는
상기 제1 이미지를 수신하고, 상기 제1 이미지에서 객체인 상기 차량을 탐지하고, 상기 차량의 지상 전면부 좌표 정보를 산출하고, 상기 지상 전면부 좌표 정보를 상기 도로의 면에 평행한 오버헤드 전면부 좌표 정보로 변환하는 교통 데이터 프로세서; 및
상기 오버헤드 전면부 좌표 정보에 기초하여 상기 도로상의 교통 데이터를 분석하고, 상기 교통 데이터에 기초하여 상기 관제 정보를 생성하는 통합 제어부를 포함하는 교통 관제 시스템. At least one CCTV installed on a roadside and collecting a first image of an inclined angle of view including vehicles driving on the road using a single image sensor; and
A traffic control center generating control information based on the first image;
The traffic control center
Receiving the first image, detecting the vehicle as an object in the first image, calculating the coordinate information of the front of the ground of the vehicle, and converting the coordinate information of the front of the ground to the overhead front parallel to the plane of the road a traffic data processor that converts sub-coordinate information; and
and an integrated controller configured to analyze traffic data on the road based on the overhead front coordinate information and generate the control information based on the traffic data. 제11항에 있어서, 상기 교통 데이터 프로세서는
상기 제1 이미지를 수신하고, 상기 제1 이미지에서 객체를 탐지하여 상기 차량과 관계되는 바운딩 박스와 상기 차량과 관계되는 마스크 매트릭스를 추출하는 객체 탐지 모듈;
상기 바운딩 박스 및 상기 마스크 매트릭스를 수신하고, 상기 바운딩 박스 및 상기 마스크 매트릭스에 기초하여 상기 바운딩 박스에서 상기 차량의 제1 방향의 제1 끝점의 제1 좌표와 상기 제1 방향과 직교하는 제2 방향의 제2 끝점의 제2 좌표를 산출하고, 상기 제1 좌표와 상기 제2 좌표에 기초하여 상기 차량의 상기 지상 전면부 좌표 정보를 산출하는 지상 전면부 탐지 모듈; 및
상기 지상 전면부 좌표 정보를 상기 오버헤드 전면부 좌표 정보로 변환하는 시점 변환 모듈을 포함하는 교통 관제 시스템.12. The method of claim 11, wherein the traffic data processor
an object detection module receiving the first image, detecting an object in the first image, and extracting a bounding box related to the vehicle and a mask matrix related to the vehicle;
Receives the bounding box and the mask matrix, and based on the bounding box and the mask matrix, a first coordinate of a first end point of the vehicle in the first direction and a second direction orthogonal to the first direction in the bounding box a ground front part detection module for calculating second coordinates of a second end point of and calculating the ground front part coordinate information of the vehicle based on the first coordinates and the second coordinates; and
and a viewpoint conversion module for converting the ground front part coordinate information into the overhead front part coordinate information. 제12항에 있어서,
상기 객체 탐지 모듈은 인공 신경망 엔진을 포함하고,
상기 인공 신경망 엔진은 상기 제1 이미지에 마스크 R-CNN(region based convolutional neural network)을 적용하여 상기 바운딩 박스와 상기 마스크 매트릭스를 추출하는 교통 관제 시스템.According to claim 12,
The object detection module includes an artificial neural network engine,
The artificial neural network engine extracts the bounding box and the mask matrix by applying a mask region based convolutional neural network (R-CNN) to the first image. 제12항에 있어서, 상기 지상 전면부 탐지 모듈은
상기 바운딩 박스와 상기 마스크 매트릭스에 기초하여 상기 제1 이미지 내에서 상기 차량의 전면부와 관계되는 상기 제1 좌표 및 상기 제2 좌표를 산출하고,
상기 제1 좌표와 상기 제2 좌표를 상기 도로의 차선 함수에 맵핑하여 상기 지상 전면부 좌표 정보를 산출하고,
상기 마스크 매트릭스는 상기 바운딩 박스에 대응되는 복수의 픽셀들을 포함하고,
상기 복수의 픽셀들 중 상기 차량이 존재하는 픽셀들은 제1 값을 가지고, 상기 차량이 존재하지 않는 픽셀들은 상기 제1 값과는 다른 제2 값을 가지고,
상기 차량의 주행 방향이 상기 CCTV의 촬영 방향과 일치하는 경우에 상기 제1 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제1 방향의 좌표 값들 중 제1 최대 좌표 값에 해당하고, 상기 제2 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향의 좌표 값들 중 제2 최대 좌표 값에 해당하고,
상기 차량의 주행 방향이 상기 CCTV의 촬영 방향과 일치하는 않는 경우에 상기 제1 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향의 좌표 값들 중 제1 최소 좌표 값에 해당하고, 상기 제2 좌표는 상기 제1 값을 가지는 픽셀들의 상기 제2 방향의 좌표 값들 중 제2 최소 좌표 값에 해당하는 교통 관제 시스템.The method of claim 12, wherein the ground front detection module
calculating the first coordinates and the second coordinates related to the front portion of the vehicle in the first image based on the bounding box and the mask matrix;
Calculating the coordinate information of the front surface of the ground by mapping the first coordinates and the second coordinates to a lane function of the road;
The mask matrix includes a plurality of pixels corresponding to the bounding box,
Among the plurality of pixels, pixels where the vehicle is present have a first value, and pixels where the vehicle is not present have a second value different from the first value;
When the driving direction of the vehicle coincides with the photographing direction of the CCTV, the first coordinate corresponds to a first maximum coordinate value among coordinate values of pixels having the first value in the first direction, and the second coordinate corresponds to a second maximum coordinate value among the coordinate values of the pixels having the first value in the second direction,
When the driving direction of the vehicle does not match the photographing direction of the CCTV, the first coordinate corresponds to a first minimum coordinate value among coordinate values of pixels having the first value in the second direction, and the second The traffic control system of claim 1 , wherein the coordinate corresponds to a second minimum coordinate value among coordinate values of pixels having the first value in the second direction. 제11항에 있어서,
상기 적어도 하나의 CCTV는 유무선 통신을 통하여 상기 제1 이미지를 상기 교통 관제 센터에 제공하는 교통 관제 시스템.According to claim 11,
The at least one CCTV traffic control system provides the first image to the traffic control center through wired/wireless communication. 제11항에 있어서, 상기 교통 관제 센터는
상기 제1 이미지를 수신하는 데이터 수신 모듈; 및
상기 데이터 수신 모듈 및 상기 교통 데이터 프로세서에 연결되어, 상기 교통 데이터 프로세서가 처리할 데이터 및 상기 교통 데이터 프로세서가 처리한 데이터를 저장하는 서버를 더 포함하는 교통 관제 시스템.The method of claim 11, wherein the traffic control center
a data receiving module receiving the first image; and
and a server connected to the data receiving module and the traffic data processor to store data to be processed by the traffic data processor and data processed by the traffic data processor. 도로변에 설치되고, 단일 이미지 센서를 사용하는 CCTV로부터 적어도 하나의 차량을 포함하는, 경사진 화각의 CCTV 이미지를 획득하는 단계;
상기 CCTV 이미지에서 객체를 탐지하여 상기 차량과 관계되는 바운딩 박스와 상기 차량과 관계되는 마스크 매트릭스를 추출하는 단계;
상기 바운딩 박스 및 상기 마스크 매트릭스에 기초하여 상기 바운딩 박스에서 상기 차량의 제1 방향의 제1 끝점의 제1 좌표와 상기 제1 방향과 직교하는 제2 방향의 제2 끝점의 제2 좌표를 산출하고, 상기 제1 좌표와 상기 제2 좌표에 기초하여 상기 차량의 지상 전면부 좌표 정보를 산출하는 단계;
상기 지상 전면부 좌표 정보를 상기 차량이 주행하는 도로의 면에 평행한 오버헤드 전면부 좌표 정보로 변환하는 단계; 및
상기 오버헤드 전면부 좌표 정보에 기초하여 상기 도로와 관련된 교통 데이터를 분석하는 단계를 포함하는 교통 데이터 처리 방법.
Obtaining a CCTV image of an inclined angle of view, including at least one vehicle, from a CCTV installed on a roadside and using a single image sensor;
detecting an object in the CCTV image and extracting a bounding box related to the vehicle and a mask matrix related to the vehicle;
Calculate a first coordinate of a first end point of the vehicle in a first direction and a second coordinate of a second end point of a second direction orthogonal to the first direction in the bounding box based on the bounding box and the mask matrix; calculating coordinate information of the ground front of the vehicle based on the first coordinates and the second coordinates;
converting the ground front part coordinate information into overhead front part coordinate information parallel to the surface of the road on which the vehicle travels; and
and analyzing traffic data related to the road based on the overhead front part coordinate information.
KR1020210064133A 2021-05-18 2021-05-18 A traffic data processor, traffic controlling system and method of processing traffic data KR102523637B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210064133A KR102523637B1 (en) 2021-05-18 2021-05-18 A traffic data processor, traffic controlling system and method of processing traffic data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210064133A KR102523637B1 (en) 2021-05-18 2021-05-18 A traffic data processor, traffic controlling system and method of processing traffic data

Publications (2)

Publication Number Publication Date
KR20220156292A KR20220156292A (en) 2022-11-25
KR102523637B1 true KR102523637B1 (en) 2023-04-20

Family

ID=84237181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210064133A KR102523637B1 (en) 2021-05-18 2021-05-18 A traffic data processor, traffic controlling system and method of processing traffic data

Country Status (1)

Country Link
KR (1) KR102523637B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019211814A (en) 2018-05-31 2019-12-12 株式会社東芝 Congestion prediction device and congestion prediction method
KR102082254B1 (en) * 2018-03-14 2020-02-27 광주과학기술원 a vehicle recognizing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100532058B1 (en) * 2002-12-30 2005-12-02 엘에스산전 주식회사 Traffic information acquisition method and apparatus using camera calibration
KR20190089336A (en) * 2018-01-22 2019-07-31 숭실대학교산학협력단 Speed Measurement Device and Method of Object in Video, Recording Medium for Performing the Method
KR102197946B1 (en) * 2018-11-30 2021-01-04 (주)케이아이오티 object recognition and counting method using deep learning artificial intelligence technology

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102082254B1 (en) * 2018-03-14 2020-02-27 광주과학기술원 a vehicle recognizing system
JP2019211814A (en) 2018-05-31 2019-12-12 株式会社東芝 Congestion prediction device and congestion prediction method

Also Published As

Publication number Publication date
KR20220156292A (en) 2022-11-25

Similar Documents

Publication Publication Date Title
US10636161B2 (en) Image recognition system
CN110175576B (en) Driving vehicle visual detection method combining laser point cloud data
US20230014874A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
US9245188B2 (en) Lane detection system and method
US7671725B2 (en) Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP2019175451A (en) Real-time detection of traffic situation
US7346190B2 (en) Traffic line recognition device
KR20210080459A (en) Lane detection method, apparatus, electronic device and readable storage medium
US9779312B2 (en) Environment recognition system
KR102388806B1 (en) System for deciding driving situation of vehicle
US20230222671A1 (en) System for predicting near future location of object
JP2007060273A (en) Environment recognition device
CN113221756A (en) Traffic sign detection method and related equipment
KR20130128162A (en) Apparatus and method for detecting curve traffic lane using rio division
CN110210384B (en) Road global information real-time extraction and representation system
KR102163774B1 (en) Apparatus and method for image recognition
KR102523637B1 (en) A traffic data processor, traffic controlling system and method of processing traffic data
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
WO2022230319A1 (en) Data driven dynamically reconfigured disparity map
US20240153106A1 (en) Object tracking device
WO2021199584A1 (en) Detecting debris in a vehicle path
KR102368262B1 (en) Method for estimating traffic light arrangement information using multiple observation information
JP6449699B2 (en) Environment recognition system
JP4629638B2 (en) Vehicle periphery monitoring device
WO2020100540A1 (en) Information processing device, information processing system, information processing method, and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right