KR102177614B1 - Lane generation system for collecting traffic information and method thereof - Google Patents

Lane generation system for collecting traffic information and method thereof Download PDF

Info

Publication number
KR102177614B1
KR102177614B1 KR1020200003127A KR20200003127A KR102177614B1 KR 102177614 B1 KR102177614 B1 KR 102177614B1 KR 1020200003127 A KR1020200003127 A KR 1020200003127A KR 20200003127 A KR20200003127 A KR 20200003127A KR 102177614 B1 KR102177614 B1 KR 102177614B1
Authority
KR
South Korea
Prior art keywords
lane
vehicle
image
road
vanishing point
Prior art date
Application number
KR1020200003127A
Other languages
Korean (ko)
Inventor
최인호
Original Assignee
렉스젠(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렉스젠(주) filed Critical 렉스젠(주)
Priority to KR1020200003127A priority Critical patent/KR102177614B1/en
Application granted granted Critical
Publication of KR102177614B1 publication Critical patent/KR102177614B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles

Abstract

The present invention relates to a lane generation system for collecting traffic information and a method thereof. According to the present invention, the lane generation system for collecting traffic information comprises: a vanishing point extraction unit extracting a vanishing point by using an image of a road acquired from a photographing device; a vehicle detection unit detecting both end points of a lower end of a vehicle for each of vehicles appearing in the image; a lane estimation unit estimating at least one lane region in the image on the basis of a triangular region generated by connecting the vanishing point of the road to the both end points of the lower end of the vehicle; and a control unit applying the estimated lane region within the image. The present invention can estimate each lane region on the basis of a result of overlapping the region generated by connecting the vanishing point of the road within the taken image of the road to the both end points of the lower end of the vehicle to automatically apply the lane region within the image and, based thereon, can effectively provide a traffic volume for each lane.

Description

교통 정보 수집을 위한 차로 생성 시스템 및 그 방법{LANE GENERATION SYSTEM FOR COLLECTING TRAFFIC INFORMATION AND METHOD THEREOF}Lane generation system for collecting traffic information and its method {LANE GENERATION SYSTEM FOR COLLECTING TRAFFIC INFORMATION AND METHOD THEREOF}

본 발명은 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 촬영한 영상을 분석하여 영상 내에 차로 영역을 자동으로 설정할 수 있는 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법에 관한 것이다.The present invention relates to a lane generation system and method for collecting traffic information, and more particularly, to a lane generation system and method for collecting traffic information capable of automatically setting a lane area within an image by analyzing a captured image. About.

최근 교통량의 증가와 차량의 증가, 차량 성능 향상 등으로 인하여 많은 사회 문제가 대두되고 있다. 이에 따라 도로 곳곳에 교통 정보를 측정하거나 차량의 위법 행위를 감시하기 위한 정보 수집 장치들이 다양하게 설치되고 있다.Recently, many social problems have arisen due to an increase in traffic volume, an increase in vehicles, and improvement in vehicle performance. Accordingly, various information collection devices have been installed to measure traffic information or monitor illegal behavior of vehicles on various roads.

그 중에서 교통 정보 수집 장치는 도로의 시설물에 고정된 카메라를 이용하여 도로의 영상을 촬영하고 영상 내 설정 지점을 통과하는 차량을 검지한 결과를 기초로 도로의 교통량 및 소통 정보 등을 제공한다.Among them, the traffic information collection device captures an image of a road using a camera fixed to a facility on the road and provides traffic volume and traffic information of the road based on a result of detecting a vehicle passing through a set point in the image.

그런데, 한 대의 카메라를 통해 도로의 영상을 분석하여 차로 별로 교통 정보를 제공하기 위해서는 영상으로부터 각 차로를 구분하거나 인식한 후 영상 내 차로를 설정하는 작업이 필요하다. 영상 내에 설정한 각 차로의 영역과 차량의 검지 영역 간을 비교하면 각 차로 별 교통 정보를 제공할 수 있다. However, in order to provide traffic information for each lane by analyzing the image of the road through a single camera, it is necessary to identify or recognize each lane from the image and then set the lane within the image. Traffic information for each lane can be provided by comparing the area of each lane set in the image and the detection area of the vehicle.

하지만, 바람이나 외력 등으로 인해 카메라의 위치 틀어짐 또는 흔들림이 발생하게 되면, 영상에 기 설정해 둔 차로 영역과 실제 영상 내 보여지는 차로 영역이 화면 상에서 서로 일치하지 않게 되고 이로 인해 영상 처리 시 오탐을 유발할 가능성이 존재한다.However, if the position of the camera is shifted or shaken due to wind or external force, the lane area preset in the image and the lane area shown in the actual image do not coincide with each other on the screen, which may cause false positives during image processing. The possibility exists.

이러한 점을 해결하기 위한 방법으로 차량 이동 궤적 기반의 차로 생성 방식이 개시된 바 있다. 하지만 이 방식은 영상 내 차량의 정밀한 추적(트래킹)이 요구되고 최소 50대 정도의 차량 궤적을 수집해야 하므로, 교통량이 적은 차로나 도로에서는 관제 센터에서 차량 이동 궤적을 수작업으로 설정해 주어야 하는 불편함이 존재한다.As a method for solving this problem, a method of generating a lane based on a vehicle movement trajectory has been disclosed. However, this method requires precise tracking (tracking) of vehicles in the video and requires at least 50 vehicle trajectories to be collected.Therefore, in lanes or roads with low traffic, the inconvenience of manually setting the vehicle movement trajectory in the control center exist.

본 발명의 배경이 되는 기술은 한국공개특허 제2010-0047053호(2010.05.07 공개)에 개시되어 있다.The technology behind the present invention is disclosed in Korean Patent Publication No. 2010-0047053 (published on May 7, 2010).

본 발명은, 영상에서 검출된 도로의 소실점 및 차량 하단의 양 끝점을 이용하여 도로의 각 차로 영역을 빠르게 추정하고 추정한 차로 영역을 영상 내 적용할 수 있는 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법을 제공하는데 목적이 있다.The present invention provides a lane generation system for collecting traffic information capable of quickly estimating each lane area of a road and applying the estimated lane area in an image using the vanishing point of the road detected in the image and both end points of the lower part of the vehicle, and It aims to provide a method.

본 발명은, 촬영 장치로부터 획득한 도로의 영상을 이용하여 소실점을 추출하는 소실점 추출부와, 상기 영상 내 출현하는 차량 각각을 대상으로 차량 하단의 양 끝점을 검출하는 차량 검출부와, 상기 도로의 소실점과 상기 차량 하단의 양 끝점을 연결하여 생성한 삼각형 영역을 기초로 영상 내 적어도 하나의 차로 영역을 추정하는 차로 추정부, 및 상기 추정한 차로 영역을 상기 영상 내에 적용하는 제어부를 포함하는 교통 정보 수집을 위한 차로 생성 시스템을 제공한다.The present invention provides a vanishing point extracting unit for extracting a vanishing point using an image of a road obtained from a photographing device, a vehicle detecting unit for detecting both end points of the lower end of the vehicle for each vehicle appearing in the image, and the vanishing point of the road Traffic information collection comprising a lane estimating unit for estimating at least one lane area in an image based on a triangular area generated by connecting both end points of the lower end of the vehicle and a control unit for applying the estimated lane area to the image It provides a car generation system for

또한, 상기 차로 추정부는, 상기 삼각형 영역을 시간 별 또는 차량 별로 중첩한 결과를 기초로 상기 영상 내 적어도 하나의 차로 영역을 추정할 수 있다.In addition, the lane estimating unit may estimate at least one lane area in the image based on a result of overlapping the triangular area for each time or vehicle.

또한, 상기 소실점 추출부는, 상기 영상에서 검출된 도로의 경계선을 이용하여 상기 소실점을 추출할 수 있다.In addition, the vanishing point extracting unit may extract the vanishing point using a boundary line of the road detected in the image.

또한, 상기 소실점 추출부는, 스틱셀 기법을 이용하여 상기 영상에서 상기 도로의 경계선을 검출할 수 있다.In addition, the vanishing point extractor may detect a boundary line of the road from the image using a stick cell technique.

또한, 상기 소실점 추출부는, 상기 도로의 경계선이 곡선형인 경우, 상기 도로를 복수의 도로 구간으로 분할하고 상기 도로 구간 별로 소실점을 추출하여 상기 도로를 따라 다중의 소실점을 획득할 수 있다.In addition, when the boundary line of the road is curved, the vanishing point extracting unit may divide the road into a plurality of road sections and extract vanishing points for each road section to obtain multiple vanishing points along the road.

또한, 상기 소실점 추출부는, 상기 도로 구간 별로 해당 도로 구간의 경계선을 기반으로 생성한 가상 직선을 이용하여 해당 도로 구간에 대응하는 소실점을 개별 추출할 수 있다.In addition, the vanishing point extractor may individually extract a vanishing point corresponding to a corresponding road section by using a virtual straight line generated based on a boundary line of a corresponding road section for each road section.

또한, 상기 가상 직선은, 상기 해당 도로 구간의 경계선 각각에 대해 경계선의 시작점과 끝점 사이를 직선으로 연결하여 생성될 수 있다.In addition, the virtual straight line may be generated by connecting a start point and an end point of the boundary line with a straight line for each boundary line of the corresponding road section.

또한, 상기 차로 추정부는, 상기 복수의 도로 구간 중에서 해당 차량이 위치한 도로 구간의 소실점을 이용하여 해당 차량에 대응한 삼각형 영역을 생성하며, 각 도로 구간 별로 상기 삼각형 영역을 중첩하고 각 도로 구간 상에서 획득된 중첩 영역을 전체 도로 구간을 따라 서로 연결한 결과로부터 상기 차로 영역을 추정할 수 있다.In addition, the lane estimator generates a triangular area corresponding to the vehicle by using the vanishing point of the road section in which the vehicle is located among the plurality of road sections, overlaps the triangular area for each road section, and acquires it on each road section. The lane area may be estimated from the result of connecting the overlapped areas along the entire road section.

또한, 상기 차로 추정부는, 상기 영상 내 새롭게 획득된 삼각형 영역을 이전 시간에 기 생성된 차로 영역과 중첩하여 상기 차로 영역을 업데이트하여 상기 제어부로 제공할 수 있다.In addition, the lane estimating unit may update the lane region by overlapping the newly acquired triangular region in the image with the lane region previously generated in the previous time, and provide it to the control unit.

또한, 상기 차로 추정부는, 상기 차로 영역의 형상, 면적, 길이, 폭 중 적어도 하나를 업데이트할 수 있다.In addition, the lane estimating unit may update at least one of a shape, an area, a length, and a width of the lane area.

또한, 상기 차량 검출부는, 상기 영상 내 검출한 차량 객체에 대응하여 객체 외곽을 둘러싸는 사각형 박스를 설정한 다음, 상기 사각형 박스 내에서 차량 하단의 양 끝점을 검출할 수 있다.In addition, the vehicle detection unit may set a rectangular box surrounding an outer edge of the object corresponding to the vehicle object detected in the image, and then detect both end points of the lower end of the vehicle within the rectangular box.

또한, 상기 차량 검출부는, 상기 영상 내 차량 객체에 대응하여 검출되는 상기 차량 하단의 시간 별 위치 변화를 이용하여 차량의 속도를 검출하고, 차량 별로 상기 속도를 포함한 차량 검출 정보를 제공할 수 있다.In addition, the vehicle detection unit may detect the speed of the vehicle by using a position change of the lower portion of the vehicle detected in correspondence with the vehicle object in the image by time, and provide vehicle detection information including the speed for each vehicle.

또한, 상기 제어부는, 상기 영상 내 각 차로 영역 별로 검출되는 차량들의 속도를 기반으로 차로 별 평균 속도를 산출하여 제공할 수 있다.Further, the controller may calculate and provide an average speed for each lane based on the speeds of vehicles detected for each lane area in the image.

그리고, 본 발명은, 차로 생성 시스템을 이용한 차로 생성 방법에 있어서, 촬영 장치로부터 획득한 도로의 영상을 이용하여 소실점을 추출하는 단계와, 상기 영상 내 출현하는 차량 각각을 대상으로 차량 하단의 양 끝점을 검출하는 단계와, 상기 도로의 소실점과 상기 차량 하단의 양 끝점을 연결하여 생성한 삼각형 영역을 기초로 영상 내 적어도 하나의 차로 영역을 추정하는 단계, 및 상기 추정한 차로 영역을 상기 영상 내에 적용하는 단계를 포함하는 교통 정보 수집을 위한 차로 생성 방법을 제공한다.In addition, the present invention provides a method for generating a lane using a lane generation system, the step of extracting a vanishing point using an image of a road obtained from a photographing device, and both end points at the bottom of the vehicle for each vehicle appearing in the image. Estimating an area of at least one lane in the image based on a triangular area generated by connecting the vanishing point of the road and both end points of the lower part of the vehicle, and applying the estimated lane area to the image It provides a lane generation method for collecting traffic information including the step of.

또한, 상기 추정하는 단계는, 상기 삼각형 영역을 시간 별 또는 차량 별로 중첩한 결과를 기초로 상기 영상 내 적어도 하나의 차로 영역을 추정할 수 있다.Further, in the estimating step, an area of at least one lane in the image may be estimated based on a result of overlapping the triangular area for each time or for each vehicle.

또한, 상기 추출하는 단계는, 상기 영상에서 검출된 도로의 경계선을 이용하여 상기 소실점을 추출할 수 있다.In addition, in the extracting, the vanishing point may be extracted using a boundary line of a road detected in the image.

또한, 상기 영상 내 각 차로 영역 별로 검출되는 차량들의 속도를 기반으로 차로 별 평균 속도를 산출하여 제공하는 단계를 더 포함할 수 있다.In addition, the method may further include calculating and providing an average speed for each lane based on the speeds of vehicles detected for each lane area in the image.

본 발명에 의하면, 도로를 촬영한 영상 내 도로의 소실점과 차량의 양 끝점을 서로 연결한 영역을 중첩한 결과를 기초로 각 차로 영역을 추정하여 영상 내 자동으로 적용할 수 있으며, 영상 내 적용된 차로 정보를 이용하여 차로 별 교통량을 효과적으로 제공할 수 있다.According to the present invention, the area of each lane can be estimated and automatically applied in the image based on the result of overlapping the area in which the vanishing point of the road and the two end points of the vehicle are connected to each other in the image of the road. By using information, traffic volume for each lane can be effectively provided.

또한, 본 발명은 영상 내 출현하는 차량에 대해 시간별 수집되는 삼각형 영역을 누적하고 중첩하는 것만으로 차로 영역을 생성할 수 있어, 한 대의 차량 만으로도 차로 영역을 자동으로 생성할 수 있고 교통량이 적은 도로에서도 차로 영역의 생성이 가능하다.In addition, the present invention can create a lane area only by accumulating and overlapping triangular areas collected by time for vehicles appearing in an image, so that a lane area can be automatically generated with only one vehicle, and even on a road with low traffic It is possible to create a lane area.

또한, 영상 내 차량 추적 과정을 전혀 요구하지 않아 영상 분석 및 처리 시간을 절감할 수 있으며, 단순히 객체(차량) 검출 만으로도 차로 영역을 빠르고 쉽게 추정할 수 있다.In addition, since the vehicle tracking process in the image is not required at all, image analysis and processing time can be reduced, and a lane area can be quickly and easily estimated by simply detecting an object (vehicle).

도 1은 본 발명의 실시 예에 따른 교통 정보 수집을 위한 차로 생성 시스템을 도시한 도면이다.
도 2는 도 1에 도시된 차로 생성 장치의 세부 구성을 나타낸 도면이다.
도 3a 내지 도 3c는 본 발명의 실시 예에서 영상 내 도로의 경계선을 이용하여 소실점을 추출하는 과정을 나타낸 도면이다.
도 4는 본 발명의 실시 예에서 영상으로부터 차량 하단의 양 끝점을 검출하는 원리를 설명하는 도면이다.
도 5는 도 4의 결과를 이용하여 삼각형 영역을 생성한 모습을 나타낸 도면이다.
도 6은 도 5의 결과를 누적하여 생성한 차로 영역을 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따라 영상으로부터 차로 영역을 추정하여 영상 내 적용한 모습을 나타낸 도면이다.
도 8은 본 발명의 실시 예에서 곡선 도로에 대응하여 다중 소실점을 추출하는 과정을 나타낸 도면이다.
도 9는 도 8의 과정을 기반으로 생성한 차로 영역을 나타낸 예시도이다.
도 10은 도 1에 도시된 차로 생성 시스템을 이용한 차로 생성 방법을 설명하기 위한 도면이다.
1 is a diagram illustrating a lane generation system for collecting traffic information according to an embodiment of the present invention.
FIG. 2 is a diagram showing a detailed configuration of the lane generation device shown in FIG. 1.
3A to 3C are diagrams illustrating a process of extracting a vanishing point using a boundary line of a road in an image in an embodiment of the present invention.
4 is a diagram illustrating a principle of detecting both end points of a lower end of a vehicle from an image in an embodiment of the present invention.
5 is a diagram showing a state in which a triangular region is generated using the result of FIG. 4.
6 is a diagram illustrating a lane area generated by accumulating the results of FIG. 5.
7 is a diagram illustrating a state in which a lane area is estimated from an image and applied to an image according to an embodiment of the present invention.
8 is a diagram illustrating a process of extracting multiple vanishing points corresponding to a curved road in an embodiment of the present invention.
9 is an exemplary diagram showing a lane area generated based on the process of FIG. 8.
10 is a diagram for explaining a method of generating a lane using the lane generation system shown in FIG. 1.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Then, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Then, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, the term "unit" used in the specification refers to a hardware component such as software, FPGA, or ASIC, and "unit" performs certain roles. However,'part' is not limited to software or hardware. The'unit' may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors.

따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.Thus, as an example, "unit" refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Includes subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables. The functions provided within the components and "units" may be combined into a smaller number of components and "units" or may be further separated into additional components and "units".

도 1은 본 발명의 실시 예에 따른 교통 정보 수집을 위한 차로 생성 시스템을 도시한 도면이다.1 is a diagram illustrating a lane generation system for collecting traffic information according to an embodiment of the present invention.

도 1에 나타낸 것과 같이, 본 발명의 실시 예에 따른 교통 정보 수집을 위한 차로 생성 시스템은 촬영 장치(100) 및 차로 생성 장치(200)를 포함한다.As shown in FIG. 1, a lane generation system for collecting traffic information according to an exemplary embodiment of the present invention includes a photographing device 100 and a lane generation device 200.

촬영 장치(100)는 복수의 차로를 포함하는 도로의 영상을 촬영하고, 촬영한 영상을 차로 생성 장치(200)로 제공한다. 촬영 장치(100)는 카메라를 포함하며, 카메라를 이용하여 영상을 촬영하고, 촬영한 영상을 차로 생성 장치(200)로 제공한다.The photographing device 100 photographs an image of a road including a plurality of lanes, and provides the photographed image to the lane generating device 200. The photographing apparatus 100 includes a camera, photographs an image using the camera, and provides the photographed image to the lane generation apparatus 200.

촬영 장치(100)는 고정(Fixed), 회전(PTZ) 형식의 카메라를 포함하며, 일반 도로, 고속 도로, 비포장 도로, 교차로 지점 등의 도로에서 지주 등과 같은 시설물에 장착되어 운용될 수 있다.The photographing apparatus 100 includes a fixed or rotating (PTZ) type camera, and may be installed and operated on a facility such as a prop on roads such as general roads, expressways, unpaved roads, and intersection points.

촬영 장치(100)는 유무선 통신 방식을 통해 차로 생성 장치(200)와 연결되어 영상을 제공할 수 있다. 여기서, 유무선 통신 방식은 데이터 송수신이 가능한 공지된 다양한 통신 방식을 포함한다.The photographing device 100 may be connected to the lane generating device 200 through a wired or wireless communication method to provide an image. Here, the wired and wireless communication methods include various known communication methods capable of transmitting and receiving data.

차로 생성 장치(200)는 영상으로부터 도로의 소실점과 영상 내 차량의 하단부 양 끝점을 검출하며, 도로 소실점과 차량 양 끝점을 이은 삼각형 영역을 지속적으로 누적하고 중첩한 결과로부터 영상 내 각 차로 영역을 추정하고, 추정한 차로 영역을 영상 내 적용할 수 있다.The lane generation device 200 detects the vanishing point of the road and both ends of the vehicle in the image from the image, and continuously accumulates the triangular regions connecting the vanishing points of the road and both ends of the vehicle, and estimates each lane area in the image from the result of overlapping. And, the estimated lane area can be applied to the image.

또한, 차로 생성 장치(200)는 영상 내 적용된 각각의 차로 영역 별로 차량을 검지하고, 검지한 정보를 기초로 차로별, 주행 방향별, 시간별 교통 정보(예: 차량의 속도, 평균 속도, 정체도, 차종, 통행량, 차량 점유율 등)를 획득하여 운영 장치(300)로 제공할 수 있다.In addition, the lane generating device 200 detects a vehicle for each lane area applied in the image, and based on the detected information, traffic information by lane, driving direction, and time (e.g., vehicle speed, average speed, congestion map) , Vehicle type, traffic volume, vehicle occupancy, etc.) can be obtained and provided to the operating device 300.

또한, 차로 생성 장치(200)는 영상 내 각 차로 영역에서 검지한 각 차량 별 차량 검출 정보를 기초로 속도 위반을 단속하여 차량 단속 정보를 운영 장치(300)로 제공할 수 있다. In addition, the lane generating device 200 may detect a speed violation based on vehicle detection information for each vehicle detected in each lane area in the image and provide vehicle enforcement information to the operating device 300.

운영 장치(300)는 도로의 각 지점에 설치된 차로 생성 장치(200)와 유무선 통신망(Network)을 통하여 연결되며, 각각의 차로 생성 장치(200)로부터 제공되는 교통 정보 및 차량 단속 정보를 수집하고, 그 수집된 교통 정보 및 차량 단속 정보를 지점 별로 저장, 관리 및 분석할 수 있다.The operating device 300 is connected to the lane generating device 200 installed at each point of the road through a wired/wireless communication network, and collects traffic information and vehicle control information provided from each lane generating device 200, The collected traffic information and vehicle control information can be stored, managed and analyzed for each point.

또한, 운영 장치(300)는 도로의 각 지점에 대한 교통 정보 및 차량 단속 정보를 다양한 형태의 정보 기기(예를 들어, 관리자 디스플레이, 웹 서비스, 도로 전광판 등)를 통해 관리자 및 운전자 등에게 제공할 수 있다.In addition, the operating device 300 provides traffic information and vehicle enforcement information for each point on the road to managers and drivers through various types of information devices (eg, manager display, web service, road signboard, etc.). I can.

도 2는 도 1에 도시된 차로 생성 장치의 세부 구성을 나타낸 도면이다.FIG. 2 is a diagram showing a detailed configuration of the lane generation device shown in FIG. 1.

도 2에 나타낸 것과 같이, 본 발명의 실시 예에 따른 차로 생성 장치(200)는 소실점 추출부(210), 차량 검출부(220), 차로 추정부(230), 그리고 제어부(240)를 포함하며, 저장부(250)를 더 포함할 수 있다.As shown in FIG. 2, the lane generation apparatus 200 according to an embodiment of the present invention includes a vanishing point extraction unit 210, a vehicle detection unit 220, a lane estimation unit 230, and a control unit 240, A storage unit 250 may be further included.

먼저, 소실점 추출부(210)는 촬영 장치(100)로부터 획득한 도로의 영상을 이용하여 소실점을 추출하며, 원근법을 기반으로 도로의 경계선으로부터 가상의 소실점을 획득한다.First, the vanishing point extractor 210 extracts a vanishing point using an image of a road obtained from the photographing apparatus 100, and obtains a virtual vanishing point from a boundary line of the road based on a perspective method.

소실점 추출부(210)는 영상 처리 알고리즘(예: 스틱셀 기법)을 사용하여 영상에서 도로와 관련된 모든 경계선(경계면)을 검출하고, 검출한 경계선을 연장하여 교차한 점으로부터 가상의 소실점을 추출할 수 있다. 여기서, 도로의 소실점은 ROI(Region of Image)의 크기 및 위치 또는 촬영 장치(100)의 설치 높이, 화각, 배율 등에 따라서 영상 내 또는 영상 밖에서 추출될 수 있다.The vanishing point extraction unit 210 detects all road-related boundaries (boundaries) in the image using an image processing algorithm (e.g., stick cell technique), and extends the detected boundary lines to extract virtual vanishing points from the intersection points. I can. Here, the vanishing point of the road may be extracted in or outside the image according to the size and location of the region of image (ROI) or the installation height, angle of view, and magnification of the photographing apparatus 100.

도 3a 내지 도 3c는 본 발명의 실시 예에서 영상 내 도로의 경계선을 이용하여 소실점을 추출하는 과정을 나타낸 도면이다. 3A to 3C are diagrams illustrating a process of extracting a vanishing point using a boundary line of a road in an image in an embodiment of the present invention.

이러한 도 3a는 도로의 영상에 스틱셀 기법(Stixel)을 적용하여 도로의 경계면을 검출한 것이고 도 3b는 검출한 경계면에 대응하여 검출 영역을 생성한 것을 나타낸다. 3A shows a road boundary surface is detected by applying a stick cell technique to an image of a road, and FIG. 3B shows a detection area corresponding to the detected boundary surface.

이와 같이, 소실점 추출부(210)는 스틱셀 기법을 기반으로 검출 영역에서 도로와 관련한 모든 경계선(경계면)을 검출할 수 있다. 또한, 소실점 추출부(210)는 검출한 경계선을 각각 연장하였을 때 서로 교차한 지점으로부터 가상의 소실점을 도 3c와 같이 획득할 수 있다.In this way, the vanishing point extracting unit 210 may detect all boundary lines (boundaries) related to the road in the detection region based on the stick cell technique. In addition, the vanishing point extracting unit 210 may obtain a virtual vanishing point from a point crossing each other when the detected boundary lines are respectively extended, as shown in FIG. 3C.

본 발명의 실시 예는 스틱셀 기법을 사용한 것을 예시하고 있지만, 본 발명이 반드시 이에 한정되지 않으며, 스틱셀 기법 이외에도, 영상으로부터 도로의 경계면을 검출할 수 있는 기법이라면 무관하게 적용될 수 있다.Although the embodiment of the present invention illustrates that the stick cell technique is used, the present invention is not necessarily limited thereto, and any technique capable of detecting the boundary of a road from an image other than the stick cell technique can be applied irrespective of the technique.

다음으로, 차량 검출부(220)는 영상 내 출현하는 차량 각각을 대상으로 차량 하단의 양 끝점을 검출한다. 여기서, 차량 검출부(220)는 영상 내에서 차량과 관련한 객체를 모두 검출한다. 그리고 검출한 차량 객체에 대응하여 차량 외곽을 둘러싸는 가장 작은 사각형 박스를 할당하여, 사각형 박스 안에서 차량 하단의 양 끝점을 검출한다.Next, the vehicle detection unit 220 detects both end points of the lower end of the vehicle for each vehicle appearing in the image. Here, the vehicle detection unit 220 detects all objects related to the vehicle in the image. Then, the smallest rectangular box surrounding the vehicle exterior is allocated to the detected vehicle object, and both end points of the lower end of the vehicle are detected in the rectangular box.

도 4는 본 발명의 실시 예에서 영상으로부터 차량 하단의 양 끝점을 검출하는 원리를 설명하는 도면이다,4 is a diagram for explaining a principle of detecting both end points of a lower end of a vehicle from an image in an embodiment of the present invention.

도 4에서와 같이, 차량 검출부(220)는 차량 객체 각각에 대응하여 객체 외곽을 둘러싸는 최소한의 크기의 사각형 박스를 설정하여, 사각형 박스 내에서 차량 하단의 양 끝점을 검출하게 된다. As shown in FIG. 4, the vehicle detection unit 220 sets a rectangular box having a minimum size surrounding an outer edge of the object corresponding to each vehicle object, and detects both end points of the lower end of the vehicle within the rectangular box.

사각형 박스 내에 보이는 차량의 하단부 부분은 실질적으로 도로 면과 맞닿거나 도로 면과 가장 근접한 부분에 해당한다. 차량 검출부(220)는 도로 면과 맞닿은 양쪽 타이어 바깥 부분을 차량 하단의 양 끝점으로 검출할 수 있으며 이를 통해 더욱 신뢰성 있는 차로 영역을 생성할 수 있다.The lower portion of the vehicle visible in the square box substantially contacts the road surface or corresponds to the portion closest to the road surface. The vehicle detection unit 220 may detect the outer portions of both tires in contact with the road surface as both end points of the lower end of the vehicle, thereby creating a more reliable lane area.

물론, 이외에도 차량 검출부(220)는 영상 내 차량 객체에 대응하여 검출되는 차량 하단의 시간 별 위치 변화를 이용하여 차량의 속도를 검출할 수 있다. 예를 들어 설정 시간 간격으로 촬영된 두 영상 프레임 내 차량 하단의 검지 위치 및 영상 프레임의 시간 간격을 이용하면 차량의 속도가 획득된다.Of course, in addition to this, the vehicle detection unit 220 may detect the speed of the vehicle by using a position change at the bottom of the vehicle detected in response to the vehicle object in the image by time. For example, by using the detection position at the bottom of the vehicle in two image frames photographed at a set time interval and the time interval of the image frame, the vehicle speed is obtained.

이와 같은 방법으로, 차량 검출부(220)는 각 차량 별로 차량의 속도를 포함한 차량 검출 정보를 생성하고, 생성한 차량 검출 정보를 제어부(240)로 전달할 수 있다. 여기서, 차량 검출 정보는 차량이 촬영된 영상, 검출 속도, 검출 지점, 검출 시간 등을 포함할 수 있다.In this way, the vehicle detection unit 220 may generate vehicle detection information including a vehicle speed for each vehicle, and transmit the generated vehicle detection information to the control unit 240. Here, the vehicle detection information may include an image in which the vehicle is photographed, a detection speed, a detection point, and a detection time.

그리고, 차로 추정부(230)는 추정한 도로의 소실점과 검출된 차량 하단의 양 끝점을 서로 연결하여 생성되는 삼각형 영역을 시간에 따라 중첩한 결과를 기초로 영상으로부터 적어도 하나의 차로 영역을 추정한다.In addition, the lane estimating unit 230 estimates at least one lane area from the image based on a result of overlapping a triangular area generated by connecting the estimated vanishing point of the road and both end points of the detected vehicle bottom with each other. .

예를 들어, 단일 차량에 대해 시간에 따라 획득되는 삼각형 영역들을 서로 중첩하게 되면 소실점을 향하여 뻗어나간 형태의 하나의 큰 차로 영역을 획득할 수 있다. 또한, 단일 차로 상의 여러 위치에서 분산 검출된 차량 각각에 대해서도 시간에 따라 획득되는 삼각형 영역들을 모두 중첩하게 되면 하나의 큰 차로 영역을 획득할 수 있다.For example, when triangular areas acquired over time for a single vehicle are overlapped with each other, a single large lane area extending toward the vanishing point may be obtained. In addition, even for each vehicle scattered at various locations on a single lane, when all triangular regions acquired over time are overlapped, a single large lane area may be obtained.

도 5는 도 4의 결과를 이용하여 삼각형 영역을 생성한 모습을 나타낸 도면이고, 도 6은 도 5의 결과를 누적하여 생성한 차로 영역을 나타낸 도면이다.5 is a diagram showing a state in which a triangular region is generated using the result of FIG. 4, and FIG. 6 is a diagram illustrating a lane region generated by accumulating the result of FIG. 5.

도 5에 나타낸 것과 같이, 차로 추정부(230)는 영상 내 검출된 차량 각각에 대응하여 도로의 소실점과 차량 하단의 양 끝점을 서로 연결하여 차량에 대응한 삼각형 영역을 얻는다.As shown in FIG. 5, the lane estimating unit 230 connects the vanishing point of the road and both end points of the lower end of the vehicle corresponding to each vehicle detected in the image to obtain a triangular area corresponding to the vehicle.

또한, 도 6에 나타낸 바와 같이, 차로 추정부(230)는 영상 내 각 차량에 대응하여 생성되는 삼각형 영역을 시간 별, 차량 별 중첩한 결과를 기반으로 영상에서 각각의 차로 영역을 추정할 수 있다.In addition, as shown in FIG. 6, the lane estimating unit 230 may estimate each lane region in the image based on the result of superimposing the triangular region generated corresponding to each vehicle in the image by time and by vehicle. .

여기서, 차선을 침범하거나 차로를 변경한 차량에 대응하여 삼각형 영역의 일부가 차선과 매우 근접하거나 차선을 침범한 경우가 발생할 수 있다. 이러한 차선 침범, 차로 변경 등으로 인한 노이즈를 제거하기 위하여, 차로 추정부(230)는 중첩 영역을 구성하는 픽셀들 중에서도 중첩 빈도(횟수)가 임계 이하인 픽셀 부분을 영역에서 제외시킨다. 이에 따라, 차로 추정부(230)는 노이즈가 제거된 차로 영역을 생성하고, 이를 통해 차로 간을 명확히 구분하고 각 차로 영역을 보다 신뢰성 있게 추정할 수 있다.Here, in response to a vehicle invading a lane or changing lanes, a case in which a part of a triangular area is very close to the lane or invaded the lane may occur. In order to remove noise due to such lane invasion and lane change, the lane estimating unit 230 excludes a pixel portion having an overlapping frequency (number) of less than a threshold among the pixels constituting the overlapping area. Accordingly, the lane estimating unit 230 may generate a lane region from which noise has been removed, and through this, clearly distinguish between lanes and estimate each lane region more reliably.

제어부(240)는 소실점 추출부(210), 차량 검출부(220), 차로 추정부(230), 저장부(250) 각각의 데이터 흐름을 제어하며, 각 부(210,220,230,250)와 데이터를 주고받을 수 있다. The control unit 240 controls the data flow of the vanishing point extraction unit 210, the vehicle detection unit 220, the lane estimation unit 230, and the storage unit 250, and can exchange data with each unit 210, 220, 230, 250. .

이러한 제어부(240)는 차로 추정부(230)에서 추정한 차로 영역을 영상 내에 적용할 수 있다.The control unit 240 may apply the lane area estimated by the lane estimator 230 into the image.

도 7은 본 발명의 실시 예에 따라 추정한 차로 영역을 영상 내 적용한 모습을 나타낸 도면이다.7 is a diagram illustrating a state in which an estimated lane area is applied in an image according to an embodiment of the present invention.

도 7의 (a)는 실제 도로의 영상에서 소실점과 차량의 검출 정보를 이용하여 삼각형 영역을 생성하여 차로 영역을 추정하는 과정을 나타내며, 도 7의 (b)는 추정된 차로 영역을 영상 내 적용한 모습을 나타낸다. 이와 같이, 제어부(240)는 차로 추정부(230)에서 추정한 각 차로 영역을 촬영 장치의 영상 내에 적용한다. Figure 7 (a) shows a process of estimating a lane area by generating a triangular region from an image of an actual road by using the vanishing point and vehicle detection information, and Figure 7 (b) shows a process of estimating the lane area in the image. Show appearance. In this way, the control unit 240 applies each lane area estimated by the lane estimating unit 230 into the image of the photographing apparatus.

여기서, 차로 추정부(230)는 영상 내 새롭게 획득된 삼각형 영역을 이전 시간에 기 추정한 차로 영역에 중첩하여 차로 영역을 업데이트할 수 있다. 차로 추정부(230)는 차로 영역에 대한 형상, 면적, 길이, 폭 중 적어도 하나를 업데이트하여 제어부(240)로 제공할 수 있다. Here, the lane estimating unit 230 may update the lane region by overlapping the newly acquired triangular region in the image with the lane region previously estimated at a previous time. The lane estimating unit 230 may update at least one of a shape, an area, a length, and a width of the lane area and provide the update to the control unit 240.

그러면, 제어부(240)는 업데이트된 차로 정보를 기초로 영상 내 차로 영역을 수정하고 재설정할 수 있다. Then, the controller 240 may correct and reset the lane area in the image based on the updated lane information.

또한, 제어부(240)는 영상 내 적용된 각 차로 영역 내에서 차량을 검지하여 차로별, 주행 방향별 혹은 시간별 교통 정보를 운영 장치(300)로 제공할 수 있다. 이때 교통 정보는 차량의 속도, 평균 속도, 정체도, 차종, 통행량, 차량 점유율 등을 포함할 수 있다.In addition, the controller 240 may detect a vehicle within each lane area applied in the image and provide traffic information for each lane, driving direction, or time to the operating device 300. At this time, the traffic information may include vehicle speed, average speed, congestion degree, vehicle type, traffic volume, vehicle occupancy, and the like.

또한, 제어부(240)는 차량 검출부(220)로부터 제공받은 각 차량 별 차량 검출 정보를 기초로 속도 위반을 단속하고 차량 단속 정보를 운영 장치(300)로 제공할 수 있음은 물론, 차로 영역 별 검지된 각 차량들의 속도를 누적하여 도로의 평균 속도, 차로 별 평균 속도 등을 실시간 산출하여 운영 장치(300)로 제공하고 이를 통해 정체, 원활 등의 교통 상황을 확인할 수 있게 한다.In addition, the control unit 240 can detect a speed violation based on vehicle detection information for each vehicle provided from the vehicle detection unit 220 and provide vehicle enforcement information to the operating device 300 as well as detect each lane area. By accumulating the speeds of each of the vehicles, the average speed of the road and the average speed of each lane are calculated in real time and provided to the operating device 300 so that traffic conditions such as congestion and smoothness can be checked.

저장부(250)는 영상 내 차로 영역의 설정 정보(영상 내 위치, 크기, 모양)를 저장할 수 있으며, 각 차로 영역에서 시간 별 얻어진 통행량 및 차량 점유율 정보 등을 저장할 수 있다.The storage unit 250 may store setting information (position, size, shape in the image) of the lane area in the image, and may store traffic volume and vehicle occupancy information obtained by time in each lane area.

한편, 본 발명의 실시 예는 도로의 경계선이 곡선형인 경우에, 도로 방향을 따라 도로의 구간 별로 추출한 다중의 소실점을 이용하여 차로 영역을 추정할 수 있다. Meanwhile, according to an exemplary embodiment of the present invention, when the boundary line of the road is curved, the lane area may be estimated using multiple vanishing points extracted for each section of the road along the road direction.

이를 위해, 소실점 추출부(210)는 도로의 경계선이 곡선형인 경우, 도로를 복수의 도로 구간으로 분할하고 각 도로 구간 별로 소실점을 추출하여 다중의 소실점을 획득한다. To this end, when the boundary line of the road is curved, the vanishing point extractor 210 divides the road into a plurality of road sections and extracts vanishing points for each road section to obtain multiple vanishing points.

구체적으로, 소실점 추출부(210)는 도로 구간 별로 해당 도로 구간의 경계선을 기반으로 생성한 가상 직선을 이용하여, 해당 도로 구간에 대응하는 소실점을 개별적으로 추출한다. 여기서, 가상 직선은 후술하는 도 8과 같이 해당 도로 구간의 경계선 각각에 대해 경계선의 시작점과 끝점 사이를 직선으로 연결하여 생성될 수 있다.Specifically, the vanishing point extracting unit 210 individually extracts a vanishing point corresponding to a corresponding road section by using a virtual straight line generated based on the boundary line of the road section for each road section. Here, the virtual straight line may be generated by connecting a start point and an end point of the boundary line with a straight line for each boundary line of a corresponding road section, as shown in FIG. 8 to be described later.

도 8은 본 발명의 실시 예에서 곡선 도로에 대응하여 다중 소실점을 추출하는 과정을 나타낸 도면이고, 도 9는 도 8의 과정을 기반으로 생성한 차로 영역을 나타낸다.8 is a diagram showing a process of extracting multiple vanishing points corresponding to a curved road in an embodiment of the present invention, and FIG. 9 shows a lane area created based on the process of FIG. 8.

도 8의 (a)의 경우 도로를 5개의 구간(A~E)으로 분할하고 분할한 각 구간에 대응하여 소실점을 추출하는 것을 나타낸다. 여기서, 설명의 편의상 B,C,D 구간 각각에 대응하여 소실점 1,2,3을 각각 추출한 것으로 가정하였다. 이와 같이 각각의 도로 구간에서 경계선의 시작점과 끝점 간을 직선 연결하여 얻은 가상 직선을 연장하면 서로 교차하는 소실점을 얻을 수 있다. In the case of (a) of FIG. 8, the road is divided into five sections (A to E), and the vanishing point is extracted corresponding to each divided section. Here, for convenience of explanation, it is assumed that vanishing points 1, 2, and 3 are respectively extracted corresponding to sections B, C, and D. As described above, by extending the virtual straight line obtained by connecting the starting point and the end point of the boundary line in a straight line in each road section, vanishing points intersecting each other can be obtained.

이러한 방법은 영상 내 검출된 도로의 모든 경계선을 대상으로 적용될 수 있다. 즉, 도 8의 (a)과 같이 양방향 다차로 도로 영상에서는 많은 수의 경계선이 검출되며 이들 각각의 경계선을 대상으로 상술한 원리를 적용하면 보다 많은 수의 소실 점이 얻어진다. 물론 경우에 따라서는 일부 소실점이 양측 도로 간에 공유될 수도 있다.This method can be applied to all boundaries of roads detected in the image. That is, a large number of boundary lines are detected in a two-way multi-lane road image as shown in (a) of FIG. 8, and a greater number of vanishing points are obtained by applying the above-described principle to each of these boundary lines. Of course, in some cases, some vanishing points may be shared between both roads.

여기서, 차로 추정부(230)는 복수의 도로 구간 중에서 해당 차량이 위치한 도로 구간에 대응 추출된 소실점을 이용하여, 해당 차량에 대응한 삼각형 영역을 생성하도록 한다. 여기서 차로 추정부(230)는 삼각형 영역 중에서 해당 도로 구간 상의 영역만을 유효한 영역으로 선택할 수 있다.Here, the lane estimating unit 230 generates a triangular area corresponding to the vehicle by using the extracted vanishing point corresponding to the road section where the vehicle is located among the plurality of road sections. Here, the lane estimating unit 230 may select only an area on a corresponding road section from among the triangular areas as an effective area.

도 8의 (b)는 각 도로 구간에서 해당 구간에 대응된 소실점을 이용하여 해당 구간 상에 위치한 차량에 대응한 삼각형 영역을 생성한 것을 나타낸다. 여기서 차로 추정부(230)는 삼각형 영역 중에서 해당 도로 구간 이내에 위치한 마름모 꼴 영역 부분을 유효한 영역으로 선택할 수 있다.FIG. 8B shows that in each road section, a triangular area corresponding to a vehicle located on a corresponding section is generated by using a vanishing point corresponding to the section. Here, the lane estimating unit 230 may select a rhombic region located within a corresponding road section among the triangular regions as an effective region.

그리고, 차로 추정부(230)는 각 도로 구간 별로 삼각형 영역을 중첩한 다음 각 도로 구간 위에서 확보된 중첩 영역을 전체 도로 구간을 따라 서로 연결한 결과로부터 차로 영역을 추정한다. 예를 들어, 각 도로 구간에서 수집한 삼각형 영역에 대한 유효 영역을 서로 누적 중첩하고, 각 도로 구간 별로 획득된 중첩 영역을 도로 방향을 따라 하나로 연결하게 되면 곡선 도로에 대한 곡면 타입의 차로 영역을 생성할 수 있다.Then, the lane estimating unit 230 overlaps the triangular regions for each road section and then estimates the lane region from a result of connecting the overlapped regions secured on each road section to each other along the entire road section. For example, when the effective areas for the triangular areas collected in each road section are accumulated and overlapped with each other, and the overlapping areas acquired for each road section are connected to one along the road direction, a curved road area for a curved road is created. can do.

도 9는 곡선형 도로에서 추정한 각 차로 영역을 영상 내 결합시킨 결과를 나타내는 예시도이다. 여기서 물론, 시간에 따라 데이터가 누적됨에 따라 차로 영역이 더욱 완만한 곡면 형상으로 도출될 수 있다.9 is an exemplary view showing a result of combining each lane area estimated from a curved road into an image. Here, of course, as data is accumulated over time, the lane area may be derived in a smoother curved shape.

도 10은 도 1에 도시된 차로 생성 시스템을 이용한 차로 생성 방법을 설명하기 위한 도면이다.10 is a diagram for explaining a method of generating a lane using the lane generation system shown in FIG. 1.

도 10에 나타낸 바와 같이, 본 발명의 실시 예에 따른 차로 생성 장치(100)의 소실점 추출부(210)는 촬영 장치(100)로부터 획득한 도로의 영상을 이용하여 소실점을 추출한다(S1010). 소실점 추출부(210)는 영상 내에서 검출한 도로의 각 경계선을 이용하여 도로의 소실점을 추출할 수 있다. As shown in FIG. 10, the vanishing point extracting unit 210 of the lane generating apparatus 100 according to an exemplary embodiment of the present invention extracts a vanishing point using an image of a road obtained from the photographing device 100 (S1010). The vanishing point extractor 210 may extract the vanishing point of the road by using each boundary line of the road detected in the image.

다음, 차량 검출부(220)는 영상 내 출현하는 차량 각각을 대상으로 차량 하단의 양 끝점을 검출한다(S1020). 이때, 현재 프레임에서 검출된 모든 차량 객체를 대상으로 객체를 커버하는 최소 크기의 박스를 설정하여 설정한 박스 내에서 차량 하단의 양 끝점을 추출할 수 있다.Next, the vehicle detection unit 220 detects both end points at the bottom of the vehicle for each vehicle appearing in the image (S1020). In this case, a box having a minimum size covering the object may be set for all vehicle objects detected in the current frame, and both end points of the lower end of the vehicle may be extracted within the set box.

여기서 물론 차량 검출부(220)는 영상 내에서 각 차량에 대응하여 검출되는 차량 하단의 시간 별 위치를 기초로 각 차량의 속도를 검출하고, 검출한 속도를 포함한 차량 검출 정보를 제어부(240)로 전달할 수 있다. Here, of course, the vehicle detection unit 220 detects the speed of each vehicle based on the time position of the lower portion of the vehicle detected corresponding to each vehicle in the image, and transmits vehicle detection information including the detected speed to the control unit 240 I can.

이후, 차로 추정부(230)는 도로의 소실점과 상기 차량 하단의 양 끝점을 연결하여 삼각형 영역을 생성한 다음, 삼각형 영역을 누적 중첩하여 영상 내에서 차로 영역을 추정한다(S1030,S1040). 그러면, 제어부(240)는 추정한 차로 영역을 촬영 장치(100)의 영상 내에 적용한다(S1050).Thereafter, the lane estimating unit 230 generates a triangular area by connecting the vanishing point of the road and both end points of the lower part of the vehicle, and then accumulates and overlaps the triangular areas to estimate the lane area in the image (S1030 and S1040). Then, the controller 240 applies the estimated lane area into the image of the photographing apparatus 100 (S1050).

제어부(240)는 영상 내 적용된 각 차로 영역 별로 차량을 검지하여 도로의 교통 정보를 제공한다(S1060). 이때, 제어부(240)는 영상 내 각 차로 영역 별 검지된 차량들의 속도를 기반으로 차로 별 평균 속도를 산출하여 제공할 수 있다. The controller 240 detects a vehicle for each lane area applied in the image and provides traffic information of the road (S1060). In this case, the controller 240 may calculate and provide an average speed for each lane based on the speeds of vehicles detected for each lane area in the image.

물론, 제어부(240)는 차량 검출부(250)로부터 전달받은 각 차량 별 차량 검출 정보를 기초로 속도 위반을 단속하거나, 차로 영역 별 검지된 각 차량의 속도를 기반으로 도로의 평균 속도, 차로 별 평균 속도 등을 산출하여 제공할 수 있다.Of course, the control unit 240 detects a speed violation based on vehicle detection information for each vehicle received from the vehicle detection unit 250, or the average speed of the road and the average of each lane based on the speed of each vehicle detected for each lane area. The speed can be calculated and provided.

한편, 차로 추정부(230)는 영상 내 새롭게 획득된 삼각형 영역을 이전 시간에 기 생성된 차로 영역과 중첩하여 차로 영역의 형상, 면적, 길이, 폭 중 적어도 하나를 업데이트할 수 있다. 이후, 제어부(240)는 업데이트된 정보를 차로 추정부(230)로부터 제공받아 영상 내 갱신 설정할 수 있다. Meanwhile, the lane estimating unit 230 may update at least one of the shape, area, length, and width of the lane region by overlapping the newly acquired triangular region in the image with the lane region previously generated in the previous time. Thereafter, the controller 240 may receive the updated information from the lane estimating unit 230 and set the update within the image.

이상과 같은 본 발명에 의하면, 도로를 촬영한 영상 내 도로의 소실점과 차량의 양 끝점을 서로 연결한 영역을 중첩한 결과를 기초로 도로 상의 각 차로 영역을 추정하고 영상 내 자동으로 설정할 수 있고, 영상 내 적용된 차로 정보를 이용하여 차로 별 교통량을 효과적으로 제공할 수 있다.According to the present invention as described above, the area of each lane on the road can be estimated and automatically set in the image based on the result of overlapping the area in which the vanishing point of the road and the two end points of the vehicle are connected to each other in the image of the road, Traffic volume for each lane can be effectively provided by using lane information applied in the image.

또한, 영상 내 출현하는 차량에 대해 시간에 따라 수집되는 삼각형 영역을 누적하고 중첩하는 것만으로 차로 영역을 자동 생성할 수 있어, 차량 한대 만으로도 차로 영역의 생성이 가능하고 교통량이 적은 도로에서도 차로 영역을 자동 생성할 수 있다.In addition, lane areas can be automatically created by accumulating and overlapping triangular areas collected over time for vehicles appearing in the image, so it is possible to create a lane area with only one vehicle. Can be automatically generated.

또한, 영상 내에서 차량의 특징을 검출하여 특징 기반으로 차량을 추적(트래킹)하는 과정을 전혀 필요로 하지 않아, 영상 분석 및 처리에 소요되는 시간을 크게 줄일 수 있다.In addition, since there is no need for a process of detecting a feature of a vehicle in an image and tracking (tracking) the vehicle based on the feature, the time required for image analysis and processing can be greatly reduced.

특히, 차량 추적을 통한 차로 자동 생성 방법은 균일한 입력 영상과 정밀한 추적을 전제로 하지만, 본 발명의 경우 차량의 추적 없이, 객체의 검출 만으로 차로의 자동 생성이 가능함은 물론 입력되는 영상의 끊김이 발생하더라도 차로 생성이 가능한 이점을 제공한다.In particular, the method of automatically generating a lane through vehicle tracking is based on a uniform input image and precise tracking, but in the case of the present invention, it is possible to automatically generate a lane by only detecting an object without tracking the vehicle, as well as the interruption of the input image. Even if it occurs, it provides the advantage of being able to create a car.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are only exemplary, and those of ordinary skill in the art will appreciate that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 촬영 장치 200: 차로 생성 장치
210: 소실점 추출부 220: 차량 검출부
230: 차로 추정부 240: 제어부
250: 저장부 300: 운영 장치
100: photographing device 200: car generating device
210: vanishing point extraction unit 220: vehicle detection unit
230: lane estimation unit 240: control unit
250: storage unit 300: operating device

Claims (17)

촬영 장치로부터 획득한 도로의 영상을 이용하여 소실점을 추출하는 소실점 추출부;
상기 영상 내 출현하는 차량 각각을 대상으로 차량 하단의 양 끝점을 검출하는 차량 검출부;
상기 도로의 소실점과 상기 차량 하단의 양 끝점을 연결하여 생성한 삼각형 영역을 기초로 영상 내 적어도 하나의 차로 영역을 추정하는 차로 추정부; 및
상기 추정한 차로 영역을 상기 영상 내에 적용하는 제어부
를 포함하는 교통 정보 수집을 위한 차로 생성 시스템.
A vanishing point extracting unit for extracting a vanishing point using the image of the road obtained from the photographing device;
A vehicle detection unit for detecting both end points of a lower end of the vehicle for each vehicle appearing in the image;
A lane estimating unit for estimating at least one lane area in an image based on a triangular area generated by connecting the vanishing point of the road and both end points of the lower part of the vehicle; And
A control unit that applies the estimated lane area to the image
Lane generation system for collecting traffic information comprising a.
청구항 1에 있어서,
상기 차로 추정부는,
상기 삼각형 영역을 시간 별 또는 차량 별로 중첩한 결과를 기초로 상기 영상 내 적어도 하나의 차로 영역을 추정하는 교통 정보 수집을 위한 차로 생성 시스템.
The method according to claim 1,
The car estimation unit,
A lane generation system for collecting traffic information for estimating an area of at least one lane in the image based on a result of overlapping the triangular regions for each time or for each vehicle.
청구항 1에 있어서,
상기 소실점 추출부는,
상기 영상에서 검출된 도로의 경계선을 이용하여 상기 소실점을 추출하는 교통 정보 수집을 위한 차로 생성 시스템.
The method according to claim 1,
The vanishing point extraction unit,
A lane generation system for collecting traffic information to extract the vanishing point by using the boundary line of the road detected from the image.
청구항 3에 있어서,
상기 소실점 추출부는,
스틱셀 기법을 이용하여 상기 영상에서 상기 도로의 경계선을 검출하는 교통 정보 수집을 위한 차로 생성 시스템.
The method of claim 3,
The vanishing point extraction unit,
A lane generation system for collecting traffic information for detecting a boundary line of the road in the image using a stick cell technique.
청구항 1에 있어서,
상기 소실점 추출부는,
상기 도로의 경계선이 곡선형인 경우, 상기 도로를 복수의 도로 구간으로 분할하고 상기 도로 구간 별로 소실점을 추출하여 상기 도로를 따라 다중의 소실점을 획득하는 교통 정보 수집을 위한 차로 생성 시스템.
The method according to claim 1,
The vanishing point extraction unit,
When the boundary line of the road is curved, the road is divided into a plurality of road sections, and vanishing points are extracted for each road section to obtain multiple vanishing points along the road.
청구항 5에 있어서,
상기 소실점 추출부는,
상기 도로 구간 별로 해당 도로 구간의 경계선을 기반으로 생성한 가상 직선을 이용하여 해당 도로 구간에 대응하는 소실점을 개별 추출하는 교통 정보 수집을 위한 차로 생성 시스템.
The method of claim 5,
The vanishing point extraction unit,
A lane generation system for collecting traffic information individually extracting a vanishing point corresponding to a corresponding road section by using a virtual straight line generated based on a boundary line of the corresponding road section for each road section.
청구항 6에 있어서,
상기 가상 직선은,
상기 해당 도로 구간의 경계선 각각에 대해 경계선의 시작점과 끝점 사이를 직선으로 연결하여 생성되는 교통 정보 수집을 위한 차로 생성 시스템.
The method of claim 6,
The virtual straight line,
A lane generation system for collecting traffic information generated by connecting a start point and an end point of the boundary line with a straight line for each boundary line of the corresponding road section.
청구항 5에 있어서,
상기 차로 추정부는,
상기 복수의 도로 구간 중에서 해당 차량이 위치한 도로 구간의 소실점을 이용하여 해당 차량에 대응한 삼각형 영역을 생성하며,
각 도로 구간 별로 상기 삼각형 영역을 중첩하고 각 도로 구간 상에서 획득된 중첩 영역을 전체 도로 구간을 따라 서로 연결한 결과로부터 상기 차로 영역을 추정하는 교통 정보 수집을 위한 차로 생성 시스템.
The method of claim 5,
The car estimation unit,
A triangular area corresponding to the vehicle is generated by using the vanishing point of the road section where the vehicle is located among the plurality of road sections,
A lane generation system for collecting traffic information for estimating the lane area from a result of overlapping the triangular regions for each road section and connecting the overlapped regions acquired on each road section to each other along the entire road section.
청구항 1에 있어서,
상기 차로 추정부는,
상기 영상 내 새롭게 획득된 삼각형 영역을 이전 시간에 기 생성된 차로 영역과 중첩하여 상기 차로 영역을 업데이트하여 상기 제어부로 제공하는 교통 정보 수집을 위한 차로 생성 시스템.
The method according to claim 1,
The car estimation unit,
A lane generation system for collecting traffic information, updating the lane region by overlapping the newly acquired triangular region in the image with the lane region previously generated in the previous time and providing it to the control unit.
청구항 9에 있어서,
상기 차로 추정부는,
상기 차로 영역의 형상, 면적, 길이, 폭 중 적어도 하나를 업데이트하는 교통 정보 수집을 위한 차로 생성 시스템.
The method of claim 9,
The car estimation unit,
A lane generation system for collecting traffic information to update at least one of a shape, area, length, and width of the lane area.
청구항 1에 있어서,
상기 검출부는,
상기 영상 내 검출한 차량 객체에 대응하여 객체 외곽을 둘러싸는 사각형 박스를 설정한 다음, 상기 사각형 박스 내에서 차량 하단의 양 끝점을 검출하는 교통 정보 수집을 위한 차로 생성 시스템.
The method according to claim 1,
The detection unit,
A lane generation system for collecting traffic information for setting a rectangular box surrounding an outer edge of the object in response to the detected vehicle object in the image, and then detecting both end points of the lower end of the vehicle within the rectangular box.
청구항 1에 있어서,
상기 차량 검출부는,
상기 영상 내 차량 객체에 대응하여 검출되는 상기 차량 하단의 시간 별 위치 변화를 이용하여 차량의 속도를 검출하고, 차량 별로 상기 속도를 포함한 차량 검출 정보를 제공하는 교통 정보 수집을 위한 차로 생성 시스템.
The method according to claim 1,
The vehicle detection unit,
A lane generation system for collecting traffic information for detecting a vehicle speed by using the position change of the vehicle lower part detected in response to the vehicle object in the image by time and providing vehicle detection information including the speed for each vehicle.
청구항 1에 있어서,
상기 제어부는,
상기 영상 내 각 차로 영역 별로 검출되는 차량들의 속도를 기반으로 차로 별 평균 속도를 산출하여 제공하는 교통 정보 수집을 위한 차로 생성 시스템.
The method according to claim 1,
The control unit,
A lane generation system for collecting traffic information for calculating and providing an average speed for each lane based on the speeds of vehicles detected for each lane area in the image.
차로 생성 시스템을 이용한 차로 생성 방법에 있어서,
촬영 장치로부터 획득한 도로의 영상을 이용하여 소실점을 추출하는 단계;
상기 영상 내 출현하는 차량 각각을 대상으로 차량 하단의 양 끝점을 검출하는 단계;
상기 도로의 소실점과 상기 차량 하단의 양 끝점을 연결하여 생성한 삼각형 영역을 기초로 영상 내 적어도 하나의 차로 영역을 추정하는 단계; 및
상기 추정한 차로 영역을 상기 영상 내에 적용하는 단계
를 포함하는 교통 정보 수집을 위한 차로 생성 방법.
In the lane generation method using the lane generation system,
Extracting a vanishing point using the image of the road obtained from the photographing device;
Detecting both end points under the vehicle for each vehicle appearing in the image;
Estimating an area of at least one lane in the image based on a triangular area generated by connecting the vanishing point of the road and both end points of the lower part of the vehicle; And
Applying the estimated lane area to the image
A lane generation method for collecting traffic information comprising a.
청구항 14에 있어서,
상기 추정하는 단계는,
상기 삼각형 영역을 시간 별 또는 차량 별로 중첩한 결과를 기초로 상기 영상 내 적어도 하나의 차로 영역을 추정하는 교통 정보 수집을 위한 차로 생성 방법.
The method of claim 14,
The estimating step,
A lane generation method for collecting traffic information, estimating a region of at least one lane in the image based on a result of overlapping the triangular regions for each time or vehicle.
청구항 14에 있어서,
상기 추출하는 단계는,
상기 영상에서 검출된 도로의 경계선을 이용하여 상기 소실점을 추출하는 차로 생성 방법.
The method of claim 14,
The extracting step,
A lane generation method for extracting the vanishing point using a boundary line of a road detected in the image.
청구항 14에 있어서,
상기 영상 내 각 차로 영역 별로 검출되는 차량들의 속도를 기반으로 차로 별 평균 속도를 산출하여 제공하는 단계를 더 포함하는 차로 생성 방법.
The method of claim 14,
And calculating and providing the average speed for each lane based on the speeds of vehicles detected for each lane area in the image.
KR1020200003127A 2020-01-09 2020-01-09 Lane generation system for collecting traffic information and method thereof KR102177614B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003127A KR102177614B1 (en) 2020-01-09 2020-01-09 Lane generation system for collecting traffic information and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003127A KR102177614B1 (en) 2020-01-09 2020-01-09 Lane generation system for collecting traffic information and method thereof

Publications (1)

Publication Number Publication Date
KR102177614B1 true KR102177614B1 (en) 2020-11-12

Family

ID=73398641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003127A KR102177614B1 (en) 2020-01-09 2020-01-09 Lane generation system for collecting traffic information and method thereof

Country Status (1)

Country Link
KR (1) KR102177614B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661790A (en) * 2022-10-27 2023-01-31 深圳市欧冶半导体有限公司 Lane vanishing point detection method based on lane lines, terminal and storage medium
GB2619098A (en) * 2022-05-27 2023-11-29 Agd Systems Ltd Apparatus and method for determining vehicle location

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06265330A (en) * 1993-03-11 1994-09-20 N T T Data Tsushin Kk Image measuring apparatus
JPH10154292A (en) * 1996-05-15 1998-06-09 Hitachi Ltd Traffic flow monitoring device
JP2002104113A (en) * 2000-09-28 2002-04-10 Nissan Motor Co Ltd Rear monitoring device
JP2008257399A (en) * 2007-04-03 2008-10-23 Toyota Motor Corp Image processor
JP2015138550A (en) * 2014-01-23 2015-07-30 三菱電機株式会社 Method for estimating free space using camera system
KR20180081966A (en) * 2017-01-09 2018-07-18 주식회사 만도 Image correction method by vehicle recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06265330A (en) * 1993-03-11 1994-09-20 N T T Data Tsushin Kk Image measuring apparatus
JPH10154292A (en) * 1996-05-15 1998-06-09 Hitachi Ltd Traffic flow monitoring device
JP2002104113A (en) * 2000-09-28 2002-04-10 Nissan Motor Co Ltd Rear monitoring device
JP2008257399A (en) * 2007-04-03 2008-10-23 Toyota Motor Corp Image processor
JP2015138550A (en) * 2014-01-23 2015-07-30 三菱電機株式会社 Method for estimating free space using camera system
KR20180081966A (en) * 2017-01-09 2018-07-18 주식회사 만도 Image correction method by vehicle recognition

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2619098A (en) * 2022-05-27 2023-11-29 Agd Systems Ltd Apparatus and method for determining vehicle location
CN115661790A (en) * 2022-10-27 2023-01-31 深圳市欧冶半导体有限公司 Lane vanishing point detection method based on lane lines, terminal and storage medium
CN115661790B (en) * 2022-10-27 2023-08-18 深圳市欧冶半导体有限公司 Lane vanishing point detection method, terminal and storage medium based on lane lines

Similar Documents

Publication Publication Date Title
JP3569992B2 (en) Mobile object detection / extraction device, mobile object detection / extraction method, and mobile object monitoring system
US9154741B2 (en) Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects
US11380105B2 (en) Identification and classification of traffic conflicts
Barcellos et al. A novel video based system for detecting and counting vehicles at user-defined virtual loops
KR102267335B1 (en) Method for detecting a speed employing difference of distance between an object and a monitoring camera
JP6794243B2 (en) Object detector
US9690993B2 (en) Method and device for analyzing trafficability
KR102177614B1 (en) Lane generation system for collecting traffic information and method thereof
GB2542686A (en) Video data analyzing method and apparatus and parking lot monitoring system
WO1995016252A1 (en) Method and apparatus for machine vision classification and tracking
KR20160062880A (en) road traffic information management system for g using camera and radar
KR101888381B1 (en) Vehicle enforcement system based on operating detecting area deep learning
KR20110001427A (en) High speed road lane detection method based on extraction of roi-lb
JP2002074368A (en) Moving object recognizing and tracking device
JP7305965B2 (en) Video surveillance system parameter setting method, device and video surveillance system
KR101795652B1 (en) Device for Measuring Visibility for Fog Guardian Device
KR101236223B1 (en) Method for detecting traffic lane
CN112349087B (en) Visual data input method based on holographic perception of intersection information
JP3750184B2 (en) Moving object extraction apparatus and extraction method
JP3897337B2 (en) Road shoulder detection apparatus and method
KR101728507B1 (en) Device for Measuring Visibility for Fog Guardian Device
JPH11272989A (en) Traffic flow monitor device
JP4697761B2 (en) Queue detection method and queue detection apparatus
WO2021199584A1 (en) Detecting debris in a vehicle path
KR102306854B1 (en) System and method for managing traffic event

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant