KR101891130B1 - System and method for detecting lane change - Google Patents
System and method for detecting lane change Download PDFInfo
- Publication number
- KR101891130B1 KR101891130B1 KR1020180054801A KR20180054801A KR101891130B1 KR 101891130 B1 KR101891130 B1 KR 101891130B1 KR 1020180054801 A KR1020180054801 A KR 1020180054801A KR 20180054801 A KR20180054801 A KR 20180054801A KR 101891130 B1 KR101891130 B1 KR 101891130B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lane
- vehicle
- area
- time
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G06K9/3258—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 다차선 도로에 설치된 교통 감시용 CCTV에 의해 획득된 실시간 영상을 이용하여 차로 변경 차량을 감지하는 차로 변경 감지 시스템 및 그 방법에 관한 것이다.The present invention relates to a lane change detection system and a method for detecting a lane change vehicle by using a real time image obtained by a traffic monitoring CCTV installed on a multi-lane road.
일반적으로 차도는 차량의 교통에 사용하도록 설치되는 도로의 한 부분에 해당하는 것으로, 차량이 한 줄로 도로의 정해진 부분을 통행하도록 차선에 의하여 구분되는 차도의 부분을 차로라고 한다.Generally, a roadway corresponds to a part of a road installed for use in the transportation of a vehicle, and a portion of the roadway divided by the lane is called a lane so that the vehicle passes through a predetermined portion of the road in one line.
특히, 우리나라와 같이 산악지형이 많은 곳에서는 차량에 탑승하여 도로를 주행하다 보면 터널을 만나는 경우가 빈번하게 발생하게 된다. 이러한 터널은 산이나 바다 따위의 밑을 뚫은 형태이므로 터널의 내부에 조명을 충분히 설치하더라도 터널의 내부는 터널의 외부보다 상대적으로 어둡다. 이로 인해 운전자가 터널의 내부로 진입하는 순간에는 터널 내외부 간의 밝기 차이에 의해 터널의 내부 상황을 육안으로 신속하게 파악하기가 어렵다.Especially, in a mountainous terrain such as Korea, when a user rides in a vehicle and travels on a road, a tunnel is frequently encountered. These tunnels are buried under the mountain or sea, so even if the interior of the tunnel is sufficiently illuminated, the interior of the tunnel is relatively darker than the exterior of the tunnel. Therefore, it is difficult to grasp the internal situation of the tunnel with the naked eye due to the brightness difference between the inside and outside of the tunnel at the moment when the driver enters the inside of the tunnel.
또한, 터널은 일반 도로와는 달리 극히 제한된 통로이자 폐쇄된 공간에 해당하여 쉽게 외부와 차단되므로, 사고 발생 시 단순한 사고에 그치지 않고 진입하는 차량에 의해 다중 사고를 발생하거나, 심지어는 화재 등의 복잡한 사고로 이어지게 되는 등 다른 일반구간에 비해 사고 위험이 높다. 이에 국내에서는 도로교통법 제14조 제5항에 따라 터널 내에서 차선 변경을 원칙적으로 금지하고 있다.In addition, unlike ordinary roads, the tunnel is an extremely limited passage and it is covered by a closed space, so it is easily blocked from the outside. Therefore, when an accident occurs, The risk of accidents is higher than other general sections, such as leading to accidents. In Korea, according to Article 14 (5) of the Road Traffic Act, it is prohibited to change lanes in the tunnel in principle.
그러나, 대다수의 차량 운전자들은 터널에서의 높은 사고 발생률을 심각하게 인지하지 않거나 망각한 채 터널 내에서도 빈번하게 차선 변경을 하는 등 차선 변경 금지 규정을 잘 지키지 않고 있다.However, the majority of vehicle drivers do not observe the lane change prohibition regulations such as not seriously recognizing the high incidence rate in tunnels or making frequent lane changes in the tunnels while forgetting.
종래에는 이러한 터널 내 차선 변경 차량을 단속하기 위한 방법으로서, 터널의 입구 및 출구에 감시카메라를 부착하여 터널 통과 전후의 차량의 차선이 바뀌었는지를 확인하여 터널 내 차선 변경 여부를 판단하였다.Conventionally, as a method for interrupting a lane changing vehicle in a tunnel, a surveillance camera is attached to an entrance and an exit of a tunnel to determine whether the lane of the vehicle has changed before and after the passage of the tunnel.
그러나, 이러한 종래 방법의 경우, 어느 차량이 터널 내에서 여러 번 차선을 변경하더라도 터널의 출구에 도달하기 전에 터널에 진입할 때와 동일한 차선으로 변경한다면 해당 차량의 차선 변경 여부를 확인할 수 없어 단속하기가 어려운 문제가 있었다.However, in this conventional method, even if a vehicle changes its lane several times in the tunnel, if it changes to the same lane as when entering the tunnel before reaching the exit of the tunnel, There was a difficult problem.
본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 터널 내 다차선 도로에 설치된 교통 감시용 CCTV에 의해 획득된 실시간 영상을 이용하여 차선 변경 차량을 감지한 후 이에 대응하는 후보 리스트를 이용하여 차선 변경 차량을 단속 가능한 차로 변경 감지 시스템 및 그 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to solve the above-described problems, and it is an object of the present invention to provide a method and apparatus for detecting a lane-changing vehicle by using a real-time image acquired by a traffic monitoring CCTV installed in a multi-lane road in a tunnel, The present invention also provides a change detection system for a vehicle in which the vehicle can be interrupted and a method thereof.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 차로 변경 감지 시스템은, 적어도 둘 이상의 차로를 포함하는 도로에 인접하여 소정 거리만큼 상호 이격 설치되되, 차량의 진행 방향을 따라 제1 영역 및 제2 영역을 순차적으로 통과하는 이동 차량을 각각의 영역 범위에서 촬상하여 실시간 영상을 획득하는 제1 카메라 및 제2 카메라를 포함하는 카메라부와, 상기 제1 영역을 촬상한 제1 영상에 기초하여 상기 이동 차량의 차로 변경 여부를 감지하는 감지 모듈과, 상기 이동 차량이 차로를 변경한 것으로 감지되는 경우, 상기 제2 영역을 촬상한 제2 영상에 기초하여 상기 차로 변경을 수행한 차로 변경 차량에 대응하는 후보 리스트를 생성하는 리스트 생성 모듈과, 상기 차로 변경이 감지된 시점을 기준으로 한 상기 제1 영상 및 상기 제2 영상과 상기 생성된 후보 리스트 중 적어도 어느 하나를 화면에 표시하는 디스플레이부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a car change detection system comprising: a plurality of lanes separated from each other by a predetermined distance adjacent to a road including at least two lanes; A camera unit including a first camera and a second camera for capturing a moving vehicle sequentially passing through two regions in a respective region range to acquire a real time image; A detection module for detecting whether or not the moving vehicle is changed by a vehicle; and a control unit for detecting a change in the lane on the basis of the second image obtained by imaging the second area A list generation module for generating a candidate list to be updated based on the difference between the first image and the second image, And a display unit for displaying at least one of the generated candidate lists on the screen.
또한, 본 발명의 다른 일면에 따른 차로 변경 감지 방법은, 적어도 둘 이상의 차로를 포함하는 도로에 인접하여 소정 거리만큼 상호 이격 설치되되, 차량의 진행 방향을 따라 제1 영역 및 제2 영역을 순차적으로 통과하는 이동 차량을 각각의 영역 범위에서 촬상하여 실시간 영상을 획득하는 제1 카메라 및 제2 카메라를 포함하는 카메라부를 이용한 차로 변경 감지 방법에 있어서, 상기 제1 영역을 촬상한 제1 영상에 기초하여 상기 이동 차량의 차로 변경 여부를 감지하는 단계와, 상기 이동 차량이 차로를 변경한 것으로 감지되는 경우, 상기 제2 영역을 촬상한 제2 영상에 기초하여 상기 차로 변경을 수행한 차로 변경 차량에 대응하는 후보 리스트를 생성하는 단계와, 상기 차로 변경이 감지된 시점을 기준으로 한 상기 제1 영상 및 상기 제2 영상과 상기 생성된 후보 리스트 중 적어도 어느 하나를 화면에 표시하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of detecting a change in a car, the method comprising: a first step of detecting a change in a road area including at least two roads by a predetermined distance, A vehicle change detection method using a camera unit including a first camera and a second camera for capturing a moving vehicle passing therethrough in each area and acquiring a real time image, The method of claim 1, further comprising: detecting whether the moving vehicle is changed to a lane; changing, when it is detected that the moving vehicle has changed lanes, changing the lane based on a second image of the second area A step of generating a candidate list of the first image and the second image, And the at least one of a candidate list comprising the step of displaying on the screen.
본 발명에 따르면, 차로 변경 감지 시 차로를 변경한 것으로 예상되는 후보 리스트에 해당하는 차량의 차량 정보를 수집한 후 이를 감지 시점의 영상 데이터와 비교한 결과에 기초하여 차로 변경 차량의 단속을 정확하게 수행할 수 있는 효과가 있다.According to the present invention, vehicle information of a vehicle corresponding to a candidate list, which is estimated to have changed a lane on a lane change detection, is collected, and the lane change of the lane changing vehicle is accurately performed based on a result of comparison There is an effect that can be done.
또한, 본 발명에 따르면, 이동 차량의 차선 변경이 감지되는 시점을 기준으로 한 소정 구간에 해당하는 영상 또는 이미지를 추출하여 저장하는 것만으로도 차선 변경 차량의 단속 시 증거가 되는 영상데이터를 수집할 수 있어 전체 데이터 처리량과 영상 데이터의 저장용량을 최소화할 수 있는 효과가 있다.In addition, according to the present invention, it is possible to collect image data that is evidence at the time of interception of a lane-changing vehicle by extracting and storing an image or an image corresponding to a predetermined section based on a point of time when a lane change of the lane of the moving vehicle is sensed So that the total data throughput and storage capacity of the image data can be minimized.
또한, 본 발명에 따르면, 실시간 영상 내 차선과 이동 차량에 대응하는 폐영역을 검출한 후 이를 바탕으로 분석한 결과를 이용하여 이동 차량의 차선 변경 여부를 즉각적으로 파악할 수 있으므로, 간단한 하드웨어 구성만으로도 구현 가능하여 고비용의 복잡한 시스템을 구축할 필요 없이 저비용으로 차량 단속 시스템의 구축이 가능한 효과가 있다.In addition, according to the present invention, since it is possible to immediately recognize whether the lane of the moving vehicle is changed by using the result of analysis based on the detected lane in the real-time image and the closed area corresponding to the moving vehicle, There is an effect that it is possible to construct a vehicle interception system at low cost without needing to construct a complicated system costly and possible.
도 1은 본 발명의 일 실시예에 따른 차로 변경 감지 시스템의 개념도이고,
도 2는 본 발명의 일 실시예에 따른 차로 변경 감지 시스템의 구성을 개략적으로 나타낸 블록도이고,
도 3은 도 2의 감지 모듈 및 리스트 생성 모듈의 내부 구성을 구체적으로 도시한 블록도이고,
도 4 및 도 5는 도 3의 차로 변경 감지부에서 제1 분할영역, 제2 분할영역 및 차선에 기초하여 이동 차량의 차로 변경 여부를 감지하는 방법을 설명하기 위한 도면이고,
도 6은 도 2의 디스플레이부에서 복수의 분할 화면영역 각각에 제1 판단 영상, 제2 판단 영상, 감지 영상 이미지, 후보 리스트 및 감지 시점 리스트를 표시한 상태의 일례를 나타낸 도면이고,
도 7은 본 발명의 일 실시예에 따른 차로 변경 감지 방법을 나타내는 순서도이고,
도 8은 도 7의 차로 변경 감지 단계를 상세히 나타낸 순서도이고,
도 9는 도 7의 후보 리스트 생성 단계를 상세히 나타낸 순서도이다.1 is a conceptual diagram of a car change detection system according to an embodiment of the present invention,
2 is a block diagram schematically showing a configuration of a car change detection system according to an embodiment of the present invention,
3 is a block diagram specifically illustrating an internal configuration of the detection module and the list generation module of FIG. 2,
4 and 5 are views for explaining a method of detecting whether the vehicle is changed to a lane on the basis of the first division area, the second division area and the lane by the lane change detection unit of Fig. 3,
FIG. 6 is a view showing an example of a state in which a first judgment image, a second judgment image, a sensed image image, a candidate list, and a detection time list are displayed in each of a plurality of divided screen areas in the display unit of FIG. 2,
FIG. 7 is a flowchart illustrating a car change detection method according to an embodiment of the present invention,
8 is a detailed flowchart of the change detection step of FIG. 7,
FIG. 9 is a flowchart illustrating the candidate list generating step of FIG. 7 in detail.
이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The foregoing and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings. BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to accomplish them, will become apparent by reference to the embodiments described in detail below with reference to the accompanying drawings. Like reference numerals refer to like elements throughout the specification.
도 1은 본 발명의 일 실시예에 따른 차로 변경 감지 시스템의 개념도이고, 도 2는 본 발명의 일 실시예에 따른 차로 변경 감지 시스템의 구성을 개략적으로 나타낸 블록도이고, 도 3은 도 2의 감지 모듈 및 리스트 생성 모듈의 내부 구성을 구체적으로 도시한 블록도이고, 도 4 및 도 5는 도 3의 차로 변경 감지부에서 제1 분할영역, 제2 분할영역 및 차선에 기초하여 이동 차량의 차로 변경 여부를 감지하는 방법을 설명하기 위한 도면이고, 도 6은 도 2의 디스플레이부에서 복수의 분할 화면영역 각각에 제1 판단 영상, 제2 판단 영상, 감지 영상 이미지, 후보 리스트 및 감지 시점 리스트를 표시한 상태의 일례를 나타낸 도면이다.FIG. 1 is a conceptual diagram of a car change detection system according to an embodiment of the present invention. FIG. 2 is a block diagram schematically showing the configuration of a car change detection system according to an embodiment of the present invention. FIGS. 4 and 5 are diagrams showing the internal configuration of the detection module and the list generation module. FIG. 4 and FIG. FIG. 6 is a view for explaining a method for detecting whether or not a change is detected. FIG. 6 is a view for explaining a method for detecting whether or not a change is detected. And shows an example of the displayed state.
이하, 도면들을 참조하여 본 발명의 일 실시예에 따른 차로 변경 감지 시스템에 대해 설명하도록 한다.Hereinafter, a car change detection system according to an embodiment of the present invention will be described with reference to the drawings.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 차로 변경 감지 시스템은 크게 카메라부(100), 감지 모듈(200), 제1 저장부(310), 제2 저장부(320), 리스트 생성 모듈(400) 및 디스플레이부(500)를 포함하여 구성된다.2, a car change detection system according to an exemplary embodiment of the present invention includes a
카메라부(100)는 차량의 진행 방향을 따라 제1 영역 및 제2 영역을 순차적으로 통과하는 이동 차량을 각각의 영역 범위에서 촬상하여 실시간 영상을 획득하기 위한 것으로서, 상기 제1 영역을 촬상하는 제1 카메라(110)와, 상기 제2 영역을 촬상하는 제2 카메라(120)를 포함한다.The
여기서, 제1 카메라(110) 및 제2 카메라(120)는 도 1에 도시된 바와 같이 적어도 둘 이상의 차로(A1,A2,A3)를 포함하는 도로에 인접하여 소정 거리만큼 상호 이격 설치될 수 있다.Here, the
이때, 제1 카메라(110) 및 제2 카메라(120)는, 4K UHD(Ultra High Definition)를 지원하는 카메라 또는 3M(Megapixel) 이상의 FHD(Full High Definition)를 지원하는 카메라인 것이 바람직하나, 이에 한정되는 것은 아니다.The
감지 모듈(200)은 제1 영역을 촬상한 제1 영상에 기초하여 이동 차량의 차로 변경 여부를 감지하기 위한 것이다.The
구체적으로, 감지 모듈(200)은 도 3에 도시된 바와 같이 폐영역 생성부(220), 차선 인식부(240), 분할영역 구획부(260) 및 차로 변경 감지부(280)를 포함한다.3, the
차선 인식부(240)는 제1 카메라(110)를 이용하여 제1 영역을 촬상한 제1 영상으로부터 차선(L1,L2)을 인식하고 차선(L1,L2)을 기준으로 복수 개의 차로 영역(A1,A2,A3)으로 구획한다.The
여기서, 차선 인식부(240)는 상기 제1 영상으로부터 에지 성분을 추출한 후 추출된 에지 성분이 기설정된 차선 패턴과 동일한 경우에 이를 차선(L1,L2)으로 인식하고, 인식된 차선(L1,L2)을 기준으로 차도를 복수 개의 차로 영역(A1,A2,A3)으로 구획할 수 있다.Here, the
예컨대, 도 1을 참조하면, 차선 인식부(240)는 상기 인식된 차선(L1,L2)을 기준으로 차도를 차도의 좌측 가장자리와 제1차선(L1) 사이의 차로 영역인 제1차로(A1)와, 제1차선(L1)과 제2차선(L2) 사이의 차로 영역인 제2차로(A2)와, 제2차선(L2)과 차도의 우측 가장자리 사이의 차로 영역인 제3차로(A3)로 구획하게 된다.For example, referring to FIG. 1, the
폐영역 생성부(220)는 제1 카메라(110)에 의해 획득된 제1 영상의 각 프레임으로부터 객체의 에지 성분을 추출한 후 상기 에지 성분을 이용하여 상기 객체에 대응되는 소정의 폐영역을 생성한다.The closed
이때, 객체의 에지 성분은 라플라시안(Laplacian) 연산을 이용한 2차 미분과 같은 일반적인 에지 검출 알고리즘을 이용하여 객체에 대한 윤곽선을 검출함으로써 획득된다. 이와 같은 에지 검출 알고리즘은 당업자에게는 자명한 사항이므로 별도의 설명은 생략하기로 한다.At this time, the edge component of the object is obtained by detecting the contour of the object using a general edge detection algorithm such as a second-order differential using a Laplacian operation. Since such an edge detection algorithm is obvious to those skilled in the art, a detailed description thereof will be omitted.
분할구역 구획부(260)는, 도 4 또는 도 5에 도시된 바와 같이, 폐영역 생성부(220)에 의해 생성된 폐영역의 중심점(OC)을 기준으로 차선(L1,L2)의 길이 방향과 평행한 방향으로 분할하여 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ)으로 구획한다.4 or 5, the divided
차로 변경 감지부(280)는 분할영역 구획부(260)에 의해 분할된 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ)과 어느 하나의 차선(L1,L2) 사이의 거리를 각각 비교한 결과에 기초하여 이동 차량의 차로 변경 여부를 감지한다.The lane
여기서, 차로 변경 감지부(280)는, 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ)과 어느 하나의 차선까지의 거리를 비교한 결과, 제1 시점에는 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ) 각각과 상기 차선 간의 거리가 달랐으나 상기 제1 시점으로부터 소정 시간 경과한 제2 시점에는 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ) 각각과 상기 차선 간의 거리가 같아지는 경우, 상기 거리가 같아진 시점을 기준으로 이동 차량의 차로가 변경된 것으로 감지한다.Here, the lane
구체적으로, 차로 변경 감지부(280)는, 제1 시점(T1)에서는 제1 분할영역(Ⅰ)에서 어느 하나의 차선(L1)까지의 거리에 해당하는 제1 거리(d1)가 제2 분할영역(Ⅱ)에서 차선(L1)까지의 거리에 해당하는 제2 거리(d2)보다 작고, 제1 시점(T1) 이후의 제2 시점(T2)에서는 제1 거리(d1)가 제2 거리(d2)보다 크거나 같은 경우, 이동 차량의 차로가 변경된 것으로 감지할 수 있다.Specifically, the lane
예컨대, 도 4에 도시된 바와 같이 이동 차량이 제2차로(A2)에서 제1차로(A1)로 차로를 변경하여 이동하는 경우, 제1 시점(T1)일 땐 이동 차량의 몸체 전체가 제2차로(A2)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 좌측 차선(L1)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 좌측 차선(L1)의 중앙 간의 제2 거리(d2)보다 더 작은 값을 가지게 되고, 제2 시점(T2)일 땐 이동 차량이 좌측 차선(L1)을 넘어가 몸체 좌측 일부가 제1차로(A1)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 좌측 차선(L1)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 좌측 차선(L1)의 중앙 간의 제2 거리(d2)보다 더 큰 값을 가지게 된다.For example, as shown in FIG. 4, when the moving vehicle changes from the second lane A2 to the first lane A1 and moves, at the first time T1, the entire body of the moving vehicle becomes the second as positioned on the drive (A2), the first partition (ⅰ) the center point (O ⅰ) the center point of the first distance (d 1) between the center of the left lane (L1) a second partition (ⅱ) in the ( O ⅱ) and have a value smaller than the second distance (d 2) between the center of the left lane (L1) from, the moving vehicle when one second time (T2) beyond the left lane (L1) body left part of the primarily as the position on the (A1), a first partition (ⅰ) the center point (O ⅰ) the center point of the first distance (d 1) between the center of the left lane (L1) a second partition (ⅱ) in a second distance between the center of the left lane (L1) on the (O ⅱ) will have a value greater than the (d 2).
또한, 차로 변경 감지부(280)는, 제1 시점(T1)에서는 제1 분할영역(Ⅰ)에서 어느 하나의 차선(L2)까지의 거리에 해당하는 제1 거리(d1)가 제2 분할영역(Ⅱ)에서 차선(L2)까지의 거리에 해당하는 제2 거리(d2)보다 크고, 제1 시점(T1) 이후의 제2 시점(T2)에서는 제1 거리(d1)가 제2 거리(d2)보다 작거나 같은 경우, 이동 차량의 차로가 변경된 것으로 감지할 수 있다.The lane
예컨대, 도 4에 도시된 바와 같이 이동 차량이 제2차로(A2)에서 제3차로(A3)로 차로를 변경하여 이동하는 경우, 제1 시점(T1)일 땐 이동 차량의 몸체 전체가 제2차로(A2)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 우측 차선(L2)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 우측 차선(L2)의 중앙 간의 제2 거리(d2)보다 더 큰 값을 가지게 되고, 제2 시점(T2)일 땐 이동 차량의 몸체 우측 일부가 제3차로(A3)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 우측 차선(L2)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 우측 차선(L2)의 중앙 간의 제2 거리(d2)보다 더 작은 값을 가지게 된다.For example, when the moving vehicle changes its lane from the second lane A2 to the third lane A3 as shown in FIG. 4, at the first time T1, the entire body of the moving vehicle is moved to the second as positioned on the drive (A2), the first partition (ⅰ) the center point (O ⅰ) a first distance between the center of the right lane (L2) in the (d 1) is the center point of the second partition (ⅱ) of ( the O ⅱ) a second distance (d 2) more and have a large value, the second time (T2) to the body right part of the moving vehicle a third drive (A3) when one more between the center of the right lane (L2) from The first distance d 1 between the center point O I of the first divided area I and the center of the right lane L2 is greater than the first distance d 1 between the center point O II of the second divided area II, It will have a value smaller than the second distance (d 2) between the center of the (L2).
즉, 전술한 바에 의하면, 이동 차량이 제2차로(A2)에서 제1차로(A1) 또는 제2차로(A2)에서 제3차로(A3)로 차로를 변경하는 경우, 이동 차량의 폐영역에 기초한 제1 분할영역(Ⅰ)과 제2 분할영역(Ⅱ) 각각으로부터 차선 간의 거리에 해당하는 제1 거리(d1) 및 제2 거리(d2)의 크기를 비교한 결과, 만일 차로 변경 전 제1 시점(T1)일 때의 제1 거리(d1)가 제2 거리(d2)보다 작다면 제2 시점(T2)일 때의 제1 거리(d1)가 제2 거리(d2)보다 커지는 시점에 차로를 변경한 것으로 판단하고, 만일 차로 변경 전 제1 시점(T1)일 때의 제1 거리(d1)가 제2 거리(d2)보다 크다면 차로 변경 진행 중인 제2 시점(T2)일 때의 제1 거리(d1)가 제2 거리(d2)가 작아지는 시점에 차로를 변경한 것으로 판단할 수 있다.That is, when the moving vehicle changes the lane from the first lane A1 or the second lane A2 to the third lane A3 in the second lane A2, As a result of comparing the sizes of the first distance d 1 and the second distance d 2 corresponding to the distances between the lanes from the first divided area I and the second divided area II based on the difference, a first time (T1) a first distance (d 1) a second distance (d 2) a second distance (d2) a first distance (d 1) at the time one is less than the second time (T2) when the determined that the more change the car in the time of growing, and if changed the car before the first time (T1) at the first distance (d 1) a second distance a second time in progress is greater than the change by car (d 2) at the time It can be determined that the first distance d 1 when the second distance d 2 is smaller than the second distance d 2 is changed.
이 경우, 실시간 영상 내 차선과 이동 차량에 대응하는 폐영역을 검출한 후 이를 바탕으로 분석한 결과를 이용하여 이동 차량의 차로 변경 여부를 즉각적으로 파악할 수 있으므로, 영상 내 픽셀 정보를 이용한 대용량 데이터 분석을 위해 복잡한 디지털 영상처리기술이 요구되는 종래의 방식에서 벗어나, 간단한 하드웨어 구성만으로도 구현 가능하여 고비용의 복잡한 시스템을 구축할 필요 없이 저비용으로 감시 시스템의 구축이 가능한 효과가 있다.In this case, since the lane in the real-time image and the closed area corresponding to the moving vehicle are detected and the result of the analysis based on the result is used, it is possible to immediately recognize whether the vehicle is changed to the lane. It is possible to realize a surveillance system at a low cost without building a complicated system at a high cost because the system can be realized by a simple hardware configuration without departing from the conventional system requiring a complicated digital image processing technology.
제1 저장부(310)는 제1 카메라(110)에 의해 획득된 제1 영상을 기설정된 시간 단위로 저장한다.The
이때, 상기 시간 단위는 30초, 60초, 3분, 5분, 10분 등 여러 값 중 하나로 설정될 수 있으며, 전술한 내용에 한정되지 않고 필요에 따라 이와 다른 새로운 값으로 설정되는 것도 가능하다.In this case, the time unit may be set to one of various values such as 30 seconds, 60 seconds, 3 minutes, 5 minutes, 10 minutes, and the like, and is not limited to the above-described contents, .
제2 저장부(320)는 차로 변경 감지부(280)에 의해 이동 차량이 차로를 변경한 것으로 감지되는 경우, 상기 이동 차량의 차로 변경이 감지된 시점(ta)일 때 제1 카메라(110)에 의해 획득된 제1 영상의 영상 프레임의 이미지에 해당하는 감지 영상 이미지(Ip)와, 상기 감지된 시점(tc)을 기준으로 전후 일정 시간(±td1) 동안 제1 카메라(110)에 의해 획득되어 제1 저장부(110)에 저장된 상기 제1 영상에 해당하는 제1 판단 영상(M1)과, 상기 감지된 시점(ta)으로부터 기설정된 임계시간(td2)까지 제2 카메라(120)를 이용하여 제2 영역을 촬상한 제2 영상에 해당하는 제2 판단 영상(M2)을 각각 추출하여 별도의 데이터로 저장한다.A
여기서, 제2 저장부(320)에서는 소정의 감지 시점을 기준으로 하여 획득된 감지 영상 이미지(Ip), 제1 판단 영상(M1) 및 제2 판단 영상(M2)을 상호 대응되도록 상기 감지 시점별로 매칭하여 저장할 수 있다.Here, in the
이때, 제1 판단 영상(M1)에서 상기 감지된 시점(ta)을 기준으로 한 전후 시간 범위값(±td1)에 해당하는 기준시간(td1) 값은, 제2 판단 영상(M2)의 재생시간에 해당하는 임계시간(td2) 값보다 작게 설정될 수 있다.At this time, the reference time t d1 corresponding to the temporal time range value ± t d1 based on the sensed time t a in the first determination image M 1 is calculated as the second determination image M 2, May be set to be smaller than the threshold time (t d2 ) value corresponding to the reproduction time of the video signal.
예컨대, 기준시간(td1)이 "30초"이고 임계시간(td2)이 "1분"일 때, 만약 이동 차량의 차로 변경이 감지된 시각(ta)이 "16:06:16"이라고 한다면, "16:06:16"일 때의 제1 카메라(110)에 의해 획득된 제1 영상의 영상 프레임 이미지를 검출하여 이를 감지 영상 이미지(Ip)로서 제2 저장부(320)에 상기 감지된 시각인 "16:06:16"에 매칭되도록 저장하고, "16:06:16"를 기준으로 30초 전후에 해당하는 "16:05:46"에서 "16:06:46"까지 제1 카메라(110)에 의해 획득된 제1 영상을 검출하여 이를 제1 판단 영상(M1)으로서 제2 저장부(320)에 상기 감지된 시각인 "16:06:16"에 매칭되도록 저장하고, "16:06:16"에서 "16:07:16"까지 제2 카메라(120)에 의해 획득된 제2 영상을 검출하여 이를 제2 판단 영상(M2)으로서 제2 저장부(320)에 상기 감지된 시각인 "16:06:16"에 매칭되도록 저장하게 된다.For example, when the reference time t d1 is "30 seconds" and the threshold time t d2 is "1 minute", if the time t a at which the change of the moving vehicle is sensed is "16:06:16" , It detects the image frame image of the first image obtained by the
이 경우, 이동 차량의 차선 변경이 감지되는 시점을 기준으로 한 소정 구간에 해당하는 영상 또는 이미지를 추출하여 저장하는 것만으로도 차선 변경 차량의 단속 시 증거가 되는 영상데이터를 수집할 수 있어 영상 데이터의 저장용량을 최소화할 수 있게 된다.In this case, it is possible to collect image data that is evidence at the time of interception of the lane-changing vehicle by extracting and storing an image or an image corresponding to a predetermined section based on a time point at which the lane change of the moving vehicle is sensed, It is possible to minimize the storage capacity.
리스트 생성 모듈(400)은 감지 모듈(200)에 의해 이동 차량이 차로를 변경한 것으로 감지되는 경우, 제2 영역을 촬상한 제2 영상에 기초하여 차로 변경을 수행한 차로 변경 차량에 대응하는 후보 리스트를 생성하기 위한 것이다.When the
구체적으로, 리스트 생성 모듈(400)은 도 3에 도시된 바와 같이 번호판 인식부(420), 객체 이미지 검출부(440) 및 후보 리스트 생성부(460)를 포함한다.3, the
번호판 인식부(420)는 제2 카메라(120)를 이용하여 제2 영역을 촬상한 제2 영상으로부터 이동 차량의 번호판 영역을 검출하여 상기 이동 차량의 번호판 정보를 인식한다.The license
여기서, 번호판 인식부(420)는 차로 변경 감지부(280)에 의해 소정의 이동 차량이 차로를 변경한 것으로 감지되는 경우, 감지 시점(ta)으로부터 기설정된 임계시간(td2)까지 제2 카메라(120)를 이용하여 제2 영역을 촬상한 제2 영상에 해당하는 제2 판단 영상(M2)의 각 프레임으로부터 에지 성분을 추출한 후 추출된 에지 성분을 이용하여 객체에 대응되는 소정의 폐영역을 생성하게 되면, 당업계에 널리 공지된 번호판 인식 기술을 이용하여 상기 폐영역으로부터 소정의 번호판 정보를 추출하고, 추출된 번호판 정보를 포함하는 이미지(In)를 검출할 수 있다.If it is detected by the lane
이 경우, 차선 변경 차량의 단속 시 증거가 되는 영상데이터를 수집하기 위하여 제2 영역을 통과하는 모든 이동 차량에 대한 번호판 인식을 수행할 필요 없이, 이동 차량의 차선 변경이 감지되는 시점을 기준으로 한 소정 구간에 해당하는 제2 판단 영상 내 이동 차량의 번호판 인식만을 수행하면 되므로, 전체 데이터 처리량을 최소화할 수 있게 된다.In this case, it is unnecessary to perform license plate recognition for all moving vehicles passing through the second area in order to collect image data as evidence at the time of interception of the lane-changing vehicle, Only the number plate recognition of the moving vehicle in the second judgment image corresponding to the predetermined section is performed, so that the entire data throughput can be minimized.
객체 이미지 검출부(440)는 제2 카메라(120)에 의해 획득된 제2 영상을 구성하는 복수 개의 영상 프레임 중 소정의 객체에 대응하는 에지 성분이 포함된 프레임 이미지를 객체 이미지(Io)로서 검출한다.The object
여기서, 객체 이미지 검출부(440)는 차로 변경 감지부(280)에 의해 소정의 이동 차량이 차로를 변경한 것으로 감지되는 경우, 감지 시점(ta)으로부터 기설정된 임계시간(td2)까지 제2 카메라(120)를 이용하여 제2 영역을 촬상한 제2 영상에 해당하는 제2 판단 영상(M2)의 각 프레임으로부터 에지 성분을 추출한 후 추출된 에지 성분을 이용하여 객체에 대응되는 소정의 폐영역이 생성되는 경우, 해당 폐영역이 속하는 프레임 이미지를 객체 이미지(Io)로 검출할 수 있다.Here, when the lane
이때, 전술한 번호판 인식부(420) 및 객체 이미지 검출부(440)에서는 라플라시안(Laplacian) 연산을 이용한 2차 미분과 같은 일반적인 에지 검출 알고리즘을 이용하여 객체에 대한 윤곽선을 검출할 수 있다. 이와 같은 에지 검출 알고리즘은 당업자에게는 자명한 사항이므로 별도의 설명은 생략하기로 한다.At this time, the license
후보 리스트 생성부(460)는 차로 변경 감지부(280)에서 이동 차량의 차로 변경이 감지되면, 상기 차로 변경이 감지된 시점을 기준으로 한 이동 차량의 번호판 정보의 인식 여부에 기초하여, 번호판 인식부(420)에 의해 인식된 번호판 정보가 추출된 복수의 프레임 이미지(In)와 객체 이미지 검출부(440)에 의해 검출된 객체 이미지(Io) 중 적어도 어느 하나를 이용하여 후보 리스트를 생성한다.The candidate
구체적으로, 후보 리스트 생성부(460)는, 차로 변경 감지부(280)에 의해 이동 차량이 차로를 변경한 것으로 감지되고 제2 판단 영상(M2)에 기초하여 번호판 인식부(420)에 의해 인식된 번호판 정보가 있는 경우, 상기 차로 변경이 감지된 시점에 대응하여 상기 번호판 정보가 추출된 복수의 영상 프레임의 이미지(In)와 상기 번호판 정보가 추출된 시간 정보를 매칭시킨 후 이에 기초한 후보 리스트를 생성한다.More specifically, the candidate
또한, 후보 리스트 생성부(460)는, 만약 차로 변경 감지부(280)에 의해 이동 차량이 차로를 변경한 것으로 감지되었으나 제2 판단 영상(M2)에 기초하여 번호판 인식부(420)에 의해 인식된 번호판 정보가 없는 경우, 상기 차로 변경이 감지된 시점에 대응하여 객체 이미지 검출부(440)에 의해 검출된 객체 이미지(Io)와 상기 객체 이미지(Io)가 검출된 시간 정보를 매칭시킨 후 이에 기초한 후보 리스트를 생성한다.The candidate
이때, 상기 후보 리스트는, 상기 번호판 정보가 검출된 시간 정보와 상기 객체 이미지가 검출된 시간 정보를 시간순으로 함께 정렬하되, 각각의 상기 시간 정보에 매칭되는 영상 프레임 이미지를 동일한 행 또는 열에 표시하는 목록 형태일 수 있다.Here, the candidate list may be a list that displays the image frame images matched to the respective time information in the same row or column, together with the time information in which the license plate information was detected and the time information in which the object image was detected, Lt; / RTI >
디스플레이부(500)는 감지 모듈(200)에 의해 차로 변경이 감지된 시점을 기준으로 한 제1 영상 및 제2 영상과 리스트 생성 모듈(300)에 의해 생성된 후보 리스트 중 적어도 어느 하나를 화면에 표시한다.The
여기서, 디스플레이부(500)는 제2 저장부(320)에 저장된 데이터(Ip,M1,M2)와 후보 리스트 생성부(460)에 의해 생성된 후보 리스트에 기초하여 차로 변경 감지를 알리는 알림 메시지를 도 6에 도시된 바와 같이 화면에 표시할 수 있다.Here, the
구체적으로, 디스플레이부(500)는 전체 화면영역을 복수의 분할 화면영역으로 구획한 후, 제1 카메라(110)에 의해 획득된 제1 영상에 기초한 감지 영상 이미지(Ip) 및 제1 판단 영상(M1)과, 제2 카메라(120)에 의해 획득된 제2 영상에 기초한 제2 판단 영상(M2)과, 후보 리스트 생성부(460)에 의해 생성된 후보 리스트와, 차로 변경 감지부(280)에 의해 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트 중 적어도 하나를 각각의 분할 화면영역에 표시할 수 있다.Specifically, the
또한, 디스플레이부(500)는 어느 하나의 분할 화면영역에 차로 변경 감지부(280)에 의해 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트를 표시한 상태에서, 만일 사용자에 의해 감지 리스트 중에서 어느 하나의 감지 시점이 선택되는 경우, 선택된 감지 시점에 대응하는 제1 판단 영상(M1), 감지 영상 이미지(Ip), 제2 판단 영상(M2) 및 후보 리스트 중 적어도 하나를 해당 분할 화면영역에 표시할 수 있다.In addition, the
예컨대, 도 6을 참조하면, 차로 변경 감지부(280)에 의해 차로 변경이 감지된 시각이 "16:03:12", "16:06:16", "17:01:11", "17:14:13"이라면, 디스플레이부(500)는 전체 화면영역(W)을 5개의 분할 화면영역(W1,W2,W3,W4,W5)으로 구획한 후 화면 우측의 제1 분할 화면영역(W1)에 전술한 상기 감지된 시각에 대한 정보를 시간순으로 정렬한 목록 형태의 감지 리스트를 표시하게 된다.For example, referring to Fig. 6, the time at which the lane
만일 제1 판단 영상(M1) 및 제2 판단 영상(M2) 각각에 대한 기준시간(td1)이 "30초"이고 임계시간(td2)이 "1분"일 때, 사용자가 상기 표시된 감지 리스트 중 감지 시점(ta)인 "16:06:16"을 선택하게 되면, "16:06:16"일 때 제1 카메라(110)에 의해 획득된 제1 영상의 영상 프레임 이미지에 해당하는 감지 영상 이미지(Ip)가 화면 중앙 상단의 제2 분할 화면영역(W2)에 표시되고, 상기 감지 시점(ta)인 "16:06:16"를 기준으로 30초 전후에 해당하는 "16:05:46"에서 "16:06:46"까지 제1 카메라(110)에 의해 획득된 제1 판단 영상(M1)이 화면 좌측 상단의 제3 분할 화면영역(W3)에 표시되고, 상기 감지 시점인 "16:06:16"에서 "16:07:16"까지 제2 카메라(120)에 의해 획득된 제2 판단 영상(M2)이 화면 좌측 하단의 제4 분할 화면영역(W4)에 표시되고, 번호판 인식부(420)에 의해 "16:06:20"에 검출된 번호판 정보 "5마6781"와 이에 대응하는 영상 프레임 이미지(In)와, 객체 이미지 검출부(440)에 의해 "16:06:45"에 검출된 에지 정보에 기초한 객체 이미지(Io)를 포함하는 후보 리스트가 화면 중앙 하단의 제5 분할 화면영역(W5)에 표시되게 된다.When the reference time t d1 for each of the first judgment image M1 and the second judgment image M2 is 30 seconds and the threshold time t d2 is 1 minute, 16:06:16 ", which is the detection time point t a of the list, the image corresponding to the image frame image of the first image obtained by the first camera 110 at "16: sensing visual images (Ip), the screen is displayed in the second sub-screen area (W2) of the central top, corresponding to before and after 30 seconds on the basis of the detected time of "16:06:16" (t a) " 16: The first judgment image M1 obtained by the first camera 110 from the "05:46" to "16:06:46" is displayed in the third divided screen area W3 at the upper left of the screen, The second judgment image M2 obtained by the second camera 120 from "16:06:16" to "16:07:16" in the lower left part of the screen is displayed in the fourth divided screen area W4 , License plate information detected at "16:06:20" by license plate recognition section 420 A candidate list including the object image Io based on the edge information detected at "16:06:45 " by the object image detection unit 440 And is displayed in the fifth divided screen area W5 at the lower center of the screen.
이때, 디스플레이부(500)는 터치 가능한 터치스크린 형태로 마련되어 사용자의 터치 입력을 입력받아 감지 리스트 중 어느 하나의 감지 시점을 선택할 수 있으며, 혹은 별도로 연결 가능한 키패드를 통한 키 입력을 통해 상기 감지 시점을 선택할 수도 있다.At this time, the
도 7은 본 발명의 일 실시예에 따른 차로 변경 감지 방법을 나타내는 순서도이고, 도 8은 도 7의 차로 변경 감지 단계를 상세히 나타낸 순서도이고, 도 9는 도 7의 후보 리스트 생성 단계를 상세히 나타낸 순서도이다.FIG. 7 is a flowchart illustrating a car change detection method according to an embodiment of the present invention. FIG. 8 is a flowchart illustrating a car change detection step in FIG. to be.
이하, 전술한 도면들을 참조하여 본 발명의 일 실시예에 따른 차로 변경 감지 방법에 대해 설명하도록 한다.Hereinafter, a car change detection method according to an embodiment of the present invention will be described with reference to the above-mentioned drawings.
먼저, 카메라부(100)를 이용하여 제1 영역 및 제2 영역을 각각 촬상한 제1 영상 및 제2 영상을 획득한다(S100).First, a first image and a second image obtained by capturing the first region and the second region, respectively, are acquired using the camera unit 100 (S100).
여기서, 카메라부(100)는 차량의 진행 방향을 따라 제1 영역 및 제2 영역을 순차적으로 통과하는 이동 차량을 각각의 영역 범위에서 촬상하여 실시간 영상을 획득하기 위한 것으로서, 도 1에 도시된 바와 같이, 적어도 둘 이상의 차로(A1,A2,A3)를 포함하는 도로에 인접하여 소정 거리만큼 상호 이격 설치되되, 상기 제1 영역을 촬상하는 제1 카메라(110)와, 상기 제2 영역을 촬상하는 제2 카메라(120)를 포함할 수 있다.Here, the
이때, 제1 카메라(110) 및 제2 카메라(120)는, 4K UHD(Ultra High Definition)를 지원하는 카메라 또는 3M(Megapixel) 이상의 FHD(Full High Definition)를 지원하는 카메라인 것이 바람직하나, 이에 한정되는 것은 아니다.The
다음으로, 상기 S100 단계에 획득된 제1 영상에 기초하여 이동 차량의 차로 변경 여부를 감지한다(S200).Next, in step S200, it is determined whether the vehicle is changed to a vehicle based on the first image obtained in step S100.
구체적으로, 상기 S200 단계는, 상기 제1 영상으로부터 차선을 인식하고 상기 차선을 기준으로 복수 개의 차로 영역으로 구획하는 단계(S220)와, 상기 제1 영상 내 객체에 대응되는 소정의 폐영역을 생성하는 단계(S240)와, 상기 S240 단계에 생성된 폐영역을 제1 분할영역 및 제2 분할영역으로 분할하는 단계(S260)와, 상기 S260 단계에 분할된 제1 분할영역 및 제2 분할영역과 상기 차선 사이의 거리를 각각 비교한 결과에 기초하여 이동 차량의 차로 변경 여부를 감지하는 단계(S280)를 포함할 수 있다.In more detail, the step S200 may include a step S220 of recognizing a lane from the first image and dividing the lane into a plurality of lane areas based on the lane, generating a predetermined closed area corresponding to the object in the first image (S260) of dividing the closed area created in step S240 into a first partition area and a second partition area in step S240, a first partition area and a second partition area in step S260, And a step S280 of detecting whether the vehicle is changed to a lane based on a result of comparing the distances between the lanes.
여기서, 상기 S220 단계는, 상기 제1 영상으로부터 에지 성분을 추출한 후 추출된 에지 성분이 기설정된 차선 패턴과 동일한 경우에 이를 차선(L1,L2)으로 인식하고, 인식된 차선(L1,L2)을 기준으로 차도를 복수 개의 차로 영역(A1,A2,A3)으로 구획할 수 있다.If the edge component extracted after extracting the edge component from the first image is equal to a predetermined lane pattern, the step S220 recognizes the edge component as lanes L1 and L2 and recognizes the recognized lanes L1 and L2 as The roadway can be divided into a plurality of lane road areas A1, A2, and A3 as a reference.
예컨대, 도 1을 참조하면, 상기 S220 단계에서는, 상기 제1 영상으로부터 인식된 차선(L1,L2)을 기준으로 차도를 차도의 좌측 가장자리와 제1차선(L1) 사이의 차로 영역인 제1차로(A1)와, 제1차선(L1)과 제2차선(L2) 사이의 차로 영역인 제2차로(A2)와, 제2차선(L2)과 차도의 우측 가장자리 사이의 차로 영역인 제3차로(A3)로 구획하게 된다.For example, referring to FIG. 1, in step S220, a difference is calculated on the basis of the lanes L1 and L2 recognized from the first image by a first lane which is a lane between the left edge of the roadway and the first lane L1, A second lane A2 as a lane between the first lane L1 and the second lane L2 and a third lane A2 as a lane between the second lane L2 and the right edge of the roadway, (A3).
여기서, 상기 S240 단계는, 상기 제1 영상의 각 프레임으로부터 객체의 에지 성분을 추출한 후 상기 에지 성분을 이용하여 상기 객체에 대응되는 소정의 폐영역을 생성한다.In operation S240, an edge component of an object is extracted from each frame of the first image, and a predetermined closed region corresponding to the object is generated using the edge component.
이때, 객체의 에지 성분은 라플라시안(Laplacian) 연산을 이용한 2차 미분과 같은 일반적인 에지 검출 알고리즘을 이용하여 객체에 대한 윤곽선을 검출함으로써 획득된다. 이와 같은 에지 검출 알고리즘은 당업자에게는 자명한 사항이므로 별도의 설명은 생략하기로 한다.At this time, the edge component of the object is obtained by detecting the contour of the object using a general edge detection algorithm such as a second-order differential using a Laplacian operation. Since such an edge detection algorithm is obvious to those skilled in the art, a detailed description thereof will be omitted.
여기서, 상기 S260 단계는, 도 4 또는 도 5에 도시된 바와 같이, 상기 S240 단계에 생성된 폐영역의 중심점(OC)을 기준으로 차선(L1,L2)의 길이 방향과 평행한 방향으로 분할하여 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ)으로 구획한다.Here, the S260 step is divided in a direction parallel to the longitudinal direction of the lane (L1, L2) relative to the center point (O C) of the closed region generated in the S240 step, as illustrated in Figure 4 or Figure 5 And is divided into a first divisional area (I) and a second divisional area (II).
여기서, 상기 S280 단계는, 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ)과 어느 하나의 차선까지의 거리를 비교한 결과, 제1 시점에는 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ) 각각과 상기 차선 간의 거리가 달랐으나 상기 제1 시점으로부터 소정 시간 경과한 제2 시점에는 제1 분할영역(Ⅰ) 및 제2 분할영역(Ⅱ) 각각과 상기 차선 간의 거리가 같아지는 경우, 상기 거리가 같아진 시점을 기준으로 이동 차량의 차로가 변경된 것으로 감지한다.As a result of comparing the distances to any one lane with the first and second divided regions I and II in the step S280, the first divided region I and the second divided region I The distance between each of the first divided area I and the second divided area II is equal to the distance between the second divided area I and the second divided area II at a second time point when a predetermined time has elapsed from the first time point, , It is detected that the lane of the moving vehicle is changed on the basis of the time when the distances become equal to each other.
구체적으로, 상기 S280 단계에서는, 제1 시점(T1)에서는 제1 분할영역(Ⅰ)에서 어느 하나의 차선(L1)까지의 거리에 해당하는 제1 거리(d1)가 제2 분할영역(Ⅱ)에서 차선(L1)까지의 거리에 해당하는 제2 거리(d2)보다 작고, 제1 시점(T1) 이후의 제2 시점(T2)에서는 제1 거리(d1)가 제2 거리(d2)보다 크거나 같은 경우, 이동 차량의 차로가 변경된 것으로 감지할 수 있다.Specifically, in step S280, the first distance d 1 corresponding to the distance from the first division area I to any one of the lanes L 1 is divided into the second division area II ) is a second distance (d a first distance (d 1), the second distance, smaller than (d 2) a first time (T1) a second time (T2) subsequent to the distance to the lane (L1) on the 2 ), it can be detected that the lane of the moving vehicle has been changed.
예컨대, 도 4에 도시된 바와 같이 이동 차량이 제2차로(A2)에서 제1차로(A1)로 차로를 변경하여 이동하는 경우, 제1 시점(T1)일 땐 이동 차량의 몸체 전체가 제2차로(A2)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 좌측 차선(L1)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 좌측 차선(L1)의 중앙 간의 제2 거리(d2)보다 더 작은 값을 가지게 되고, 제2 시점(T2)일 땐 이동 차량이 좌측 차선(L1)을 넘어가 몸체 좌측 일부가 제1차로(A1)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 좌측 차선(L1)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 좌측 차선(L1)의 중앙 간의 제2 거리(d2)보다 더 큰 값을 가지게 된다.For example, as shown in FIG. 4, when the moving vehicle changes from the second lane A2 to the first lane A1 and moves, at the first time T1, the entire body of the moving vehicle becomes the second as positioned on the drive (A2), the first partition (ⅰ) the center point (O ⅰ) the center point of the first distance (d 1) between the center of the left lane (L1) a second partition (ⅱ) in the ( O ⅱ) and have a value smaller than the second distance (d 2) between the center of the left lane (L1) from, the moving vehicle when one second time (T2) beyond the left lane (L1) body left part of the primarily as the position on the (A1), a first partition (ⅰ) the center point (O ⅰ) the center point of the first distance (d 1) between the center of the left lane (L1) a second partition (ⅱ) in a second distance between the center of the left lane (L1) on the (O ⅱ) will have a value greater than the (d 2).
또한, 상기 S280 단계에서는, 제1 시점(T1)에서는 제1 분할영역(Ⅰ)에서 어느 하나의 차선(L2)까지의 거리에 해당하는 제1 거리(d1)가 제2 분할영역(Ⅱ)에서 차선(L2)까지의 거리에 해당하는 제2 거리(d2)보다 크고, 제1 시점(T1) 이후의 제2 시점(T2)에서는 제1 거리(d1)가 제2 거리(d2)보다 작거나 같은 경우, 이동 차량의 차로가 변경된 것으로 감지할 수 있다.Further, in the S280 step, the first time (T1) in a first distance (d 1) and a second partition that in the first partition (Ⅰ) corresponds to the distance to any one of the lane (L2) (Ⅱ) in the lane second distance greater than, (d 2) a first time (T1) a second time (T2) subsequent to the distance to the (L2) a first distance and a second distance (d 1) (d 2 ), It is possible to detect that the lane of the moving vehicle has been changed.
예컨대, 도 4에 도시된 바와 같이 이동 차량이 제2차로(A2)에서 제3차로(A3)로 차로를 변경하여 이동하는 경우, 제1 시점(T1)일 땐 이동 차량의 몸체 전체가 제2차로(A2)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 우측 차선(L2)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 우측 차선(L2)의 중앙 간의 제2 거리(d2)보다 더 큰 값을 가지게 되고, 제2 시점(T2)일 땐 이동 차량의 몸체 우측 일부가 제3차로(A3)상에 위치함에 따라, 제1 분할영역(Ⅰ)의 중심점(OⅠ)에서 우측 차선(L2)의 중앙 간의 제1 거리(d1)가 제2 분할영역(Ⅱ)의 중심점(OⅡ)에서 우측 차선(L2)의 중앙 간의 제2 거리(d2)보다 더 작은 값을 가지게 된다.For example, when the moving vehicle changes its lane from the second lane A2 to the third lane A3 as shown in FIG. 4, at the first time T1, the entire body of the moving vehicle is moved to the second as positioned on the drive (A2), the first partition (ⅰ) the center point (O ⅰ) a first distance between the center of the right lane (L2) in the (d 1) is the center point of the second partition (ⅱ) of ( the O ⅱ) a second distance (d 2) more and have a large value, the second time (T2) to the body right part of the moving vehicle a third drive (A3) when one more between the center of the right lane (L2) from The first distance d 1 between the center point O I of the first divided area I and the center of the right lane L2 is greater than the first distance d 1 between the center point O II of the second divided area II, It will have a value smaller than the second distance (d 2) between the center of the (L2).
즉, 전술한 바에 의하면, 이동 차량이 제2차로(A2)에서 제1차로(A1) 또는 제2차로(A2)에서 제3차로(A3)로 차로를 변경하는 경우, 이동 차량의 폐영역에 기초한 제1 분할영역(Ⅰ)과 제2 분할영역(Ⅱ) 각각으로부터 차선 간의 거리에 해당하는 제1 거리(d1) 및 제2 거리(d2)의 크기를 비교한 결과, 만일 차로 변경 전 제1 시점(T1)일 때의 제1 거리(d1)가 제2 거리(d2)보다 작다면 제2 시점(T2)일 때의 제1 거리(d1)가 제2 거리(d2)와 같아지는 시점 이후에 차로를 변경한 것으로 판단하고, 만일 차로 변경 전 제1 시점(T1)일 때의 제1 거리(d1)가 제2 거리(d2)보다 크다면 차로 변경 진행 중인 제2 시점(T2)일 때의 제1 거리(d1)가 제2 거리(d2)와 같아지는 시점 이후에 차로를 변경한 것으로 판단할 수 있다.That is, when the moving vehicle changes the lane from the first lane A1 or the second lane A2 to the third lane A3 in the second lane A2, As a result of comparing the sizes of the first distance d 1 and the second distance d 2 corresponding to the distances between the lanes from the first divided area I and the second divided area II based on the difference, a first time (T1) a first distance (d 1) a second distance (d 2) a second distance (d2) a first distance (d 1) at the time one is less than the second time (T2) when the If the first distance d 1 at the first time T1 before the change to the vehicle is greater than the second distance d 2 , It can be judged that the lane has been changed after the time when the first distance d 1 at the time T2 is equal to the second distance d 2 .
이 경우, 실시간 영상 내 차선과 이동 차량에 대응하는 폐영역을 검출한 후 이를 바탕으로 분석한 결과를 이용하여 이동 차량의 차로 변경 여부를 즉각적으로 파악할 수 있으므로, 영상 내 픽셀 정보를 이용한 대용량 데이터 분석을 위해 복잡한 디지털 영상처리기술이 요구되는 종래의 방식에서 벗어나, 간단한 하드웨어 구성만으로도 구현 가능하여 고비용의 복잡한 시스템을 구축할 필요 없이 저비용으로 감시 시스템의 구축이 가능해지게 된다.In this case, since the lane in the real-time image and the closed area corresponding to the moving vehicle are detected and the result of the analysis based on the result is used, it is possible to immediately recognize whether the vehicle is changed to the lane. It is possible to realize a surveillance system at a low cost without constructing a complicated system at a high cost because it can be realized by a simple hardware configuration without departing from a conventional system requiring a complicated digital image processing technology.
다음으로, 상기 S200 단계에서 이동 차량이 차로를 변경한 것으로 감지되는 경우, 상기 S100 단계에 획득된 제2 영상에 기초하여 차로 변경을 수행한 차로 변경 차량에 대응하는 후보 리스트를 생성한다(S300).Next, if it is detected in step S200 that the moving vehicle has changed the lane, a candidate list corresponding to the changed vehicle is generated based on the second image obtained in step S100 (S300) .
구체적으로, 상기 S300 단계는, 상기 제2 영상으로부터 이동 차량의 번호판 영역을 검출하여 상기 이동 차량의 번호판 정보를 인식하는 단계(S320)와, 상기 제2 영상 내 객체에 대응하는 객체 이미지를 검출하는 단계(S340)와, 상기 S320 단계에서의 이동 차량의 번호판 정보의 인식 여부에 기초하여, 상기 S320 단계에 인식된 번호판 정보가 추출된 복수의 프레임 이미지와 상기 S340 단계에 검출된 객체 이미지 중 적어도 어느 하나를 이용하여 후보 리스트를 생성하는 단계(S360)를 포함할 수 있다.More specifically, the step S300 may include detecting a number plate region of the moving vehicle from the second image to recognize license plate information of the moving vehicle (S320), detecting an object image corresponding to the object in the second image At least one of the plurality of frame images from which license plate information recognized in step S320 is extracted and the object image detected in step S340, based on whether license plate information of the moving vehicle is recognized in step S340 and step S340, And generating a candidate list using one of the candidate lists (S360).
여기서, 상기 S320 단계는, 상기 S200 단계에서 소정의 이동 차량이 차로를 변경한 것으로 감지되는 경우, 감지 시점(ta)으로부터 기설정된 임계시간(td2)까지 제2 카메라(120)를 이용하여 제2 영역을 촬상한 제2 영상에 해당하는 제2 판단 영상(M2)의 각 프레임으로부터 에지 성분을 추출한 후 추출된 에지 성분을 이용하여 객체에 대응되는 소정의 폐영역을 생성하게 되면, 당업계에 널리 공지된 번호판 인식 기술을 이용하여 상기 폐영역으로부터 소정의 번호판 정보를 추출하고, 추출된 번호판 정보를 포함하는 이미지(In)를 검출할 수 있다.In step S320, if it is detected in step S200 that the predetermined moving vehicle has changed in the lane, the
이 경우, 차선 변경 차량의 단속 시 증거가 되는 영상데이터를 수집하기 위하여 제2 영역을 통과하는 모든 이동 차량에 대한 번호판 인식을 수행할 필요 없이, 이동 차량의 차선 변경이 감지되는 시점을 기준으로 한 소정 구간에 해당하는 제2 판단 영상 내 이동 차량의 번호판 인식만을 수행하면 되므로, 전체 데이터 처리량을 최소화할 수 있게 된다.In this case, it is unnecessary to perform license plate recognition for all moving vehicles passing through the second area in order to collect image data as evidence at the time of interception of the lane-changing vehicle, Only the number plate recognition of the moving vehicle in the second judgment image corresponding to the predetermined section is performed, so that the entire data throughput can be minimized.
여기서, 상기 S340 단계는, 상기 S200 단계에서 소정의 이동 차량이 차로를 변경한 것으로 감지되는 경우, 감지 시점(ta)으로부터 기설정된 임계시간(td2)까지 제2 카메라(120)를 이용하여 제2 영역을 촬상한 제2 영상에 해당하는 제2 판단 영상(M2)의 각 프레임으로부터 에지 성분을 추출한 후 추출된 에지 성분을 이용하여 객체에 대응되는 소정의 폐영역이 생성되는 경우, 해당 폐영역이 속하는 프레임 이미지를 객체 이미지(Io)로 검출할 수 있다.In step S340, if it is detected in step S200 that the predetermined moving vehicle has changed from the lane, the
이때, 전술한 상기 S320 단계 및 상기 S340 단계에서는 라플라시안(Laplacian) 연산을 이용한 2차 미분과 같은 일반적인 에지 검출 알고리즘을 이용하여 객체에 대한 윤곽선을 검출할 수 있다. 이와 같은 에지 검출 알고리즘은 당업자에게는 자명한 사항이므로 별도의 설명은 생략하기로 한다.In this case, in the above-described steps S320 and S340, a general edge detection algorithm such as a second-order differential using a Laplacian operation can be used to detect the contour of the object. Since such an edge detection algorithm is obvious to those skilled in the art, a detailed description thereof will be omitted.
여기서, 상기 S360 단계는, 상기 S200 단계에서 이동 차량의 차로 변경이 감지되면, 상기 차로 변경이 감지된 시점을 기준으로 상기 S320 단계에 의한 이동 차량의 번호판 정보의 인식 여부에 기초하여, 상기 인식된 번호판 정보가 추출된 복수의 프레임 이미지와 상기 S340 단계에 검출된 객체 이미지 중 적어도 어느 하나를 이용하여 후보 리스트를 생성한다.If it is determined in step S360 that the change of the moving vehicle is detected on the basis of whether the license plate information of the moving vehicle is recognized in step S320 based on the time when the change of the vehicle is detected, A candidate list is generated using at least one of a plurality of frame images from which license plate information is extracted and an object image detected in step S340.
구체적으로, 상기 S360 단계는, 만약 상기 S200 단계에서 이동 차량이 차로를 변경한 것으로 감지되고 제2 판단 영상(M2)에 기초하여 상기 S320 단계에 인식된 번호판 정보가 있는 경우, 상기 차로 변경이 감지된 시점에 대응하여 상기 번호판 정보가 추출된 복수의 영상 프레임의 이미지(In)와 상기 번호판 정보가 추출된 시간 정보를 매칭시킨 후 이에 기초한 후보 리스트를 생성한다.Specifically, if it is detected in step S200 that the moving vehicle is changed in the lane and the license plate information recognized in step S320 is based on the second determination image M2, (In) of the plurality of image frames from which the license plate information is extracted, and the time information on which the license plate information is extracted, and generates a candidate list based on the matching information.
또한, 상기 S360 단계는, 만약 상기 S200 단계에서 이동 차량이 차로를 변경한 것으로 감지되었으나 제2 판단 영상(M2)에 기초하여 상기 S320 단계에 인식된 번호판 정보가 없는 경우, 상기 차로 변경이 감지된 시점에 대응하여 상기 S340 단계에 검출된 객체 이미지(Io)와 상기 객체 이미지(Io)가 검출된 시간 정보를 매칭시킨 후 이에 기초한 후보 리스트를 생성한다.In step S360, if it is detected in step S200 that the moving vehicle has been changed to a lane but there is no license plate information recognized in step S320 based on the second determination image M2, The object image Io detected in step S340 is matched with the detected time information of the object image Io, and a candidate list based thereon is generated.
이때, 상기 후보 리스트는, 상기 번호판 정보가 검출된 시간 정보와 상기 객체 이미지가 검출된 시간 정보를 시간순으로 함께 정렬하되, 각각의 상기 시간 정보에 매칭되는 영상 프레임 이미지를 동일한 행 또는 열에 표시하는 목록 형태일 수 있다.Here, the candidate list may be a list that displays the image frame images matched to the respective time information in the same row or column, together with the time information in which the license plate information was detected and the time information in which the object image was detected, Lt; / RTI >
다음으로, 상기 S200 단계에서 상기 차로 변경이 감지된 시점을 기준으로 한 상기 제1 영상 및 상기 제2 영상과 상기 S300 단계에 생성된 후보 리스트 중 적어도 어느 하나를 화면에 표시한다(S500).In operation S500, at least one of the first image, the second image, and the candidate list generated in operation S300 is displayed on the screen based on the time when the vehicle change is detected in operation S200.
구체적으로, 상기 S500 단계에서는, 전체 화면영역을 복수의 분할 화면영역으로 구획한 후, 상기 제1 영상에 기초한 감지 영상 이미지(Ip) 및 제1 판단 영상(M1)과, 상기 제2 영상에 기초한 제2 판단 영상(M2)과, 상기 S300 단계에 생성된 후보 리스트와, 상기 S200 단계에 의해 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트 중 적어도 하나를 각각의 분할 화면영역에 표시할 수 있다.Specifically, in step S500, the entire screen area is divided into a plurality of divided screen areas, and then the sensed image image Ip and the first determination image M1 based on the first image, At least one of the second determination image M2, the candidate list generated in step S300, and the detection list obtained by listing the information about the time when the vehicle change is detected by the step S200 is displayed on each divided screen area can do.
또한, 상기 S500 단계에서는, 어느 하나의 분할 화면영역에 상기 S200 단계에 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트를 표시한 상태에서, 만일 사용자에 의해 감지 리스트 중에서 어느 하나의 감지 시점이 선택되는 경우, 선택된 감지 시점에 대응하는 제1 판단 영상(M1), 감지 영상 이미지(Ip), 제2 판단 영상(M2) 및 후보 리스트 중 적어도 하나를 해당 분할 화면영역에 표시할 수 있다.If it is determined in step S500 that a detection list listing information on the time when the vehicle is changed in step S200 is displayed on one of the divided screen areas, At least one of the first judgment image M1, the sensed image Ip, the second judgment image M2 and the candidate list corresponding to the selected sensing point can be displayed in the corresponding divided screen region .
예컨대, 도 6을 참조하면, 상기 S200 단계에 의해 이동 차량의 차로 변경이 감지된 시각이 "16:03:12", "16:06:16", "17:01:11", "17:14:13"이라면, 상기 S500 단계에서는 전체 화면영역(W)을 5개의 분할 화면영역(W1,W2,W3,W4,W5)으로 구획한 후 화면 우측의 제1 분할 화면영역(W1)에 전술한 상기 감지된 시각에 대한 정보를 시간순으로 정렬한 목록 형태의 감지 리스트를 표시하게 된다.For example, referring to FIG. 6, it is assumed that the time at which the change of the moving vehicle is detected by the step S200 is "16:03:12", "16:06:16", "17:01:11" 14: 13 ", in step S500, the entire screen area W is divided into five divided screen areas W1, W2, W3, W4 and W5 and then the first divided screen area W1 And displays a list of the detection list in which information on the detected time is sorted in chronological order.
만일 제1 판단 영상(M1) 및 제2 판단 영상(M2) 각각에 대한 기준시간(td1)이 "30초"이고 임계시간(td2)이 "1분"일 때, 사용자가 상기 표시된 감지 리스트 중 감지 시점(ta)인 "16:06:16"을 선택하게 되면, "16:06:16"일 때 제1 카메라(110)에 의해 획득된 제1 영상의 영상 프레임 이미지에 해당하는 감지 영상 이미지(Ip)가 화면 중앙 상단의 제2 분할 화면영역(W2)에 표시되고, 상기 감지 시점(ta)인 "16:06:16"를 기준으로 하여 30초 전후에 해당하는 "16:05:46"에서 "16:06:46"까지 제1 카메라(110)에 의해 획득된 제1 판단 영상(M1)이 화면 좌측 상단의 제3 분할 화면영역(W3)에 표시되고, 상기 감지 시점인 "16:06:16"에서 "16:07:16"까지 제2 카메라(120)에 의해 획득된 제2 판단 영상(M2)이 화면 좌측 하단의 제4 분할 화면영역(W4)에 표시되고, 상기 S320 단계에 의해 "16:06:20"에 검출된 번호판 정보 "5마6781"와 이에 대응하는 영상 프레임 이미지(In)와, 상기 S340 단계에 의해 "16:06:45"에 검출된 에지 정보에 기초한 객체 이미지(Io)를 포함하는 후보 리스트가 화면 중앙 하단의 제5 분할 화면영역(W5)에 표시되게 된다.When the reference time t d1 for each of the first judgment image M1 and the second judgment image M2 is 30 seconds and the threshold time t d2 is 1 minute, 16:06:16 ", which is the detection time point t a of the list, the image corresponding to the image frame image of the first image obtained by the first camera 110 at "16: detecting the video image (Ip) is the center of the screen is displayed in the second sub-screen area (W2) at the top, that on the basis of "16:06:16" the detection time (t a) corresponds to the before and after 30 seconds, "16 The first judgment image M1 obtained by the first camera 110 from the time of "05: 46:" to "16:06:46" is displayed in the third divided screen area W3 at the upper left of the screen, The second judgment image M2 obtained by the second camera 120 from the time "16:06:16" to "16:07:16" is displayed in the fourth divided screen area W4 at the lower left of the screen Quot; 16:06:20 "in step S320, The candidate list including the object image Io based on the edge information detected at "5:07 6781" and the image frame image In corresponding thereto and the edge information detected at the step 1640 "at 16:06:45" In the fifth divided screen area W5 of the first divided screen area W1.
이에 따라, 본 발명에 의하면, 차로 변경 감지 시 차로를 변경한 것으로 예상되는 후보 리스트에 해당하는 차량의 차량 정보를 수집한 후 이를 감지 시점의 영상 데이터와 비교한 결과에 기초하여 차로 변경 차량의 단속을 정확하게 수행할 수 있는 효과가 있다.According to the present invention, the vehicle information of the vehicle corresponding to the candidate list, which is estimated to have changed the lane on the lane change detection, is collected and then compared with the image data at the detection time, Can be accurately performed.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.
특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. It should be appreciated by those skilled in the art that the present invention can be used immediately as a basis for designing or modifying other shapes for use with the present invention.
또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the inventions. You will understand. Therefore, it should be understood that the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense, and that these various modifications and changes are also within the scope of the present invention, All differences within the scope of the present invention should be construed as being included in the present invention.
100: 카메라부
110: 제1 카메라
120: 제2 카메라
200: 감지 모듈
220: 폐영역 생성부
240: 차선 인식부
260: 분할영역 구획부
280: 차로 변경 감지부
310: 제1 저장부
320: 제2 저장부
400: 리스트 생성 모듈
420: 번호판 인식부
440: 객체 이미지 검출부
460: 후보 리스트 생성부
500: 디스플레이부100:
110: First camera
120: Second camera
200: Detection module
220: closed region generating unit
240: lane recognition section
260:
280: car change detection unit
310: first storage unit
320: second storage unit
400: List generation module
420: License plate recognition unit
440: object image detector
460: Candidate List Generation Unit
500:
Claims (13)
상기 제1 영역을 촬상한 제1 영상에 기초하여 상기 이동 차량의 차로 변경 여부를 감지하는 감지 모듈;
상기 이동 차량이 차로를 변경한 것으로 감지되는 경우, 상기 제2 영역을 촬상한 제2 영상에 기초하여 상기 차로 변경을 수행한 차로 변경 차량에 대응하는 후보 리스트를 생성하는 리스트 생성 모듈; 및
상기 차로 변경이 감지된 시점을 기준으로 한 상기 제1 영상 및 상기 제2 영상과 상기 생성된 후보 리스트 중 적어도 어느 하나를 화면에 표시하는 디스플레이부;를 포함하는 것을 특징으로 하는 차로 변경 감지 시스템.A moving vehicle which is disposed adjacent to a road including at least two lanes and spaced apart from each other by a predetermined distance and which sequentially passes through a first area and a second area along a traveling direction of the vehicle, A camera unit including a first camera and a second camera for acquiring;
A sensing module for sensing whether the vehicle is changed to a vehicle based on a first image of the first area;
A list generation module for generating a candidate list corresponding to the changed vehicle by the vehicle on which the lane change has been performed based on the second image obtained by imaging the second area when the moving vehicle is detected as having changed the lane; And
And a display unit for displaying at least one of the first image, the second image, and the generated candidate list based on a time when the lane change is detected on the screen.
상기 감지 모듈은,
상기 제1 영역을 촬상한 제1 영상으로부터 차선을 인식하고 상기 차선을 기준으로 복수 개의 차로 영역으로 구획하는 차선 인식부;
상기 제1 영상의 프레임으로부터 객체의 에지 성분을 추출한 후 상기 에지 성분을 이용하여 상기 객체에 대응되는 소정의 폐영역을 생성하는 폐영역 생성부; 및
상기 폐영역의 중심점을 기준으로 상기 차선의 길이 방향과 평행한 방향으로 분할하여 제1 분할영역 및 제2 분할영역으로 구획하는 분할영역 구획부;를 포함하는 것을 특징으로 하는 차로 변경 감지 시스템.The method according to claim 1,
The sensing module includes:
A lane recognition unit for recognizing a lane from a first image of the first area and partitioning the lane into a plurality of lane areas based on the lane;
A closed region generating unit that extracts an edge component of an object from the frame of the first image and generates a predetermined closed region corresponding to the object using the edge component; And
And a dividing region dividing unit dividing the divided region into a first dividing region and a second dividing region in a direction parallel to a longitudinal direction of the lane based on a center point of the closed region.
상기 감지 모듈은,
상기 제1 영상 내 객체에 대응되는 폐영역으로부터 구획된 상기 제1 분할영역 및 제2 분할영역과 상기 차선 사이의 거리를 각각 비교한 결과에 기초하여 상기 이동 차량의 차로 변경 여부를 감지하는 차로 변경 감지부;를 더 포함하는 것을 특징으로 하는 차로 변경 감지 시스템.3. The method of claim 2,
The sensing module includes:
A lane change detecting means for detecting whether or not the lane of the moving vehicle is changed based on a result of comparing distances between the first and second divided regions and the lane separated from a closed region corresponding to an object in the first image, Further comprising: a detection unit for detecting a change in the vehicle speed.
상기 디스플레이부는,
전체 화면영역을 복수의 분할 화면영역으로 구획하여 각각의 분할 화면영역에 상기 차로 변경이 감지된 시점일 때의 상기 제1 영상의 프레임 이미지에 해당하는 감지 영상 이미지와, 상기 차로 변경이 감지된 시점을 기준으로 전후 일정 시간 동안의 상기 제1 영상에 해당하는 제1 판단 영상과, 상기 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트를 서로 구분되도록 표시하되,
사용자에 의해 상기 감지 리스트 중에서 어느 하나의 감지 시점이 선택되는 경우, 선택된 감지 시점에 대응하는 상기 제1 판단 영상 및 상기 감지 영상 이미지를 해당 분할 화면영역에 표시하는 것을 특징으로 하는 차로 변경 감지 시스템.The method of claim 3,
The display unit includes:
A detection image corresponding to a frame image of the first image when the lane change is detected in each divided screen area by dividing the whole screen area into a plurality of divided screen areas, Displays a first determination image corresponding to the first image for a predetermined time before and after the reference image and a sensing list listing information on the time when the vehicle is changed,
And displays the first judgment image and the sensed image corresponding to the selected sensing point on the corresponding divided screen area when the sensing point of the one of the sensing lists is selected by the user.
상기 리스트 생성 모듈은,
상기 제2 영상으로부터 이동 차량의 번호판 영역을 검출하여 상기 이동 차량의 번호판 정보를 인식하는 번호판 인식부;
상기 제2 영상을 구성하는 복수 개의 영상 프레임 중 소정의 객체에 대응하는 에지 성분이 포함된 프레임 이미지를 객체 이미지로서 검출하는 객체 이미지 검출부; 및
상기 감지 모듈에서 상기 이동 차량의 차로 변경이 감지되면, 상기 차로 변경이 감지된 시점을 기준으로 한 상기 이동 차량의 번호판 정보의 인식 여부에 기초하여, 상기 인식된 번호판 정보가 추출된 복수의 프레임 이미지와 상기 객체 이미지 중 적어도 어느 하나를 이용하여 후보 리스트를 생성하는 후보 리스트 생성부;를 포함하는 것을 특징으로 하는 차로 변경 감지 시스템.The method according to claim 1,
The list generation module includes:
A license plate recognition unit for detecting the license plate area of the moving vehicle from the second image and recognizing the license plate information of the moving vehicle;
An object image detecting unit that detects a frame image including an edge component corresponding to a predetermined object among a plurality of image frames constituting the second image as an object image; And
Wherein when the detection module detects a change to the vehicle of the moving vehicle, based on whether or not the license plate information of the moving vehicle is recognized based on the time when the vehicle change is detected, And a candidate list generation unit for generating a candidate list using at least one of the object image and the object image.
상기 디스플레이부는,
전체 화면영역을 복수의 분할 화면영역으로 구획하여 각각의 분할 화면영역에 상기 차로 변경이 감지된 시점으로부터 기설정된 임계시간까지의 상기 제2 영상에 해당하는 제2 판단 영상과, 상기 생성된 후보 리스트와, 상기 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트를 서로 구분되도록 표시하되,
사용자에 의해 상기 감지 리스트 중에서 어느 하나의 감지 시점이 선택되는 경우, 선택된 감지 시점에 대응하는 상기 제2 판단 영상 및 상기 후보 리스트를 해당 분할 화면영역에 표시하는 것을 특징으로 하는 차로 변경 감지 시스템.6. The method of claim 5,
The display unit includes:
A second judgment image that corresponds to the second image from a time point when the lane change is detected to a predetermined threshold time in each divided screen area by dividing the whole screen area into a plurality of divided screen areas, And a detection list listing information on the time when the lane change is detected,
Wherein the display control unit displays the second judgment image and the candidate list corresponding to the selected sensing point on the divided screen area when the sensing point of the sensing list is selected by the user.
상기 제1 영역을 촬상한 제1 영상에 기초하여 상기 이동 차량의 차로 변경 여부를 감지하는 단계;
상기 이동 차량이 차로를 변경한 것으로 감지되는 경우, 상기 제2 영역을 촬상한 제2 영상에 기초하여 상기 차로 변경을 수행한 차로 변경 차량에 대응하는 후보 리스트를 생성하는 단계; 및
상기 차로 변경이 감지된 시점을 기준으로 한 상기 제1 영상 및 상기 제2 영상과 상기 생성된 후보 리스트 중 적어도 어느 하나를 화면에 표시하는 단계;를 포함하는 것을 특징으로 하는 차로 변경 감지 방법.A moving vehicle which is disposed adjacent to a road including at least two lanes and spaced apart from each other by a predetermined distance and which sequentially passes through a first area and a second area along a traveling direction of the vehicle, A method of detecting a change in a vehicle using a camera unit including a first camera and a second camera,
Sensing whether the vehicle is changed to a vehicle based on a first image of the first area;
Generating a candidate list corresponding to the changed vehicle by the vehicle on which the lane change has been performed based on the second image of the second area when the moving vehicle is detected as having changed the lane; And
And displaying at least one of the first image, the second image, and the generated candidate list based on a time when the lane change is detected on the screen.
상기 감지하는 단계는,
상기 제1 영역을 촬상한 제1 영상으로부터 차선을 인식하고 상기 차선을 기준으로 복수 개의 차로 영역으로 구획하는 단계;
상기 제1 영상의 프레임으로부터 객체의 에지 성분을 추출한 후 상기 에지 성분을 이용하여 상기 객체에 대응되는 소정의 폐영역을 생성하는 단계; 및
상기 폐영역의 중심점을 기준으로 상기 차선의 길이 방향과 평행한 방향으로 분할하여 제1 분할영역 및 제2 분할영역으로 구획하는 단계;를 포함하는 것을 특징으로 하는 차로 변경 감지 방법.8. The method of claim 7,
Wherein the sensing comprises:
Recognizing a lane from a first image of the first area and partitioning the lane into a plurality of lane areas based on the lane;
Extracting an edge component of an object from the frame of the first image and generating a predetermined closed region corresponding to the object using the edge component; And
And dividing the road segment into a first divided area and a second divided area by dividing the divided road in a direction parallel to a longitudinal direction of the lane based on a center point of the closed area.
상기 감지하는 단계는,
상기 구획하는 단계 이후에,
상기 제1 영상 내 객체에 대응되는 폐영역으로부터 구획된 상기 제1 분할영역 및 제2 분할영역과 상기 차선 사이의 거리를 각각 비교한 결과에 기초하여 상기 이동 차량의 차로 변경 여부를 감지하는 단계;를 더 포함하는 것을 특징으로 하는 차로 변경 감지 방법.9. The method of claim 8,
Wherein the sensing comprises:
After the dividing step,
Detecting whether or not the vehicle is changed to a lane based on a result of comparing distances between the first and second divided areas and the lane separated from a closed area corresponding to an object in the first image; Further comprising the steps of:
상기 표시하는 단계는,
전체 화면영역을 복수의 분할 화면영역으로 구획하여 각각의 분할 화면영역에 상기 차로 변경이 감지된 시점일 때의 상기 제1 영상의 프레임 이미지에 해당하는 감지 영상 이미지와, 상기 차로 변경이 감지된 시점을 기준으로 전후 일정 시간 동안의 상기 제1 영상에 해당하는 제1 판단 영상과, 상기 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트를 서로 구분되도록 표시하되,
사용자에 의해 상기 감지 리스트 중에서 어느 하나의 감지 시점이 선택되는 경우, 선택된 감지 시점에 대응하는 상기 제1 판단 영상 및 상기 감지 영상 이미지를 해당 분할 화면영역에 표시하는 것을 특징으로 하는 차로 변경 감지 방법.10. The method of claim 9,
Wherein the displaying comprises:
A detection image corresponding to a frame image of the first image when the lane change is detected in each divided screen area by dividing the whole screen area into a plurality of divided screen areas, Displays a first determination image corresponding to the first image for a predetermined time before and after the reference image and a sensing list listing information on the time when the vehicle is changed,
Wherein the first determination image and the sensed image corresponding to the selected sensing point are displayed in the corresponding divided screen area when the sensing point of the sensing list is selected by the user.
상기 생성하는 단계는,
상기 제2 영상으로부터 이동 차량의 번호판 영역을 검출하여 상기 이동 차량의 번호판 정보를 인식하는 단계;
상기 제2 영상을 구성하는 복수 개의 영상 프레임 중 소정의 객체에 대응하는 에지 성분이 포함된 프레임 이미지를 객체 이미지로서 검출하는 단계; 및
상기 이동 차량의 차로 변경이 감지되면, 상기 차로 변경이 감지된 시점을 기준으로 한 상기 이동 차량의 번호판 정보의 인식 여부에 기초하여, 상기 인식된 번호판 정보가 추출된 복수의 프레임 이미지와 상기 객체 이미지 중 적어도 어느 하나를 이용하여 후보 리스트를 생성하는 단계;를 포함하는 것을 특징으로 하는 차로 변경 감지 방법.8. The method of claim 7,
Wherein the generating comprises:
Detecting license plate area of the moving vehicle from the second image and recognizing license plate information of the moving vehicle;
Detecting a frame image including an edge component corresponding to a predetermined object among a plurality of image frames constituting the second image as an object image; And
Wherein when the change of the moving vehicle is detected, based on whether or not the license plate information of the moving vehicle is recognized based on the time when the change of the vehicle is detected, the plurality of frame images from which the recognized license plate information is extracted, And generating a candidate list using at least one of the candidate lists.
상기 표시하는 단계는,
전체 화면영역을 복수의 분할 화면영역으로 구획하여 각각의 분할 화면영역에 상기 차로 변경이 감지된 시점으로부터 기설정된 임계시간까지의 상기 제2 영상에 해당하는 제2 판단 영상과, 상기 생성된 후보 리스트와, 상기 차로 변경이 감지된 시각에 대한 정보를 리스트화한 감지 리스트를 서로 구분되도록 표시하되,
사용자에 의해 상기 감지 리스트 중에서 어느 하나의 감지 시점이 선택되는 경우, 선택된 감지 시점에 대응하는 상기 제2 판단 영상 및 상기 후보 리스트를 해당 분할 화면영역에 표시하는 것을 특징으로 하는 차로 변경 감지 방법.12. The method of claim 11,
Wherein the displaying comprises:
A second judgment image that corresponds to the second image from a time point when the lane change is detected to a predetermined threshold time in each divided screen area by dividing the whole screen area into a plurality of divided screen areas, And a detection list listing information on the time when the lane change is detected,
Wherein the second determination image and the candidate list corresponding to the selected sensing point are displayed in the divided screen area when the sensing point of the sensing list is selected by the user.
상기 제1 카메라 및 상기 제2 카메라는,
4K UHD(Ultra High Definition)를 지원하는 카메라 또는 3M(Megapixel) 이상의 FHD(Full High Definition)를 지원하는 카메라인 것을 특징으로 하는 차로 변경 감지 시스템.The method according to claim 1,
Wherein the first camera and the second camera include:
A camera supporting 4K UHD (Ultra High Definition) or a camera supporting 3M (Megapixel) or more full high definition (FHD).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180054801A KR101891130B1 (en) | 2018-05-14 | 2018-05-14 | System and method for detecting lane change |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180054801A KR101891130B1 (en) | 2018-05-14 | 2018-05-14 | System and method for detecting lane change |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101891130B1 true KR101891130B1 (en) | 2018-09-28 |
Family
ID=63721701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180054801A KR101891130B1 (en) | 2018-05-14 | 2018-05-14 | System and method for detecting lane change |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101891130B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785850A (en) * | 2020-12-29 | 2021-05-11 | 上海眼控科技股份有限公司 | Method and device for identifying vehicle lane change without lighting |
| KR20220073394A (en) * | 2020-11-26 | 2022-06-03 | 렉스젠(주) | Apparatus, system and method for analyzing images for analyzing and providing vehicle information |
| US11574482B2 (en) * | 2018-05-31 | 2023-02-07 | Sony Group Corporation | Bidirectional statistical consolidation of multi-modal grouped observations |
| KR20230065554A (en) * | 2021-11-05 | 2023-05-12 | (주) 스마트딥 | Lane-changing vehicles detect method of cctv |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001273587A (en) | 2000-03-23 | 2001-10-05 | Toshiba Corp | Road monitor system |
| KR101354057B1 (en) | 2012-11-26 | 2014-01-22 | 주식회사 토페스 | Device and method for detection violation of lane using multi-camera and crackdown system for lane violation therefor |
| JP2018010506A (en) | 2016-07-14 | 2018-01-18 | オムロン株式会社 | Traffic information acquisition device, traffic information acquisition method and traffic information acquisition program |
-
2018
- 2018-05-14 KR KR1020180054801A patent/KR101891130B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001273587A (en) | 2000-03-23 | 2001-10-05 | Toshiba Corp | Road monitor system |
| KR101354057B1 (en) | 2012-11-26 | 2014-01-22 | 주식회사 토페스 | Device and method for detection violation of lane using multi-camera and crackdown system for lane violation therefor |
| JP2018010506A (en) | 2016-07-14 | 2018-01-18 | オムロン株式会社 | Traffic information acquisition device, traffic information acquisition method and traffic information acquisition program |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11574482B2 (en) * | 2018-05-31 | 2023-02-07 | Sony Group Corporation | Bidirectional statistical consolidation of multi-modal grouped observations |
| KR20220073394A (en) * | 2020-11-26 | 2022-06-03 | 렉스젠(주) | Apparatus, system and method for analyzing images for analyzing and providing vehicle information |
| KR20220114513A (en) * | 2020-11-26 | 2022-08-17 | 렉스젠(주) | Apparatus, system and method for analyzing images for analyzing and providing vehicle information |
| KR102466910B1 (en) * | 2020-11-26 | 2022-11-16 | 렉스젠(주) | Apparatus, system and method for analyzing images for analyzing and providing vehicle information |
| KR102486240B1 (en) * | 2020-11-26 | 2023-01-10 | 렉스젠(주) | Apparatus, system and method for analyzing images for analyzing and providing vehicle information |
| CN112785850A (en) * | 2020-12-29 | 2021-05-11 | 上海眼控科技股份有限公司 | Method and device for identifying vehicle lane change without lighting |
| KR20230065554A (en) * | 2021-11-05 | 2023-05-12 | (주) 스마트딥 | Lane-changing vehicles detect method of cctv |
| KR102653270B1 (en) * | 2021-11-05 | 2024-04-02 | (주)키미데이타 | Lane-changing vehicles detect method of cctv |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101891130B1 (en) | System and method for detecting lane change | |
| EP0567059B1 (en) | Object recognition system using image processing | |
| Coifman et al. | A real-time computer vision system for vehicle tracking and traffic surveillance | |
| CN103797529B (en) | Three-dimensional body detects device | |
| RU2698610C2 (en) | Method and processing unit for control over traffic monitoring system | |
| KR101500082B1 (en) | Apparatus and method for recognizing driving lane | |
| CN107428288A (en) | Security system for detection and the potential collision of warning of vehicle | |
| CN106536299A (en) | Systems and methods for braking vehicle based on detected object | |
| JP2006208223A (en) | Vehicle position recognition device and vehicle position recognition method | |
| KR20170124299A (en) | A method and apparatus of assisting parking by creating virtual parking lines | |
| KR102031503B1 (en) | Method and system for detecting multi-object | |
| KR20090014124A (en) | Method and apparatus for evaluating an image | |
| JP2008045974A (en) | Object-detecting apparatus | |
| KR101731373B1 (en) | Video prediction management system by real time cctv image analysis | |
| EP1469442A2 (en) | Vehicle drive assist system | |
| JPH11232467A (en) | Branch recognizing device and method therefor | |
| CN104951747A (en) | Method for determining state of obstruction of at least one camera installed in stereoscopic system | |
| KR101851682B1 (en) | Apparatus and method for providing parking congestion information through analysis of adjacent road images | |
| US8933818B2 (en) | Bicycle presence detection in a roadway using video data analytics | |
| CN106650730A (en) | Turn signal lamp detection method and system in car lane change process | |
| CN103164685A (en) | Car light detection method and car light detection device | |
| CN113574574A (en) | Moving object monitoring system, control server for moving object monitoring system, and moving object monitoring method | |
| Malinovskiy et al. | Video-based monitoring of pedestrian movements at signalized intersections | |
| JP5355209B2 (en) | Navigation device, determination method and determination program for traveling lane of own vehicle | |
| JP2001357402A (en) | Method and device for detecting vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |