KR100261065B1 - Vehicle classification method and apparatus using image analysis - Google Patents
Vehicle classification method and apparatus using image analysis Download PDFInfo
- Publication number
- KR100261065B1 KR100261065B1 KR1019970078470A KR19970078470A KR100261065B1 KR 100261065 B1 KR100261065 B1 KR 100261065B1 KR 1019970078470 A KR1019970078470 A KR 1019970078470A KR 19970078470 A KR19970078470 A KR 19970078470A KR 100261065 B1 KR100261065 B1 KR 100261065B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- image
- window
- detection
- frame
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
- G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
- G07B15/06—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems
- G07B15/063—Arrangements for road pricing or congestion charging of vehicles or vehicle users, e.g. automatic toll systems using wireless information transmission between the vehicle and a fixed station
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 유로 도로를 운행하는 각종 차량의 종류를 구분하는 장치 및 방법에 관한 것으로, 특히 영상 카메라를 이용한 비접촉식의 검지 방식에 의해 톨게이트를 통과하는 차량의 종류를 구분할 수 있도록 한 영상 검지에 의한 차종 구분 방법 및 장치에 관한 것이다.The present invention relates to an apparatus and a method for classifying various types of vehicles that run on a roadway, and in particular, a vehicle model based on an image detection system capable of distinguishing the types of vehicles passing through a toll gate by a non-contact detection method using an image camera. It relates to a classification method and apparatus.
일반적으로 고속 도로 등의 유료 도로의 통행 요금 징수 방식은 폐쇄식과 개방식으로 구분되는데, 폐쇄식은 차량의 종류와 운행 거리에 의거하여 요금을 산출하고 개방식은 단지 차량의 종류에 의거해서 요금을 산출한다. 따라서, 톨 게이트 등의 단위 영업소에서는 당해 톨 게이트를 통과하는 개개 차량의 종류를 자동으로 구분하는 것이 필요하며, 이렇게 구분된 차종 데이터는 요금 징수에 이용될 뿐 아니라 각종 집계를 위한 기초 자료로 이용된다.In general, the toll collection method of toll roads such as expressways is divided into a closed type and an open type. The closed type calculates a fare based on the type of the vehicle and the driving distance, and the open type calculates a fare based only on the type of the vehicle. Therefore, it is necessary for unit offices such as toll gates to automatically distinguish the types of individual vehicles passing through the toll gate, and the car model data thus classified is used not only for toll collection but also as basic data for various counting. .
이러한 종래의 통행 요금 징수 시스템에서의 차종 구분 장치는 크게 접촉식과 비접촉식으로 구별된다. 접촉식의 일반적인 구성은 차량 분리기와 차종 구분기로 이루어진다. 차종 분리기는 통상적으로 루프식 검지기나 광 검지기로 이루어진다. 차종의 구분은 통상적으로 윤거와 윤폭을 종합하여 수행되는데, 도로에 매설된 압력 센서열이 진행 차량의 바퀴에 의해 눌려지는 수를 감지하여 이루어진다. 그러나, 접촉식의 경우에는 차종 구분기 이외에 차량 분리를 위한 루프식 검지기나 광검지기가 필수적으로 요구되는 문제점이 있다. 또한, 차종 구분기로 사용되는 압력 센서열은 그 자체로 고가이며, 압력 센서열과 루프식 검지기는 도로 바닥에 매설되어야 하기 때문에 설치 및 관리 비용이 많이 들고 또한 차량의 바퀴와 접촉되기 때문에 쉬이 노화되는 문제점이 있다.The vehicle classifier in such a conventional toll collection system is largely divided into contact and contactless. The general configuration of the contact system consists of a vehicle separator and a vehicle separator. The vehicle type separator usually consists of a loop detector or an optical detector. Classification of the vehicle is typically performed by combining the lubrication and the wheel width, the pressure sensor train embedded in the road is made by sensing the number pressed by the wheels of the traveling vehicle. However, in the case of the contact type, there is a problem that a loop type detector or an optical detector for vehicle separation is required in addition to the vehicle type separator. In addition, the pressure sensor train used as a vehicle classifier is expensive in itself, and the pressure sensor train and the loop type detector need to be buried on the road floor, which is expensive to install and maintain, and also easily contacts with the wheels of the vehicle. There is this.
이외에도 근래에 들어서는 통행권 발급 및 요금 징수 과정에서 파생되는 각종 문제점을 해결하기 위하여 차량이 주행 중인 상태에서 무선 통신에 의해 요금을 징수할 수 있도록 한 소위 무정차식 통행 요금 징수 시스템이 활발하게 개발되고 있는 바, 접촉식의 차종 구분 장치는 이러한 무정차식 통행 요금 징수 시스템과 결합되어 사용되기가 곤란한 문제점이 있다.In addition, in order to solve various problems that arise in the process of issuance of tolls and tolls, in recent years, a so-called involuntary toll collection system has been actively developed to allow to collect charges by wireless communication while the vehicle is in operation. However, the contact type vehicle classification device has a problem that it is difficult to be used in combination with such a toll collection system.
이러한 제반 문제점을 감안하여 현재에는 영상 검지에 의해 비접촉식으로 차종을 판단하는 방식이 활발하게 제안되고 있다. 이러한 영상 검지 방식 중의 가장 간단한 방식으로는 한 대의 카메라를 사용하여 현재의 입력 영상 신호의 변화율을 도로만 있는 경우와 비교함으로써 차량의 존재 유무를 판단하는 방식이 있다. 이 방식에서는 카메라를 도로 상의 일정한 높이에 도로의 전방을 비스듬히 내려다 보도록 설치한 상태에서, 차량이 존재한다고 판단되는 경우에는 이를 바탕으로 통과 차량의 대수를 계수함과 동시에 각 계수된 차량 별로 그 크기를 추정하여 차종을 구분하고, 마지막으로 이렇게 구분된 결과에 따라서 각각의 차량에 대한 요금을 산출한다.In view of these problems, a method of determining a vehicle type in a non-contact manner by image detection has been actively proposed. The simplest of the image detection methods is a method of determining the presence or absence of a vehicle by comparing a change rate of the current input image signal with only a road using a single camera. In this method, the camera is installed at a certain height on the road at an angle to the front of the road, and when it is determined that the vehicle exists, the number of passing vehicles is counted based on this, and the size of each counted vehicle is measured. The vehicle types are estimated and estimated, and finally, the fare for each vehicle is calculated according to the result of the classification.
그러나, 이 방식에 따르면 차량이 매우 많은 경우에 단일 카메라에 입력되는 영상에서 차량이 서로 근접 관측되기 때문에 앞서 있는 차량에 의해 뒤에 있는 차량이 가려지게 되고, 이에 따라 정확한 차량의 계수가 어렵다는 문제점이 있으며, 도로에 뒤덮인 차량으로 인해 시간적인 추이에 따라 변화하는 도로의 상태에 즉시 즉시 적응할 수 없게 되어 차량 존부(存否) 판단에 오류가 많이 발생하는 문제점이 있다.However, according to this method, when the vehicle is very many, since the vehicles are observed in close proximity to each other in an image input to a single camera, the vehicle behind the vehicle is blocked by the preceding vehicle, which makes it difficult to accurately count the vehicle. As a result, the vehicle covered with the road cannot immediately adapt to the state of the road, which changes according to time, and there is a problem that a lot of errors occur in determining whether the vehicle is present.
이 보다 좀 더 복잡한 방법으로 다표적 추적 기법을 응용하여 다수의 이동 차량을 추적하면서 차량의 존부를 판단하는 방식, 차종 구분을 위해서 연속된 영상에서 이동 차량을 추적하면서 차량을 도로 영상으로부터 분리한 후에 그 크기로써 차종을 구분하는 방식 등이 연구되고 있다. 그러나, 이러한 추적 기법을 이용한 방식에 있어서도 차량의 높이의 차이로 인한 관측 영상에서의 차량의 크기의 차이로 인해 같은 종류에 속하는 차량을 다른 종류에 속하는 차량으로 오판하는 경우가 종종 발생하는 문제점이 있다.A more complicated method is to apply a multi-target tracking technique to determine the existence of a vehicle while tracking a large number of moving vehicles. The method of classifying cars by the size is being studied. However, even in such a tracking method, there is a problem in that a vehicle belonging to the same type is often mistaken as a vehicle belonging to another type due to the difference in the size of the vehicle in the observed image due to the difference in the height of the vehicle. .
이외에도 차종 구분의 정확도를 높이기 위해서 도로 바닥에 체스판 형태의 흑백 표식을 해둔 상태에서 통과 차량이 이들 표식을 가리는 정도로써 차종을 대형 및 소형의 두 종류로 구분하는 방식도 제안되어 있다. 그러나, 이 방식에서도 시간의 경과에 따라 차량의 바퀴와 접촉하는 회수가 증가하게 되면 바닥의 표식이 닳아서 보이지 않게 되고, 이에 따라 차종 구분 능력이 저하되는 문제점이 있다.In addition, in order to increase the accuracy of classification of vehicles, a method of dividing the vehicle into two types, large and small, has been proposed as the passing vehicle obscures these markings with a black and white mark on the floor of the road. However, even in this manner, if the number of times of contact with the wheels of the vehicle increases with time, the markers on the floor become worn out and thus there is a problem in that the ability to classify the vehicle is deteriorated.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 영상 검지 방식을 채택하여 설치 및 관리가 용이하고 그 비용이 적게 들며, 무정차식 통행 요금 징수 시스템에 용이하게 채용될 수 있는 영상 검지에 의한 차종 구분 방법 및 장치를 제공하는데 그 목적이 있다.The present invention has been made to solve the above-described problems, adopting the image detection method, easy to install and manage, low cost, vehicle model by the image detection that can be easily employed in a toll collection system The purpose is to provide a classification method and apparatus.
본 발명의 다른 목적은 종래의 영상 검지 방식이 가지는 문제점을 극복하고 비교적 간단한 구성에 의해 실시간적으로 차량 통과 유무 판단, 차량의 전/후진 판단 및 차종 구분을 정확하게 수행할 수 있도록 한 영상 검지에 의한 차종 구분 방법 및 장치를 제공하는데 있다.Another object of the present invention is to overcome the problems of the conventional image detection method and by the image detection to accurately determine whether the vehicle passes in real time, whether the vehicle forward / backward determination and vehicle classification by a relatively simple configuration It is to provide a vehicle classification method and apparatus.
본 발명의 일 특징에 따른 영상 검지에 의한 차종 구분 방법은 (가) 차량의 예상 이동 경로를 포착하도록 설치된 좌우 양측의 카메라에 대해 각각 도로의 두 기준점간의 실제 폭 및 상기 실제 폭과 화면 거리 사이의 변환비를 미리 구하여 입력하는 단계; (나) 차량의 폭에 따른 차종 구분 테이블을 미리 저장하는 단계; (다) 상기 좌우 양측의 전체 영상으로부터 생성된 각각의 입력 특징 신호를 직전까지 갱신 저장된 각각의 일차원 배경 특징 신호와 비교하여 국부 상관도를 계산하는 단계; (라) 상기 계산된 국부 상관도에 의거하여 차량의 좌우측의 경계 위치를 결정하는 단계; (마) 상기 결정된 차량의 경계 위치와 상기 해당 측 기준점 사이의 화면 거리를 계산하고, 상기 계산된 화면 거리를 상기 변환비에 대입하여 실제의 거리를 구하고, 상기 구해진 실제 거리를 상기 기준점 사이의 상기 실제 도로 폭에서 감하는 것에 의해 차량의 실제 폭을 계산하는 단계; 및 (바) 상기 단계(마)에서 구해진 차량의 실제 폭을 상기 차종 구분 테이블에서 찾아 차종을 구분하는 단계를 포함하여 이루어진다.According to an aspect of the present invention, a method of classifying a vehicle by image detection includes: (a) an actual width between two reference points of a road and a distance between the actual width and the screen distance, respectively, for cameras on both left and right sides installed to capture an expected movement path of the vehicle; Obtaining and inputting a conversion ratio; (B) storing the vehicle type classification table according to the width of the vehicle in advance; (C) calculating a local correlation by comparing each input feature signal generated from the left and right full images with each one-dimensional background feature signal updated and stored until the last time; (D) determining boundary positions on the left and right sides of the vehicle based on the calculated local correlation; (E) calculating a screen distance between the determined boundary position of the vehicle and the corresponding side reference point, substituting the calculated screen distance into the conversion ratio to obtain an actual distance, and calculating the obtained actual distance between the reference points; Calculating the actual width of the vehicle by subtracting from the actual road width; And (f) classifying the vehicle type by finding the actual width of the vehicle obtained in the step (e) in the vehicle type classification table.
한편, 본 발명의 다른 특징에 따른 영상 검지에 의한 차종 구분 장치는 차량의 예상 이동 경로 상의 미리 정해진 검지 영역을 포착하도록 상기 예상 이동 경로의 양측에 대칭적으로 설치되어 상기 검지 영역을 포착한 디지털 영상 데이터를 소정의 시간 간격으로 출력하는 두 개의 카메라 수단; 상기 각각의 카메라 수단으로부터 연속적으로 제공되는 두 프레임 분량의 디지털 영상 데이터를 각각 한 프레임씩 순환적으로 저장하는 양측 두 개씩의 프레임 메모리; 장치의 전체적인 동작을 제어하며 현재 연결된 상기 프레임 메모리에 저장된 디지털 영상 데이터를 분석하여 각각 차량의 좌측 및 우측의 소정의 화면 거리를 구하고, 상기 구해진 좌측 및 우측의 화면 거리를 미리 입력된 화면 거리와 실제 거리간의 변환비에 대입하여 차량의 폭을 계산하고, 상기 계산된 차량의 폭에 의거하여 차종을 구분하는 양측 하나씩의 계산/제어 수단; 상기 각각의 계산/제어 수단의 제어 하에 상기 해당 측의 두 개의 프레임 메모리를 상기 해당 카메라 수단과 상기 계산/제어 수단에 순환적으로 연결시키는 양측 하나씩의 프레임 스위칭 수단; 및 상기 양측의 계산/제어 수단 사이의 데이터의 수수를 중계하는 수단을 포함하여 이루어진다.On the other hand, the vehicle type classification apparatus according to the image detection according to another feature of the present invention is installed symmetrically on both sides of the expected movement path to capture a predetermined detection area on the expected movement path of the vehicle digital image captured the detection region Two camera means for outputting data at predetermined time intervals; Two frame memories each cyclically storing two frames of digital image data continuously provided from the respective camera means, one frame each; It controls the overall operation of the device and analyzes the digital image data stored in the frame memory currently connected to obtain predetermined screen distances on the left and right sides of the vehicle, respectively. Calculation / control means for each of the two sides for calculating the width of the vehicle by substituting the conversion ratio between the distances and for classifying the vehicle type based on the calculated width of the vehicle; One frame switching means on both sides cyclically connecting two frame memories on the corresponding side to the corresponding camera means and the calculation / control means under the control of each calculation / control means; And means for relaying the transfer of data between the calculation / control means on both sides.
도 1은 본 발명의 영상 검지에 의한 차종 구분 장치에 있어서의 설치 상태를 개략적으로 보인 사시도,1 is a perspective view schematically showing the installation state in the vehicle type classification apparatus by video detection of the present invention;
도 2는 본 발명의 영상 검지에 의한 차종 구분 장치에 있어서의 카메라의 설치 상태도,2 is a view showing an installation state of a camera in a vehicle type classification apparatus according to the video detection of the present invention;
도 3은 본 발명의 영상 검지에 의한 차종 구분 장치에 있어서의 영상 처리부의 전체적인 블록 구성도,3 is an overall block diagram of an image processing unit in the vehicle type classification apparatus according to the video detection of the present invention;
도 4는 본 발명의 영상 검지에 의한 차종 구분 방법의 전체적인 플로우차트,4 is an overall flowchart of a method for classifying vehicles by image detection according to the present invention;
도 5는 도 4에서 차량의 존부 판단 과정을 설명하기 위한 플로우차트,FIG. 5 is a flowchart illustrating a process of determining whether a vehicle is present in FIG. 4;
도 6a 및 도 6b는 본 발명에서 차량의 전/후진 및 통과 여부를 판단하기 위한 검지창과 폭 측정창의 설정 상태를 보인 도,6a and 6b is a view showing a setting state of the detection window and the width measurement window for determining whether the vehicle forward / backward and pass in the present invention,
도 7은 본 발명에서 이차원 영상을 일차원 영상으로 변환하는 기술을 설명하기 위한 도,7 is a view for explaining a technique for converting a two-dimensional image to a one-dimensional image in the present invention,
도 8은 본 발명에서 현재 입력 영상과 참조 배경 영상 사이의 국부 상관도를 구하는 기술을 설명하기 위한 도,8 is a view for explaining a technique for obtaining a local correlation between a current input image and a reference background image in the present invention;
도 9는 본 발명에서 메디언 필터링 기술을 설명하기 위한 도,9 is a view for explaining a median filtering technique in the present invention;
도 10은 본 발명에서 차량의 전/후진 및 통과 여부를 확인하는 과정에 따른 상태 천이도,10 is a state transition diagram according to a process of confirming whether the vehicle forwards / reverses and passes in the present invention;
도 11은 도 10에서 진진 플래그가 세트되는 조건을 설명하기 위한 도,FIG. 11 is a diagram for explaining a condition in which a progress flag is set in FIG. 10; FIG.
도 12는 도 10에서 후진 플래그가 세트되는 조건을 설명하기 위한 도,12 is a view for explaining a condition in which a backward flag is set in FIG. 10;
도 13a 및 도 13b는 도 10에서 차량의 통과 수량 계수 값을 1 증가시키는 조건을 설명하기 위한 도,13A and 13B are diagrams for describing a condition of increasing a value of a water passage coefficient of a vehicle by one in FIG. 10;
도 14a 및 도 14b는 도 10에서 차량의 통과 수량 계수 값을 1 감소시키는 조건을 설명하기 위한 도,14A and 14B are diagrams for describing a condition of decreasing a passing water quantity coefficient value of a vehicle by 1 in FIG. 10;
도 15는 도 4에서 차종 판단 과정을 설명하기 위한 플로우차트,FIG. 15 is a flowchart for explaining a vehicle model determining process of FIG. 4; FIG.
도 16은 도 15에서 차량 경계 결정 과정을 설명하기 위한 플로우차트,FIG. 16 is a flowchart for describing a vehicle boundary determination process of FIG. 15; FIG.
도 17은 도 16에서 그림자 경계 판단창의 설정 상태를 설명하기 위한 도,17 is a view for explaining a setting state of a shadow boundary determination window in FIG. 16;
도 18은 본 발명에서 실제 거리와 화면 거리 사이의 변환비를 구하는 원리를 설명하기 위한 도이다.FIG. 18 is a diagram for explaining a principle of obtaining a conversion ratio between an actual distance and a screen distance in the present invention.
*** 도면의 주요부분에 대한 부호의 설명 ****** Explanation of symbols for main parts of drawing ***
10: 도로, 12: 좌측 제 1기준점,10: road, 12: left first reference point,
14: 좌측 제 2기준점, 16: 우측 제 2기준점,14: left second reference point, 16: right second reference point,
18: 우측 제 1기준점, 20, 22: 수직 지지대,18: right first reference point, 20, 22: vertical support,
24: 수평 지지대, 30, 40: 좌우측 카메라,24: horizontal support, 30, 40: left and right cameras,
50: 영상처리보드, 60: 유지/보수용 컴퓨터,50: image processing board, 60: maintenance / maintenance computer,
70, 80: 모니터,70, 80: monitor,
90: 차량, 110: A/D 변환기,90: vehicle, 110: A / D converter,
120 - 140: 프레임 메모리, 150: 디지털 신호 처리기,120-140: frame memory, 150: digital signal processor,
160: D/A 변환기, 170: 프레임 스위쳐,160: D / A converter, 170: frame switcher,
210: A/D 변환기, 220 - 240: 프레임 메모리,210: A / D converter, 220-240: frame memory,
250: 디지털 신호 처리기, 260: D/A 변환기,250: digital signal processor, 260: D / A converter,
270: 프레임 스위쳐, 300, 400: 좌우측 전체 영상,270: frame switcher, 300, 400: the left and right full image,
302, 402: 폭 측정창, 304, 404: 카메라 조정창,302, 402: width measurement window, 304, 404: camera adjustment window,
310: 그림자 경계 판단창,310: shadow boundary judgment window,
LD1, LD2: 좌측 차량 검지창,LD1, LD2: left vehicle detection window,
RD1, RD2: 우측 차량 검지창RD1, RD2: Right vehicle detection window
이하에는 첨부한 도면을 참조하여 본 발명의 영상 검지에 의한 차종 구분 장치 및 방법의 양호한 실시예에 대해서 상세하게 설명하는데, 편의상 장치를 먼저 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the vehicle type classification apparatus and method according to the image detection of the present invention in detail, the device will be described first for convenience.
도 1은 본 발명의 영상 검지에 의한 차종 구분 장치에 있어서의 설치 상태를 개략적으로 보인 사사도이고, 도 2는 본 발명의 영상 검지에 의한 차종 구분 장치에 있어서의 카메라의 설치 상태도이다. 도 1 및 도 2에 도시한 바와 같이, 본 발명의 차종 구분 장치에 있어서는 차량(90)이 통과하는 도로(10)의 좌우측 가장 자리에 각각 좌측 제 1기준점(12)과 우측 제 1기준점(18)이 표시되고, 도로(10)의 안 쪽에도 역시 좌측 제 2기준점(14)과 우측 제 2기준점(16)이 표시된다. 도로(10)의 좌우측의 가장 자리의 일정한 높이에는 또한 두 대의 측정용 카메라(30),(40)가 설치된다. 그런데, 연속적으로 통과하는 차량(90)을 정확하게 분리하고 또한 도로(10)를 가급적 넓게 포착, 즉 적어도 자기 측의 제 1기준점과 반대측의 제 2기준점을 포착할 수 있도록 도로(10)와의 연직면 상에서 도로(10)의 내측을 향하여 5°- 10°정도 경사지게 카메라(30),(40)를 설치하는 것이 양호하다. 이렇게 하면 양측의 카메라와 각각의 기준점들은 도로의 중앙을 기준으로 할 때 정대칭이 될 것이다.1 is a perspective view schematically showing an installation state in a vehicle type classification apparatus according to the image detection of the present invention, and FIG. 2 is a diagram showing an installation state of the camera in the vehicle type classification apparatus according to the image detection of the present invention. As shown in FIG. 1 and FIG. 2, in the vehicle type classification apparatus of the present invention, the left
한편, 카메라(30)에서 포착된 영상은 예를 들어 초당 30 프레임씩 영상처리보드(40)에 제공되는데, 영상처리보드(50)에서는 이렇게 좌우측의 카메라(30),(40)로부터 제공된 영상 데이터를 실시간적으로 처리하여 검지 영역을 통과하는 차량(90)의 존부 판단, 전/후진 여부 판단, 통과 대수의 계수 및 차종 구분 등의 작업을 고속으로 수행하게 된다. 미설명 부호 20과 22는 카메라(30),(40)를 지지하는 수직 지지대를, 24는 수평 지지대를 각각 나타낸다. 미설명 부호 60은 장치의 유지 및 보수를 위한 컴퓨터를 나타내고, 70 및 80은 각각 좌측 및 우측 카메라(30),(40)에 포착된 영상 및 처리된 차종 분류 내용을 실시간으로 디스플레이 하는 모니터를 나타낸다.On the other hand, the image captured by the
도 3은 본 발명의 영상 검지에 의한 차종 구분 장치에 있어서의 영상 처리부의 전체적인 블록 구성도이다. 도 3에 도시한 바와 같이 본 발명에 따른 영상처리부는 카메라(30)에서 제공되는 프레임 단위의 영상 신호를 소정 비트, 예를 들어 8비트씩의 연속적인 디지털 데이터로 변환하는 A/D 변환기(110), 연속적으로 제공되는 세 프레임 분량의 디지털 영상 데이터를 각각 한 프레임씩 순환적으로 저장하는 세 개의 프레임 메모리(120),(130),(140), 해당 프레임 메모리에 저장된 디지털 영상 데이터를 분석하여 검지 영역을 통과하는 차량(90)의 존부 판단, 전/후진 여부 판단 및 통과 대수의 계수 등의 작업을 고속으로 수행하는 디지털 신호 처리기(Digital Signal Processor, 이하 간단히 DSP라고 한다)(150) 및 디지털 영상 데이터를 다시 아날로그 형태의 신호로 변환하여 출력하는 D/A 변환기(160)로 이루어진다. 미설명 부호 170은 DSP(150)의 제어 하에 각각의 프레임 메모리(120),(130),(140)를 A/D 변환기(110), DSP(150) 및 D/A 변환기(160)에 순환적으로 연결시키는 프레임 스위쳐를 나타낸다.3 is an overall block diagram of an image processing unit in the vehicle type classification apparatus according to the image detection of the present invention. As shown in FIG. 3, the image processing unit according to the present invention converts an image signal of a frame unit provided from the
전술한 구성에서, 각각의 프레임 메모리(120),(130),(140)는 예를 들어 512*512의 크기를 가지는 SRAM(Static Random Access Memory)으로 구현될 수 있는데, 현재 시점(t)에서 A/D 변환기(110)가 프레임 메모리(120)에 연결되어 있다고 가정하면 DSP(150)에는 프레임 메모리(130)가 연결되고, D/A 변환기(160)에는 프레임 메모리(140)가 연결된다. 이렇게 연결된 상태에서, DSP(150)가 시점(t-1)에 프레임 메모리(130)에 입력된 영상 데이터의 처리를 종료하면 프레임 스위쳐(170)에 이를 알리는 신호를 출력하게 되는데, 이에 따라 프레임 스위쳐(170)가 프레임 메모리(120),(130),(140)의 연결 상태를 점선으로 도시한 바와 같이 순환적으로 스위칭 하게 된다. 즉, 현재 DSP(150)와 연결되어 있던 프레임 메모리(130)는 D/A 변환기(160)에 연결되어 그 저장된 데이터가 아날로그 신호로 변환되고, 현재 A/D 변환기(110)에 연결되어 있던 프레임 메모리(120)는 DSP(150)에 연결되어 그 데이터가 처리되고, D/A 변환기(160)에 연결되어 있던 프레임 메모리(140)는 A/D 변환기(110)에 연결되어 그 데이터가 카메라(30)로부터 입력되고 A/D 변환기(110)에 의해 변환된 디지털 데이터로 갱신된다. 이와 같이 좌측 카메라(30)로부터 입력된 영상은 3 단계의 순환 큐(Circulation Queue)(120),(130),(140)를 통과하는 형태가 되기 때문에 모니터(미도시)에 의해 재구성되기까지에는 두 프레임 분량의 지연이 생기게 된다. 이는 외부 카메라(30)를 통해 실제 영상을 받아들이면서, 실시간 영상 처리하고, 그 결과를 디스플레이 해야할 경우에 매우 효과적이다. 이와 같은 구조에서 DSP(150)의 신호 처리가 충분히 짧은 시간 내에 끝난다고 볼 때 영상 입력(시점 t), DSP 처리(시점 t-1), 디스플레이(시점 t-2)의 각 사이클은 이론상 30[frame/sec]의 속도로 이루어지게 될 것이다.In the above-described configuration, each of the
이상에서는 좌측 카메라(30)로부터 들어오는 신호 처리 계통에 대해 설명하였는데, 우측 카메라(40)로부터 들어오는 신호 처리 계통도 이와 동일하게 A/D 변환기(210), 세 개의 프레임 메모리(220),(230),(240), DSP(250), D/A 변환기(260) 및 프레임 스위쳐(270)로 이루어진다. 미설명 부호 280은 각 DSP(150),(250) 사이의 통신을 위한 듀얼 포트 램(Dual Port RAM)을 나타내는 바, 이러한 듀얼 포트 램(280)을 통해서 주고받은 데이터를 두 개의 DSP(150),(250) 중에서 어느 하나의 DSP가 마스터가 되어 처리하여 차량(90)의 폭 계산 및 이에 근거하여 차종을 구분하고, 그 처리 결과를 각각의 모니터(70),(80)을 통해 실시간으로 디스플레이 한다.In the above, the signal processing system coming from the
전술한 실시예에서는 카메라(30),(40)로 아날로그 카메라를 예를 들어 설명하였는데, 디지털 카메라를 사용하는 경우에는 A/D 변환기(110),(210) 대신에 간단한 인터페이스 회로가 요구될 것이며, D/A 변환기(160),(260)는 카메라(30),(40)가 포착한 영상을 시각적으로 모니터링하기 위한 용도로 주어진다. 또한 DSP(150),(250) 대신에 범용의 마이크로 컴퓨터를 사용할 수도 있을 것이다.In the above-described embodiment, an analog camera is described as an example of the
도 4는 본 발명의 영상 검지에 의한 차종 구분 방법의 전체적인 플로우차트인 바, 이하에서 설명하는 각 단계들은 DSP(150)의 주체 하에 수행됨을 밝혀 둔다. 도 4에 도시한 바와 같이, 단계(S100)에서는 카메라(30),(40)로부터 입력되는 좌우측의 영상을 실시간으로 처리하여 프레임별로 디지털화한다. 이 과정에서 카메라(30),(40)로부터 입력되는 좌우측의 전체 영상의 특정 위치에 차량의 존부 판단과 전/후진 판단을 위한 두 개의 검지창(후술함)이 설정된다. 다음, 단계(S200)에서는 이렇게 설정된 검지창 내에 입력되는 영상을 이용해서 차량의 존부를 판단하고, 단계(S300)에서는 단계(S200)에서의 차량 존부 판단 결과를 이용해서 현재 차량이 전진하고 있는 지 그렇지 않으면 후진하고 있는 지를 판단한다. 단계(S400)에서는 앞서의 차량 존부 판단 결과와 전/후진 판단 결과를 이용해서 통과한 차량의 대수를 계산한다. 마지막으로 단계(S500)에서는 좌우측의 카메라(30),(40)으로부터 입력되는 영상을 처리하여 차량의 폭을 계산한 후에 이에 의거하여 차종을 구분한다.4 is an overall flowchart of a method for distinguishing a vehicle type by image detection according to an exemplary embodiment of the present invention, and the steps described below are performed under the subject of the
참고적으로 현재 국내의 차종 분류 장치에 의해 분류된 차종에 따른 제원을 살펴보면 아래의 표 1과 같다.For reference, look at the specifications according to the vehicle type currently classified by the domestic vehicle classification device is shown in Table 1 below.
위의 표 1에서 보는 바와 같이, 전장이나 전고의 경우에는 종별간에 중복이 발생하나 전폭의 경우에는 종별간에 최소 4[cm]에서 최대 21[cm] 까지 차이가 나기 때문에 전폭에 의하면 현행 차종 분류 체계를 벗어나지 않고도 차종을 분류할 수 있게 된다. 따라서, 본 발명에서는 전폭에 의한 차종 분류 방식을 채택하고 있다.As shown in Table 1 above, in the case of battlefield or height, overlapping occurs between types, but in case of full width, the difference is between 4cm and 21cm in size. It is possible to classify vehicles without departing. Therefore, the present invention adopts a full-body classification method.
도 5는 도 4에서 차량의 존부 판단 과정을 설명하기 위한 플로우차트이고, 도 6a 및 도 6b는 본 발명에서 차량의 전/후진 및 통과 여부를 판단하기 위한 검지창과 폭 측정창의 설정 상태를 보인 도이고, 도 7은 본 발명에서 이차원 영상을 일차원 영상으로 변환하는 기술을 설명하기 위한 도이고, 도 8은 본 발명에서 현재 입력 영상과 참조 배경 영상 사이의 국부 상관도를 구하는 기술을 설명하기 위한 도이고, 도 9는 본 발명에서 메디언 필터링 기술을 설명하기 위한 도이다.FIG. 5 is a flowchart illustrating a process of determining whether a vehicle is present in FIG. 4, and FIGS. 6A and 6B are diagrams illustrating setting states of a detection window and a width measurement window for determining whether the vehicle is forward / reversed and passed. 7 is a view for explaining a technique for converting a two-dimensional image to a one-dimensional image in the present invention, Figure 8 is a view for explaining a technique for obtaining a local correlation between the current input image and the reference background image in the present invention 9 is a diagram for describing a median filtering technique in the present invention.
먼저, 도 5의 단계(S100)에서는 좌측 카메라(30)에 입력되는 전체 영상(300)의 특정 위치, 양호하게는 차량의 예상 이동 경로와 수직 방향이 되는 위치에 도 6a에 도시한 바와 같은 두 개의 검지창(LD1),(LD2)을 설정하고, 우측 카메라(40)에 입력되는 전체 영상(400)의 특정 위치, 양호하게는 차량의 예상 이동 경로와 수직 방향이 되는 위치에도 도 6b에 도시한 바와 같은 두 개의 검지창(RD1),(RD2)을 설정한다. 여기에서 두 개의 검지창(LD1),(LD2)사이의 간격 및 두 개의 검지창(RD1),(RD2)사이의 간격은 연속해서 들어오는 차량간에 유지할 수 있는 최소 간격 이하가 되도록 설정하는 것이 좋다. 본 실시예에서는 110픽셀(pixel)정도로 설정하고 있다.First, in step S100 of FIG. 5, as shown in FIG. 6A, a specific position of the
이렇게 설정된 각 검지창(LD1),(LD2),(RD1),(RD2)에 입력되는 영상이 이후에 차량의 존부 및 전/후진을 판단하는 기초 정보로 사용되는데, 이러한 검지창(LD1),(LD2),(RD1),(RD2)을 설정하는 이유는 전체 영상(300),(400)을 처리하는데 비하여 데이터의 양을 줄일 수가 있고 또한 고속으로 차량의 존부 및 전/후진 등을 판단하는데 유리하기 때문이다. 또한, 각 검지창(LD1),(LD2),(RD1),(RD2)의 수직 길이(N)는 가급적 계산량을 줄일 수 있도록 적게 잡는 것이 양호한 반면에 수평 길이(M)는 차량이 진입할 수 있는 모든 경로를 포함할 수 있도록 설정하는 것이 양호하다. 본 실시예에서는 수직 길이(N)를 10픽셀로 설정하고, 수평 길이(M)를 290픽셀로 설정하고 있다. 미설명 부호 304 및 404 각각 좌우측 카메라(30),(40)의 상태를 조정하기 위한 조정창을 나타낸다.The images input to each of the detection windows LD1, LD2, RD1, and RD2 set as described above are used as basic information for determining whether the vehicle is present and moving forward or backward. Such detection windows LD1, The reason for setting (LD2), (RD1), and (RD2) is to reduce the amount of data compared to processing the
다음, 단계(S200) 내지 단계(212)에서는 각 검지창(LD1),(LD2),(RD1),(RD2)에 입력되는 영상을 기초로 하여 차량의 존/부를 판단하는데, 설명의 편의상 검지창(LD1)만을 예를 들어 설명을 진행한다.Next, in steps S200 to 212, the zone / part of the vehicle is determined based on the images input to the detection windows LD1, LD2, RD1, and RD2. Only the window LD1 is described as an example.
단계(S200)에서는 먼저 검지창(LD1)에 입력되는 이차원의 영상을 일차원의 영상으로 변환하여 특징 신호를 생성한다. 이를 위해 먼저 도 7에 도시한 바와 같이 검지창(LD1)에 입력된 이차원의 영상을 수직 방향으로 가산 투영(Integral Projection)하여 일차원의 영상으로 변환한다. 이렇게 하는 이유는 수직 방향에 존재하는 잡음의 주된 특성이 랜덤하다고 가정할 때 가산 투영에 의한 평균화(Averaging) 효과로 인해 상기한 잡음의 대부분을 제거시킬 수 있기 때문이다. 이외에도 처리해야할 계산량을 줄일 수 있는데, 이차원 영상을 수직 방향으로 가산 투영하여 일차원 영상으로 만들면 이차원 영상을 그대로 처리할 때에 비해 처리해야 할 데이터의 양을 1/N으로 줄일 수가 있다.In operation S200, first, a feature signal is generated by converting a two-dimensional image input to the detection window LD1 into a one-dimensional image. To this end, first, as shown in FIG. 7, the two-dimensional image input to the detection window LD1 is converted into a one-dimensional image by performing an integral projection in the vertical direction. This is because most of the noise can be eliminated due to the averaging effect by the additive projection, assuming that the main characteristic of the noise existing in the vertical direction is random. In addition, the amount of computation to be processed can be reduced. If the two-dimensional image is added and projected in the vertical direction to make the one-dimensional image, the amount of data to be processed can be reduced to 1 / N as compared to processing the two-dimensional image as it is.
다음, 이와 같이 구해진 일차원 가산 투영 신호를 적절한 저역 필터로 처리한 후에 미분하게 되면, 복잡하고 미세한 잡음성 신호 성분이 제거된 상태의 입력 영상의 특징 신호가 생성된다.Next, when the obtained one-dimensional addition projection signal is differentiated after processing with an appropriate low pass filter, a characteristic signal of an input image in which a complicated and minute noise signal component is removed is generated.
단계(S202)에서는 이렇게 생성된 입력 영상의 특징 신호를 미리 생성되어 있는 배경 영상의 특징 신호(이하, 참조 신호라고도 한다)와 비교하여 국부 상관 계수(Local Correlation Coefficient)를 계산한다. 이와 같이 본 발명에서는 차량의 존부를 판단하기 위한 전제로써 국부 상관 계수를 이용하는데, 이렇게 하면 질감 정보에 의한 차량의 구분이 가능하게 되어 그림자와 차량을 효과적으로 구분할 수가 있다. 그 이유는 비록 그림자가 도로에 비해 밝기 값은 떨어지지만 도로의 질감을 일정한 수준 이상으로 유지하고 있기 때문이다.In operation S202, a local correlation coefficient is calculated by comparing the feature signal of the input image thus generated with the feature signal of the background image (hereinafter, also referred to as a reference signal) generated in advance. As described above, in the present invention, a local correlation coefficient is used as a premise for determining the existence of the vehicle. In this case, the vehicle can be distinguished by the texture information, thereby effectively distinguishing the vehicle from the shadow. The reason is that although the shadows have less brightness than the road, the texture of the road remains above a certain level.
국부 상관 계수의 계산은 입력 특징 신호와 배경 특징 신호 각각을 도 8에 도시한 바와 같이 일정한 길이의 국부창(L)으로 나눈 다음에 동일한 위치에 해당하는 국부창(L) 신호 사이의 상관 계수를 구하는 방식으로 수행된다. 이렇게 하면 전체 국부창의 개수와 동일한 개수의 국부 상관 계수가 얻어진다. 도 8의 우측에는 이렇게 얻어진 국부 상관도 결과열을 도시하고 있다.The local correlation coefficient is calculated by dividing each of the input feature signal and the background feature signal by a local window L having a constant length and then calculating the correlation coefficient between the local window L signals corresponding to the same position. Is done in a way that is obtained. This yields the same number of local correlation coefficients as the total number of local windows. On the right side of Fig. 8, the resultant local correlation result column is shown.
본 발명에서는 전술한 바와 같이 국부창(L) 내의 신호간의 상관 계수를 구하고 있는데, 그 이유는 입력 특징 신호의 국부적인 특성을 차량 검지에 이용하기 위한 것이다. 다시 말하면 입력 특징 신호에는 차량인 부분과 배경인 부분이 함께 섞여서 들어올 수 있는데, 입력 특징 신호로부터 차량 부분과 배경 부분을 판별하기 위해서 전체 특징 신호를 비교한다면 이것은 차량인 부분과 배경인 부분이 합쳐진 평균적인 신호를 비교하는 것이 되고, 그 결과는 차량과 배경의 고유한 특성을 동시에 반영하기 때문에 명확한 판별을 내리기 어렵게 된다. 그러나, 전술한 바와 같이 각각의 국부창(L) 별로 독립적인 비교를 하게 되면, 비록 전체 신호에는 차량인 부분과 배경인 부분이 섞여 있다고 하더라도 국부적으로는 차량과 배경만의 고유한 특성이 나타나기 때문에 명확한 판단을 내릴 수 있게 된다.In the present invention, as described above, a correlation coefficient between signals in the local window L is obtained. The reason for this is to use the local characteristic of the input feature signal for vehicle detection. In other words, the input feature signal may be mixed with the vehicle part and the background part together. If the entire feature signal is compared to determine the vehicle part and the background part from the input feature signal, this is the average of the sum of the vehicle part and the background part. It is difficult to make a clear discrimination because the signal is compared and the result reflects the unique characteristics of the vehicle and the background at the same time. However, as described above, if the independent comparison of each local window (L), even if the entire signal is mixed with the vehicle part and the background part, because the unique characteristics of the vehicle and the background only appears locally Clear judgment can be made.
이렇게 하여 국부 상관 계수가 계산되면 단계(S206)에서는 역치(Threshold)를 이용해서 국부 상관 계수를 이진화한 후에 이에 의거하여 일차적으로 차량의 점유율을 조사한다. 여기에서 상관 계수의 특성상 배경 신호와 유사한 입력 신호에 대해서는 높은 상관 계수가 얻어지고, 배경 신호와 차이가 많이 나는 신호에 대해서는 낮은 상관 계수가 얻어질 것이다. 따라서, 상관 계수에 의해 배경 신호와 입력 신호의 유사도를 알 수 있고, 여기에 미리 적절하게 설정된 역치를 적용하여 이진화함으로써 각각의 국부창(L)을 차량인 부분과 비차량인 부분으로 구분할 수가 있다.When the local correlation coefficient is calculated in this way, in step S206, the local correlation coefficient is binarized using a threshold, and then the occupancy of the vehicle is first examined based on this. In this case, a high correlation coefficient is obtained for an input signal similar to a background signal due to the nature of the correlation coefficient, and a low correlation coefficient is obtained for a signal having a large difference from the background signal. Therefore, the similarity between the background signal and the input signal can be known by the correlation coefficient, and the localized window L can be divided into a vehicle part and a non-vehicle part by binarization by applying an appropriate threshold set in advance thereto. .
다음, 단계(S206)에서는 이렇게 얻어진 차량의 공간적인 점유율을 기반으로 하여 차량의 존부를 결정하는데, 예를 들어 아래의 표 2에 나타낸 바와 같이 세 단계로 구분하여 낮은 상관도를 갖는 지점의 점유율이 45[%] 이상이면 차량이라고 판단하고, 16[%] - 44[%]에 해당하면 불확실, 15[%] 이하이면 차량이 존재하지 않는 순수한 배경이라고 결정한다.Next, in step S206, the presence of the vehicle is determined based on the spatial occupancy of the vehicle thus obtained. For example, as shown in Table 2 below, the occupancy of the point having a low correlation is divided into three stages. If it is 45 [%] or more, it is determined to be a vehicle. If it is 16 [%]-44 [%], it is uncertain. If it is less than 15 [%], it is determined as a pure background without a vehicle.
이렇게 하여 매 프레임마다의 차량의 존부가 일차적으로 결정되면, 단계(S208)에서는 각 프레임에 대해 결정된 결과를 차량의 통과 속도 등과 관련하여 미리 정해진 수만큼 취합하여 차량이 존부를 판단한다. 단계(S208)에서 차량이 존재하는 것으로 판단되는 경우에는 단계(S210)로 진행하여 각 프레임에 대해 결정된 결과를 메디언 필터링(Median Filtering)하여 그 결과에 따라 최종적인 차량 존재를 판단한다. 이렇게 하는 이유는 한번의 검지창 입력만으로 결정한 존부 판단 결과에서 발생될 수 있는 오류를 감소시키기 위해서 있다. 즉 검지창에 배경과 유사한 특성을 가진 차량의 특정 부분이 입력된다면, 그 프레임에서는 배경으로 판단되겠지만 특정한 극소수의 부분을 제외한 대부분의 경우에는 검지창에 입력되는 차량의 부분들은 차량 고유의 특성을 지닐 것이기 때문에 메디언 필터링을 이용하면 이러한 임펄스적인 검지 결과의 변화를 제거할 수 있게 된다.In this way, if the existence of the vehicle in each frame is determined primarily, in step S208, the determined result for each frame is collected by a predetermined number in relation to the passing speed of the vehicle and the like to determine the existence of the vehicle. If it is determined in step S208 that the vehicle exists, the process proceeds to step S210 and median filtering the result determined for each frame to determine the final vehicle presence according to the result. The reason for doing this is to reduce the errors that can occur in the result of the existence judgment determined by only one detection window input. In other words, if a specific part of a vehicle having characteristics similar to the background is input to the detection window, the frame will be judged as a background, but in most cases except for a very few parts, the parts of the vehicle that are input to the detection window have unique characteristics. Median filtering can eliminate this change in impulse detection results.
한편, 이렇게 메디언 필터링을 적용하는 경우에 메디언 필터링 창의 크기를 적절하게 설정하여야 하는데, 그 이유는 창의 크기가 너무 크게 설정되면 연속되는 두 대의 차량을 한 대로 잘못 인식할 수 있는 반면에 창의 크기가 너무 작게 설정되면 메디언 필터링을 적용하는 효과가 감소되기 때문이다. 도 9의 실시예에서는 메디언 필터링의 창의 크기를 3 개로 설정하고 있는데, 좌측의 일차적인 판단 결과, 검게 칠해진 프레임에서는 차량이 존재하는 것으로 판단이 되었지만 메디언 필터링을 적용하여 얻어진 우측의 대응되는 프레임에서는 차량이 존재하지 않는 것으로 판단된 것을 알 수가 있다. 또한 차량이 존부가 확실하지 않아 X 표식이 된 프레임도 차량이 존재하지 않는 것으로 판단되고 있음을 알 수가 있다.On the other hand, when the median filtering is applied, the median filtering window should be set properly. The reason is that if the window size is set too large, two consecutive vehicles may be misidentified as one. If is set too small, the effect of applying median filtering is reduced. In the embodiment of FIG. 9, the size of the median filtering window is set to three, and as a result of the primary determination on the left, it is determined that the vehicle exists in the black frame, but the corresponding frame on the right obtained by applying the median filtering It can be seen that the vehicle is determined to not exist. In addition, it can be seen that the vehicle does not exist in the frame marked with the X mark because the vehicle is not sure whether or not the vehicle exists.
한편, 상관 계수를 계산할 때 입력 특징 신호와 비교 대상으로 배경 특징 신호를 추정하여 이용하고 있는데, 이 때 추정된 배경 특징 신호는 아래의 수학식 1과 같이 직전 프레임까지의 차량의 존부 판단 결과를 이용하여 선택적으로 누적해서 얻어질 수 있다. 이를 위하여 단계(S208)에서 차량이 존재하지 않는 것으로 판단되는 경우, 즉 현재의 입력 영상이 순수한 배경 영상이라고 판단되는 경우에는 단계(S212)로 진행하여 직전까지 추정된 배경 특징 신호에 적절한 가중치를 적용하여 적응적으로 갱신한 후에 저장하게 된다. 이렇게 순환 필터를 사용하면 배경 신호에 섞여 있는 잡음 신호 성분을 어느 정도 제거할 수 있고, 배경이 변화함에 따라 배경 특징 신호를 적응적으로 갱신할 수 있게 된다.Meanwhile, when calculating a correlation coefficient, a background feature signal is estimated and used as a comparison target with an input feature signal. In this case, the estimated background feature signal is used as a result of the determination of the existence of the vehicle up to the previous frame as shown in
여기에서
이렇게 하여 각 검지창(LD1),(LD2),(RD1),(RD2)에서의 차량의 존부가 독립적으로 판단되면, 단계(S300) 및 단계(S400)에서는 차량의 전/후진 여부 및 통과 수량을 계수한다.In this way, if the presence or absence of the vehicle in each of the detection windows (LD1), (LD2), (RD1), (RD2) is independently determined, in step S300 and step S400 whether the vehicle is forward / reversed and the number of passages Count.
도 10은 본 발명에서 차량의 전/후진 및 통과 여부를 확인하는 과정에 따른 상태 천이도인 바, D1, D2에 차량(90)이 존재하는 경우를 상태값 1, 차량(90)이 존재하지 않는 경우를 상태값 0으로 수치화하고 있다. 도 10에 도시한 바와 같이, 본 발명에서는 D1, D2의 차량 존부 판단 결과에 따라 있을 수 있는 상태를 4가지로 구분하고 있다. 즉 D1, D2 모두에 차량(90)이 존재하지 않는 경우(D1D2=00), D1, D2 중 어느 하나에만 차량(90)이 존재하는 경우(D1D2=01 또는 10) 및 D1, D2 모두에 차량(90)이 존재하는 경우(D1D2=11)의 4가지로 구분하고 있다. 그런데, D1, D2는 수직 방향으로 상하에 위치하기 때문에 차량(90)이 진입함에 따라 정상적인 속도라면 존부 판단 결과가 순차적으로 변화하게 된다. 따라서, 이러한 4가지 상태의 천이에 따라 전/후진을 판단해서 미리 준비된 전진 플래그 및 후진 플래그를 변화시키고, 각각의 플래그 값과 입력된 상태의 이력을 이용하면 통과한 차량(90)의 대수를 정확하게 계산할 수 있다. 도 10에서 점선의 화살표로 표시한 것은 금지된 상태 천이, 즉 있을 수 없는 상태 천이를 나타낸 것으로서 이러한 상황이 발생하면 장치에 에러가 발생한 것으로 간주하여 경보를 발하는 등의 조치를 취하게 된다.FIG. 10 is a state transition diagram according to a process of checking whether the vehicle is forward / reversed and passed in the present invention. In the case where the
도 11은 도 10에서 진진 플래그가 세트되는 조건을 설명하기 위한 도이고, 도 12는 도 10에서 후진 플래그가 세트되는 조건을 설명하기 위한 도인 바, 각각의 입력 영상 내의 굵은 화살표는 차량의 진행 방향을 나타낸다.FIG. 11 is a diagram illustrating a condition in which the forward flag is set in FIG. 10, and FIG. 12 is a diagram illustrating a condition in which the backward flag is set in FIG. 10. A thick arrow in each input image indicates a driving direction of the vehicle. Indicates.
먼저, 도 11에 도시한 바와 같이 D1, D2의 상태 변화에 따라서 차량(90)이 전진 또는 후진하는 지를 판단할 수 있는데, 이들 각 경우를 살펴보면 우선 D1, D2의 상태가 00인 좌측의 초기 상황에서 우측의 10의 상태로 변화하면 차량(90)이 화면 위에서 아래로 진입하기 시작한 것으로 간주할 수가 있다. 일단 차량(90)이 진입을 시작한 것으로 판단이 되면, D1, D2의 상태가 다시 00으로 돌아가지 않는 한, 차량이 전진하고 있는 것으로 간주한다. 이와 같은 경우에는 전진 상황을 나타내는 전진 플래그를 세트시켜 두는데, 이러한 전진 플래그 값은 D1, D2의 상태가 다시 00으로 되돌아가지 않는 한 다른 상태로 변화하더라도 계속 세트된 상태를 유지하게 된다. 이후에 다시 00 상태가 되는 경우, 즉 진입 시점에서 바로 후진하는 경우에야 비로소 전진 플래그를 리세트시켜서 초기 상황으로 복귀한다.First, as shown in FIG. 11, it is possible to determine whether the
마찬가지로 후진 상황을 나타내기 위해서 후진 플래그를 설정하고 있는데, 도 12에 도시한 바와 같이 D1, D2의 상태가 초기 상태인 00에서 01로 변화하면, 후진 플래그를 세트시켜서 후진, 즉 역진입 상황임을 나타내고, 00 상태로 되돌아가면 후진 플래그를 리세트시켜서 초기 상황으로 복귀한다. 이와 같이 전진 플래그 및 후진 플래그를 살핌으로써 차량에 대한 전진 또는 후진 여부를 판단할 수 있게 된다.Similarly, the reverse flag is set to indicate the reverse state. As shown in FIG. 12, when the states of D1 and D2 change from 00 to 01, which is the initial state, the reverse flag is set to indicate that the reverse state is reversed. In case of returning to the 00 state, the reverse flag is reset to return to the initial state. By looking at the forward flag and the reverse flag in this way, it is possible to determine whether the vehicle is moving forward or backward.
도 13a 및 도 13b는 도 10에서 차량의 통과 수량 계수 값을 1 증가시키는 조건을 설명하기 위한 도이고, 도 14a 및 도 14b는 도 10에서 차량의 통과 수량 계수 값을 1 감소시키는 조건을 설명하기 위한 도인 바, 각각의 입력 영상 내의 굵은 화살표는 차량의 진행 방향을 나타낸다.13A and 13B are diagrams for describing a condition of increasing a passing quantity coefficient value of a vehicle by 1 in FIG. 10, and FIGS. 14A and 14B are diagrams for describing a condition of decreasing a passing quantity coefficient value of a vehicle by 1 in FIG. 10. As shown in the drawing, a thick arrow in each input image indicates a moving direction of the vehicle.
먼저, 차량(90)이 전진하여 D1, D2를 완전히 빠져나가게 되면 계수 값이 1만큼 증가시켜야 한다. 이를 위하여 도 10의 상태 천이도 상에서 전진 플래그가 세트되어 있는 상태에서, 도 13a에 도시한 바와 같이 D1, D2의 상태가 01에서 00으로 변화하거나 또는 도 13b에 도시한 바와 같이 11에서 00으로 변화하는 경우에는 통과 차량 계수를 1만큼 증가시키게 된다.First, when the
반면에 통과한 차량이 다시 후진하여 빠져나가게 되면 차량에 대한 계수를 감소시켜야 할 필요가 있는데, 전진의 경우와 마찬가지로 후진 플래그가 세트되어 있는 상태에서 도 14a에 도시되어 있는 바와 같이 D1, D2의 상태가 10에서 00으로 변화하거나 또는 도 14b에 도시되어 있는 바와 같이 11에서 00으로 변화하는 경우에는 통과 차량 계수를 1만큼 감소시키게 된다. 도 13b 및 도 14b와 같은 경우는 예를 들어 차량의 속도가 매우 빠른 경우 등을 상정해서 대비한 것인 바, 이와 같이 본 발명에서는 D1, D2가 차량의 존재를 순차적으로 확인하지 못한 상황에서도 정확한 계수를 할 수가 있다.On the other hand, if the vehicle passes through again and exits, it is necessary to reduce the coefficient for the vehicle. As in the case of the forward, as shown in FIG. 14A, as shown in FIG. 14A, the state of D1 and D2 is reduced. Is changed from 10 to 00 or from 11 to 00 as shown in FIG. 14B, the passing vehicle coefficient is decreased by one. 13B and 14B are prepared by assuming that the vehicle is very fast, for example. As described above, according to the present invention, even in a situation in which D1 and D2 do not sequentially confirm the existence of the vehicle, they are accurate. You can count.
도 15는 도 4에서 차종 판단 과정을 설명하기 위한 플로우차트이다. 도 15에 도시한 바와 같이, 단계(S510)에서는 먼저 좌우측의 선 검지창(LD1),(RD1)에서 차량(90)이 검지되었는 지를 판단하는데, 단계(S510)에서 차량(90)이 검지된 경우에는 단계(S520)로 진행하여 좌우측의 후 검지창(LD2),(RD2)에 차량(90)이 최초로 검지되었는 지를 판단한다. 단계(S520)에서 후 검지창(LD2),(RD2)에 차량(90)이 최초로 검지된 경우에는 단계(S530)로 진행하여 차량(90)의 경계를 결정한다.FIG. 15 is a flowchart for describing a vehicle model determining process of FIG. 4. As shown in FIG. 15, in step S510, first, it is determined whether the
도 16은 도 15에서 차량 경계 결정 과정을 설명하기 위한 플로우차트이고, 도 17은 도 16에서 그림자 경계 판단창의 설정 상태를 설명하기 위한 도이다. 먼저 차량의 경계 결정은 도 16에 도시한 바와 같이, 단계(S531)에서는 입력되는 좌우측의 전체 영상(300),(400) 내에 차량(90)의 경계를 찾기 위한 폭 측정창(302),(402)이 도 6a 및 도 6b에 도시한 바와 같이 각각 설정된다. 이렇게 폭 측정창(302),(402)을 설정하는 이유는 적은 계산량으로 보다 정확한 정보를 얻기 위함이기 때문에 그 크기를 가급적 적게 하는 것이 양호하나, 수평 길이(C)는 차량(90)과 도로(10)의 폭과의 관계에서 적어도 도로(10)의 일측 경계를 어느 정도 포착할 수 있는 길이로 설정하는 것이 좋다.FIG. 16 is a flowchart for describing a vehicle boundary determination process in FIG. 15, and FIG. 17 is a diagram for describing a setting state of a shadow boundary determination window in FIG. 16. First, as shown in FIG. 16, the boundary determination of the vehicle is performed in step S531. The
다음, 단계(S532)에서는 폭 측정창(302),(402)에 입력되는 영상을 분석하여 차량(90)의 경계 후보를 설정하는데, 예를 들어 최외각 경계를 차량(90)의 경계 후보로 설정한다. 다음, 단계(S533)에서는 도 17에 도시한 같이 상기 설정된 경계 후보로부터 차량(90)의 방향으로 소정 길이(A)의 그림자 경계 판단창(310)을 설정한 후에 여기에 입력되는 이차원 영상을 수평 방향으로 가산 투영하여 일차원 입력 특징 신호를 생성한다. 이렇게 가산 투영하는 이유는 이미 설명한 바 있기 때문에 여기서는 설명을 생략한다. 다음, 이렇게 만들어진 일차원 영상을 적절한 저역필터에 통과시킨 후에 미분하여 잡음의 영향이 제거된 일차원 특징 신호를 생성한다.Next, in step S532, the boundary candidates of the
다음, 단계(S534)에서는 전술한 단계(S533)에서 생성된 일차원 입력 특징 신호를 미리 저장된 일차원 배경 특징 신호와 비교하여 상관도를 계산한다. 일차원 배경 특징 신호는 폭 측정창(302),(402)에 그림자가 존재하지 않을 때의 순수한 배경에 대해 상기 그림자 경계 판단창(310)과 동일한 위치에 설정된 그림자 경계 판단창(310)에 입력된 영상을 도 17의 우측에 도시한 바와 같이 수평 가산하여 얻어진다. 이렇게 하는 이유는 그림자가 없던 배경 신호와 그림자가 덮인 배경 신호를 비교하였을 때 후자의 그림자가 덮인 배경 신호는 그림자가 없던 배경 신호와 그 형태가 많이 닮아 있다는 점에 착안한 것으로 두 신호간의 상관도를 조사하면 그림자 영역인 지 아니면 차량 영역인 지를 판단할 수 있기 때문이다.Next, in step S534, the correlation is calculated by comparing the one-dimensional input feature signal generated in step S533 with a previously stored one-dimensional background feature signal. The one-dimensional background feature signal is input to the shadow
단계(S535)에서는 이렇게 얻어진 상관도를 미리 정해진 기준치와 비교하는데, 단계(S535)에서의 판단 결과, 상관도가 기준치 이상인 경우에는 그림자로 판단하고 단계(S536)로 진행하여 경계 후보를 차량(90)의 방향으로 이동, 즉 그림자 경계 판단창(310)을 차량(90)의 방향으로 다시 소정 거리(A) 만큼 이동시킨 후에 단계(S533) 이하를 반복한다. 이렇게 하여 단계(S535)에서 상관도가 기준치에 미달하는 경우에는 단계(S537)로 진행하여 현재 설정된 경계 후보가 차량(90)의 실제 경계라고 결정하게 된다.In operation S535, the obtained correlation is compared with a predetermined reference value. If the correlation is greater than or equal to the reference value, the correlation is determined to be a shadow, and the process proceeds to operation S536 to determine the boundary candidate as the
이렇게 하여 차량(90)의 경계가 결정되면, 다시 도 15의 단계(S540)로 진행하여 차량(90)의 폭을 계산한다. 차량의 폭 계산을 하기 위해서는 좌측 카메라(30)의 초기 값 설정 시에 도로(10)의 좌측 제 1기준점(12)과 우측 제 2기준점(16) 사이의 실제 거리(WRef)와 화면 거리(L) 사이의 변환비를 1화소에 대한 카메라의 시선 각도(θ)의 형식으로 미리 계산하여 입력하는 것이 전제가 된다. 물론 우측 카메라(40)의 초기 값 설정 시에도 도로(10)의 우측 제 1기준점(18)과 좌측 제 2기준점(14) 사이의 실제 거리(WRef)와 화면 거리(L) 사이의 변환비를 1화소에 대한 카메라의 시선 각도(θ)의 형식으로 미리 계산하여 입력하고, 이외에도 도로(10)의 좌측 제 1기준점(12)과 우측 제 1기준점(18) 사이의 실제 폭(WB)도 입력해야 한다.When the boundary of the
도 18은 본 발명에서 실제 거리와 화면 거리 사이의 변환비를 구하는 원리를 설명하기 위한 도이다. 도 18에 도시한 바와 같이, 좌측의 제 1기준점(12)과 우측의 제 2기준점(16) 간의 실제 거리(WRef)를 실측하고 미리 알고 있는 좌측 카메라(30)의 높이(H)와 화면상의 두 기준점(12),(16) 간의 화면 거리(L)를 바탕으로 1화소에 대한 카메라(30)의 시선 각도(θ)를 아래의 수학식 2와 같이 계산한다.FIG. 18 is a diagram for explaining a principle of obtaining a conversion ratio between an actual distance and a screen distance in the present invention. As shown in FIG. 18, the height H and the screen of the
이러한 관계에서, 상기 단계(S537)에서 구해진 차량(90)의 좌측 경계 위치와 도로(10)의 좌측 제 1기준점(12) 사이의 거리(dL)를 미리 입력되어 저장된 1화소에 대한 카메라(30)의 시선 각도(θ)를 이용해서 아래의 수학식 3과 같이 구한다.In such a relationship, the camera for one pixel stored in advance by inputting the distance d L between the left boundary position of the
이와 같은 방식으로 차량(90)의 우측 경계 위치와 도로(10)의 우측 제 1기준점(18) 사이의 거리(dR)를 구한 다음에 이들 거리를 실제의 도로 폭(WB)에서 빼게되면 차량(90)의 폭(WC)을 구할 수 있다. 이를 수학적으로 표현하면 아래의 수학식 4와 같이 된다.In this way, if the distance d R between the right boundary position of the
이렇게 하여 차량(90)의 폭(WC)이 구해지면, 단계(S550)로 진행하여 미리 입력 저장된 차종 구분 테이블을 대조하여 현재 통과 차량에 대한 차종을 구분하게 된다. 한편, 단계(S510)에서 선 검지창(LD1),(RD1)에 차량(90)이 검지되지 않는 경우에는 단계(S560)로 진행하여 현재의 도로 영상을 갱신하여 저장하게 된다. 단계(S520)에서 차량(90)이 후 검지창(LD2),(RD2)에 최초 검지되지 않은 경우에 프로그램은 단계(S510)로 복귀한다.In this way, when the width W C of the
본 발명의 영상 검지에 의한 차종 구분 방법 및 장치는 전술한 실시예에 국한되지 않고, 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다. 예를 들어 전술한 실시예에서는 차량의 폭으로 차종을 구분하는 예를 들었지만, 차량의 전고와 전장에 의해서도 구할 수도 있을 것이다.The vehicle type classification method and apparatus by video detection according to the present invention are not limited to the above-described embodiments, and various modifications can be made within the range permitted by the technical idea of the present invention. For example, in the above-described embodiment, an example of classifying a vehicle type by the width of the vehicle may be obtained by the height of the vehicle and the overall length.
한편, 특허 청구 범위에서 사용되는 용어 D1은 LD1 또는 RD1 중 적어도 어느 하나를 지칭하며, D2는 LD1 또는 RD1 중 적어도 어느 하나를 지칭함을 밝혀 둔다.Meanwhile, the term D1 used in the claims refers to at least one of LD1 or RD1, and D2 refers to at least one of LD1 or RD1.
이상에서 설명한 바와 같은 본 발명의 영상 검지에 의한 차종 구분 방법 및 장치에 따르면, 영상 검지 방식을 채택하여 설치 및 관리가 용이하고 그 비용이 적게 들며, 무정차식 통행 요금 징수 시스템에 용이하게 채용될 수 있는 효과가 있다. 또한, 종래의 영상 검지 방식이 가지는 문제점을 극복하고 비교적 간단한 구성에 의해 실시간적으로 차량 통과 유무 판단, 차량의 전/후진 판단 및 차종 구분을 정확하게 수행할 수 있는 효과가 있다.According to the method and apparatus for distinguishing a vehicle type according to the image detection according to the present invention as described above, it is easy to install and manage by using the image detection method, the cost is low, and can be easily adopted for the toll-free toll collection system. It has an effect. In addition, there is an effect that can overcome the problems of the conventional image detection method and accurately determine whether the vehicle passes, determine the forward / backward of the vehicle and classify the vehicle in real time by a relatively simple configuration.
Claims (21)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970078470A KR100261065B1 (en) | 1997-12-30 | 1997-12-30 | Vehicle classification method and apparatus using image analysis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970078470A KR100261065B1 (en) | 1997-12-30 | 1997-12-30 | Vehicle classification method and apparatus using image analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
KR19990058370A KR19990058370A (en) | 1999-07-15 |
KR100261065B1 true KR100261065B1 (en) | 2000-07-01 |
Family
ID=19529850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019970078470A KR100261065B1 (en) | 1997-12-30 | 1997-12-30 | Vehicle classification method and apparatus using image analysis |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100261065B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413439A (en) * | 2013-07-30 | 2013-11-27 | 长安大学 | Method for sorting passenger vehicles and goods vehicles based on videos |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101996101B1 (en) * | 2014-11-17 | 2019-07-03 | 방중식 | A smart light-car recognition system, and stand-alone based smart car-number recogniton sytem therefor |
-
1997
- 1997-12-30 KR KR1019970078470A patent/KR100261065B1/en active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413439A (en) * | 2013-07-30 | 2013-11-27 | 长安大学 | Method for sorting passenger vehicles and goods vehicles based on videos |
Also Published As
Publication number | Publication date |
---|---|
KR19990058370A (en) | 1999-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100459476B1 (en) | Apparatus and method for queue length of vehicle to measure | |
US7460691B2 (en) | Image processing techniques for a video based traffic monitoring system and methods therefor | |
JP3569992B2 (en) | Mobile object detection / extraction device, mobile object detection / extraction method, and mobile object monitoring system | |
US5554983A (en) | Object recognition system and abnormality detection system using image processing | |
US5396283A (en) | Moving body measuring device and an image processing device for measuring traffic flows | |
US8472715B2 (en) | Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus | |
EP0700017B1 (en) | Method and apparatus for directional counting of moving objects | |
JP4600929B2 (en) | Stop low-speed vehicle detection device | |
KR20150029551A (en) | Determining source lane of moving item merging into destination lane | |
KR100261065B1 (en) | Vehicle classification method and apparatus using image analysis | |
KR100532058B1 (en) | Traffic information acquisition method and apparatus using camera calibration | |
JP2732860B2 (en) | Vehicle detection method and vehicle detection device | |
KR102492290B1 (en) | Drone image analysis system based on deep learning for traffic measurement | |
JPH0991586A (en) | Method and device for monitoring road state | |
JP3734594B2 (en) | Abnormal event detection device and traffic flow measurement device | |
JPH10307988A (en) | Traffic flow monitoring device | |
KR100250886B1 (en) | Method and apparatus of forwardness / backwardness detecting and counting for moving object | |
JPH05312818A (en) | Speed measuring device and method through image processing | |
JP5192429B2 (en) | Traffic flow measuring device and traffic flow measuring method | |
KR100267728B1 (en) | Moving object presence deciding method and apparatus | |
RU2486597C1 (en) | Method of automatic classification of vehicles | |
JPH09212791A (en) | Method and device for monitoring road surface | |
JPH03276070A (en) | Automatic vehicle number reader with speed measuring function | |
JP2005056441A (en) | Traffic flow measurement device | |
JPH09282455A (en) | Image monitoring method, image monitoring device, and road monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130408 Year of fee payment: 14 |
|
FPAY | Annual fee payment |
Payment date: 20140304 Year of fee payment: 15 |
|
FPAY | Annual fee payment |
Payment date: 20150303 Year of fee payment: 16 |
|
FPAY | Annual fee payment |
Payment date: 20160226 Year of fee payment: 17 |
|
FPAY | Annual fee payment |
Payment date: 20170329 Year of fee payment: 18 |