KR101615992B1 - The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor - Google Patents

The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor Download PDF

Info

Publication number
KR101615992B1
KR101615992B1 KR1020150025930A KR20150025930A KR101615992B1 KR 101615992 B1 KR101615992 B1 KR 101615992B1 KR 1020150025930 A KR1020150025930 A KR 1020150025930A KR 20150025930 A KR20150025930 A KR 20150025930A KR 101615992 B1 KR101615992 B1 KR 101615992B1
Authority
KR
South Korea
Prior art keywords
image
feature point
region
tracking
unit
Prior art date
Application number
KR1020150025930A
Other languages
Korean (ko)
Inventor
임준후
강성진
이형근
김희성
이제영
최광호
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020150025930A priority Critical patent/KR101615992B1/en
Application granted granted Critical
Publication of KR101615992B1 publication Critical patent/KR101615992B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to an apparatus for extracting a vehicle feature robust to a driving environment and tracking an area by using a vision sensor and a method thereof. The apparatus extracts the feature robust to surrounding environment using the vision sensor and tracks a subject having a specific shape based on the feature without being affected from the surrounding environment. The apparatus of the present invention includes: a driving image obtaining unit configured to obtain the driving image based on images obtained by the vision sensor; a feature extraction unit configured to extract the feature robust to the driving environment by processing the obtained driving image with a speeded up robust features (SURF) algorithm; and a subject tracking unit configured to trace a specific region or an object using the features extracted by the feature extraction unit.

Description

영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치 및 그 방법{The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for extracting feature points of a vehicle,

본 발명은 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적에 관한 것으로, 특히 영상 센서를 활용하여 주변 환경에 강건한 특징점을 추출하고, 이를 기반으로 일정한 형태를 가진 대상을 주변 환경에 영향을 받지 않고 추적할 수 있도록 한 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치 및 그 방법에 관한 것이다.
The present invention relates to feature point extraction and area tracking of a vehicle that is robust to a driving environment using an image sensor. In particular, it extracts robust feature points in the surrounding environment by using an image sensor, and based on this, The present invention relates to a feature point extracting and region tracking apparatus and method for a vehicle that is robust in a driving environment using an image sensor that can be tracked without being influenced.

일반적으로, 현재 고속도로나 교차로와 같은 사거리 지역에서 교통사고가 자주 일어나게 됨에 따라 교통사고 감지를 위한 시스템이 요구되고 있다. 특히 목격자가 없거나 관계자들의 의견이 엇갈릴 경우 교통사고 후 사고처리가 더욱 복잡해지고, 때로는 CCTV와 같은 비디오를 이용하여 증거자료로 삼고 있지만, 실시간으로 계속 녹화를 할 때에는 사고 관련 부분을 찾아 판독하는데 시간이 오래 걸리게 되는 등 많은 노동력이 소모됨에 따라 비효율적이다.Generally, traffic accidents frequently occur in intersection areas such as highways and intersections, and a system for detecting traffic accidents is required. Especially when there are no witnesses or when the opinions of the people involved are different, the accident handling after the traffic accident becomes more complicated and sometimes it is used as evidence by using video such as CCTV. However, when recording continuously in real time, It is inefficient as a lot of labor is consumed such as it takes a long time.

또한, 최근 교통수단 및 시설에 전자, 제어, 통신 등 첨단 기술을 활용하여 신개념의 교통 정보 및 서비스를 제공해줄 수 있는 이른바 ITS(Intelligent Transport System)에 대한 관심이 커지고 있다. 그러나 현재 우리나라의 경우 아직 ITS관련 기술 수준이 매우 열악한 상태이며, 대부분 IBM, AXLX 등과 같은 해외의 기술에 의존하고 있는 실정이다. 하지만, 그러한 해외의 기술들의 경우 설치 비용이 지나치게 비싸고, 교통상황과는 맞지 않는 경우가 발생하는 등 많은 문제점이 있다.Recently, there is a growing interest in the so-called Intelligent Transport System (ITS), which can provide new-concept traffic information and services by utilizing advanced technologies such as electronic, control and communication for transportation means and facilities. However, the level of technology related to ITS is still very poor in Korea, and most of them depend on overseas technologies such as IBM and AXLX. However, there are a number of problems with such overseas technologies, such as the installation cost being too high and the situation not being compatible with the traffic situation.

또한, 위험물 운반 차량의 사고는 1차적인 피해는 물론 2차, 3차적인 피해로 인하여 경제적, 환경적인 문제를 야기한다. 이러한 위험물 운반 차량의 사고 감지를 위한 방법으로 많은 기법들이 연구되고 있다.In addition, accidents of dangerous vehicle vehicles cause economic and environmental problems due to secondary and tertiary damage as well as primary damage. A number of techniques have been studied as a method for detecting such an accident vehicle.

따라서 도로 등에서 차량과 같은 물체를 추적하기 위한 기술이 지속적으로 연구 개발되고 있으며, 차량 추적에 대해 제안된 종래 기술이 하기의 <특허문헌 1> 대한민국 등록특허 등록번호 10-1256873호(2013.04.16. 등록) 및 <특허문헌 2> 대한민국 공개특허 공개번호 10-2013-0020151호(2013.02.27. 공개)에 개시되었다.Therefore, a technology for tracking an object such as a vehicle on the road has been continuously researched and developed, and a conventional technology proposed for tracking a vehicle is disclosed in Patent Document 1, Korean Patent Registration No. 10-1256873 (Apr. And Patent Document 2: Korean Patent Laid-Open Publication No. 10-2013-0020151 (published on Feb. 23, 2013).

<특허문헌 1>에 개시된 종래기술은 카메라로부터 촬영된 영상을 영상 데이터로 출력하는 영상 취득 장치, 영상 취득 장치로부터 영상 데이터를 수신하여 객체를 추출하고, 추출된 객체의 경로를 추적하기 위한 경로 추적 모델을 생성하며, 생성된 경로 추적 모델에 기반하여 객체의 위치 및 이동 경로를 추적하는 객체 추적 장치, 추적된 객체의 위치 및 이동 경로에 따라 교통 상황을 판단하고, 판단된 상황에 따라 교통을 통제하는 교통 통제 장치, 상기 교통 통제 장치의 제어에 따라 영상을 저장하는 영상 저장치를 포함한다. 이러게 구성된 <특허문헌 1>은 데이터 연관 기법의 향상을 통해 영상 처리 기반의 시스템에서 객체 추적의 정확도를 향상시키고, 실시간으로 감시할 수 있는 객체 추적 장치를 제공한다.The prior art disclosed in Patent Document 1 includes an image acquisition device for outputting an image captured by a camera as image data, a path extracting device for extracting an object by receiving image data from the image acquisition device, An object tracking device for tracking the position and movement route of the object based on the generated route tracking model, the traffic situation according to the position and the movement route of the tracked object, and controlling the traffic according to the judged situation And an image storage unit for storing images according to the control of the traffic control unit. Patent Document 1 configured as described above provides an object tracking apparatus capable of improving the accuracy of object tracking in a system based on image processing and monitoring in real time through improvement of data association technique.

<특허문헌 2>에 개시된 종래기술은 자차 주변을 촬영하는 영상 센서, 자차 주변의 물체를 감지하는 레이더 센서, 레이더 센서에서 검출된 물체의 위치 정보에 기초하여 영상 센서에서 촬영된 영상 데이터에 관심 영역을 설정하는 관심 영역 생성부; 상기 관심 영역 내의 영상 데이터에서 차량을 추출하는 차량 추출부를 포함한다. 이렇게 구성된 <특허문헌 2>는 레이더 인식 결과를 기치로 영상을 처리하여 차량을 검출하는 차량 검출 장치를 제공한다.
The conventional technique disclosed in Patent Document 2 is a technique in which an image sensor for photographing the periphery of a car, a radar sensor for sensing an object around the car, A region of interest generating unit for setting a region of interest; And a vehicle extracting unit for extracting a vehicle from the image data within the ROI. Patent Document 2 configured in this way provides a vehicle detection apparatus for detecting a vehicle by processing an image based on a radar recognition result.

대한민국 등록특허 등록번호 10-1256873호(2013.04.16. 등록)Korea Registered Patent Registration No. 10-1256873 (Registered April 16, 2013) 대한민국 공개특허 공개번호 10-2013-0020151호(2013.02.27. 공개)Korean Patent Publication No. 10-2013-0020151 (published Feb. 27, 2013)

그러나 상기와 같은 종래기술들은 카메라로부터 추출한 영상으로부터 추적 대상을 추적하는 것은 가능하나, 주행 환경에 따라 조명 및 주변 환경이 변화하는 것에 적응적이지 못하여, 주행 환경의 변화시 추적 대상을 정확하게 추적하는 것이 어려운 단점이 있다.However, in the above conventional techniques, it is possible to track an object to be tracked from an image extracted from a camera, but it is not adaptable to changes in illumination and surrounding environment according to the travel environment, There are difficult disadvantages.

특히, 터널을 지나거나 고가도로 및 육교 밑을 주행하는 경우, 밝기 변화에 민감하게 반응하여 특징점을 추출하는 데 불연속적이 구간이 발생하여, 추적 대상을 정확하게 추적하는 불가능해지게 된다.Particularly, when traveling through a tunnel, under an overpass, and under a bridge, discontinuity occurs in extracting characteristic points in response to a change in brightness, making it impossible to accurately track objects to be tracked.

따라서 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 영상 센서를 활용하여 주변 환경에 강건한 특징점을 추출하고, 이를 기반으로 일정한 형태를 가진 대상을 주변 환경에 영향을 받지 않고 추적할 수 있도록 한 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치 및 그 방법을 제공하는 데 그 목적이 있다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made in view of the above problems, and it is an object of the present invention to provide a method and apparatus for extracting robust feature points in an environment using an image sensor, The present invention provides a feature point extracting and region tracking apparatus and method of a vehicle that is robust to a driving environment using an image sensor that can be tracked without receiving a vehicle.

본 발명의 다른 목적은 주행 중 밝기가 변하는 경우에도 연속적으로 특징점을 정확하게 추출할 수 있도록 한 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추정적치 및 그 방법을 제공하는 것이다.
Another object of the present invention is to provide feature point extraction and region estimation and robustness of a vehicle robust to a driving environment using an image sensor that can accurately extract feature points continuously even when the brightness during driving is changed.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치는 영상 센서로부터 획득한 영상을 기초로 주행 영상을 획득하는 주행 영상 획득부; 상기 주행 영상 획득부에서 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출하는 특징점 추출부; 상기 특징점 추출부에서 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적하는 대상 추적부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a feature point extracting and region tracking apparatus of a vehicle robust in a driving environment utilizing an image sensor according to the present invention includes a traveling image acquiring unit for acquiring a traveling image based on an image acquired from an image sensor, ; A feature point extracting unit for extracting feature points that are robust to the driving environment by processing a traveling image acquired by the traveling image acquiring unit with a SURF (Speeded Up Robust Features) algorithm; And a target tracking unit for tracking a specific region or a specific object from the minutiae points extracted by the minutiae point extracting unit.

상기에서 주행 영상 획득부는 상기 영상 센서에서 출력되는 영상 이미지에서 영상 프레임의 크기를 설정하는 영상 이미지 사이즈 설정부; 상기 영상 이미지 사이즈 설정부에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정하는 영상 획득주기 설정부; 상기 영상 획득 주기 설정부에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하는 주행 영상 획득모듈을 포함하는 것을 특징으로 한다.The driving image obtaining unit may include an image image size setting unit for setting a size of an image frame in an image image output from the image sensor; An image acquisition period setting unit configured to set the number of image frames to be acquired per second according to the size of the image frame set by the image image size setting unit; And a driving image acquiring module for acquiring a driving image by accumulating image frames according to the image acquiring period set by the image acquiring period setting unit.

상기에서 특징점 추출부는 상기 주행 영상 획득부에서 획득한 주행 영상 이미지를 적분하여 특징점을 검출하는 특징점 검출부; 상기 특징점 검출부에서 검출한 특징점의 고유영역을 표현할 수 있는 특징점의 영역을 생성하는 디스크립터; 상기 디스크립터에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별하는 특징점 판별부를 포함하는 것을 특징으로 한다.The feature point extracting unit may include a feature point detecting unit for detecting feature points by integrating the travel image obtained by the travel image acquiring unit; A descriptor for generating a region of a feature point capable of expressing a unique region of the feature point detected by the feature point detecting unit; And a feature point discrimination unit for discriminating feature points to be tracked through image comparison and analysis based on the region of the feature points generated in the descriptor.

상기에서 특징점 검출부는 원본 영상 이미지를 적분하여 웨이브렛(wavelet) 정보를 생성하고, 웨이브렛 마스크를 이용하여 상기 생성한 웨이브렛 정보에서 웨이브렛 정보를 추출하며, 상기 추출한 웨이브렛 정보와 이웃하는 웨이브렛 정보를 비교하여 특징점을 추출하는 것을 특징으로 한다.The feature point detection unit integrates the original image to generate wavelet information, extracts wavelet information from the generated wavelet information using a wavelet mask, and extracts the wavelet information from the extracted wavelet information, And extract feature points by comparing them with each other.

상기에서 디스크립터는 검출된 특징점의 크기와 각도를 이전 영상 이미지에서 추출한 특징점의 크기와 각도를 비교하여 특징점의 고유 영역을 표현할 수 있는 디스크립터를 생성하는 것을 특징으로 한다.The descriptor may generate a descriptor capable of expressing a characteristic region of a feature point by comparing the magnitude and angle of the detected feature point and the angle of the feature point extracted from the previous image.

상기에서 특징점 판별부는 새로운 이미지와 이전 이미지로부터 각각 생성된 디스크립터를 비교 및 분석하여 두 영상에서 크기와 각도에 강건한 특징점을 판별하는 것을 특징으로 한다.The feature point discrimination unit compares and analyzes the descriptors generated from the new image and the previous image, respectively, and distinguishes the feature points that are robust against the size and the angle in the two images.

상기에서 대상 추적부는 누적 구간에 해당하는 특징점들의 누적 픽셀 평균값과 새로운 특징점을 비교하여 관심 영역(Region of Interest; ROI)을 선택하고, 상기 선택한 관심 영역을 추적하는 것을 특징으로 한다.
The target tracking unit selects a region of interest (ROI) by comparing the cumulative pixel average value of the feature points corresponding to the cumulative interval with new feature points, and tracks the selected region of interest.

또한, 상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법은 (a) 영상 센서로부터 획득한 영상을 기초로 주행 영상을 획득하는 단계; (b) 상기 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출하는 단계; (c) 상기 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of extracting and tracking a feature point of a vehicle that is robust to a driving environment using an image sensor according to the present invention, comprising the steps of: (a) acquiring a traveling image based on the image acquired from the image sensor; ; (b) processing the acquired running image with a SURF (Speeded Up Robust Features) algorithm to extract robust feature points in the driving environment; (c) tracking a specific region or a specific object from the extracted minutiae points.

상기에서 (a)단계는 (a1) 상기 영상 센서에서 출력되는 영상 이미지에서 영상 프레임의 크기를 설정하는 단계; (a2) 상기 (a1)단계에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정하는 단계; (a3) 상기 (a2)단계에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.Wherein the step (a) comprises: (a1) setting a size of an image frame in an image output from the image sensor; (a2) setting the number of image frames to be acquired per second according to the size of the image frame set in the step (a1); (a3) accumulating image frames according to the image acquisition period set in the step (a2) to acquire a running image.

상기에서 (b)단계는 (b1) 상기 (a)단계에서 획득한 주행 영상 이미지를 적분하여 특징점을 검출하는 단계; (b2) 상기 (b1)단계에서 검출한 특징점의 고유영역을 표현할 수 있는 특징점의 영역을 생성하는 단계; (b3) 상기 (b2)단계에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별하는 단계를 포함하는 것을 특징으로 한다.The step (b) includes the steps of: (b1) detecting a feature point by integrating the traveling image acquired in the step (a); (b2) generating a region of feature points capable of expressing a unique region of the feature point detected in the step (b1); (b3) determining feature points to be tracked through image comparison and analysis based on the region of the feature points generated in the step (b2).

상기에서 (c)단계는 (c1) 특징점 영역 분포를 판단하는 단계; (c2) 상기 (c1)단계에서 판단한 특징점 영역을 검색하여 새로운 영역인지 기존 영역인지를 판단하는 단계; (c3) 상기 (c2)의 판단 결과, 새로운 영역일 경우 특징점 영역을 갱신하는 단계; (c4) 상기 (c2)의 판단 결과, 기존 영역이거나 특징점 영역을 갱신한 후에는 특징점 영역을 구분하고, 특징점을 추적하는 단계를 포함하는 것을 특징으로 한다.
The step (c) includes the steps of: (c1) determining a minutia distribution; (c2) searching the minutiae point area determined in the step (c1) to determine whether it is a new area or an existing area; (c3) updating the minutiae point region if it is a new region as a result of (c2); (c4) As a result of the determination of (c2), after the feature region is updated or the existing region, the feature point region is identified and the feature point is tracked.

본 발명에 따르면 주행 중 주행 환경의 변화로 밝기 변화가 발생하는 경우에도 연속적으로 특징점을 추출할 수 있어, 주행 환경의 변환 시에도 추적하고자 하는 추적 대상을 지속적으로 정확하게 추적할 수 있는 장점이 있다.According to the present invention, it is possible to continuously extract feature points even when a change in brightness occurs due to a change in driving environment during driving, and the tracking target to be tracked can be continuously and accurately tracked even when the driving environment is changed.

또한, 본 발명에 따르면 추적하고자 하는 추적 대상의 영역 설정이 가능하므로, 영상으로부터 특정 대상을 추적하는 다양한 분야에 적용 가능할 수 있는 장점도 있다.In addition, according to the present invention, it is possible to set an area of a tracking object to be tracked, and thus it is also applicable to various fields for tracking a specific object from an image.

또한, 본 발명에 따르면 영상에서 일정한 형태를 지닌 대상에 대한 추적을 사용자의 설정 값에 따라 주행 환경에 영향을 받지 않고 지속적으로 추적할 수 있는 장점도 있다.
In addition, according to the present invention, there is also an advantage that the tracking of an object having a certain shape in an image can be continuously tracked without being influenced by a driving environment according to a set value of a user.

도 1은 본 발명의 바람직한 실시 예에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치의 블록구성도,
도 2는 도 1의 주행 영상 획득부의 실시 예 블록 구성도,
도 3은 도 1의 특징점 추출부의 실시 예 블록 구성도,
도 4a 내지 도 4c는 본 발명을 적용하여 터널에서 추적 대상을 추적한 결과 영상 예시도, 도 4d 및 도 4e는 본 발명을 적용하여 육교에서 추적 대상을 추적한 결과 영상 예시도,
도 5는 본 발명에서 특징점 추출 및 추적 구간 예시도,
도 6은 본 발명에서 특징점 추출 성공률 실험 결과도,
도 7은 특징점 영역 테이블 예시도,
도 8은 본 발명의 바람직한 실시 예에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법을 보인 흐름도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a feature point extracting and region tracking device for a vehicle that is robust to a driving environment using an image sensor according to a preferred embodiment of the present invention;
FIG. 2 is a block diagram of an embodiment of the traveling image obtaining unit of FIG. 1;
FIG. 3 is a block diagram of an embodiment of the feature point extracting unit of FIG. 1;
FIGS. 4A to 4C illustrate an image as a result of tracing an object to be traced in a tunnel by applying the present invention, FIGS. 4D and 4E illustrate an image as a result of tracking objects to be traced in an overpass by applying the present invention,
FIG. 5 is a diagram illustrating a feature point extraction and tracking section in the present invention,
FIG. 6 is a graph showing the result of the success rate of minutiae extraction in the present invention,
Fig. 7 is a diagram illustrating an example of a minutia area table,
FIG. 8 is a flowchart showing a feature point extraction and a region tracking method of a robust vehicle in a driving environment using an image sensor according to a preferred embodiment of the present invention.

이하 본 발명의 바람직한 실시 예에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치 및 그 방법을 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an apparatus and method for extracting and tracking a feature point of a vehicle in a driving environment using an image sensor according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시 예에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치의 블록 구성도이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a feature point extracting and region tracking device for robust vehicles in a driving environment using an image sensor according to a preferred embodiment of the present invention. FIG.

본 발명에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적장치는 영상 센서(10), 주행 영상 획득부(20), 특징점 추출부(30) 및 대상 추적부(40)를 포함한다.The feature point extracting and region tracking apparatus for a vehicle that is robust in a driving environment using an image sensor according to the present invention includes an image sensor 10, a traveling image acquiring unit 20, a feature point extracting unit 30, .

상기 영상 센서(10)는 주변을 촬영하여 추적 대상을 영상으로 추적하기 위한 영상을 취득하기 위한 장치로서, 카메라, 이미지 센서 등의 영상을 취득할 수 있는 하는 영상 장비로 구현할 수 있다. 본 발명에서는 설명의 편의를 위해 영상 센서(10)를 카메라라고 가정하고 설명하기로 한다.The image sensor 10 is an apparatus for capturing an image for tracking an object to be tracked and tracking an object to be tracked, and can be implemented as an image device capable of capturing images such as a camera and an image sensor. In the present invention, for convenience of explanation, it is assumed that the image sensor 10 is a camera.

상기 주행 영상 획득부(20)는 상기 영상 센서(10)로부터 획득한 영상을 기초로 주행 영상을 획득하는 역할을 한다.The traveling image acquisition unit 20 acquires a traveling image based on the image acquired from the image sensor 10. [

이러한 주행 영상 획득부(20)는 도 2에 도시한 바와 같이, 상기 영상 센서(10)에서 출력되는 영상 이미지에서 영상 프레임(frame)의 크기를 설정하는 영상 이미지 사이즈 설정부(21); 상기 영상 이미지 사이즈 설정부(22)에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정하는 영상 획득주기 설정부(22); 상기 영상 획득 주기 설정부(22)에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하는 주행 영상 획득모듈(23)을 포함한다.2, the running image obtaining unit 20 includes a video image size setting unit 21 for setting a size of an image frame in a video image output from the video sensor 10; An image acquisition period setting unit 22 for setting the number of image frames to be acquired per second according to the image frame size set by the image image size setting unit 22; And a traveling image acquisition module 23 for accumulating image frames according to the image acquisition period set by the image acquisition period setting unit 22 to acquire a traveling image.

상기 특징점 추출부(30)는 상기 주행 영상 획득부(20)에서 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출하는 역할을 한다.The feature point extracting unit 30 processes the travel image acquired by the travel image acquiring unit 20 using a SURF (Speed Up Robust Features) algorithm to extract feature points that are robust to the driving environment.

이러한 특징점 추출부(30)는 도 3에 도시한 바와 같이, 상기 주행 영상 획득부(20)에서 획득한 주행 영상 이미지를 적분하여 특징점을 검출하는 특징점 검출부(31)를 포함한다. 이러한 특징점 검출부(31)는 원본 영상 이미지를 적분하여 웨이브렛(wavelet) 정보를 생성하고, 웨이브렛 마스크를 이용하여 상기 생성한 웨이브렛 정보에서 웨이브렛 정보를 추출하며, 상기 추출한 웨이브렛 정보와 이웃하는 웨이브렛 정보를 비교하여 특징점을 추출하는 것이 바람직하다.As shown in FIG. 3, the feature point extracting unit 30 includes a feature point detecting unit 31 for detecting a feature point by integrating the travel image obtained by the travel image acquiring unit 20. The feature point detection unit 31 generates wavelet information by integrating an original image, extracts wavelet information from the generated wavelet information using a wavelet mask, It is preferable to compare the wavelet information to extract feature points.

또한, 상기 특징점 추출부(30)는 상기 특징점 검출부(31)에서 검출한 특징점의 고유영역을 표현할 수 있는 특징점의 영역을 생성하는 디스크립터(descriptor)(32)를 포함한다. 이러한 디스크립터(32)는 검출된 특징점의 크기와 각도를 이전 영상 이미지에서 추출한 특징점의 크기와 각도를 비교하여 특징점의 고유 영역을 표현할 수 있는 디스크립터를 생성하는 것이 바람직하다.The feature point extracting unit 30 includes a descriptor 32 for generating a feature point region capable of expressing a unique region of the feature point detected by the feature point detecting unit 31. It is preferable that the descriptor 32 generates a descriptor capable of expressing the characteristic region of the feature point by comparing the magnitude and angle of the detected feature point with the magnitude and angle of the feature point extracted from the previous image.

또한, 상기 특징점 추출부(30)는 상기 디스크립터(32)에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별하는 특징점 판별부(33)를 더 포함한다. 이러한 특징점 판별부(33)는 새로운 이미지와 이전 이미지로부터 각각 생성된 디스크립터를 비교 및 분석하여 두 영상에서 크기와 각도에 강건한 특징점을 판별하는 것이 바람직하다.The feature point extracting unit 30 further includes a feature point determining unit 33 for determining feature points to be tracked through image comparison and analysis based on the region of the feature point generated by the descriptor 32. [ The feature point discrimination unit 33 preferably compares and analyzes the descriptors generated from the new image and the previous image, respectively, to discriminate feature points that are robust against the size and the angle in the two images.

상기 대상 추적부(40)는 상기 특징점 추출부(30)에서 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적하는 역할을 한다. 이러한 대상 추적부(40)는 누적 구간에 해당하는 특징점들의 누적 픽셀 평균값과 새로운 특징점을 비교하여 관심 영역(ROI)을 선택하고, 상기 선택한 관심 영역을 추적하는 것이 바람직하다.The object tracking unit 40 tracks a specific region or a specific object from the minutiae points extracted by the minutiae point extracting unit 30. The object tracking unit 40 preferably compares the cumulative pixel average value of the feature points corresponding to the cumulative interval with new feature points to select the ROI and tracks the selected ROI.

이와 같이 구성된 본 발명에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치의 동작을 구체적으로 설명하면 다음과 같다.The feature point extraction and the operation of the area tracking apparatus robust to the driving environment using the image sensor according to the present invention will be described in detail as follows.

먼저, 추적 대상을 영상을 이용하여 추적하기 위해, 기본 대상을 포함하는 영상을 영상 센서(10)를 통해 취득한다. 즉, 카메라를 이용하여 추적 대상을 포함하는 주변을 촬영하여 영상을 취득한다. 이렇게 취득되는 영상은 주행 영상 획득부(20)에 전달된다.First, an image including a basic object is acquired through the image sensor 10 in order to track an object to be tracked using an image. That is, the camera captures images of the surroundings including the object to be tracked, and acquires images. The image thus acquired is transmitted to the traveling image acquiring unit 20. [

상기 주행 영상 획득부(20)는 상기 영상 센서(10)로부터 획득한 영상을 기초로 주행 영상을 획득하는 역할을 한다.The traveling image acquisition unit 20 acquires a traveling image based on the image acquired from the image sensor 10. [

예컨대, 주행 영상 획득부(20)의 영상 이미지 사이즈 설정부(21)는 상기 영상 센서(10)에서 출력되는 영상 이미지에서 영상 프레임(frame)의 크기를 영상 이미지 사이즈로 설정한다. 영상 프레임의 크기는 640×480, 320×240의 크기를 의미한다.For example, the moving image size setting unit 21 of the driving image obtaining unit 20 sets the size of the image frame in the image image output from the image sensor 10 as the image size. The size of the image frame is 640 × 480 and 320 × 240.

다음으로, 영상 획득주기 설정부(22)는 상기 영상 이미지 사이즈 설정부(22)에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정한다. 이때 설정되는 영상 프레임의 개수에 대한 단위는 fps를 사용한다. 예컨대, 10fps는 초당 10장의 이미지를 획득한다는 것을 의미한다.Next, the image acquisition period setting unit 22 sets the number of image frames to be acquired per second according to the size of the image frame set by the image image size setting unit 22. In this case, the unit for the number of image frames to be set is fps. For example, 10 fps means acquiring 10 images per second.

이어, 주행 영상 획득모듈(23)은 상기 영상 획득 주기 설정부(22)에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하여, 특징점 추출부(30)에 전달한다. 예컨대, 영상 획득주기가 20fps이면 초당 20프레임의 영상을 누적하여 하나의 주행 영상으로 특징점 추출부(30)에 전달한다.The driving image acquisition module 23 accumulates the image frames according to the image acquisition period set by the image acquisition period setting unit 22 to acquire the traveling image and transmits the image to the characteristic point extraction unit 30. [ For example, when the image acquisition period is 20 fps, images of 20 frames per second are cumulatively transferred to the feature point extraction unit 30 as one running image.

상기 특징점 추출부(30)는 상기 주행 영상 획득부(20)에서 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출한다.The feature point extracting unit 30 extracts robust feature points in a driving environment by processing a traveling image obtained by the driving image obtaining unit 20 using a SURF (Speed Up Robust Features) algorithm.

예컨대, 특징점 추출부(30)의 특징점 검출부(31)는 획득한 주행 영상 이미지를 적분(Integral)하여 특징점을 검출한다. 여기서 원본 영상 이미지를 적분하면 작은 조각의 웨이브렛(wavelet) 정보가 생성된다. 영상 적분을 통해 웨이브렛 정보를 생성한 후에는, 기 설정된 웨이브렛 마스크(wavelet mask)를 이용하여 상기 생성한 웨이브렛 정보에서 웨이브렛 정보를 추출한다. 다시 말해, 이미지 샘플 개수 × 해당 샘플 이미지에 해당하는 layer(사이즈)의 개수를 웨이브렛 마스크를 이용하여 웨이브렛 정보를 추출한다. 그리고 헤시안 연산을 통해 상기 추출한 웨이브렛 정보와 이웃하는 웨이브렛 정보를 비교하여 특징점을 추출한다.For example, the feature point detecting unit 31 of the feature point extracting unit 30 integrates the acquired travel image to detect feature points. By integrating the original image, a small piece of wavelet information is generated. After generating wavelet information through image integration, wavelet information is extracted from the generated wavelet information using a predetermined wavelet mask. In other words, the wavelet information is extracted by using the wavelet mask with respect to the number of image samples × the number of layers (sizes) corresponding to the corresponding sample images. Then, the extracted wavelet information is compared with neighboring wavelet information through a Hessian operation to extract feature points.

이러한 과정을 통해 특징점이 추출되면, 디스크립터(32)에서 상기 특징점 검출부(31)에서 검출한 특징점의 고유영역을 표현할 수 있는 디스크립터를 생성한다. 예컨대, 검출된 특징점의 크기와 각도를 추출하고, 이전 영상 이미지에서 추출한 특징점의 크기와 각도를 비교하여 추출된 특징점의 영역을 생성한다. When a feature point is extracted through this process, a descriptor capable of expressing a unique region of the feature point detected by the feature point detecting unit 31 is generated in the descriptor 32. For example, the size and angle of the detected feature points are extracted, and the extracted feature points are generated by comparing the angles of the feature points extracted from the previous image.

다음으로, 특징점 판별부(33)는 상기 디스크립터(32)에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별한다. 예컨대, 새로운 이미지와 이전 이미지로부터 각각 생성된 디스크립터를 비교 및 분석하여 두 영상에서 크기와 각도에 강건한 특징점을 판별한다.Next, the feature point discrimination unit 33 discriminates the feature points to be tracked through image comparison and analysis based on the region of the feature points generated by the descriptor 32. [ For example, the descriptors generated from the new image and the previous image are compared and analyzed to determine feature points that are robust in size and angle in the two images.

특징점 판별이 완료되면 특징점 판별 값은 대상 추적부(40)에 전달되며, 대상 추적부(40)는 상기 특징점 추출부(30)에서 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적한다. 이러한 대상 추적부(40)는 누적 구간에 해당하는 특징점들의 누적 픽셀 평균값과 새로운 특징점을 비교하여 관심 영역(ROI)을 선택하고, 상기 선택한 관심 영역을 추적한다. 상기에서 추적하고자 하는 영역 내 특징점들은 사용자의 설정에 따라 가변할 수 있다.When the feature point discrimination is completed, the feature point discrimination value is transmitted to the object tracking unit 40, and the object tracking unit 40 tracks the specific region or the specific object from the feature points extracted by the feature point extracting unit 30. The target tracking unit 40 compares the cumulative pixel average value of the feature points corresponding to the cumulative interval with the new feature points, selects the ROI, and tracks the selected ROI. The feature points in the region to be traced may vary according to the setting of the user.

예컨대, 상기와 같은 특징점 추출부(30)를 통해 추출한 특징점들을 기반으로 도7과 같은 특징점 영역 테이블을 생성한다. 특징점 영역 테이블은 일정한 크기의 영역 안에서 추출된 픽셀들을 활용하여 생성된 영역이며, 누적 구간에 따른 설정 값으로 새로운 영역이 추가되거나 기존 영역이 삭제된다. 여기서 누적 구간이란 일정한 영상 프레임의 개수를 의미하며, 누적 구간의 개수와 발생 시간을 고려하여 상기 특징점 영역 테이블을 갱신한다. 또한, 누적 픽셀 평균값을 활용하여 새로운 특징점들의 영역을 구분할 수 있다. 누적 픽셀 평균값은 누적 구간에 해당하는 픽셀들의 좌표값들의 평균값을 나타내며, 특징점 평균 픽셀 값은 현 시점에서 각 영역에서 추출된 특징점들의 평균 픽셀 값을 나타낸다.For example, a minutia area table as shown in FIG. 7 is generated based on the minutiae extracted through the minutia extraction part 30 as described above. The minutiae point area table is created using pixels extracted within a certain size area, and a new area is added or deleted in the setting value according to the accumulated area. Here, the cumulative interval means the number of constant image frames, and the minutia area table is updated in consideration of the number of cumulative intervals and the time of occurrence. In addition, the area of new feature points can be distinguished by utilizing the accumulated pixel average value. The cumulative pixel average value represents the average value of the coordinate values of pixels corresponding to the cumulative interval, and the minutia point average pixel value represents the average pixel value of the minutiae extracted from each region at the current point in time.

도 7과 같은 특징점 영역 테이블의 누적 구간을 활용하여 일정한 영역 내의 특징점들을 추적한다. 여기서 본 발명의 특징으로서, 기존 단순하게 영상 내 특징적인 부분만을 추출하는 것이 아닌 일정한 형태를 지닌 대상에 대한 추적을 주행 환경에 영향을 받지 않고 추적할 수 있다는 것이다. The characteristic points in a certain region are tracked by utilizing the cumulative interval of the minutia area table as shown in FIG. The feature of the present invention is that the tracking of an object having a certain shape can be tracked without being influenced by the driving environment, rather than simply extracting only characteristic parts of the image.

일정 구간 이상의 영역을 추적하기 위해서는 누적 구간에 해당하는 특징점들의 누적 픽셀 평균값과 새로운 특징점을 비교하여 새로운 영역인지 기존 영역인지를 판단한다. 그리고 새로운 영역이면 특징점 영역을 갱신하고 특징점 영역을 구분하며, 기존 영역이면 특징점 영역을 구분하고, 특징점을 추적한다.In order to track an area over a predetermined interval, the cumulative pixel average value of the feature points corresponding to the cumulative interval is compared with the new feature point to determine whether the area is a new area or an existing area. Then, if the new region is the new region, the feature point region is updated, the feature point region is identified, and if the existing region, the feature point region is identified and the feature point is traced.

여기서 추적하는 관심 영역(ROI)을 선택하기 위한 영역을 수식으로 표현하면 하기의 [수학식1]과 같다.Here, an area for selecting a ROI to be tracked can be expressed by the following equation (1).

Figure 112015018315761-pat00001
Figure 112015018315761-pat00001

여기서, Ia는 Interest area를 나타내고, threspixel은 interest area of pixel을 나타낸다.Here, I a represents the interest area, and thres pixel represents the interest area of the pixel.

그리고 상기 관심 영역을 판단하는 검출 값(threshold)은 하기의 [수학식2]로 나타낼 수 있다.The threshold for determining the region of interest can be expressed by Equation (2) below.

Figure 112015018315761-pat00002
Figure 112015018315761-pat00002

여기서, areacount는 areastart+threscount, areastart는 관심 프레임에서 첫 번째 프레임, threscount는 관심 영역의 수를 의미한다.Here, area count is area start + thres count , area start is the first frame in the frame of interest, and thres count is the number of regions of interest.

도 4a 내지 도 4e는 본 발명을 이용하여 특징점 영역을 구분하여 차량의 특징점들을 연속적으로 추적하는 결과로서, 도 4a는 터널 통과 전의 특징점 영역 영상이고, 도 4b는 터널 진행시 특징점 영역의 영상이며, 도 4c는 터널 통과 후 특징점 영역의 영상이다. 아울러 도 4d는 육교 통과 이전의 특징점 영역의 영상이고, 도 4e는 육교 통과 후 특징점 영역의 영상을 나타낸 것이다.4A to 4E are results of continuously tracking the minutiae points of the vehicle by distinguishing minutiae regions using the present invention. Fig. 4A is a minutiae region image before tunnel passage, Fig. 4B is a minutiae region image in tunnel progression, 4C is an image of a minutiae region after tunneling. 4D is an image of a minutiae area before passing overpass, and Fig. 4E is an image of minutiae area after passing overpass.

도 8은 본 발명에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법을 보인 흐름도이다. FIG. 8 is a flowchart illustrating a feature point extraction and a region tracking method of a robust vehicle in a driving environment using an image sensor according to the present invention.

이에 도시된 바와 같이, 본 발명에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법은 (a) 영상 센서로부터 획득한 영상을 기초로 주행 영상을 획득하는 단계(S101 ~ S102); (b) 상기 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출하는 단계(S103); (c) 상기 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적하는 단계(S104 ~ S108)를 포함한다.As shown in the figure, the feature point extraction and region tracking method robust to the driving environment using the image sensor according to the present invention includes the steps of (a) obtaining a traveling image based on an image acquired from the image sensor (S101 to S102 ); (b) processing the acquired traveling image by using a SURF (Speed Up Robust Features) algorithm to extract robust feature points in the driving environment (S103); (c) a step (S104 to S108) of tracking a specific region or a specific object from the extracted minutiae points.

상기에서 (a)단계는 (a1) 상기 영상 센서에서 출력되는 영상 이미지에서 영상 프레임의 크기를 설정하는 단계; (a2) 상기 (a1)단계에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정하는 단계; (a3) 상기 (a2)단계에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하는 단계를 포함한다.Wherein the step (a) comprises: (a1) setting a size of an image frame in an image output from the image sensor; (a2) setting the number of image frames to be acquired per second according to the size of the image frame set in the step (a1); (a3) accumulating image frames according to the image acquisition period set in the step (a2) to acquire a running image.

상기에서 (b)단계는 (b1) 상기 (a)단계에서 획득한 주행 영상 이미지를 적분하여 특징점을 검출하는 단계; (b2) 상기 (b1)단계에서 검출한 특징점의 고유영역을 표현할 수 있는 특징점의 영역을 생성하는 단계; (b3) 상기 (b2)단계에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별하는 단계를 포함한다.The step (b) includes the steps of: (b1) detecting a feature point by integrating the traveling image acquired in the step (a); (b2) generating a region of feature points capable of expressing a unique region of the feature point detected in the step (b1); (b3) determining a feature point to be tracked through image comparison and analysis based on the region of the feature point generated in the step (b2).

상기에서 (c)단계는 (c1) 특징점 영역 분포를 판단하는 단계(S104); (c2) 상기 (c1)단계에서 판단한 특징점 영역을 검색하여 새로운 영역인지 기존 영역인지를 판단하는 단계(S105); (c3) 상기 (c2)의 판단 결과, 새로운 영역일 경우 특징점 영역을 갱신하는 단계(S106); (c4) 상기 (c2)의 판단 결과, 기존 영역이거나 특징점 영역을 갱신한 후에는 특징점 영역을 구분하고, 특징점을 추적하는 단계(S107 ~ S108)를 포함한다.The step (c) includes the steps of: (c1) determining a minutia distribution (S104); (c2) a step (S105) of searching for a minutiae area determined in the step (c1) and determining whether it is a new area or an existing area; (c3) a step (S106) of updating the minutia area if it is a new area as a result of (c2); (c4) As a result of the determination in (c2), the step of discriminating the minutiae region and tracking the minutiae are performed after updating the minutiae region or the existing minutiae region (S107 to S108).

이와 같이 구성된 본 발명에 따른 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법을 구체적으로 설명하면 다음과 같다.The minutiae point extraction and the area tracking method robust to the driving environment using the image sensor according to the present invention will be described in detail as follows.

먼저, 단계 S101에서 추적 대상을 영상을 이용하여 추적하기 위해, 기본 대상을 포함하는 영상을 영상 센서(10)를 통해 취득한다. 즉, 카메라를 이용하여 추적 대상을 포함하는 주변을 촬영하여 영상을 취득한다. 이렇게 취득되는 영상은 주행 영상 획득부(20)에 전달된다.First, in step S101, an image including a basic object is acquired through the image sensor 10 in order to track an object to be tracked using an image. That is, the camera captures images of the surroundings including the object to be tracked, and acquires images. The image thus acquired is transmitted to the traveling image acquiring unit 20. [

다음으로, 단계 S102에서 상기 주행 영상 획득부(20)는 상기 영상 센서(10)로부터 획득한 영상을 기초로 주행 영상을 획득하는 역할을 한다.Next, in step S102, the traveling image obtaining unit 20 obtains a traveling image based on the image acquired from the image sensor 10. [

예컨대, 주행 영상 획득부(20)의 영상 이미지 사이즈 설정부(21)는 상기 영상 센서(10)에서 출력되는 영상 이미지에서 영상 프레임(frame)의 크기를 영상 이미지 사이즈로 설정한다. 영상 프레임의 크기는 640×480, 320×240의 크기를 의미한다. 다음으로, 영상 획득주기 설정부(22)는 상기 영상 이미지 사이즈 설정부(22)에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정한다. 이때 설정되는 영상 프레임의 개수에 대한 단위는 fps를 사용한다. 예컨대, 10fps는 초당 10장의 이미지를 획득한다는 것을 의미한다. 이어, 주행 영상 획득모듈(23)은 상기 영상 획득 주기 설정부(22)에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하여, 특징점 추출부(30)에 전달한다. 예컨대, 영상 획득주기가 20fps이면 초당 20프레임의 영상을 누적하여 하나의 주행 영상으로 특징점 추출부(30)에 전달한다.For example, the moving image size setting unit 21 of the driving image obtaining unit 20 sets the size of the image frame in the image image output from the image sensor 10 as the image size. The size of the image frame is 640 × 480 and 320 × 240. Next, the image acquisition period setting unit 22 sets the number of image frames to be acquired per second according to the size of the image frame set by the image image size setting unit 22. In this case, the unit for the number of image frames to be set is fps. For example, 10 fps means acquiring 10 images per second. The driving image acquisition module 23 accumulates the image frames according to the image acquisition period set by the image acquisition period setting unit 22 to acquire the traveling image and transmits the image to the characteristic point extraction unit 30. [ For example, when the image acquisition period is 20 fps, images of 20 frames per second are cumulatively transferred to the feature point extraction unit 30 as one running image.

다음으로, 단계 S103에서 상기 특징점 추출부(30)는 상기 주행 영상 획득부(20)에서 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출한다.Next, in step S103, the feature point extracting unit 30 processes the travel image acquired by the travel image acquiring unit 20 using a SURF (Speed Up Robust Features) algorithm to extract feature points that are robust to the driving environment.

예컨대, 특징점 추출부(30)의 특징점 검출부(31)는 획득한 주행 영상 이미지를 적분(Integral)하여 특징점을 검출한다. 여기서 원본 영상 이미지를 적분하면 작은 조각의 웨이브렛(wavelet) 정보가 생성된다. 영상 적분을 통해 웨이브렛 정보를 생성한 후에는, 기 설정된 웨이브렛 마스크(wavelet mask)를 이용하여 상기 생성한 웨이브렛 정보에서 웨이브렛 정보를 추출한다. 다시 말해, 이미지 샘플 개수 × 해당 샘플 이미지에 해당하는 layer(사이즈)의 개수를 웨이브렛 마스크를 이용하여 웨이브렛 정보를 추출한다. 그리고 헤시안 연산을 통해 상기 추출한 웨이브렛 정보와 이웃하는 웨이브렛 정보를 비교하여 특징점을 추출한다.For example, the feature point detecting unit 31 of the feature point extracting unit 30 integrates the acquired travel image to detect feature points. By integrating the original image, a small piece of wavelet information is generated. After generating wavelet information through image integration, wavelet information is extracted from the generated wavelet information using a predetermined wavelet mask. In other words, the wavelet information is extracted by using the wavelet mask with respect to the number of image samples × the number of layers (sizes) corresponding to the corresponding sample images. Then, the extracted wavelet information is compared with neighboring wavelet information through a Hessian operation to extract feature points.

이러한 과정을 통해 특징점이 추출되면, 디스크립터(32)에서 상기 특징점 검출부(31)에서 검출한 특징점의 고유영역을 표현할 수 있는 디스크립터를 생성한다. 예컨대, 검출된 특징점의 크기와 각도를 추출하고, 이전 영상 이미지에서 추출한 특징점의 크기와 각도를 비교하여 추출된 특징점의 영역을 생성한다. When a feature point is extracted through this process, a descriptor capable of expressing a unique region of the feature point detected by the feature point detecting unit 31 is generated in the descriptor 32. For example, the size and angle of the detected feature points are extracted, and the extracted feature points are generated by comparing the angles of the feature points extracted from the previous image.

다음으로, 특징점 판별부(33)는 상기 디스크립터(32)에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별한다. 예컨대, 새로운 이미지와 이전 이미지로부터 각각 생성된 디스크립터를 비교 및 분석하여 두 영상에서 크기와 각도에 강건한 특징점을 판별한다.Next, the feature point discrimination unit 33 discriminates the feature points to be tracked through image comparison and analysis based on the region of the feature points generated by the descriptor 32. [ For example, the descriptors generated from the new image and the previous image are compared and analyzed to determine feature points that are robust in size and angle in the two images.

다음으로, 특징점 판별이 완료되면 특징점 판별 값은 대상 추적부(40)에 전달되며, 대상 추적부(40)는 단계 S104 내지 단계 S108을 통해 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적한다. 이러한 대상 추적부(40)는 누적 구간에 해당하는 특징점들의 누적 픽셀 평균값과 새로운 특징점을 비교하여 관심 영역(ROI)을 선택하고, 상기 선택한 관심 영역을 추적한다. 상기에서 추적하고자 하는 영역 내 특징점들은 사용자의 설정에 따라 가변할 수 있다.Next, when the feature point discrimination is completed, the feature point discrimination value is transmitted to the object tracking unit 40, and the object tracking unit 40 tracks the specific region or the specific object from the extracted feature points through steps S104 to S108. The target tracking unit 40 compares the cumulative pixel average value of the feature points corresponding to the cumulative interval with the new feature points, selects the ROI, and tracks the selected ROI. The feature points in the region to be traced may vary according to the setting of the user.

예컨대, 상기와 같은 특징점 추출부(30)를 통해 추출한 특징점들을 기반으로 도7과 같은 특징점 영역 테이블을 생성한다. 특징점 영역 테이블은 일정한 크기의 영역 안에서 추출된 픽셀들을 활용하여 생성된 영역이며, 누적 구간에 따른 설정 값으로 새로운 영역이 추가되거나 기존 영역이 삭제된다. 여기서 누적 구간이란 일정한 영상 프레임의 개수를 의미하며, 누적 구간의 개수와 발생 시간을 고려하여 상기 특징점 영역 테이블을 갱신한다. 또한, 누적 픽셀 평균값을 활용하여 새로운 특징점들의 영역을 구분할 수 있다. 누적 픽셀 평균값은 누적 구간에 해당하는 픽셀들의 좌표값들의 평균값을 나타내며, 특징점 평균 픽셀 값은 현 시점에서 각 영역에서 추출된 특징점들의 평균 픽셀 값을 나타낸다.For example, a minutia area table as shown in FIG. 7 is generated based on the minutiae extracted through the minutia extraction part 30 as described above. The minutiae point area table is created using pixels extracted within a certain size area, and a new area is added or deleted in the setting value according to the accumulated area. Here, the cumulative interval means the number of constant image frames, and the minutia area table is updated in consideration of the number of cumulative intervals and the time of occurrence. In addition, the area of new feature points can be distinguished by utilizing the accumulated pixel average value. The cumulative pixel average value represents the average value of the coordinate values of pixels corresponding to the cumulative interval, and the minutia point average pixel value represents the average pixel value of the minutiae extracted from each region at the current point in time.

도 7과 같은 특징점 영역 테이블의 누적 구간을 활용하여 일정한 영역 내의 특징점들을 추적한다(S104). 여기서 본 발명의 특징으로서, 기존 단순하게 영상 내 특징적인 부분만을 추출하는 것이 아닌 일정한 형태를 지닌 대상에 대한 추적을 주행 환경에 영향을 받지 않고 추적할 수 있다는 것이다. The minutiae points within a certain area are tracked using the cumulative interval of the minutia area table as shown in FIG. 7 (S104). The feature of the present invention is that the tracking of an object having a certain shape can be tracked without being influenced by the driving environment, rather than simply extracting only characteristic parts of the image.

일정 구간 이상의 영역을 추적하기 위해서는 누적 구간에 해당하는 특징점들의 누적 픽셀 평균값과 새로운 특징점을 비교하여 새로운 영역인지 기존 영역인지를 판단한다(S105). 그리고 새로운 영역이면 특징점 영역을 갱신하고(S106) 특징점 영역을 구분하며, 기존 영역이면 특징점 영역을 구분하고(S107), 특징점을 추적한다(S108).In order to track an area over a predetermined interval, a cumulative pixel average value of the feature points corresponding to the cumulative interval is compared with a new feature point to determine whether the new area is an existing area (S105). If the new area is a new area, the minutiae point area is updated (S106), the minutiae point area is discriminated, the minutiae point area is discriminated (S107), and the minutiae point is traced (S108).

여기서 추적하는 관심 영역(ROI)을 선택하기 위한 영역을 수식으로 표현하면 상기 [수학식1]과 같으며, 상기 관심 영역을 판단하는 검출 값(threshold)은 상기 [수학식2]와 같다.Here, an area for selecting a ROI to be tracked is expressed by Equation (1), and a threshold for determining the ROI is expressed by Equation (2).

도 5는 본 발명에서 특징점 추출 및 영역 추출 구간(추적 구간)을 나타낸 것이고, 도 6은 본 발명을 이용하여 특징점 추출을 시도한 결과 도이다. 본 발명에 의한 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출/영역 추적 장치를 활용하여 조명 변화가 없는 구간에서는 97.6%의 추출 성공률을 확인하였고, 조명 변화가 발생하는 구간에서도 79.3%의 추출 성공률을 확인하였다.FIG. 5 shows feature points extraction and region extraction intervals (tracking intervals) in the present invention, and FIG. 6 is a result of attempting to extract feature points using the present invention. Using the robust vehicle feature point extraction / area tracking device using the image sensor according to the present invention, 97.6% extraction success rate was confirmed in the absence of illumination change, and 79.3% extraction in the illumination change period Success rate was confirmed.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
Although the present invention has been described in detail with reference to the above embodiments, it is needless to say that the present invention is not limited to the above-described embodiments, and various modifications may be made without departing from the spirit of the present invention.

본 발명은 추적하고자 하는 추적 대상의 영역 설정이 가능하므로, 영상으로부터 특정 대상을 추적하는 모든 산업 분야에 적용할 수 있다.
The present invention can be applied to all industrial fields that track a specific object from an image because it is possible to set an area to be tracked to be tracked.

10: 영상 센서
20: 주행 영상 획득부
21: 영상 이미지 사이즈 설정부
22: 영상 획득 주기 설정부
23: 주행 영상 획득모듈
30: 특징점 추출부
31: 특징점 검출부
32: 디스크립터
33: 특징점 판별부
40: 대상 추적부10: Image sensor
20:
21: Image image size setting unit
22: Image acquisition period setting unit
23: Travel image acquisition module
30: Feature point extraction unit
31:
32: Descriptor
33: Feature point discrimination unit
40: target tracking unit

Claims (11)

영상 센서로부터 획득한 영상을 기초로 주행 영상을 획득하는 주행 영상 획득부; 상기 주행 영상 획득부에서 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출하는 특징점 추출부; 및 상기 특징점 추출부에서 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적하는 대상 추적부를 포함하며,
상기 특징점 추출부는 상기 주행 영상 획득부에서 획득한 주행 영상 이미지를 적분하여 특징점을 검출하는 특징점 검출부; 상기 특징점 검출부에서 검출한 특징점의 고유영역을 표현할 수 있는 특징점의 영역을 생성하는 디스크립터; 상기 디스크립터에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별하는 특징점 판별부를 포함하고,
상기 특징점 검출부는 원본 영상 이미지를 적분하여 웨이브렛(wavelet) 정보를 생성하고, 웨이브렛 마스크를 이용하여 상기 생성한 웨이브렛 정보에서 웨이브렛 정보를 추출하며, 상기 추출한 웨이브렛 정보와 이웃하는 웨이브렛 정보를 비교하여 특징점을 추출하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치.
A traveling image acquiring unit for acquiring a traveling image based on an image acquired from an image sensor; A feature point extracting unit for extracting feature points that are robust to the driving environment by processing a traveling image acquired by the traveling image acquiring unit with a SURF (Speeded Up Robust Features) algorithm; And a target tracking unit for tracking a specific region or a specific object from the minutiae points extracted by the minutiae point extracting unit,
Wherein the feature point extracting unit comprises: a feature point detecting unit that integrates the travel image obtained by the travel image acquiring unit to detect a feature point; A descriptor for generating a region of a feature point capable of expressing a unique region of the feature point detected by the feature point detecting unit; And a feature point discrimination unit for discriminating feature points to be traced through image comparison and analysis based on the region of the feature points generated in the descriptor,
The minutia detection unit integrates the original image to generate wavelet information, extracts wavelet information from the generated wavelet information using a wavelet mask, and extracts wavelet information from neighboring wavelet And extracting characteristic points by comparing the extracted characteristic points with the information of the characteristic points of the vehicle.
청구항 1에 있어서, 상기 주행 영상 획득부는 상기 영상 센서에서 출력되는 영상 이미지에서 영상 프레임의 크기를 설정하는 영상 이미지 사이즈 설정부; 상기 영상 이미지 사이즈 설정부에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정하는 영상 획득주기 설정부; 상기 영상 획득 주기 설정부에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하는 주행 영상 획득모듈을 포함하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치.
[2] The apparatus of claim 1, wherein the running image obtaining unit comprises: a video image size setting unit for setting a size of an image frame in a video image output from the video sensor; An image acquisition period setting unit configured to set the number of image frames to be acquired per second according to the size of the image frame set by the image image size setting unit; And a traveling image acquisition module for accumulating image frames according to the image acquisition period set by the image acquisition period setting unit to acquire a traveling image. Tracking device.
삭제delete 삭제delete 청구항 1에 있어서, 상기 디스크립터는 검출된 특징점의 크기와 각도를 이전 영상 이미지에서 추출한 특징점의 크기와 각도를 비교하여 특징점의 고유 영역을 표현할 수 있는 디스크립터를 생성하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치.
2. The image sensor according to claim 1, wherein the descriptor generates a descriptor capable of expressing a unique region of a feature point by comparing magnitudes and angles of the feature points extracted from the previous image and angles of the detected feature points with angles Feature point extraction and area tracking system for vehicles that are robust to driving environment.
청구항 1에 있어서, 상기 특징점 판별부는 새로운 이미지와 이전 이미지로부터 각각 생성된 디스크립터를 비교 및 분석하여 두 영상에서 크기와 각도에 강건한 특징점을 판별하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치.
The method according to claim 1, wherein the feature point discrimination unit compares and analyzes the descriptors generated from the new image and the previous image, respectively, to discriminate feature points strong in size and angle from the two images. Feature point extraction and region tracking device.
청구항 1에 있어서, 상기 대상 추적부는 누적 구간에 해당하는 특징점들의 누적 픽셀 평균값과 새로운 특징점을 비교하여 관심 영역(Region of Interest; ROI)을 선택하고, 상기 선택한 관심 영역을 추적하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 장치.
The apparatus of claim 1, wherein the target tracking unit selects a region of interest (ROI) by comparing a cumulative pixel average value of feature points corresponding to an accumulation section with a new feature point, and tracks the selected region of interest Feature point extraction and area tracking system for vehicles that are robust to driving environment using sensors.
영상 센서를 활용하여 획득한 영상 이미지로부터 주행 환경에 강건한 차량의 특징점을 추출하고, 영역을 추적하는 방법으로서,
(a) 영상 센서로부터 획득한 영상을 기초로 주행 영상을 획득하는 단계;
(b) 상기 획득한 주행 영상을 SURF(Speeded Up Robust Features) 알고리즘으로 처리하여 주행 환경에 강건한 특징점을 추출하는 단계; 및
(c) 상기 추출한 특징점들로부터 특정 영역이나 특정 물체를 추적하는 단계를 포함하며,
상기 (b)단계는 (b1) 상기 (a)단계에서 획득한 주행 영상 이미지를 적분하여 특징점을 검출하는 단계를 포함하고,
상기 (b1)단계는 원본 영상 이미지를 적분하여 웨이브렛(wavelet) 정보를 생성하고, 웨이브렛 마스크를 이용하여 상기 생성한 웨이브렛 정보에서 웨이브렛 정보를 추출하며, 상기 추출한 웨이브렛 정보와 이웃하는 웨이브렛 정보를 비교하여 특징점을 추출하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적 방법.
A method of extracting feature points of a robust vehicle from a video image obtained by using an image sensor and tracking the area,
(a) acquiring a traveling image based on an image acquired from an image sensor;
(b) processing the acquired running image with a SURF (Speeded Up Robust Features) algorithm to extract robust feature points in the driving environment; And
(c) tracking a specific region or a specific object from the extracted feature points,
The step (b) includes the steps of (b1) integrating the image of the traveling image acquired in the step (a) and detecting the characteristic point,
In the step (b1), wavelet information is generated by integrating an original image, wavelet information is extracted from the generated wavelet information using a wavelet mask, and wavelet information neighboring to the extracted wavelet information And extracting characteristic points by comparing the wavelet information. The method for extracting characteristic points of a vehicle and tracking a region using the image sensor.
청구항 8에 있어서, 상기 (a)단계는 (a1) 상기 영상 센서에서 출력되는 영상 이미지에서 영상 프레임의 크기를 설정하는 단계; (a2) 상기 (a1)단계에서 설정한 영상 프레임의 크기에 따라 초당 획득하는 영상 프레임의 개수를 설정하는 단계; (a3) 상기 (a2)단계에서 설정한 영상 획득주기에 따라 영상 프레임을 누적하여 주행 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법.
The method of claim 8, wherein the step (a) comprises: (a1) setting a size of an image frame in an image output from the image sensor; (a2) setting the number of image frames to be acquired per second according to the size of the image frame set in the step (a1); (a3) accumulating image frames in accordance with the image acquisition period set in the step (a2) to obtain a running image, and extracting a feature point of the vehicle and a region tracking Way.
청구항 8에 있어서, 상기 (b)단계는 (b2) 상기 (b1)단계에서 검출한 특징점의 고유영역을 표현할 수 있는 특징점의 영역을 생성하는 단계; (b3) 상기 (b2)단계에서 생성한 특징점의 영역을 기초로 이미지 비교 및 분석을 통해 추적 대상인 특징점을 판별하는 단계를 포함하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법.
[9] The method of claim 8, wherein the step (b) comprises: (b2) generating a region of feature points capable of expressing a unique region of the feature point detected in the step (b1); (b3) determining a feature point to be tracked through image comparison and analysis based on the region of the feature point generated in the step (b2), and extracting the feature point of the robust vehicle in the driving environment using the image sensor And region tracking method.
청구항 8에 있어서, 상기 (c)단계는 (c1) 특징점 영역 분포를 판단하는 단계; (c2) 상기 (c1)단계에서 판단한 특징점 영역을 검색하여 새로운 영역인지 기존 영역인지를 판단하는 단계; (c3) 상기 (c2)의 판단 결과, 새로운 영역일 경우 특징점 영역을 갱신하는 단계; (c4) 상기 (c2)의 판단 결과, 기존 영역이거나 특징점 영역을 갱신한 후에는 특징점 영역을 구분하고, 특징점을 추적하는 단계를 포함하는 것을 특징으로 하는 영상 센서를 활용한 주행 환경에 강건한 차량의 특징점 추출 및 영역 추적방법.



[9] The method of claim 8, wherein (c) comprises: (c1) determining a minutia distribution; (c2) searching the minutiae point area determined in the step (c1) to determine whether it is a new area or an existing area; (c3) updating the minutiae point region if it is a new region as a result of (c2); (c4) a step of discriminating the minutiae point region and tracking the minutiae points after updating the minutiae point region or updating the minutiae point region as a result of the determination of (c2) above, Feature point extraction and area tracking method.



KR1020150025930A 2015-02-24 2015-02-24 The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor KR101615992B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150025930A KR101615992B1 (en) 2015-02-24 2015-02-24 The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150025930A KR101615992B1 (en) 2015-02-24 2015-02-24 The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor

Publications (1)

Publication Number Publication Date
KR101615992B1 true KR101615992B1 (en) 2016-04-29

Family

ID=55915908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150025930A KR101615992B1 (en) 2015-02-24 2015-02-24 The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor

Country Status (1)

Country Link
KR (1) KR101615992B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004719A (en) * 2009-07-08 2011-01-14 고려대학교 산학협력단 Fast rotation-invariant feature matching method, mobile robot unit based on the ceiling image/feature map with using the mehod, and method for recognizing the self position of the same unit
KR20130020151A (en) 2011-08-19 2013-02-27 주식회사 만도 Vehicle detection device and method
KR101256873B1 (en) 2011-11-18 2013-04-22 광주과학기술원 A method for tracking object, an object tracking apparatus and a traffic watching system
KR101370011B1 (en) * 2013-10-30 2014-03-05 주식회사 넥스파시스템 Driving type auto traffic enforcement system and method for monitoring illegal stopping and parking vehicles using image stabilization and restoration method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004719A (en) * 2009-07-08 2011-01-14 고려대학교 산학협력단 Fast rotation-invariant feature matching method, mobile robot unit based on the ceiling image/feature map with using the mehod, and method for recognizing the self position of the same unit
KR20130020151A (en) 2011-08-19 2013-02-27 주식회사 만도 Vehicle detection device and method
KR101256873B1 (en) 2011-11-18 2013-04-22 광주과학기술원 A method for tracking object, an object tracking apparatus and a traffic watching system
KR101370011B1 (en) * 2013-10-30 2014-03-05 주식회사 넥스파시스템 Driving type auto traffic enforcement system and method for monitoring illegal stopping and parking vehicles using image stabilization and restoration method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김영욱, 웨이블릿 차분변환을 이용한 모바일 플랫폼의 영상기반 위치인식, 중앙대학교 첨단영상대학원 박사학위논문, 2009년.* *
유재형, 한영준, 한헌수, "Haarlike 기반의 고속 차량 검출과 SURF를 이용한 차량 추적 알고리즘", 한국컴퓨터정보학회논문지, vol.17, no.1, pp.71-80, 2012년 1월.* *

Similar Documents

Publication Publication Date Title
CN109460709B (en) RTG visual barrier detection method based on RGB and D information fusion
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
KR101735365B1 (en) The robust object tracking method for environment change and detecting an object of interest in images based on learning
US9047518B2 (en) Method for the detection and tracking of lane markings
EP0567059B1 (en) Object recognition system using image processing
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
JP2006268097A (en) On-vehicle object detecting device, and object detecting method
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
KR101001302B1 (en) A sensing system of a lane offense cars using the corner data and sensing method using the same
CN107909009B (en) Obstacle detection method and device based on road surface learning
JP2008046903A (en) Apparatus and method for detecting number of objects
CN107909012B (en) Real-time vehicle tracking detection method and device based on disparity map
KR102200204B1 (en) 3-D Image Analyzing System Using CCTV Image
CN111967396A (en) Processing method, device and equipment for obstacle detection and storage medium
JP3812384B2 (en) Leading vehicle recognition device
KR100885418B1 (en) System and method for detecting and tracking people from overhead camera video
KR101236234B1 (en) Detection system of road line using both laser sensor and camera
Munajat et al. Vehicle detection and tracking based on corner and lines adjacent detection features
JP2004086417A (en) Method and device for detecting pedestrian on zebra crossing
JP2002367077A (en) Device and method for deciding traffic congestion
US20130202152A1 (en) Selecting Visible Regions in Nighttime Images for Performing Clear Path Detection
KR101615992B1 (en) The method and apparatus for the extraction of feature point and tracking of the vehicle under driving environment by utilizing vision sensor
JP2004234486A (en) Vehicle backward traveling detector
JP2011090708A (en) Apparatus and method for detecting the number of objects
CN112016514B (en) Traffic sign recognition method, device, equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190416

Year of fee payment: 4