KR20130015982A - Apparatus and method for tracking car - Google Patents

Apparatus and method for tracking car Download PDF

Info

Publication number
KR20130015982A
KR20130015982A KR1020110078359A KR20110078359A KR20130015982A KR 20130015982 A KR20130015982 A KR 20130015982A KR 1020110078359 A KR1020110078359 A KR 1020110078359A KR 20110078359 A KR20110078359 A KR 20110078359A KR 20130015982 A KR20130015982 A KR 20130015982A
Authority
KR
South Korea
Prior art keywords
vehicle
image
feature points
tracking
images
Prior art date
Application number
KR1020110078359A
Other languages
Korean (ko)
Other versions
KR101612817B1 (en
Inventor
김종헌
박영경
이중재
김현수
박준오
안드레아스 박
디르 산드라 셰이커
이제훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110078359A priority Critical patent/KR101612817B1/en
Publication of KR20130015982A publication Critical patent/KR20130015982A/en
Application granted granted Critical
Publication of KR101612817B1 publication Critical patent/KR101612817B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

PURPOSE: A vehicle tracing method and an apparatus thereof are provided to accurately trace a vehicle region even in a difficult driving situation for accurately detecting the features of a vehicle. CONSTITUTION: A vehicle region detector receives multiple images from a camera module(S120) which puts a time lag between each received image. The vehicle region detector detects vehicle feature points from a first image(S130). The vehicle region detector extracts the optical flow of the vehicle feature points that exist between the first image and a second image(S140). The vehicle region detector traces the vehicle region based on the extracted optical flow(S150). [Reference numerals] (AA) Start; (BB) End; (S120) Receiving multiple images from a camera; (S130) Detecting a vehicle feature point from a first image; (S140) Extracting an optical flow existing between the first image and a second image; (S150) Tracing a vehicle based on the optical flow

Description

차량 추적 방법 및 그 장치{APPARATUS AND METHOD FOR TRACKING CAR}Vehicle tracking method and device thereof {APPARATUS AND METHOD FOR TRACKING CAR}

본 발명은 차량 영역을 추적하는 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 시간차가 있는 복수의 영상에서 그 크기가 변화하는 차량을 추적하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for tracking a vehicle area, and more particularly, to a method and apparatus for tracking a vehicle whose size changes in a plurality of images having a time difference.

차량에 장착된 카메라를 통하여, 차량, 신호, 차선 또는 기타 지표들 같은 오브젝트를 검출하는 장치의 개발이 활발히 진행되고 있다. 이러한 검출 장치를 통해 검출된 오브젝트에 대한 정보는 상기 차량의 주행에 이용될 수 있다. 특히 상기 카메라로 촬영한 영상에서 차량을 검출하고, 그 검출 결과에 근거하여 시간의 흐름에 따른 특정 차량의 이동을 추적하는 방법들이 사용되기도 한다.With cameras mounted on vehicles, development of devices for detecting objects such as vehicles, signals, lanes or other indicators is actively progressing. Information about the object detected through such a detection device may be used to drive the vehicle. In particular, a method of detecting a vehicle from an image captured by the camera and tracking the movement of a specific vehicle over time based on the detection result may be used.

종래 기술에서는 주로 시간차를 두고 촬영된 영상 각각에서 차량의 특징점을 검출하고, 상기 특징점의 이동 궤적을 저장 및 분석하는 방법이 이용되었다. 그러나, 여러 환경적 요인에 의하여 어느 임의의 시간에 촬영된 영상에서 차량의 특징점이 검출되지 않는 경우가 있다. 예를 들어, 불규칙한 노면 때문에 카메라의 시야가 순간적으로 흔들리는 경우, 특정 차량의 일부 또는 전부가 화면에 나타나지 않는 경우이다. 이러한 경우에는 차량 검출과 추적 성능이 저하될 가능성이 있다. 따라서 차량 검출 및 추적의 정확성 측면에서 개선의 필요성이 제기되었다.In the prior art, a method of detecting a feature point of a vehicle in each of images captured with a time difference, and storing and analyzing a movement trajectory of the feature point is used. However, there are cases where a feature point of a vehicle is not detected in an image captured at any time due to various environmental factors. For example, when the camera's field of view is momentarily shaken due to an irregular road surface, part or all of a specific vehicle does not appear on the screen. In this case, there is a possibility that the vehicle detection and tracking performance is degraded. Therefore, there is a need for improvement in terms of vehicle detection and tracking accuracy.

따라서, 본 명세서는 상기의 문제를 해결하기 위하여 더 정확한 차량 영역 검출 및 추적 방법을 제안하는 데에 목적이 있다. 즉, 본 명세서에서는 복수의 영상에서 그 크기가 변화하는 차량의 영역을 추적하는 방법을 제안한다. 본 발명의 실시예에 따르면 차량 특징점 추적과 광류에 기반한 유사성 유지 여부 판단을 활용하여 차량 영역을 추적한다.Therefore, an object of the present specification is to propose a more accurate vehicle area detection and tracking method in order to solve the above problem. That is, the present specification proposes a method of tracking an area of a vehicle whose size changes in a plurality of images. According to an embodiment of the present invention, the vehicle region is tracked by using the vehicle feature point tracking and the determination of maintaining similarity based on the light flow.

상기와 같은 목적을 달성하기 위하여 본 명세서에서의 일 개시에 따르면 차량 영역 추적 방법이 제공된다. 상기 방법은 카메라 모듈로부터 시차를 두고 복수의 이미지를 수신하는 단계와; 상기 복수의 이미지 중 제 1 이미지에서 차량 특징점들을 검출하는 단계와; 상기 차량 특징점들의 광류(optical flow)를 기반으로 차량 영역을 추적하는 단계를 포함할 수 있다. 상기 차량 특징점들의 광류는 상기 제 1 이미지와 상기 복수의 이미지 중 제 2 이미지와 사이에 존재하는 것을 특징으로 할 수 있다.According to one disclosure herein, a vehicle area tracking method is provided to achieve the above object. The method includes receiving a plurality of images at a parallax from a camera module; Detecting vehicle feature points in a first image of the plurality of images; Tracking the vehicle area based on the optical flow of the vehicle feature points. The light flow of the vehicle feature points may be present between the first image and a second image of the plurality of images.

상기 복수의 이미지 중 제 1 이미지에서 검출한 차량 특징점들은, 차량의 세부적인 특징을 나타내는 차량의 텍스쳐 또는 윤곽 정보일 수 있다.The vehicle feature points detected in the first image of the plurality of images may be texture or outline information of the vehicle representing detailed features of the vehicle.

상기 차량의 텍스쳐 또는 윤곽 정보는, LAB(locally assembled binary) 특징, HOG(histograms of oriented gradients) 특징, LBP(local binary pattern) 특징 중 하나 이상일 수 있다.The texture or contour information of the vehicle may be one or more of a locally assembled binary (LAB) feature, a histograms of oriented gradients (HOG) feature, and a local binary pattern (LBP) feature.

상기 광류를 기반으로 차량 영역을 추적하는 단계는, 상기 제 1 이미지에서 검출한 상기 차량 특징점들이 이루는 제 1 형태와, 상기 제 1 이미지와 상기 제 2 이미지와 사이에 존재하는 광류를 근거로 추출한 차량 특징점들이 이루는 제 2 형태가 기하학적 유사성을 이루는지 여부를 추적함으로써 이루어질 수 있다.The tracking of the vehicle area based on the light flow may include: extracting a vehicle based on a first shape formed by the vehicle feature points detected in the first image and a light flow existing between the first image and the second image; This can be accomplished by tracking whether the second shape of the feature points achieves geometric similarity.

상기 기하학적 유사성은, 상기 제 1 형태와 상기 제 2 형태의 스케일링(scaling) 관계일 수 있다.The geometric similarity may be a scaling relationship between the first form and the second form.

상기 차량 영역 추적 방법은 상기 추적된 차량 영역을 출력하는 단계를 더 포함할 수 있다.The vehicle area tracking method may further include outputting the tracked vehicle area.

상기와 같은 목적을 달성하기 위하여 본 명세서에서의 다른 개시에 따르면, 차량 영역 추적 장치가 제공된다. 상기 장치는, 카메라 모듈로부터 시차를 두고 복수의 이미지를 수신하고, 상기 복수의 이미지 중 제 1 이미지에서 차량 특징점들을 검출하고, 상기 차량 특징점들의 광류(optical flow)를 기반으로 차량 영역을 추적하는 제어부와; 상기 제어부의 제어에 따라 차량의 외부를 촬영한 이미지를 상기 제어부로 전송하는 카메라 모듈을 포함할 수 있다.According to another disclosure herein, a vehicle area tracking device is provided to achieve the above object. The apparatus may be configured to receive a plurality of images with a parallax from a camera module, detect vehicle feature points in a first image of the plurality of images, and track a vehicle area based on an optical flow of the vehicle feature points. Wow; The camera module may transmit an image photographing the outside of the vehicle to the controller under the control of the controller.

상기 복수의 이미지 중 제 1 이미지에서 검출한 차량 특징점들은, 차량의 세부적인 특징을 나타내는 차량의 텍스쳐 또는 윤곽 정보일 수 있다.The vehicle feature points detected in the first image of the plurality of images may be texture or outline information of the vehicle representing detailed features of the vehicle.

상기 차량의 텍스쳐 또는 윤곽 정보는, LAB(locally assembled binary) 특징, HOG(histograms of oriented gradients) 특징, LBP(local binary pattern) 특징 중 하나 이상일 수 있다.The texture or contour information of the vehicle may be one or more of a locally assembled binary (LAB) feature, a histograms of oriented gradients (HOG) feature, and a local binary pattern (LBP) feature.

상기 제어부는, 상기 제 1 이미지에서 검출한 상기 차량 특징점들이 이루는 제 1 형태와, 상기 제 1 이미지와 상기 제 2 이미지와 사이에 존재하는 광류를 근거로 추출한 차량 특징점들이 이루는 제 2 형태가 기하학적 유사성을 이루는지 여부를 추적할 수 있다.The control unit may have geometrical similarity between a first shape formed by the vehicle feature points detected in the first image and a second shape formed by vehicle feature points extracted based on a light flow existing between the first image and the second image. Can track whether or not

상기 기하학적 유사성은, 상기 제 1 형태와 상기 제 2 형태의 스케일링(scaling) 관계일 수 있다.The geometric similarity may be a scaling relationship between the first form and the second form.

상기 차량 영역 추적 장치는 표시부를 더 포함하며, 상기 제어부는, 상기 검출된 차량 영역을 출력하도록 상기 표시부를 제어할 수 있다.The vehicle area tracking apparatus further includes a display unit, and the controller may control the display unit to output the detected vehicle area.

본 발명은 차량 특징점을 정확히 검출하기 어려운 다양한 주행 상황에서도 차량 영역을 정확하게 추적할 수 있다.The present invention can accurately track the vehicle area even in various driving situations where it is difficult to accurately detect the vehicle feature point.

도 1은 본 발명의 일 실시예에 따른 차량 추적 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 차량 추적 장치의 장착도이다.
도 3은 차량의 특징점을 검출하는 모델링 기법에 대한 예시도이다.
도 4a 및 도 4b는 이미지에서 차량의 특징점을 검출한 예시도이다.
도 5는 차량 특징점들의 광류를 기반으로 차량 영역을 추적하는 방법의 개념도이다.
도 6은 본 발명의 실시예에 따른 차량 영역 추정방법을 나타낸 흐름도이다.
1 is a block diagram showing the configuration of a vehicle tracking device according to an embodiment of the present invention.
2 is a mounting view of the vehicle tracking device according to an embodiment of the present invention.
3 is an exemplary diagram for a modeling technique for detecting a feature point of a vehicle.
4A and 4B are exemplary views of detecting feature points of a vehicle in an image.
5 is a conceptual diagram of a method for tracking a vehicle area based on a light flow of vehicle feature points.
6 is a flowchart illustrating a vehicle area estimation method according to an exemplary embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is to be noted that the technical terms used herein are merely used to describe particular embodiments, and are not intended to limit the present invention. It is also to be understood that the technical terms used herein are to be interpreted in a sense generally understood by a person skilled in the art to which the present invention belongs, Should not be construed to mean, or be interpreted in an excessively reduced sense. In addition, when the technical terms used herein are incorrect technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that can be understood correctly by those skilled in the art. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, the singular forms "as used herein include plural referents unless the context clearly dictates otherwise. In the present application, the term "comprising" or "comprising" or the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.

또한, 또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.In addition, the suffixes "module" and "unit" for the components used herein are given or mixed in consideration of ease of specification, and do not have distinct meanings or roles from each other.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. Furthermore, terms including ordinals such as first, second, etc. used in this specification can be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 차량 영역 추적 장치의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a vehicle area tracking device according to an embodiment of the present invention.

이에 도시한 바와 같이, 차량 영역 추적 장치(10)는, 카메라 모듈(110), 제어부(120), 표시부(130) 및 저장부(140)를 포함할 수 있다. 도 1에 도시한 차량 영역 추적 장치(10)의 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도 1에 도시한 구성 요소보다 많은 구성 요소에 의해 차량 영역 추적 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 차량 영역 추적 장치(10)가 구현될 수도 있다.As shown in the drawing, the vehicle area tracking apparatus 10 may include a camera module 110, a controller 120, a display unit 130, and a storage 140. Not all components of the vehicle area tracking device 10 shown in FIG. 1 are essential components, and the vehicle area tracking device 10 may be implemented by more components than those shown in FIG. 1. Vehicle area tracking device 10 may also be implemented by fewer components.

상기 카메라 모듈(110)은, 상기 차량 영역 추적 장치(10)의 임의의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치되는 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라(stereo camera) 또는 스테레오코스픽 카메라(stereoscopic camera)) 또는 단일 카메라를 포함한다. 이때, 상기 고정된 수평 간격은, 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있으며, 상기 차량 영역 추적 장치(10)를 구성할 때 설정한다. 또한, 상기 카메라 모듈(110)은, 영상 촬상이 가능한 임의의 모든 카메라 모듈일 수도 있다.The camera module 110 may include at least one pair of cameras (eg, a stereo camera or a stereo camera) spaced apart at horizontal intervals on the same central axis of any same plane of the vehicle area tracking apparatus 10. A stereoscopic camera or a single camera. In this case, the fixed horizontal interval may be set in consideration of a distance between two eyes of a general person, and is set when configuring the vehicle area tracking apparatus 10. In addition, the camera module 110 may be any camera module capable of image capturing.

또한, 상기 카메라 모듈(110)은, 상기 한 쌍의 카메라에 의해 동시에 촬영된 제1 영상(일 예로, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상)과 제2 영상(일 예로, 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상)을 수신한다.In addition, the camera module 110 may include a first image (eg, a left image captured by a left camera included in the pair of cameras) and a second image captured by the pair of cameras simultaneously. For example, the right image captured by the right camera included in the pair of cameras) is received.

또한, 상기 카메라 모듈(110)은, CCD 소자, CMOS 소자 등과 같은 이미지 센서일 수 있다.In addition, the camera module 110 may be an image sensor such as a CCD device and a CMOS device.

또한, 상기 카메라 모듈(110)은, 차량에 설치되는 경우, 상기 차량의 소정 위치에 고정되어, 주행 방향의 전방, 측방, 후방 등을 촬영하고, 상기 촬영된 영상을 수신하도록 구성할 수도 있다.In addition, when installed in a vehicle, the camera module 110 may be fixed to a predetermined position of the vehicle, and may be configured to photograph the front, the side, the rear of the driving direction, and the like to receive the photographed image.

본 명세서에 개시된 실시예들에 따르면, 상기 카메라 모듈(110)는 카메라를 통해 시차를 두고 복수의 이미지를 획득할 수 있다. 상기 복수의 이미지는 광류를 추출하는 데 사용될 수 있다. 상기 복수의 이미지는 동영상의 프레임 이미지일 수 있다.According to the embodiments disclosed herein, the camera module 110 may acquire a plurality of images with a parallax through the camera. The plurality of images can be used to extract light flow. The plurality of images may be frame images of a video.

상기 제어부(120)는, 상기 차량 영역 추적 장치(10)의 전반적인 동작을 제어한다. 또한, 상기 제어부(120)는 상기 검출과 추적을 위해 별도의 분류기 및/또는 검출기를 두어 제어할 수도 있다.The controller 120 controls the overall operation of the vehicle area tracking device 10. In addition, the controller 120 may control a separate classifier and / or detector for the detection and tracking.

상기 제어부(120)는 차량 영역 검출기는 카메라 모듈로부터 시차를 두고 복수의 이미지를 수신할 수 있다. 또한, 상기 제어부(120)는 상기 복수의 이미지 중 제 1 이미지에서 차량 특징점들을 검출할 수 있다. 이 때, 제 1 이미지에서 검출한 차량 특징점들은 차량의 세부적인 특징을 나타내는 차량의 텍스쳐 또는 윤곽 정보일 수 있으며, 상기 차량의 텍스쳐 또는 윤곽 정보는, LAB(locally assembled binary) 특징, HOG(histograms of oriented gradients) 특징, LBP(local binary pattern) 특징 중 하나 이상일 수 있다.The controller 120 may receive a plurality of images with a parallax from the camera module. In addition, the controller 120 may detect vehicle feature points in a first image of the plurality of images. In this case, the vehicle feature points detected in the first image may be texture or outline information of the vehicle representing detailed features of the vehicle, and the texture or outline information of the vehicle may include a locally assembled binary (LAB) feature and histograms of HOG. or one or more of a oriented gradients (LBP) feature or a local binary pattern (LBP) feature.

상기 제어부(120)는 제 1 이미지와 제 2 이미지 사이에 존재하는 차량 특징점의 광류를 추출할 수 있다. 여기서 상기 제 2 이미지는 상기 제 1 이미지의 촬영 시각으로부터 소정의 시간 T가 경과한 후 촬영된 이미지일 수 있다.The controller 120 may extract the light flow of the vehicle feature point existing between the first image and the second image. The second image may be an image photographed after a predetermined time T has elapsed from the photographing time of the first image.

상기 제어부(120)는 상기 차량 특징점들의 광류(optical flow)를 기반으로 차량 영역을 추적할 수 있다.The controller 120 may track the vehicle area based on the optical flow of the vehicle feature points.

상기 광류(optical flow)란 명도 유형(brightness pattern)을 서서히 변화시킴으로써 발생하는 영상에서의 명백한 움직임의 속도 분포를 나타내는 것이다. 즉, 광류란 카메라에 의해 촬영되어 입력되는 시간적으로 다른 2개의 영상데이터로부터 그 영상에 나타나는 외견상 움직임을 벡터로 나타낸 것을 말한다. The optical flow refers to the velocity distribution of the apparent motion in the image caused by slowly changing the brightness pattern. In other words, the optical flow refers to a vector representing the apparent motion appearing in the image from two different temporally different image data photographed and input by the camera.

그리고 이러한 광류를 기반으로 하여 오브젝트등(예를 들어, 차선 또는 차량)을 검출할 수 있는데, 바로 전에 촬영한 프레임의 이전 영상과 각각의 픽셀들을 현재 촬영한 프레임의 현재 영상의 모든 픽셀들과 각각 비교하거나, 또는 이전 영상데이터를 소정의 픽셀을 가지는 복수의 단위 블록으로 구분함과 아울러 현재 영상데이터를 픽셀 단위로 이동시키면서 상기 이전 영상데이터의 단위블록과 동일한 크기를 가지는 단위블록으로 구분한 후 그 이전 영상데이터의 각각의 단위블록들을 현재 영상데이터의 복수의 단위블록들과 비교하여 단위블록 내의 픽셀들의 휘도 및 색도 등의 차이 값을 구하며, 그 구한 차이 값으로 이전 영상데이터의 픽셀이 움직인 위치를 벡터로 표시하고, 특정 영역에서 특정 크기 이상의 벡터가 발생될 경우에 이를 기준으로 하여 오브젝트를 검출하는 것이다.Based on the light flow, an object (for example, a lane or a vehicle) may be detected. Each pixel of the current image of the frame in which the previous image and the respective pixels of the previous frame and the current frame of the current frame of the current frame are respectively detected. Compare or divide the previous image data into a plurality of unit blocks having a predetermined pixel, and move the current image data in pixel units and divide the previous image data into unit blocks having the same size as the unit block of the previous image data. Each unit block of the previous image data is compared with a plurality of unit blocks of the current image data to obtain a difference value such as luminance and chromaticity of the pixels in the unit block. Is expressed as a vector, and when a vector of a certain size or more occurs in a specific area, To detect the object.

여기서 상기 차량 특징점들의 광류는 상기 제 1 이미지와 상기 복수의 이미지 중 제 2 이미지와 사이에 존재하는 광류이다. 이 때, 상기 차량 영역의 추적은 상기 제 1 이미지에서 검출한 상기 차량 특징점들이 이루는 제 1 형태와, 상기 제 1 이미지와 상기 제 2 이미지와 사이에 존재하는 광류를 근거로 추출한 차량 특징점들이 이루는 제 2 형태가 기하학적 유사성을 이루는지 여부를 추적함으로써 이루어질 수 있다. 상기 기하학적 유사성은 상기 제 1 형태와 상기 제 2 형태가 스케일링(scaling) 관계인 것을 의미할 수 있다. 즉, 상기 제 2 형태가 상기 제 1 형태를 축소 또는 확대한 형태인 경우를 의미할 수 있다.The light flow of the vehicle feature points may be a light flow existing between the first image and a second image of the plurality of images. At this time, the tracking of the vehicle area is formed by the first feature formed by the vehicle feature points detected in the first image and the vehicle feature points extracted based on the light flow existing between the first image and the second image. This can be done by tracking whether the two forms achieve geometric similarity. The geometric similarity may mean that the first form and the second form have a scaling relationship. That is, it may mean that the second form is a form in which the first form is reduced or enlarged.

또한, 상기 제어부(120)는 상기 차량 영역 추적 결과를 상기 표시부(130)에 표시하도록 제어할 수 있다. In addition, the control unit 120 may control to display the vehicle area tracking result on the display unit 130.

상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 저장부(140)에 포함된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시한다. 여기서, 상기 표시부(130)에 표시되는 콘텐츠는, 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다.The display unit 130 displays various contents such as various menu screens using a user interface and / or a graphic user interface included in the storage unit 140 under the control of the controller 120. Here, the content displayed on the display unit 130 includes a menu screen including various text or image data (including various information data) and data such as an icon, a list menu, a combo box, and the like.

또한, 상기 표시부(130)는, 3차원 디스플레이(3D Display) 또는 2차원 디스플레이(2D Display)를 포함한다. 또한, 상기 표시부(130)는, 액정 디스플레이(Liquid Crystal Display : LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display : TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode : OLED), 플렉시블 디스플레이(Flexible Display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수도 있다.In addition, the display unit 130 includes a 3D display or a 2D display. In addition, the display unit 130 may include a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. The display device may include at least one of a flexible display and a light emitting diode (LED).

또한, 상기 표시부(130)는, 상기 제어부(120)의 제어에 의해 상기 3차원 영상(또는, 2차원 영상)을 표시한다.In addition, the display unit 130 displays the 3D image (or 2D image) under the control of the controller 120.

또한, 상기 차량 영역 추적 장치(10)의 구현 형태에 따라 상기 표시부(130)가 2개 이상 존재할 수 있다. 예를 들면, 상기 차량 영역 추적 장치(10)에 복수의 표시부들이 하나의 면(동일면)에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.In addition, two or more display units 130 may exist according to the implementation form of the vehicle area tracking apparatus 10. For example, the plurality of display units may be spaced apart or integrally disposed on one surface (same surface) of the vehicle area tracking apparatus 10, or may be disposed on different surfaces.

한편, 상기 표시부(130)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 상기 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 상기 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드, 터치 패널 등의 형태를 가질 수 있다.On the other hand, when the display unit 130 and a sensor for detecting a touch operation (hereinafter, referred to as a touch sensor) form a mutual layer structure (hereinafter referred to as a touch screen), the display unit 130 outputs the touch panel. In addition to the device can also be used as an input device. The touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or a touch panel.

또한, 상기 터치 센서는, 상기 표시부(130)의 특정 부위에 가해진 압력 또는 상기 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 또한, 상기 터치 센서는, 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 상기 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 상기 제어부(120)로 전송한다. 이로써, 상기 제어부(120)는, 상기 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.In addition, the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 130 or capacitance generated at a specific portion of the display unit 130 into an electrical input signal. In addition, the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the time of touch. If there is a touch input to the touch sensor, the corresponding signal (s) is sent to a touch controller (not shown). The touch controller processes the signal (s) and then transmits the corresponding data to the controller 120. As a result, the controller 120 may determine which area of the display unit 130 is touched.

또한, 상기 표시부(130)는, 근접 센서를 포함할 수 있다. 또한, 상기 근접 센서는, 터치 스크린에 의해 감싸지는 차량 영역 추적 장치(10)의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다.In addition, the display unit 130 may include a proximity sensor. In addition, the proximity sensor may be disposed in the inner region of the vehicle area tracking device 10 surrounded by the touch screen or near the touch screen.

또한, 상기 근접 센서는, 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 상기 근접 센서는, 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.In addition, the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays. The proximity sensor has a longer life and higher utilization than a contact sensor.

상기 근접 센서의 예로는, 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다.Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. And to detect the proximity of the pointer by the change of the electric field along the proximity of the pointer when the touch screen is electrostatic.

이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다. 이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(Proximity Touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(Contact Touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치는, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.In this case, the touch screen (touch sensor) may be classified as a proximity sensor. Hereinafter, for convenience of explanation, the act of recognizing that the pointer is positioned on the touch screen while the pointer is not in contact with the touch screen is referred to as "proximity touch" The act of actually touching the pointer on the screen is called "Contact Touch ". A position where the pointer is proximally touched on the touch screen means a position where the pointer corresponds to the touch screen vertically when the pointer is touched.

또한, 상기 근접 센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 상기 터치 스크린상에 출력될 수 있다.In addition, the proximity sensor detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.

이와 같이, 상기 표시부(130)가 입력 장치로 사용되는 경우, 사용자에 의한 버튼 조작을 입력받거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 명령 또는 제어 신호를 입력받을 수 있다.As such, when the display unit 130 is used as an input device, a command or control signal may be received by an operation such as receiving a button operation by a user or touching / scrolling the displayed screen.

상기 저장부(140)는, 각종 메뉴 화면, 다양한 사용자 인터페이스(User Interface : UI) 및/또는 그래픽 사용자 인터페이스(Graphic User Interface : GUI)를 저장한다.The storage unit 140 stores various menu screens, various user interfaces (UIs), and / or graphical user interfaces (GUIs).

본 명세서에 개시된 실시예들에 따르면, 상기 저장부(140)는 상기 복수의 이미지들간의 차이를 나타내는 광류가 상기 제어부(120)에 의해 추출된 경우, 상기 추출된 광류값(또는 움직임 벡터)을 저장할 수 있다. According to the embodiments disclosed herein, when the light flow representing the difference between the plurality of images is extracted by the control unit 120, the storage unit 140, the extracted light flow value (or motion vector) Can be stored.

또한, 상기 저장부(140)는, 변환 행렬(예를 들어, 호모그래픽 행렬 등), 커브 방정식, 최소 자승법 등의 수학식을 저장한다.In addition, the storage unit 140 stores equations such as transformation matrices (eg, homographic matrices), curve equations, least squares methods, and the like.

또한, 상기 저장부(140)는, 상기 차량 영역 추적 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.In addition, the storage unit 140 stores data, a program, and the like necessary for the vehicle area tracking apparatus 10 to operate.

여기서, 도 1의 차량 영역 추적 장치는, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 단말기(Mobile Terminal), 텔레매틱스 단말기(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 개인 정보 단말기(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 노트북 컴퓨터, 태블릿 PC(Tablet PC), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 텔레비전(Television), 3D 텔레비전, 영상 기기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, AVN(Audio Video Navigation) 단말기 등과 같이 다양한 단말기에 적용될 수 있다.Here, the vehicle area tracking device of FIG. 1 may not only be configured as stand alone, but also a mobile terminal, a telematics terminal, a smart phone, and a portable terminal. Terminal, Personal Digital Assistant (PDA), Portable Multimedia Player (PMP), Notebook Computer, Tablet PC (Tablet PC), Wibro Terminal, IPTV (Internet Protocol Television) Terminal, Television It can be applied to various terminals such as television, 3D television, video equipment, telematics terminal, navigation terminal, audio video navigation (AVN) terminal, and the like.

도 2는 본 발명의 실시예에 따른 차량 영역 추적 장치의 장착도이다.2 is a mounting view of the vehicle area tracking device according to an embodiment of the present invention.

차량 영역 추적 장치(10)는 차량(50)의 전방을 주시할 수 있는 위치에 장착될 수 있다. 도 2에서는 상기 차량 영역 추적 장치(10)가 차량 운전자의 눈 높이와 유사한 위치에 장착된 것으로 도시하였으나, 차량 또는 운전자에 의한 요인에 의해 상기 장착 위치는 변경될 수 있다. 또한, 상기 차량 영역 추적 장치(10)는 모든 구성요소가 한 위치에 장착될 수도 있고, 카메라 모듈과 기타 구성 요소가 분리되어 장착될 수도 있다. 본 명세서에 개시되는 차량 검출 방법은 측방 또는 후방의 근접 차량을 검출하는 데에도 이용될 수 있으며, 이 때 상기 차량 영역 추적 장치(10)의 위치는 변경될 수도 있다.The vehicle area tracking device 10 may be mounted at a position capable of looking at the front of the vehicle 50. In FIG. 2, the vehicle area tracking device 10 is mounted at a position similar to the eye height of the vehicle driver. However, the mounting position may be changed by factors caused by the vehicle or the driver. In addition, the vehicle area tracking device 10 may be mounted to all the components in one location, the camera module and other components may be mounted separately. The vehicle detection method disclosed herein may also be used to detect a vehicle adjacent to the side or the rear, and at this time, the position of the vehicle area tracking device 10 may be changed.

도 3은 차량의 특징점을 검출하는 모델링 기법에 대한 예시도이다.3 is an exemplary diagram for a modeling technique for detecting a feature point of a vehicle.

도 3의 (a)와 (b)는 차량의 하-웨이블릿(haar-wavelet) 특징을 표현한 예시도이고, 도 3의 (c)는 차량의 LAB(locally assembled binary) 특징을 표현한 예시도이며, 도 3의 (d)는 차량의 HOG(histograms of oriented gradients) 특징을 표현한 예시도이다.(A) and (b) of FIG. 3 is an exemplary diagram representing haar-wavelet characteristics of the vehicle, and (c) of FIG. 3 is an exemplary diagram representing locally assembled binary (LAB) characteristics of the vehicle. 3 (d) is an exemplary diagram representing the histograms of oriented gradients (HOG) characteristics of the vehicle.

상기 하-웨이블릿 특징은 직사각형 형태의 여러 영역에서 명암차 등의 특징을 모델링한 것이다. 즉, 차량의 경우에 상기 사각형 영역 내에 나타나는 여러 가지 특징적 패턴들을 모식화한 것이다. 또한, 차량 영역의 텍스쳐, 윤곽 정보를 표현할 수 있는, 보다 복잡한 특징인 상기 LAB, LBP(local binary pattern), HOG 특징들이 영상에서 차량을 검출하는 데에 이용되고 있는 모델링 기법들이다. 도 3에는 예시되어 있지 않으나, LBP는 지역적인 이미지의 텍스처를 표현하는 방법으로서, 각 입력 이미지에 대해 임의의 크기와 위치를 갖는 영역으로 분할한 후, 분할된 이미지 영역의 중앙값을 기준으로 나머지 인접 픽셀의 값을 이진화하는 방법이다. 상기 방법으로 조명의 변화에 강인한 텍스처를 표현할 수 있다고 알려져 있다.The lower wavelet feature is a model of a feature such as contrast difference in various areas of a rectangular shape. That is, in the case of a vehicle, various characteristic patterns appearing in the rectangular area are modeled. In addition, the LAB, local binary pattern (LBP), and HOG features, which are more complex features capable of expressing texture and contour information of a vehicle region, are used to detect a vehicle in an image. Although not illustrated in FIG. 3, LBP is a method of expressing a texture of a local image. The LBP is divided into regions having an arbitrary size and position for each input image, and then the remaining neighbors based on the median of the divided image regions. This method binarizes the pixel value. It is known that a texture that is robust to changes in illumination can be expressed by the above method.

차량 영역 추적 장치의 검출기는 상기 모델링 기법들을 이용하여 다양한 차량의 특징점들을 학습하는 것이 일반적이다. 상기 학습 후, 특정 검색 영역(또는 차량 후보 영역)들을 검색하여 상기 차량 특징점들이 어느 정도 발견되는지에 따라 영상의 물체가 차량인지 여부를 판단하게 된다.The detector of the vehicular area tracking device typically learns various feature points of the vehicle using the modeling techniques. After the learning, a specific search area (or vehicle candidate area) is searched to determine whether the object of the image is a vehicle according to how much of the vehicle feature points are found.

도 4A 및 도 4B는 이미지에서 차량의 특징점을 검출한 예시도이다.4A and 4B are exemplary views of detecting feature points of a vehicle in an image.

여기서, 도 4A는 임의의 시각에 촬영된 이미지이고, 도 4B는 도 4A의 촬영 시각으로부터 소정의 시간이 경과한 후에 촬영된 이미지이다.4A is an image photographed at an arbitrary time, and FIG. 4B is an image photographed after a predetermined time elapses from the photographing time of FIG. 4A.

도 4A 및 도 4B를 참조하면 알 수 있듯이, 추적하고자 하는 차량 영역에는 여러 특징점들이 존재한다. 예를 들어, 상단 모서리(200a, 200a'), 사이드 미러(200b, 200b'), 뒷바퀴(200c, 200c')에 차량 특징점이 존재할 수 있다. 차량 영역 추적 장치는, 상기의 차량 특징점들을 이미지로부터 검출하기 위하여, 도 3에서 설명한 다양한 특징들을 이용하여 학습한 차량 검출기(또는 분류기)를 사용할 수 있다.As can be seen with reference to Figures 4A and 4B, there are several feature points in the area of the vehicle to be tracked. For example, vehicle feature points may exist at the top edges 200a and 200a ', the side mirrors 200b and 200b', and the rear wheels 200c and 200c '. The vehicle area tracking apparatus may use a vehicle detector (or classifier) trained using the various features described with reference to FIG. 3 to detect the vehicle feature points from the image.

상기 차량 영역 추적 장치는 도 4A와 같은 이미지에서 차량 특징점들을 검출한다. 만약 추적하고자 하는 차량 영역이 가운데 차선에 해당하는 영역이라면, 상기 차량 검출기는 설정된 영역에서 다수의 차량 특징점을 검출하게 된다.The vehicle area tracking device detects vehicle feature points in the image as shown in FIG. 4A. If the vehicle area to be tracked is an area corresponding to the middle lane, the vehicle detector detects a plurality of vehicle feature points in the set area.

도 4B는 소정의 시간 경과 후에 촬영된 이미지로서, 도 4A에 예시한 이미지에서 검출한 차량 영역이 어느 위치로 이동하였는지 추적하는 대상이 된다. 도 4B에서는 추적하고 있는 차량 영역이 카메라 방향으로 더 가까워진 것을 예시하였다. 이 때, 이미지상에 나타나는 피추적 차량 및 그 영역은 이전 이미지에서보다 더 크게 보일 것이고, 만약, 도 4A와 같은 방법으로 차량 특징점을 검출한다면, 도시된 차량 특징점(200a', 200b', 200c')이 검출될 것이다.4B is an image photographed after a predetermined time elapses, and is a target for tracking where the vehicle region detected in the image illustrated in FIG. 4A has moved. 4B illustrates that the area of the vehicle being tracked is closer to the camera direction. At this time, the traced vehicle and its area appearing in the image will appear larger than in the previous image, and if the vehicle feature point is detected in the same manner as in Fig. 4A, the vehicle feature points 200a ', 200b' and 200c 'are shown. ) Will be detected.

일반적인 주행 상황에서는 상기에서 서술한 바와 같이 매 시각의 이미지마다 차량 특징점을 검출하여 지속적으로 특정 차량 영역을 추적할 수 있다. In a general driving situation, as described above, the vehicle feature point may be detected for each image at each time to continuously track a specific vehicle area.

그러나, 주행 환경에 따라 차량 영역 추적이 어려운 경우도 있다. 예를 들어, 불규칙한 노면 상황으로 차량이 과도하게 움직이는 등의 주행 상황에서는, 피치 모션(Pitch Motion)이 발생할 수 있다. 차량의 피치 모션(Pitch Motion)이란 움직이는 노면 상태에 기인한 상기 차량의 업-다운(up-down) 운동을 말한다. 그 결과, 특정 순간의 이미지에서 차량 특징점들이 부정확하게 검출될 수 있으며, 특정 시점 이전의 이미지에서는 검출된 특징점이 특정 시점 이후의 이미지에서는 나타나지 않을 수도 있다. 따라서, 이러한 경우에도 차량 특징점 및 차량 영역을 정확히 추적할 수 있는 방법이 요구된다.However, the tracking of the vehicle area may be difficult depending on the driving environment. For example, a pitch motion may occur in a driving situation such as an excessively moving vehicle due to an irregular road surface situation. Pitch motion of a vehicle refers to an up-down movement of the vehicle due to a moving road surface condition. As a result, vehicle feature points may be incorrectly detected in the image at a particular moment, and the detected feature point may not appear in the image after the particular view in the image before the specific view. Therefore, even in such a case, there is a need for a method capable of accurately tracking the vehicle feature point and the vehicle area.

도 5는 차량 특징점들의 광류(optical flow)를 기반으로 차량 영역을 추적하는 방법의 개념도이다.5 is a conceptual diagram of a method for tracking a vehicle area based on optical flow of vehicle feature points.

상기 광류(optical flow)란 명도 유형(brightness pattern)을 서서히 변화시킴으로써 발생하는 영상에서의 명백한 움직임의 속도 분포를 나타내는 것이다. 즉, 광류란 카메라에 의해 촬영되어 입력되는 시간적으로 다른 2개의 영상데이터로부터 그 영상에 나타나는 외견상 움직임을 벡터로 나타낸 것을 말한다. The optical flow refers to the velocity distribution of the apparent motion in the image caused by slowly changing the brightness pattern. In other words, the optical flow refers to a vector representing the apparent motion appearing in the image from two different temporally different image data photographed and input by the camera.

그리고 이러한 광류를 기반으로 하여 오브젝트등(예를 들어, 차량 또는 차선)을 검출할 수 있는데, 바로 전에 촬영한 프레임의 이전 영상과 각각의 픽셀들을 현재 촬영한 프레임의 현재 영상의 모든 픽셀들과 각각 비교하거나, 또는 이전 영상데이터를 소정의 픽셀을 가지는 복수의 단위 블록으로 구분함과 아울러 현재 영상데이터를 픽셀 단위로 이동시키면서 상기 이전 영상데이터의 단위블록과 동일한 크기를 가지는 단위블록으로 구분한 후 그 이전 영상데이터의 각각의 단위블록들을 현재 영상데이터의 복수의 단위블록들과 비교하여 단위블록 내의 픽셀들의 휘도 및 색도 등의 차이 값을 구하며, 그 구한 차이 값으로 이전 영상데이터의 픽셀이 움직인 위치를 벡터로 표시하고, 특정 영역에서 특정 크기 이상의 벡터가 발생될 경우에 이를 기준으로 하여 오브젝트를 검출하는 것이다.Based on the light flow, an object (for example, a vehicle or a lane) can be detected. Each pixel of the current image of the frame in which the previous image and the respective pixels of the previous frame and the current frame of the current frame of the current frame are respectively detected. Compare or divide the previous image data into a plurality of unit blocks having a predetermined pixel, and move the current image data in pixel units and divide the previous image data into unit blocks having the same size as the unit block of the previous image data. Each unit block of the previous image data is compared with a plurality of unit blocks of the current image data to obtain a difference value such as luminance and chromaticity of the pixels in the unit block, and the position at which the pixel of the previous image data moves by the obtained difference value Is expressed as a vector, and when a vector of a certain size or more occurs in a specific area, To detect the object.

차량 영역 추적 장치(10)는 특정 시각에 촬영된 이미지(이하, 제 1 이미지)에서 차량의 특징점을 검출한다. 이 때, 도 3 및 도 4에서 상술한 방법들이 이용될 수 있다.The vehicle area tracking apparatus 10 detects a feature point of the vehicle from an image (hereinafter, referred to as a first image) captured at a specific time. In this case, the methods described above with reference to FIGS. 3 and 4 may be used.

이후 상기 차량 영역 추적 장치(10)는 상기 제 1 이미지의 촬영 시각으로부터 소정의 시간이 경과한 후 촬영된 이미지(이하, 제 2 이미지)를 분석한다. 즉, 상기 제 1 이미지와 상기 제 2 이미지 사이에 존재하는, 차량 특징점들의 광류(optical flow)를 추출한다. 상기 추출한 광류는 벡터 형태(400a, 400b)로 표현될 수 있다.Thereafter, the vehicle area tracking apparatus 10 analyzes a photographed image (hereinafter, referred to as a second image) after a predetermined time elapses from the photographing time of the first image. That is, an optical flow of vehicle feature points, which exists between the first image and the second image, is extracted. The extracted optical flow may be represented as vector forms 400a and 400b.

차량 영역 추적 장치(10)는 상기 벡터들의 종점(end point)이 이루는 형태를 기반으로 차량 영역을 추적할 수 있다. 즉, 상기 벡터들의 종점들 중에서, 제 1 이미지에서 검출한 차량의 특징점들이 분포된 형태와 기하학적으로 유사한 형태에 모인 종점들을 선택하여 차량 영역으로 판단한다. 예를 들어, 상기 제 1 이미지에서 검출한 차량의 특징점들이 분포된 형태가 사다리꼴 형태라면, 상기 사다리꼴 형태를 축소 또는 확대한 형태에 모여진 상기 벡터들의 종점들의 분포 영역을 차량 영역으로 판단한다.The vehicle region tracking apparatus 10 may track the vehicle region based on the form of the end points of the vectors. That is, among the end points of the vectors, end points having a shape that is geometrically similar to the shape in which the feature points of the vehicle detected in the first image are distributed are determined to be determined as the vehicle area. For example, if a feature in which the feature points of the vehicle detected in the first image are distributed is a trapezoidal shape, a distribution area of the end points of the vectors collected in a form in which the trapezoidal shape is reduced or enlarged is determined as the vehicle area.

도 5를 참조하면 알 수 있듯이, 상기 광류를 표현하는 벡터 중에서 일부 벡터(400a)의 종점들만 본다면, 제 1 이미지의 차량 영역(400)을 확대한 모양(400')에 분포되어 있다. 반면, 다른 일부 벡터(400b)의 종점까지 함께 본다면 그렇지 않다. 따라서, 이러한 경우, 400a벡터들의 종점들만이 분포된 영역을 차량 영역으로 판단할 수 있다. As can be seen with reference to FIG. 5, when only the end points of some of the vectors 400a of the vectors representing the light flows are seen, the vehicle area 400 of the first image is distributed in an enlarged shape 400 ′. On the other hand, this is not the case if the end points of some other vectors 400b are viewed together. Therefore, in this case, the area in which only the endpoints of the 400a vectors are distributed may be determined as the vehicle area.

상기에서는 광류의 종점들이 차량 특징점 분포 영역을 확대된 모양으로 모이는 경우를 설명하였으나, 그 반대의 경우에도 마찬가지로 상술한 방법이 적용될 수 있다. 즉, 피추적 차량과의 거리가 더 멀어짐으로 인하여 추적 차량 영역이 작아지는 경우에도 동일한 방법이 적용될 수 있다.In the above, the case where the end points of the light flows gather the vehicle feature point distribution area in an enlarged shape has been described, but the above-described method may be applied to the reverse case. In other words, the same method may be applied to a case where the tracking vehicle area becomes smaller due to a greater distance from the tracked vehicle.

도 6은 본 발명의 실시예에 따른 차량 영역 추정방법을 나타낸 흐름도이다.6 is a flowchart illustrating a vehicle area estimation method according to an exemplary embodiment of the present invention.

차량 영역 검출기는 카메라 모듈로부터 시차를 두고 복수의 이미지를 수신할 수 있다(S120). 이 때, 각 이미지의 촬영 시각을 관리할 수 있다.The vehicle area detector may receive a plurality of images with a parallax from the camera module (S120). At this time, the shooting time of each image can be managed.

상기 차량 영역 검출기는 상기 복수의 이미지 중 제 1 이미지에서 차량 특징점들을 검출할 수 있다(S130). 여기서, 제 1 이미지에서 검출한 차량 특징점들은 차량의 세부적인 특징을 나타내는 차량의 텍스쳐 또는 윤곽 정보일 수 있으며, 상기 차량의 텍스쳐 또는 윤곽 정보는, LAB(locally assembled binary) 특징, HOG(histograms of oriented gradients) 특징, LBP(local binary pattern) 특징 중 하나 이상이거나 또는 그 외의 특징 패턴일 수 있다.The vehicle region detector may detect vehicle feature points in a first image of the plurality of images (S130). Here, the vehicle feature points detected in the first image may be texture or outline information of the vehicle representing detailed features of the vehicle, and the texture or outline information of the vehicle may include a locally assembled binary (LAB) feature and histograms of oriented. One or more of a gradients) feature, a local binary pattern (LBP) feature, or another feature pattern.

상기 차량 영역 검출기는 제 1 이미지와 제 2 이미지 사이에 존재하는 차량 특징점의 광류를 추출할 수 있다(S140). 여기서 상기 제 2 이미지는 상기 제 1 이미지의 촬영 시각으로부터 소정의 시간이 경과한 후에 촬영된 이미지이다.The vehicle region detector may extract an optical flow of a vehicle feature point existing between the first image and the second image (S140). Here, the second image is an image photographed after a predetermined time elapses from the photographing time of the first image.

상기 차량 영역 검출기는 상기 차량 특징점들의 광류(optical flow)를 기반으로 차량 영역을 추적할 수 있다(S150). 여기서 상기 차량 특징점들의 광류는 상기 제 1 이미지와 상기 복수의 이미지 중 제 2 이미지와 사이에 존재하는 광류이다. 이 때, 상기 차량 영역의 추적은 상기 제 1 이미지에서 검출한 상기 차량 특징점들이 분포된 제 1 형태와, 상기 광류를 근거로 추출한 차량 특징점들이 분포된 제 2 형태가 기하학적 유사성을 이루는지 여부를 추적함으로써 이루어질 수 있다. 상기 기하학적 유사성은 상기 제 1 형태와 상기 제 2 형태가 스케일링(scaling) 관계인 것을 의미할 수 있다. 즉, 상기 제 2 형태가 상기 제 1 형태를 축소 또는 확대한 형태인 경우를 의미할 수 있다.The vehicle region detector may track the vehicle region based on the optical flow of the vehicle feature points (S150). The light flow of the vehicle feature points may be a light flow existing between the first image and a second image of the plurality of images. At this time, the tracking of the vehicle area tracks whether the first shape in which the vehicle feature points detected in the first image are distributed and the second shape in which the vehicle feature points extracted based on the optical flow are distributed are geometrically similar. This can be done by. The geometric similarity may mean that the first form and the second form have a scaling relationship. That is, it may mean that the second form is a form in which the first form is reduced or enlarged.

상기 차량 영역 검출기는 출력부를 통하여 상기 추적된 차량 영역을 출력할 수 있다. 또한 상기 추적 결과에 따라 경보를 발생시킬 수도 있다.The vehicle area detector may output the tracked vehicle area through an output unit. In addition, an alarm may be generated according to the tracking result.

지금까지 설명된 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.The embodiments described so far may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.

이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니므로, 본 발명은 본 발명의 사상 및 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, May be modified, modified, or improved.

10: 차량 영역 추적 장치10: vehicle zone tracking device

Claims (12)

카메라 모듈로부터 시차를 두고 복수의 이미지를 수신하는 단계;
상기 복수의 이미지 중 제 1 이미지에서 차량 특징점들을 검출하는 단계; 및
상기 차량 특징점들의 광류(optical flow)를 기반으로 차량 영역을 추적하는 단계를 포함하되,
상기 차량 특징점들의 광류는 상기 제 1 이미지와 상기 복수의 이미지 중 제 2 이미지와 사이에 존재하는 것을 특징으로 하는 차량 영역 추적 방법.
Receiving a plurality of images with parallax from a camera module;
Detecting vehicle feature points in a first image of the plurality of images; And
Tracking a vehicle area based on an optical flow of the vehicle feature points,
And a light flow of the vehicle feature points is present between the first image and a second image of the plurality of images.
제 1항에 있어서, 상기 복수의 이미지 중 제 1 이미지에서 검출한 차량 특징점들은,
차량의 세부적인 특징을 나타내는 차량의 텍스쳐 또는 윤곽 정보인 것을 특징으로 하는 차량 영역 추적 방법.
According to claim 1, Vehicle feature points detected in the first image of the plurality of images,
Vehicle area tracking method characterized in that the texture or contour information of the vehicle representing the detailed characteristics of the vehicle.
제 2항에 있어서, 상기 차량의 텍스쳐 또는 윤곽 정보는,
LAB(locally assembled binary) 특징, HOG(histograms of oriented gradients) 특징, LBP(local binary pattern) 특징 중 하나 이상인 것을 특징으로 하는 차량 영역 추적 방법.
The method of claim 2, wherein the texture or contour information of the vehicle,
And at least one of a locally assembled binary (LAB) feature, a histograms of oriented gradients (HOG) feature, and a local binary pattern (LBP) feature.
제 1항에 있어서, 상기 광류를 기반으로 차량 영역을 추적하는 단계는,
상기 제 1 이미지에서 검출한 상기 차량 특징점들이 이루는 제 1 형태와, 상기 제 1 이미지와 상기 제 2 이미지와 사이에 존재하는 광류를 근거로 추출한 차량 특징점들이 이루는 제 2 형태가 기하학적 유사성을 이루는지 여부를 추적함으로써 이루어지는 것을 특징으로 하는 차량 영역 추적 방법.
The method of claim 1, wherein tracking the vehicle area based on the light flow comprises:
Whether the first shape formed by the vehicle feature points detected in the first image and the second shape formed by vehicle feature points extracted based on the light flow existing between the first image and the second image form a geometric similarity. Vehicle area tracking method, characterized in that made by tracking.
제 4항에 있어서, 상기 기하학적 유사성은,
상기 제 1 형태와 상기 제 2 형태가 스케일링(scaling) 관계인 것을 특징으로 하는 차량 영역 추적 방법.
The method of claim 4, wherein the geometric similarity is
And the first form and the second form have a scaling relationship.
제 1항에 있어서,
상기 추적된 차량 영역을 출력하는 단계를 더 포함하는 것을 특징으로 하는 차량 영역 추적 방법.
The method of claim 1,
And outputting the tracked vehicle area.
카메라 모듈로부터 시차를 두고 복수의 이미지를 수신하고,
상기 복수의 이미지 중 제 1 이미지에서 차량 특징점들을 검출하고,
상기 차량 특징점들의 광류(optical flow)를 기반으로 차량 영역을 추적하는제어부; 및
상기 제어부의 제어에 따라 차량의 외부를 촬영한 이미지를 상기 제어부로 전송하는 카메라 모듈을 포함하되,
상기 차량 특징점들의 광류는 상기 제 1 이미지와 상기 복수의 이미지 중 제 2 이미지와 사이에 존재하는 것을 특징으로 하는 차량 영역 추적 장치.
Receive a plurality of images at a parallax from the camera module,
Detecting vehicle feature points in a first image of the plurality of images,
A controller for tracking a vehicle area based on an optical flow of the vehicle feature points; And
Under the control of the control unit includes a camera module for transmitting an image photographing the outside of the vehicle,
And an optical flow of the vehicle feature points is present between the first image and a second image of the plurality of images.
제 7항에 있어서, 상기 복수의 이미지 중 제 1 이미지에서 검출한 차량 특징점들은,
차량의 세부적인 특징을 나타내는 차량의 텍스쳐 또는 윤곽 정보인 것을 특징으로 하는 차량 영역 추적 장치.
The method of claim 7, wherein the vehicle feature points detected in the first image of the plurality of images,
Vehicle area tracking device characterized in that the texture or contour information of the vehicle representing the detailed characteristics of the vehicle.
제 8항에 있어서, 상기 차량의 텍스쳐 또는 윤곽 정보는,
LAB(locally assembled binary) 특징, HOG(histograms of oriented gradients) 특징, LBP(local binary pattern) 특징 중 하나 이상인 것을 특징으로 하는 차량 영역 추적 장치.
The method of claim 8, wherein the texture or contour information of the vehicle,
And at least one of a locally assembled binary (LAB) feature, a histograms of oriented gradients (HOG) feature, and a local binary pattern (LBP) feature.
제 7항에 있어서, 상기 제어부는,
상기 제 1 이미지에서 검출한 상기 차량 특징점들이 이루는 제 1 형태와, 상기 제 1 이미지와 상기 제 2 이미지와 사이에 존재하는 광류를 근거로 추출한 차량 특징점들이 이루는 제 2 형태가 기하학적 유사성을 이루는지 여부를 추적하는 것을 특징으로 하는 차량 영역 추적 장치.
8. The apparatus of claim 7,
Whether the first shape formed by the vehicle feature points detected in the first image and the second shape formed by vehicle feature points extracted based on the light flow existing between the first image and the second image form a geometric similarity. Vehicle area tracking device, characterized in that for tracking.
제 10항에 있어서, 상기 기하학적 유사성은,
상기 제 1 형태와 상기 제 2 형태의 스케일링(scaling) 관계인 것을 특징으로 하는 차량 영역 추적 장치.
The method of claim 10, wherein the geometric similarity is
And a scaling relationship between the first form and the second form.
제 7항에 있어서,
표시부를 더 포함하며, 상기 제어부는,
상기 검출된 차량 영역을 출력하도록 상기 표시부를 제어하는 것을 특징으로 하는 차량 영역 추적 장치.
8. The method of claim 7,
The display unit may further include a control unit.
And controlling the display unit to output the detected vehicle area.
KR1020110078359A 2011-08-05 2011-08-05 Apparatus and method for tracking car KR101612817B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110078359A KR101612817B1 (en) 2011-08-05 2011-08-05 Apparatus and method for tracking car

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110078359A KR101612817B1 (en) 2011-08-05 2011-08-05 Apparatus and method for tracking car

Publications (2)

Publication Number Publication Date
KR20130015982A true KR20130015982A (en) 2013-02-14
KR101612817B1 KR101612817B1 (en) 2016-04-15

Family

ID=47895673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110078359A KR101612817B1 (en) 2011-08-05 2011-08-05 Apparatus and method for tracking car

Country Status (1)

Country Link
KR (1) KR101612817B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599286A (en) * 2013-10-31 2015-05-06 展讯通信(天津)有限公司 Optical flow based feature tracking method and device
US20220080974A1 (en) * 2020-09-17 2022-03-17 Hyundai Motor Company Vehicle and method of controlling the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743398B1 (en) * 2016-05-24 2017-06-05 (주)베라시스 Apparatus and method for detecting vehicle using the image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599286A (en) * 2013-10-31 2015-05-06 展讯通信(天津)有限公司 Optical flow based feature tracking method and device
CN104599286B (en) * 2013-10-31 2018-11-16 展讯通信(天津)有限公司 A kind of characteristic tracking method and device based on light stream
US20220080974A1 (en) * 2020-09-17 2022-03-17 Hyundai Motor Company Vehicle and method of controlling the same
US11713044B2 (en) * 2020-09-17 2023-08-01 Hyundai Motor Company Vehicle for estimation a state of the other vehicle using reference point of the other vehicle, and method of controlling the vehicle

Also Published As

Publication number Publication date
KR101612817B1 (en) 2016-04-15

Similar Documents

Publication Publication Date Title
KR102322813B1 (en) 3d silhouette sensing system
US11455044B2 (en) Motion detection system having two motion detecting sub-system
US10877564B2 (en) Approaches for displaying alternate views of information
US9070191B2 (en) Aparatus, method, and recording medium for measuring distance in a real space from a feature point on the road
US9729865B1 (en) Object detection and tracking
KR102121592B1 (en) Method and apparatus for protecting eyesight
US10027883B1 (en) Primary user selection for head tracking
US9256324B2 (en) Interactive operation method of electronic apparatus
US9303982B1 (en) Determining object depth information using image data
US9792491B1 (en) Approaches for object tracking
US9298974B1 (en) Object identification through stereo association
US8340504B2 (en) Entertainment device and method
US20130266174A1 (en) System and method for enhanced object tracking
EP2824905B1 (en) Group recording method, machine-readable storage medium, and electronic device
US10990226B2 (en) Inputting information using a virtual canvas
CN107741782B (en) Equipment virtual roaming method and device
KR101835363B1 (en) Apparatus and method for continuously displaying the information of objects changed by the movement of line of sights
KR20110074488A (en) Imaging device, display image device, and electronic device
US11092690B1 (en) Predicting lidar data using machine learning
US9377866B1 (en) Depth-based position mapping
KR101257871B1 (en) Apparatus and method for detecting object based on vanishing point and optical flow
KR101612817B1 (en) Apparatus and method for tracking car
KR101016095B1 (en) Method and apparatus for detecting changes in background of images using binary images thereof and hough transform
KR101224090B1 (en) Apparatus and method for detecting nearing car
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 4