KR102164637B1 - System for tracking a object in road and method thereof - Google Patents

System for tracking a object in road and method thereof Download PDF

Info

Publication number
KR102164637B1
KR102164637B1 KR1020140127103A KR20140127103A KR102164637B1 KR 102164637 B1 KR102164637 B1 KR 102164637B1 KR 1020140127103 A KR1020140127103 A KR 1020140127103A KR 20140127103 A KR20140127103 A KR 20140127103A KR 102164637 B1 KR102164637 B1 KR 102164637B1
Authority
KR
South Korea
Prior art keywords
pedestrian
detected
tracked
candidate group
object tracking
Prior art date
Application number
KR1020140127103A
Other languages
Korean (ko)
Other versions
KR20160035463A (en
Inventor
이강훈
김진학
최은진
이완재
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140127103A priority Critical patent/KR102164637B1/en
Publication of KR20160035463A publication Critical patent/KR20160035463A/en
Application granted granted Critical
Publication of KR102164637B1 publication Critical patent/KR102164637B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

본 발명의 실시예에 따른 고속 객체 추적 시스템은 영상 데이터에서 보행자 후보군을 추출하고 상기 보행자 후보군 중 보행자를 검출하는 객체 검출부; 및 상기 영상 데이터에서 이전 프레임에서 검출된 보행자와 현재 프레임에서 검출된 보행자를 비교하여 추적할 추적 보행자를 선정하고 상기 추적 보행자의 움직임을 추적하는 객체 추적부를 포함할 수 있다.A high-speed object tracking system according to an embodiment of the present invention includes an object detection unit that extracts a pedestrian candidate group from image data and detects a pedestrian among the pedestrian candidate groups; And an object tracking unit for selecting a tracking pedestrian to be tracked by comparing the pedestrian detected in the previous frame with the pedestrian detected in the current frame in the image data, and tracking the movement of the tracked pedestrian.

Description

고속 객체 추적 시스템 및 그 방법{System for tracking a object in road and method thereof}High-speed object tracking system and its method TECHNICAL FIELD

본 발명은 고속 객체 추적 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 차량 주변의 이동중인 보행자를 정확하게 검출할 수 있는 기술이다.The present invention relates to a high-speed object tracking system and method thereof, and more particularly, to a technology capable of accurately detecting a pedestrian moving around a vehicle.

차량 기술이 발달하면서 차량간의 거리 검출, 차량 간의 충돌 검출, 차량 전방의 장애물 검출 등 안전 운전을 위한 차량 안전 운전 시스템들이 계속 개발되고 있다.As vehicle technology develops, vehicle safety driving systems for safe driving such as distance detection between vehicles, collision detection between vehicles, and obstacle detection in front of vehicles are continuously developed.

이러한 차량 안전 운전 시스템들의 신뢰도를 높이기 위해서는 차량 주변의 차량 주변의 차량 후보군들을 정확히 검출하는 것이 중요하다. In order to increase the reliability of these vehicle safety driving systems, it is important to accurately detect vehicle candidate groups around the vehicle.

이러한 차량 후보군 검출을 위해 종래에는 카메라를 이용하여 영상을 촬영한 후 영상 데이터를 필터링하여 차량 후보군을 검출하였다. 그런데, 이러한 필터 기반 객체 추적 방식은 자동차와 객체의 움직임으로 인해 카메라와 객체 사이에 비선형적인 관계가 발행하여 객체의 움직임을 정확히 예측하기 어렵다.In order to detect such a vehicle candidate group, conventionally, an image is captured using a camera and then the image data is filtered to detect the vehicle candidate group. However, in this filter-based object tracking method, a nonlinear relationship between the camera and the object is generated due to the movement of the vehicle and the object, so it is difficult to accurately predict the movement of the object.

또한, 추적하기 위한 측정치를 할당하기 위하여 검출 영역 주위를 설정하기 어려워 넓은 영역을 검색해야 하며 이는 연산량을 증가시키게 된다. 또한, 차량 또는 보행자의 급격한 모션 변화가 발생하는 경우 보행자의 움직임을 놓치기 쉬운 문제점이 있다.In addition, in order to allocate a measurement value for tracking, it is difficult to set around the detection area, so a large area must be searched, which increases the amount of computation. In addition, when a sudden change in motion of a vehicle or a pedestrian occurs, there is a problem that the movement of the pedestrian is easily missed.

본 발명의 실시예는 차량에 장착된 카메라를 이용하여 전방의 객체(보행자 또는 차량)를 인지하고 고속의 보행자를 정확히 추적하기 위한 고속 객체 추적 시스템 및 그 방법을 제공하고자 한다.An embodiment of the present invention is to provide a high-speed object tracking system and method for recognizing an object (pedestrian or vehicle) in front using a camera mounted on a vehicle and accurately tracking a high-speed pedestrian.

본 발명의 실시예에 따른 고속 객체 추적 시스템은 영상 데이터에서 보행자 후보군을 추출하고 상기 보행자 후보군 중 보행자를 검출하는 객체 검출부; 및 상기 영상 데이터에서 이전 프레임에서 검출된 보행자와 현재 프레임에서 검출된 보행자를 비교하여 추적할 추적 보행자를 선정하고 상기 추적 보행자의 움직임을 추적하는 객체 추적부를 포함할 수 있다.A high-speed object tracking system according to an embodiment of the present invention includes an object detection unit that extracts a pedestrian candidate group from image data and detects a pedestrian among the pedestrian candidate groups; And an object tracking unit for selecting a tracking pedestrian to be tracked by comparing the pedestrian detected in the previous frame with the pedestrian detected in the current frame in the image data, and tracking the movement of the tracked pedestrian.

또한, 상기 객체 검출부에서 검출된 보행자와 상기 객체 추적부에서 추적된 추적 보행자를 통합하여 하나의 검출 보행자로 결정하고 저장하는 객체 영역 통합부를 더 포함할 수 있다.In addition, the object area integration unit may further include an object area integration unit that integrates the pedestrian detected by the object detection unit and the tracked pedestrian tracked by the object tracking unit to determine and store one detected pedestrian.

또한, 상기 객체 검출부는, 상기 영상 데이터에서 보행자 영역을 세분화(segmentation)하고, 상기 세분화된 영역을 라벨링한 후 라벨링한 객체를 군집화하여 상기 보행자 후보군을 추출할 수 있다.In addition, the object detector may extract the pedestrian candidate group by segmenting the pedestrian area from the image data, labeling the segmented area, and clustering the labeled objects.

또한, 상기 객체 검출부는, 상기 영상 데이터에서 각 픽셀의 밝기 분포를 이용하여 상기 보행자 영역을 세분화할 수 있다.In addition, the object detector may subdivide the pedestrian area by using a brightness distribution of each pixel in the image data.

또한, 상기 객체 검출부는, 상기 추출된 보행자 후보군의 크기를 정규화하고 각 픽셀값의 그래디언트 정보를 이용하여 상기 추출된 보행자 후보군 중 보행자를 검출할 수 있다.In addition, the object detector may normalize the size of the extracted pedestrian candidate group and detect a pedestrian among the extracted pedestrian candidate groups by using gradient information of each pixel value.

또한, 상기 객체 추적부는, 이전 프레임에서 검출된 보행자의 크기를 정규화하여 보행자 정보와 함께 저장하고, 다음 프레임에서 보행자 후보를 검출한 후 상기 보행자 정보를 이용하여 상기 다음 프레임에서의 보행자 후보 중 추적할 보행자를 추출할 수 있다.In addition, the object tracking unit normalizes the size of the pedestrian detected in the previous frame and stores it together with the pedestrian information, detects a pedestrian candidate in the next frame, and then uses the pedestrian information to track among the pedestrian candidates in the next frame. Pedestrians can be extracted.

또한, 상기 보행자 정보는 상기 검출된 보행자의 픽셀별 밝기값, 폭, 중심좌표 정보 중 적어도 하나 이상이고 상기 보행자의 정규화된 크기는 상기 보행자의 상반신인 것을 특징으로 한다.In addition, the pedestrian information is at least one of the detected brightness value, width, and center coordinate information for each pixel of the pedestrian, and the normalized size of the pedestrian is the upper body of the pedestrian.

또한, 상기 객체 추적부는, 상기 다음 프레임에서 검출된 보행자 후보의 크기와 상기 이전 프레임에서 검출된 보행자 크기와 합산하여 평균값을 산출하고, 상기 다음 프레임에서 검출된 보행자 후보의 크기를 상기 평균값으로 조절할 수 있다.In addition, the object tracking unit may calculate an average value by summing the size of the pedestrian candidate detected in the next frame and the size of the pedestrian detected in the previous frame, and adjust the size of the pedestrian candidate detected in the next frame as the average value. have.

또한, 상기 객체 추적부는, 상기 보행자 정보 중 중심좌표 및 폭을 이용하여 추적할 보행자 후보군을 선정하고, 선정된 추적할 보행자 후보군의 크기를 정규화한 후 상기 보행자 정보 중 픽셀값을 이용하여 상기 추적 보행자를 추적할 수 있다.In addition, the object tracking unit selects a pedestrian candidate group to be tracked using the central coordinate and width of the pedestrian information, normalizes the size of the selected pedestrian candidate group to be tracked, and then uses the pixel value of the pedestrian information. Can be traced.

또한, 본 발명에 따른 고속 객체 추적 방법은 영상 데이터가 입력되면, 상기 영상 데이터의 제 1 프레임에서 보행자 후보군을 추출하는 단계; 상기 보행자 후보군 중 보행자를 검출하는 단계; 상기 검출된 보행자 및 보행자 정보를 함께 저장하는 단계; 상기 영상 데이터의 제 2 프레임에서 보행자 후보군을 추출하는 단계; 및 상기 제 1 프레임에서 검출되어 저장된 보행자 및 보행자 정보를 이용하여 상기 제 2 프레임에서 추출된 보행자 후보군 중 추적 보행자를 선정하는 단계를 포함할 수 있다.In addition, the high-speed object tracking method according to the present invention, when image data is input, extracting a pedestrian candidate group from the first frame of the image data; Detecting a pedestrian among the candidate pedestrian groups; Storing the detected pedestrian and pedestrian information together; Extracting a pedestrian candidate group from a second frame of the image data; And selecting a tracked pedestrian from among the pedestrian candidate group extracted from the second frame using the pedestrian and pedestrian information detected and stored in the first frame.

또한, 상기 보행자 후보군을 추출하는 단계는, 상기 영상 데이터에서 보행자 영역을 세분화하는 단계; 상기 세분화된 영역을 라벨링하는 단계; 및 상기 라벨링된 객체를 군집화하여 상기 보행자 후보군을 검출하는 단계를 포함할 수 있다.In addition, the step of extracting the pedestrian candidate group may include subdividing a pedestrian area from the image data; Labeling the subdivided area; And detecting the pedestrian candidate group by clustering the labeled objects.

또한, 상기 보행자를 검출하는 단계는, 상기 추출된 보행자 후보군의 사이즈를 정규화하고 각 픽셀의 밝기값 그래디언트 정보를 이용하여 상기 추출된 보행자 후보군의 보행자 여부를 판단할 수 있다.In the step of detecting the pedestrian, the size of the extracted pedestrian candidate group may be normalized, and whether the extracted pedestrian candidate group is a pedestrian may be determined by using the brightness value gradient information of each pixel.

또한, 상기 추적 보행자를 선정하는 단계는, 상기 보행자 정보 중 중심 좌표 및 폭을 이용하여 상기 제 2 프레임에서 추출된 보행자 후보군 중 추적 보행자를 선정할 수 있다.In addition, in the step of selecting the tracked pedestrian, a tracked pedestrian may be selected from among the pedestrian candidate group extracted from the second frame using a center coordinate and a width of the pedestrian information.

또한, 상기 추적 보행자를 선정하는 단계는, 상기 보행자 후보군의 크기 오차를 조절할 수 있다.In addition, the step of selecting the tracked pedestrian may adjust a size error of the pedestrian candidate group.

또한, 상기 추적 보행자를 선정하는 단계는, 상기 보행자 정보 중 픽셀값을 이용하여 상기 보행자 후보군 중 최종 보행자를 추적할 수 있다.In addition, in the step of selecting the tracked pedestrian, a final pedestrian among the pedestrian candidate group may be tracked by using a pixel value of the pedestrian information.

본 기술은 고속의 객체(보행자, 차량)의 움직임을 정확히 추적하여 객체의 행동패턴을 판단하거나 차량과의 출동 가능성을 정확히 산출할 수 있어 차량의 안전 운전 가능성을 증대시킬 수 있다.The present technology can accurately track the movement of a high-speed object (pedestrian, vehicle) to determine the behavior pattern of the object or accurately calculate the possibility of movement with the vehicle, thereby increasing the possibility of safe driving of the vehicle.

도 1은 본 발명의 실시예에 따른 고속 객체 추적 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 고속 객체 추적 방법을 나타내는 순서도이다.
도 3은 본 발명의 도 2에서 보행자 후보군을 추출하는 과정을 구체적으로 나타내는 순서도이다.
도 4는 본 발명의 도 2에서 보행자를 추적하는 과정을 구체적으로 나타내는 순서도이다.
도 5는 본 발명의 도 2에서 입력된 영상 데이터의 원본을 나타내는 예시도이다.
도 6은 본 발명의 도 3에서 보행자 영역을 세분화한 상태의 예시도이다.
도 7은 본 발명의 도 3에서 세분화된 보행자 영역을 라벨링한 예시도이다.
도 8은 본 발명의 도 3에서 보행자 후보군을 추출한 예시도이다.
도 9는 본 발명의 도 8에서 추출된 보행자 후보군에서 보행자를 검출하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 도 9에서 검출된 보행자를 추적하는 방법을 설명하기 위한 도면이다.
도 11은 도 2에서 보행자 후보군 중 추적할 보행자 후보군을 표시한 예시도이다.
도 12는 도 11에서 추적할 보행자 후보군 중 필터링된 추적 보행자를 표시한 예시도이다.
도 13은 도 4에서 보행자 후보군 영역을 조절하는 방법을 설명하는 도면이다.
도 14는 도 4에서 MSAD를 이용한 최종 보행자 추적 방법을 설명하기 위한 도면이다.
도 15a는 추적된 보행자의 MSAD를 이용한 보행자 추적 방법을 설명한 예시도이다.
도 15b는 추적되지 않은 보행자의 MSAD를 이용한 보행자 추적 방법을 설명한 예시도이다.
도 16은 추적 보행자와 검출 보행자를 통합하는 과정을 설명하기 위한 도면이다.1 is a block diagram of a high-speed object tracking system according to an embodiment of the present invention.
2 is a flowchart illustrating a method of tracking a high-speed object according to an embodiment of the present invention.
3 is a flow chart specifically showing a process of extracting a candidate pedestrian group in FIG. 2 of the present invention.
4 is a flow chart specifically showing a process of tracking a pedestrian in FIG. 2 of the present invention.
5 is an exemplary view showing the original image data input in FIG. 2 of the present invention.
6 is an exemplary view showing a state in which the pedestrian area is subdivided in FIG. 3 of the present invention.
7 is an exemplary diagram of labeling a pedestrian area subdivided in FIG. 3 of the present invention.
8 is an exemplary diagram of extracting a candidate pedestrian group in FIG. 3 of the present invention.
9 is a view for explaining a method of detecting a pedestrian in the pedestrian candidate group extracted in FIG. 8 of the present invention.
10 is a diagram for explaining a method of tracking a pedestrian detected in FIG. 9 of the present invention.
11 is an exemplary diagram showing a pedestrian candidate group to be tracked among the pedestrian candidate groups in FIG. 2.
FIG. 12 is an exemplary view showing filtered tracking pedestrians among pedestrian candidate groups to be tracked in FIG. 11.
13 is a diagram illustrating a method of adjusting a pedestrian candidate group region in FIG. 4.
14 is a diagram for explaining a final pedestrian tracking method using MSAD in FIG. 4.
15A is an exemplary diagram illustrating a pedestrian tracking method using MSAD of a tracked pedestrian.
15B is an exemplary diagram illustrating a pedestrian tracking method using MSAD of an untracked pedestrian.
16 is a diagram for explaining a process of integrating a tracked pedestrian and a detected pedestrian.

이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.Hereinafter, in order to describe in detail enough that those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention, a most preferred embodiment of the present invention will be described with reference to the accompanying drawings.

본 발명은 고속의 객체(보행자 또는 차량)의 움직임을 추적할 수 있는 기술을 개시한다.
The present invention discloses a technology capable of tracking the movement of a high-speed object (pedestrian or vehicle).

이하, 도 1 내지 도 16을 참조하여, 본 발명의 실시예들을 구체적으로 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 16.

도 1은 본 발명의 실시예에 따른 고속 객체 추적 시스템의 구성도이다.1 is a block diagram of a high-speed object tracking system according to an embodiment of the present invention.

본 발명에 따른 고속 객체 추적 시스템은 영상 획득부(100), 객체 검출부(200), 객체 추적부(300), 객체 영역 통합부(400), 저장부(500), 표시부(600)를 포함한다.The high-speed object tracking system according to the present invention includes an image acquisition unit 100, an object detection unit 200, an object tracking unit 300, an object area integration unit 400, a storage unit 500, and a display unit 600. .

영상 획득부(100)는 차량의 전방 또는 측후방에 대한 영상을 획득한다. 이를 위해 영상 획득부(100)는 카메라로 구현될 수 있다.The image acquisition unit 100 acquires an image of the front or rear side of the vehicle. To this end, the image acquisition unit 100 may be implemented as a camera.

객체 검출부(200)는 저장부(500)에 저장되어 있는 객체 데이터 베이스를 이용하여 미리 학습된 정보를 이용하여 객체를 검출하고 그 결과를 객체 영역 통합부(400)로 전달한다. 이때, 객체는 보행자 또는 차량 등을 포함할 수 있으며 이하, 본 발명의 실시예에서는 편의상 보행자를 지칭하여 설명하기로 한다.The object detection unit 200 detects an object using pre-learned information using an object database stored in the storage unit 500 and transmits the result to the object area integration unit 400. In this case, the object may include a pedestrian or a vehicle. Hereinafter, in an embodiment of the present invention, it will be described referring to a pedestrian for convenience.

이러한 객체 검출부(200)는 도 5와 같은 원본의 영상 데이터에서 각 픽셀의 밝기 분포가 일정 밝기 이상인지를 판단하여 일정 밝기 이상인 픽셀은 "1" 일정밝기 미만의 픽셀은 "0"으로 설정하여 보행자 영역을 도 6과 같이 세분화한다(segmentation). 그 후, 객체 검출부(200)는 도 7과 같이 세분화된 영역에 라벨링을 수행하고 도 8과 같이 라벨링한 보행자를 군집화하여 최종적인 보행자 후보군 영역(B)을 설정한다. 이때, 도 8에서는 편의를 위해 보행자 후보군 영역(B)에 라운딩 박스처리를 하여 도식화 하고 있다.The object detector 200 determines whether the brightness distribution of each pixel in the original image data as shown in FIG. 5 is greater than or equal to a certain brightness, and sets “1” for pixels having a certain brightness or higher, and “0” for pixels less than a certain brightness. The area is subdivided as shown in FIG. 6 (segmentation). After that, the object detection unit 200 performs labeling on the subdivided area as shown in FIG. 7 and clusters the labeled pedestrians as shown in FIG. 8 to set the final pedestrian candidate group area B. In this case, in FIG. 8, for convenience, a rounding box is processed in the pedestrian candidate group region (B) and is illustrated.

이때, 객체 검출부(200)는 도 9와 같이 추출된 보행자 후보군을 일정 사이즈(32*64)로 정규화하고, 각 픽셀의 그래디언트(Gradient) 정보를 이용한 HOG(Histogram of Oriented Gradient)를 사용하여 보행자 특징을 추출하고 대량의 데이터베이스로 학습된 분류기를 이용하여 보행자 여부를 판단한다. 예를 들어, 보행자가 우측으로 이동할 때의 옆모습, 보행자가 좌측으로 이동할 때의 옆모습, 앞모습, 뒷모습 등 보행자의 관련 영상 데이터를 데이터베이스화하여 미리 저장부(500)에 저장해두고 추출된 보행자 후보군과 데이터베이스에 저장되어 있는 보행자 특징을 비교함으로써 보행자 후보군이 보행자인지 비보행자인지를 판단한다.At this time, the object detection unit 200 normalizes the extracted pedestrian candidate group as shown in FIG. 9 to a certain size (32*64), and uses the Histogram of Oriented Gradient (HOG) using the gradient information of each pixel to characterize the pedestrian. Is extracted and determines whether a pedestrian is a pedestrian using a classifier learned with a large database. For example, image data related to pedestrians, such as a side view when a pedestrian moves to the right, a side view when a pedestrian moves to the left, a front view, and a back view, are databaseized and stored in the storage unit 500 in advance, and the extracted pedestrian candidate group and database It is determined whether the pedestrian candidate group is a pedestrian or a non-pedestrian by comparing the characteristics of pedestrians stored in.

객체 추적부(300)는 객체 영역 통합부(400)에서 검출된 보행자가 존재하는 경우 동작되며, 현재 프레임의 검출된 보행자의 상반신 정보를 저장부(500)에 저장하고 현재 프레임에서 검출되는 보행자 후보군과 비교하여 움직임을 추적한다.The object tracking unit 300 is operated when there is a pedestrian detected by the object area integration unit 400, and stores the upper body information of the detected pedestrian in the current frame in the storage unit 500, and the pedestrian candidate group detected in the current frame Compare with and track the movement.

객체 추적부(300)는 도 10과 같이 객체 검출부(200)에서 검출된 검출 보행자의 중심좌표(x, y), 검출 보행자의 폭(W), 검출 보행자의 픽셀별 밝기값 정보를 검출 보행자의 상반신 정보와 함께 저장부(500)에 저장한다. 이때, 저장되는 검출 보행자 픽셀별 밝기값은 픽셀로 정규화하여 저장한다As shown in FIG. 10, the object tracking unit 300 detects the central coordinates (x, y) of the detected pedestrians detected by the object detection unit 200, the width of the detected pedestrians (W), and information on the brightness value of each pixel of the detected pedestrians. It is stored in the storage unit 500 together with the upper body information. At this time, the stored brightness value for each detected pedestrian pixel is normalized and stored as a pixel.

그 후, 객체 추적부(300)는 추적할 보행자 후보군을 필터링하여 추적 보행자 후보를 추적한다. 이를 위해, 객체 추적부(300)는 도 11과 같이 이전 프레임에서 저장된 검출 보행자정보(중심좌표, 폭)을 이용하여 추적할 후보군을 선정한다. 즉,객체 추적부(300)는 각 후보군의 중심 좌표 거리와 폭을 산출하여 이전 프레임 검출 보행자의 중심 좌표 거리 및 폭과 비교하여 그 차이값을 계산한다. 이때, 후보군을 필터링하기 위한 임계값을 미리 설정하는 것이 바람직하며 임계값은 검출 보행자 폭의 상수배로 정할 수 있다. 이에, 객체 추적부(300)는 검출된 보행자 크기가 일정값 이상으로 너무 크거나 보행자 위치가 일정값 이상으로 멀면 추적할 후보군에서 제외한다. 이에 도 12와 같이 필터링된 보행자 후보군만 남게 된다.After that, the object tracking unit 300 tracks the pedestrian candidates to be tracked by filtering the pedestrian candidate group to be tracked. To this end, the object tracking unit 300 selects a candidate group to be tracked using the detected pedestrian information (central coordinates, width) stored in the previous frame as shown in FIG. 11. That is, the object tracking unit 300 calculates the center coordinate distance and width of each candidate group and compares the center coordinate distance and width of the previous frame detection pedestrian to calculate the difference value. In this case, it is desirable to set a threshold value for filtering the candidate group in advance, and the threshold value may be determined as a constant multiple of the width of the detected pedestrian. Accordingly, the object tracking unit 300 excludes the detected pedestrian size from the candidate group to be tracked when the detected pedestrian size is too large by a predetermined value or more or the pedestrian position is far beyond a predetermined value. Accordingly, only the pedestrian candidate group filtered as shown in FIG. 12 remains.

한편, 객체 추적부(300)는 보행자 후보군을 추출할 때 실제보다 크거나 작게 찾아진 경우 이전 프레임 검출 보행자와 비교할 때 도 13와 같이 오차가 발생될 수 있다. 도 13과 같이 이전 프레임에서 검출된 보행자의 상반신 저장 데이터와 현재 프레임에서 추출된 보행자 후보군을 비교할 때, 이전 프레임에서 검출된 보행자 후보군의 크기와 현재 프레임에서 추출된 보행자 후보군의 크기가 일치하지 않은 경우 서로 다른 보행자인 것으로 판단될 수 있다. 이에, 도 13과 같이, 보행자 후보군 영역의 크기를 이전 프레임에서 검출된 검출 보행자 크기와 현재 프레임에서 검출된 보행자 크기의 합의 평균값으로 현재 프레임에서 검출된 보행자 크기를 조절한다. 도 13에서는 이전 프레임 검출 보행자의 크기가 32*32라고 할때, 현재 프레임 보행자 후보군이 이전 프레임 검출 보행자 크기보다 작게 찾아져 25*25 크기인 경우 이전 프레임 검출 보행자 크기와 현재 프레임 검출 보행자 크기의 평균인 29*29로 현재 프레임 검출 보행자 크기를 조절한다. Meanwhile, when the object tracking unit 300 extracts the pedestrian candidate group and finds it to be larger or smaller than the actual one, an error may occur as shown in FIG. 13 when compared with the previous frame-detecting pedestrian. When comparing the stored upper body data of the pedestrian detected in the previous frame with the pedestrian candidate group extracted from the current frame, as shown in FIG. 13, the size of the pedestrian candidate group detected in the previous frame and the size of the pedestrian candidate group extracted from the current frame do not match. It can be determined that they are different pedestrians. Thus, as shown in FIG. 13, the size of the pedestrian candidate group region is adjusted to the average value of the sum of the detected pedestrian size detected in the previous frame and the pedestrian size detected in the current frame. In FIG. 13, when the size of the previous frame detection pedestrian is 32*32, the current frame pedestrian candidate group is found to be smaller than the previous frame detection pedestrian size and is 25*25, the average of the previous frame detection pedestrian size and the current frame detection pedestrian size. Adjust the size of pedestrians detecting the current frame with 29*29.

이 후, 객체 추적부(300)는 도 14와 같이 MSAD를 이용하여 추출된 보행자 후보군 중 최종 보행자를 추적한다. 즉, 객체 추적부(300)는 필터링되어 검출된 추적 보행자 후보군의 사이즈를 도 15a와 같이 16*16으로 정규화하고 이전 프레임에서 저장된 보행자의 픽셀값과 추적 보행자 후보군의 픽셀값을 비교하여 유사도(MSAD;Modified Sum of Absolute Difference)가 일정 값 이하이면 보행자로 추적한다. 이때, MSAD는 기존의 SAD(Sum of Absolute Difference)방식을 변형하여 그 객체간의 상관관계를 분석하는 것으로 밝기변화에 강인하게 적용 가능하며 연산 소모량이 적은 장점이 있다.Thereafter, the object tracking unit 300 tracks the final pedestrian among the pedestrian candidate groups extracted using the MSAD as shown in FIG. 14. That is, the object tracking unit 300 normalizes the size of the filtered and detected candidate tracking pedestrian group to 16*16 as shown in FIG. 15A, and compares the pixel value of the pedestrian stored in the previous frame with the pixel value of the candidate tracking pedestrian group, If ;Modified Sum of Absolute Difference) is less than a certain value, it is tracked as a pedestrian. At this time, MSAD is a method that analyzes the correlation between the objects by modifying the existing SAD (Sum of Absolute Difference) method, which can be applied robustly to changes in brightness and has the advantage of less computational consumption.

즉 도 15a와 같이, 이전 프레임의 보행자 후보군과 현재 프레임의 보행자 후보군의 동일 위치의 픽셀값의 차이값을 산출하여 픽셀값의 차이가 일정 임계치 미만이면 "0", 일정 임계치 이상이면 "1"로 설정하여 "0"이 되는 픽셀의 총 개수를 합산하여 상관관계 점수를 부여한다. 이때, 점수가 낮을수록 상관관계가 높을 수 있다. 한편, 도 15b는 추적되지 않은 보행자의 MSAD를 이용하는 경우의 결과를 도시하고 있다.That is, as shown in FIG. 15A, a difference value between the pixel values at the same location of the pedestrian candidate group in the previous frame and the pedestrian candidate group in the current frame is calculated. The correlation score is given by summing the total number of pixels that are set to "0". In this case, the lower the score, the higher the correlation may be. Meanwhile, FIG. 15B shows a result of using the MSAD of an untracked pedestrian.

객체 영역 통합부(400)는 객체 추적부(300)와 객체 검출부(200)의 결과를 도 16과 같이 하나의 객체 검출군으로 통합하여 저장부(500)에 저장한다.The object area integration unit 400 combines the results of the object tracking unit 300 and the object detection unit 200 into one object detection group as shown in FIG. 16 and stores them in the storage unit 500.

저장부(500)는 객체 정보 즉 보행자에 대한 보행자 데이터베이스 또는 차량에 대한 차량 데이터베이스 등을 미리 저장해둔다.The storage unit 500 stores object information, that is, a pedestrian database for a pedestrian or a vehicle database for a vehicle in advance.

표시부(600)는 검출된 고속의 객체 정보를 화면에 표시한다.
The display unit 600 displays the detected high-speed object information on the screen.

이하, 도 2를 참조하여 본 발명의 실시예에 따른 고속 객체 추적 방법을 구체적으로 설명하기로 한다.Hereinafter, a high-speed object tracking method according to an embodiment of the present invention will be described in detail with reference to FIG. 2.

먼저, 영상 획득부(100)에서 획득한 영상 데이터가 객체 검출부(200)로 전달되면(S100), 영상 데이터 중 제 1 프레임에서 보행자 후보군을 추출한다(S200). 즉 도 5와 같은 영상 데이터 원본에서 보행자 후보군을 추출한다.First, when the image data acquired by the image acquisition unit 100 is transmitted to the object detection unit 200 (S100), a pedestrian candidate group is extracted from the first frame of the image data (S200). That is, a pedestrian candidate group is extracted from the image data source as shown in FIG. 5.

그 후, 객체 검출부(200)는 보행자 후보군 중 보행자를 검출하고(S300), 객체 추적부(300)는 검출된 보행자의 상반신을 일정 크기로 정규화한 후 정규화된 보행자와 보행자 정보(중심좌표, 폭, 픽셀값)를 함께 저장한다(S400).Thereafter, the object detection unit 200 detects a pedestrian among the pedestrian candidate group (S300), and the object tracking unit 300 normalizes the detected upper body of the pedestrian to a certain size, and then normalized pedestrian and pedestrian information (central coordinates, width , Pixel values) are stored together (S400).

이어서, 객체 검출부(200)는 영상 데이터의 제 2 프레임에서 보행자 후보군을 추출하고(S500), 객체 추적부(300)는 추출된 보행자 후보군 중 보행자 영역에 저장되어 있는 보행자와 일치하는 보행자가 존재하는지 판단하고 보행자의 움직임을 추적한다(S600).Subsequently, the object detection unit 200 extracts a pedestrian candidate group from the second frame of the image data (S500), and the object tracking unit 300 determines whether there is a pedestrian matching the pedestrian stored in the pedestrian area among the extracted pedestrian candidate groups. Determine and track the movement of the pedestrian (S600).

그 후, 객체 영역 통합부(400)는 객체 검출부(200)에서 검출된 검출 보행자와 객체 추적부(300)에서 검출된 추적 보행자를 통합한다(S700).
Thereafter, the object area integration unit 400 integrates the detected pedestrian detected by the object detection unit 200 and the tracked pedestrian detected by the object tracking unit 300 (S700).

이하, 도 3을 참조하여 본 발명의 도 2에서 보행자 후보군을 추출하는 과정을 구체적으로 설명하기로 한다.Hereinafter, a process of extracting a candidate pedestrian group in FIG. 2 of the present invention will be described in detail with reference to FIG. 3.

먼저, 객체 검출부(200)는 도 5의 영상 데이터에서 각 픽셀의 밝기 분포를 이용하여 도 6과 같이 보행자 영역을 세분화한다(S201). First, the object detection unit 200 subdivides a pedestrian area as shown in FIG. 6 by using the brightness distribution of each pixel in the image data of FIG. 5 (S201).

그 후, 객체 검출부(200)는 세분화된 보행자 영역을 도 7과 같이 라벨링한다(S202).After that, the object detection unit 200 labels the subdivided pedestrian area as shown in FIG. 7 (S202).

이어서 객체 검출부(200)는 도 8과 같이 라벨링한 객체를 군집화하고 보행자 후보군을 추출한다(S203).
Subsequently, the object detection unit 200 clusters the labeled objects as shown in FIG. 8 and extracts a pedestrian candidate group (S203).

이하, 도 4를 참조하여 본 발명의 도 2에서 보행자를 추적하는 과정을 구체적으로 설명하기로 한다.Hereinafter, a process of tracking a pedestrian in FIG. 2 of the present invention will be described in detail with reference to FIG. 4.

먼저, 객체 추적부(300)는 도 10과 같이 영상 데이터의 이전 프레임(제 1 프레임)에서 검출된 보행자의 상반신 크기를 정규화하여 저장하고 픽셀별 밝기값, 폭, 중심좌표 등의 보행자 정보를 함께 저장한다(S601).First, the object tracking unit 300 normalizes and stores the size of the upper body of the pedestrian detected in the previous frame (first frame) of the image data as shown in FIG. 10, and stores pedestrian information such as brightness value, width, and center coordinates for each pixel. Save (S601).

그 후, 객체 검출부(200)가 현재 프레임(제 2 프레임)에서 보행자 후보군을 다시 검출하고, 객체 추적부(300)는 도 11 및 도 12와 같이 현재 프레임에서 검출된 보행자 후보군 중 추적할 후보군을 필터링하여 선정한다(S602). 이때, 객체 추적부(300)는 현재 프레임의 보행자 후보군과 이전 프레임에서 검출된 보행자의 중심좌표 거리와 폭의 차이를 산출하여 일정 임계치 이상인지를 판단한다. 예를 들어, 이전 프레임의 보행자 크기와 현재 프레임의 보행자 크기가 일정값 이상으로 크게 다르거나 이전 프레임의 보행자 위치와 현재 프레임의 보행자 위치가 일정값 이상으로 멀면 추적할 보행자 후보군에서 해당 보행자를 제외시킨다. 이때, 임계값은 검출 보행자 폭의 상수배로 설정할 수 있다.Thereafter, the object detection unit 200 detects the pedestrian candidate group again in the current frame (second frame), and the object tracking unit 300 selects a candidate group to be tracked among the pedestrian candidate groups detected in the current frame as shown in FIGS. 11 and 12. It is selected by filtering (S602). In this case, the object tracking unit 300 calculates a difference between the pedestrian candidate group in the current frame and the central coordinate distance and width of the pedestrian detected in the previous frame to determine whether it is equal to or greater than a predetermined threshold. For example, if the size of the pedestrian in the previous frame and the size of the pedestrian in the current frame are significantly different by more than a certain value, or the pedestrian position in the previous frame and the pedestrian position in the current frame are farther than a certain value, the corresponding pedestrian is excluded from the pedestrian candidate group to be tracked. . In this case, the threshold value may be set as a constant multiple of the detected pedestrian width.

이어서, 객체 추적부(300)는 도 13과 같이 보행자 후보군의 크기 오차를 조절한다(S603). 이는 객체 추적부(300)가 보행자 후보군을 추출할 때 실제보다 크거나 작게 찾아진 경우 이전 프레임 검출 보행자와 비교할 때 오차가 발생할 수 있다. 이에, 도 13과 같이 보행자 후보군 영역의 크기를 이전 프레임에서 검출된 검출 보행자 크기와 현재 프레임에서 검출된 보행자 크기의 합의 평균값으로 현재 프레임에서 검출된 보행자 크기를 조절한다. Subsequently, the object tracking unit 300 adjusts the size error of the pedestrian candidate group as shown in FIG. 13 (S603). When the object tracking unit 300 extracts the pedestrian candidate group, if it is found to be larger or smaller than the actual one, an error may occur when compared with the previous frame detection pedestrian. Thus, as shown in FIG. 13, the size of the pedestrian candidate group region is adjusted to the average value of the sum of the detected pedestrian size detected in the previous frame and the pedestrian size detected in the current frame.

이 후, 객체 추적부(300)는 MSAD를 적용하여 추출된 보행자 후보군 중 최종 보행자를 최종 보행자를 추적한다(S604). 즉, 객체 추적부(300)는 필터링되어 검출된 추적 보행자 후보군의 사이즈를 정규화하고 이전 프레임에서 저장된 보행자의 픽셀값과 추적 보행자 후보군의 픽셀값을 비교하여 최종 보행자를 추적한다. Thereafter, the object tracking unit 300 tracks the final pedestrian among the extracted pedestrian candidate groups by applying the MSAD (S604). That is, the object tracking unit 300 normalizes the size of the filtered and detected candidate tracking pedestrian group, and compares the pixel value of the pedestrian stored in the previous frame with the pixel value of the candidate tracking pedestrian group to track the final pedestrian.

이와 같이, 본 발명은 선형적 필터사용에서 탈피하여 비선형적 보행자 모션에 대응할 수 있고 차량의 움직임(전후진, 회전)이 발생하더라도 보행자 추적이 가능하다. 또한, 본 발명은 노면 상태에 따른 급격한 움직임 변화(방지턱, 언덕)에 대응 가능하고, 고속의 보행자의 움직임을 정확히 예측할 수 있어 행동패턴을 판단하거나 차량과의 출동 가능성을 정확히 산출할 수 있다.As described above, the present invention can cope with non-linear pedestrian motion by breaking away from the use of a linear filter, and pedestrian tracking is possible even when a vehicle movement (forward and backward, rotation) occurs. In addition, the present invention is capable of responding to sudden movement changes (bumps, hills) according to the road surface condition, and accurately predicts the movement of pedestrians at high speed, so that it is possible to determine a behavior pattern or accurately calculate the possibility of moving with a vehicle.

상술한 본 발명의 바람직한 실시예는 예시의 목적을 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.The preferred embodiments of the present invention described above are for the purpose of illustration, and those skilled in the art will be able to make various modifications, changes, substitutions and additions through the technical spirit and scope of the appended claims, and such modifications and changes will be made in the following patents. It should be viewed as falling within the scope of the claims.

Claims (15)

영상 데이터에서 보행자 후보군을 추출하고 상기 보행자 후보군 중 보행자를 검출하는 객체 검출부; 및
상기 영상 데이터에서 이전 프레임에서 검출된 보행자와 현재 프레임에서 검출된 보행자를 비교하여 추적할 추적 보행자를 선정하고 상기 추적 보행자의 움직임을 추적하는 객체 추적부
를 포함하고
상기 이전 프레임에서 검출된 보행자의 크기와 상기 현재 프레임에서 검출된 보행자 크기를 합산하여 평균값을 산출하고, 다음 프레임에서 검출된 보행자의 크기를 상기 평균값으로 조절하는 것을 특징으로 하는 고속 객체 추적 시스템.An object detection unit for extracting a pedestrian candidate group from the image data and detecting a pedestrian among the pedestrian candidate groups; And
Object tracking unit for selecting a tracking pedestrian to be tracked by comparing the pedestrian detected in the previous frame with the pedestrian detected in the current frame in the image data and tracking the movement of the tracked pedestrian
Including
A high-speed object tracking system, comprising: calculating an average value by summing the size of the pedestrian detected in the previous frame and the size of the pedestrian detected in the current frame, and adjusting the size of the pedestrian detected in the next frame as the average value. 청구항 1에 있어서,
상기 객체 검출부에서 검출된 보행자와 상기 객체 추적부에서 추적된 추적 보행자를 통합하여 하나의 검출 보행자로 결정하고 저장하는 객체 영역 통합부를 더 포함하는 것을 특징으로 하는 고속 객체 추적 시스템.The method according to claim 1,
A high-speed object tracking system, further comprising an object area integration unit that combines the pedestrian detected by the object detection unit and the tracked pedestrian tracked by the object tracking unit to determine and store one detected pedestrian. 청구항 1에 있어서,
상기 객체 검출부는,
상기 영상 데이터에서 보행자 영역을 세분화(segmentation)하고, 상기 세분화된 영역을 라벨링한 후 라벨링한 객체를 군집화하여 상기 보행자 후보군을 추출하는 것을 특징으로 하는 고속 객체 추적 시스템.The method according to claim 1,
The object detection unit,
A high-speed object tracking system, comprising: segmenting a pedestrian region from the image data, labeling the segmented region, and then clustering the labeled objects to extract the pedestrian candidate group. 청구항 3에 있어서,
상기 객체 검출부는,
상기 영상 데이터에서 각 픽셀의 밝기 분포를 이용하여 상기 보행자 영역을 세분화하는 것을 특징으로 하는 고속 객체 추적 시스템.The method of claim 3,
The object detection unit,
A high-speed object tracking system, characterized in that the pedestrian area is subdivided by using the brightness distribution of each pixel in the image data. 청구항 3에 있어서,
상기 객체 검출부는,
상기 추출된 보행자 후보군의 크기를 정규화하고 각 픽셀값의 그래디언트 정보를 이용하여 상기 추출된 보행자 후보군 중 보행자를 검출하는 것을 특징으로 하는 고속 객체 추적 시스템. The method of claim 3,
The object detection unit,
A high-speed object tracking system, comprising: normalizing the size of the extracted pedestrian candidate group and detecting a pedestrian among the extracted pedestrian candidate groups by using gradient information of each pixel value. 청구항 1에 있어서,
상기 객체 추적부는,
이전 프레임에서 검출된 보행자의 크기를 정규화하여 보행자 정보와 함께 저장하고, 다음 프레임에서 보행자 후보를 검출한 후 상기 보행자 정보를 이용하여 상기 다음 프레임에서의 보행자 후보 중 추적할 보행자를 추출하는 것을 특징으로 하는 고속 객체 추적 시스템.The method according to claim 1,
The object tracking unit,
The size of the pedestrian detected in the previous frame is normalized and stored together with the pedestrian information, and a pedestrian candidate to be tracked is extracted from among the pedestrian candidates in the next frame using the pedestrian information after detecting a pedestrian candidate in the next frame. High-speed object tracking system. 청구항 6에 있어서,
상기 보행자 정보는
상기 검출된 보행자의 픽셀별 밝기값, 폭, 중심좌표 정보 중 적어도 하나 이상이고,
상기 보행자의 정규화된 크기는 상기 보행자의 상반신인 것을 특징으로 하는 고속 객체 추적 시스템.The method of claim 6,
The above pedestrian information
At least one of the detected brightness value, width, and central coordinate information for each pixel of the pedestrian,
High-speed object tracking system, characterized in that the normalized size of the pedestrian is the upper body of the pedestrian. 삭제delete 청구항 6에 있어서,
상기 객체 추적부는,
상기 보행자 정보 중 중심좌표 및 폭을 이용하여 추적할 보행자 후보군을 선정하고, 선정된 추적할 보행자 후보군의 크기를 정규화한 후 상기 보행자 정보 중 픽셀값을 이용하여 상기 추적 보행자를 추적하는 것을 특징으로 하는 고속 객체 추적 시스템.The method of claim 6,
The object tracking unit,
Among the pedestrian information, a pedestrian candidate group to be tracked is selected using a central coordinate and a width, the size of the selected pedestrian candidate group to be tracked is normalized, and then the tracked pedestrian is tracked using a pixel value of the pedestrian information. High speed object tracking system. 영상 데이터가 입력되면, 상기 영상 데이터의 제 1 프레임에서 보행자 후보군을 추출하는 단계;
상기 보행자 후보군 중 보행자를 검출하는 단계;
상기 검출된 보행자 및 보행자 정보를 함께 저장하는 단계;
상기 영상 데이터의 제 2 프레임에서 보행자 후보군을 추출하는 단계;
상기 제 1 프레임에서 검출되어 저장된 보행자 및 보행자 정보를 이용하여 상기 제 2 프레임에서 추출된 보행자 후보군 중 추적 보행자를 선정하는 단계; 및
상기 제 1 프레임에서 검출된 보행자의 크기와 상기 제 2 프레임에서 검출된 보행자 크기를 합산하여 평균값을 산출하고, 다음 프레임에서 검출된 보행자의 크기를 상기 평균값으로 조절하는 단계;
를 포함하는 것을 특징으로 하는 고속 객체 추적 방법.When image data is input, extracting a pedestrian candidate group from the first frame of the image data;
Detecting a pedestrian among the candidate pedestrian groups;
Storing the detected pedestrian and pedestrian information together;
Extracting a pedestrian candidate group from a second frame of the image data;
Selecting a tracked pedestrian from among the pedestrian candidate group extracted from the second frame using the pedestrian and pedestrian information detected and stored in the first frame; And
Calculating an average value by summing the size of the pedestrian detected in the first frame and the size of the pedestrian detected in the second frame, and adjusting the size of the pedestrian detected in the next frame to the average value;
High-speed object tracking method comprising a. 청구항 10에 있어서,
상기 보행자 후보군을 추출하는 단계는,
상기 영상 데이터에서 보행자 영역을 세분화하는 단계;
상기 세분화된 영역을 라벨링하는 단계; 및
상기 라벨링된 객체를 군집화하여 상기 보행자 후보군을 검출하는 단계
를 포함하는 것을 특징으로 하는 고속 객체 추적 방법.The method of claim 10,
The step of extracting the pedestrian candidate group,
Segmenting a pedestrian area from the image data;
Labeling the subdivided area; And
Detecting the pedestrian candidate group by clustering the labeled objects
High-speed object tracking method comprising a. 청구항 10에 있어서,
상기 보행자를 검출하는 단계는,
상기 추출된 보행자 후보군의 사이즈를 정규화하고 각 픽셀의 밝기값 그래디언트 정보를 이용하여 상기 추출된 보행자 후보군의 보행자 여부를 판단하는 것을 특징으로 하는 고속 객체 추적 방법.The method of claim 10,
The step of detecting the pedestrian,
And determining whether the extracted pedestrian candidate group is a pedestrian by normalizing the size of the extracted pedestrian candidate group and using the brightness value gradient information of each pixel. 청구항 10에 있어서,
상기 추적 보행자를 선정하는 단계는,
상기 보행자 정보 중 중심 좌표 및 폭을 이용하여 상기 제 2 프레임에서 추출된 보행자 후보군 중 추적 보행자를 선정하는 것을 특징으로 하는 고속 객체 추적 방법.The method of claim 10,
The step of selecting the tracked pedestrian,
A high-speed object tracking method comprising selecting a tracked pedestrian from among the pedestrian candidate group extracted from the second frame by using a center coordinate and a width of the pedestrian information. 청구항 13에 있어서,
상기 추적 보행자를 선정하는 단계는,
상기 보행자 후보군의 크기 오차를 조절하는 것을 특징으로 하는 고속 객체 추적 방법.The method of claim 13,
The step of selecting the tracked pedestrian,
High-speed object tracking method, characterized in that adjusting the size error of the pedestrian candidate group. 청구항 14에 있어서,
상기 추적 보행자를 선정하는 단계는,
상기 보행자 정보 중 픽셀값을 이용하여 상기 보행자 후보군 중 최종 보행자를 추적하는 것을 특징으로 하는 고속 객체 추적 방법.The method of claim 14,
The step of selecting the tracked pedestrian,
A high-speed object tracking method comprising tracking a final pedestrian among the pedestrian candidate groups by using a pixel value of the pedestrian information.
KR1020140127103A 2014-09-23 2014-09-23 System for tracking a object in road and method thereof KR102164637B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140127103A KR102164637B1 (en) 2014-09-23 2014-09-23 System for tracking a object in road and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140127103A KR102164637B1 (en) 2014-09-23 2014-09-23 System for tracking a object in road and method thereof

Publications (2)

Publication Number Publication Date
KR20160035463A KR20160035463A (en) 2016-03-31
KR102164637B1 true KR102164637B1 (en) 2020-10-12

Family

ID=55652166

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140127103A KR102164637B1 (en) 2014-09-23 2014-09-23 System for tracking a object in road and method thereof

Country Status (1)

Country Link
KR (1) KR102164637B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258128B1 (en) * 2020-11-18 2021-05-31 주식회사 큐랩 User motion analysis method for dance training using ai-based image recognition
EP4064120B1 (en) * 2021-03-25 2023-07-26 Axis AB Method for determining images plausible to have a false negative object detection
KR102513382B1 (en) * 2022-02-09 2023-03-24 포티투닷 주식회사 Apparatus and method for determining location of pedestrain

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351193A (en) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd Device for detecting passenger
JP2006101384A (en) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd Human figure detecting apparatus and method
JP2010128919A (en) * 2008-11-28 2010-06-10 Hitachi Automotive Systems Ltd Object detection apparatus
KR101173853B1 (en) * 2012-04-18 2012-08-14 (주)한국알파시스템 Apparatus and method for Multi-Object Recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351193A (en) * 2000-06-09 2001-12-21 Nissan Motor Co Ltd Device for detecting passenger
JP2006101384A (en) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd Human figure detecting apparatus and method
JP2010128919A (en) * 2008-11-28 2010-06-10 Hitachi Automotive Systems Ltd Object detection apparatus
KR101173853B1 (en) * 2012-04-18 2012-08-14 (주)한국알파시스템 Apparatus and method for Multi-Object Recognition

Also Published As

Publication number Publication date
KR20160035463A (en) 2016-03-31

Similar Documents

Publication Publication Date Title
Narote et al. A review of recent advances in lane detection and departure warning system
CN106652465B (en) Method and system for identifying abnormal driving behaviors on road
Wu et al. Lane-mark extraction for automobiles under complex conditions
Keller et al. The benefits of dense stereo for pedestrian detection
US9818301B2 (en) Lane correction system, lane correction apparatus and method of correcting lane
US8902053B2 (en) Method and system for lane departure warning
US8750567B2 (en) Road structure detection and tracking
US10522039B2 (en) Pedestrian recognition apparatus and method
Du et al. Vision-based approach towards lane line detection and vehicle localization
De Paula et al. Automatic detection and classification of road lane markings using onboard vehicular cameras
Sina et al. Vehicle counting and speed measurement using headlight detection
Llorca et al. Stereo regions-of-interest selection for pedestrian protection: A survey
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
JP2016081525A (en) Vehicular image recognition system and corresponding method
CN102426785B (en) Traffic flow information perception method based on contour and local characteristic point and system thereof
KR102069843B1 (en) Apparatus amd method for tracking vehicle
KR101472674B1 (en) Method and apparatus for video surveillance based on detecting abnormal behavior using extraction of trajectories from crowd in images
KR20150002038A (en) Method of Real-Time Vehicle Recognition and Tracking Using Kalman Filter and Clustering Algorithm Based on Haar-like Feature and Adaboost
KR20180070258A (en) Method for detecting and learning of objects simultaneous during vehicle driving
CN103150547A (en) Vehicle tracking method and device
KR102164637B1 (en) System for tracking a object in road and method thereof
KR101809088B1 (en) Apparatus and method for forward collision warning
JP2018088233A (en) Information processing device, imaging device, apparatus control system, movable body, information processing method, and program
Xia et al. Automatic multi-vehicle tracking using video cameras: An improved CAMShift approach
Khan et al. Estimating speeds of pedestrians in real-world using computer vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant