KR20150081797A - Apparatus and method for tracking object - Google Patents

Apparatus and method for tracking object Download PDF

Info

Publication number
KR20150081797A
KR20150081797A KR1020140001649A KR20140001649A KR20150081797A KR 20150081797 A KR20150081797 A KR 20150081797A KR 1020140001649 A KR1020140001649 A KR 1020140001649A KR 20140001649 A KR20140001649 A KR 20140001649A KR 20150081797 A KR20150081797 A KR 20150081797A
Authority
KR
South Korea
Prior art keywords
tracking
unit
image
area
subject
Prior art date
Application number
KR1020140001649A
Other languages
Korean (ko)
Inventor
최진우
고종국
문기영
유장희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140001649A priority Critical patent/KR20150081797A/en
Publication of KR20150081797A publication Critical patent/KR20150081797A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a subject tracking method and apparatus. The apparatus of the present invention comprises: a subject detection unit for detecting a region containing a subject from an image input; a subject tracking unit for detecting a plurality of feature points from a region corresponding to the subject for each frame of an image input and tracking a position of the subject by comparing feature points detected from a current frame and a previous frame; and an overlap determination unit for determining an overlapping state of the subject by using an estimated state variable calculated based on one of an average value of feature points and a maximum resemblance value where in information of the subject is updated only if the subject is not in an overlapping state.

Description

객체 추적 장치 및 방법{Apparatus and method for tracking object}[0001] Apparatus and method for tracking object [

본 발명은 객체 추적 장치 및 방법에 관한 것으로, 객체들 간 중첩 상태에 따라 객체를 추적하도록 하는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object tracking apparatus and method, and more particularly, to a technique for tracking an object according to an overlap state between objects.

일반적으로, CCTV를 이용한 영상 보안 기술은 CCTV를 통해 제공되는 영상을 관리자가 육안으로 관찰하는 것이 대부분이다. 하지만, 관리자가 여러 영상을 계속해서 관찰하는 것은 체력적, 정신적 한계가 따르며, 그로 인해 효율성이 저하되게 된다.Generally, in video security technology using CCTV, most of the images provided by CCTV are visually observed by the administrator. However, it is difficult for the supervisor to continuously observe the various images, which is accompanied by physical and mental limitations, thereby reducing the efficiency.

최근 컴퓨터 비전 기술을 이용한 지능형 영상 보안 기술이 각광을 받고 있다. 이러한 지능형 영상 보안 기술을 구현하기 위해서는 여러 가지 기술들이 적용되어야 한다. 다시 말해, 지능형 영상 보안 기술은 CCTV를 통해 제공되는 영상을 관리자가 육안으로 관찰하는 것이 아니라, 영상으로부터 검출 및 추적 알고리즘을 이용하여 영상으로부터 객체를 검출하고 검출된 객체를 추적하도록 하는 것이다. Recently, intelligent image security technology using computer vision technology is attracting attention. In order to implement such an intelligent image security technology, various techniques must be applied. In other words, the intelligent image security technology is not to observe the images provided through CCTV by the administrator, but to detect the objects from the images using the detection and tracking algorithm from the images and to track the detected objects.

특히, 객체 추적 기술은 그 중에서도 핵심적인 기술로, 카메라로 취득된 영상 시퀀스에서 특정한 한 명의 객체 혹은 불특정 다수의 위치를 매 프레임마다 추정하는 것이다. 객체 추적 기술에는 다양한 기법, 예를 들어, mean-shift나 칼만 필터를 이용한 객체 추적 기법 및 파티클 필터 알고리즘을 이용한 객체 추적 기법 등이 적용될 수 있다.In particular, object tracking technology is a key technology, and it estimates a specific object or an unspecified number of positions in every frame in a video sequence acquired by a camera. Object tracking techniques can be applied to various techniques, for example, object tracking using mean-shift or Kalman filter, and object tracking using particle filter algorithm.

여기서, 객체 추적 기법에 널리 이용되는 파티클 필터 알고리즘은 여러 개의 파티클을 객체의 운동 모델과 불확실성을 통해 확산시켜서 객체를 추적하는 방법이다. 이러한 파티클 필터 알고리즘을 이용한 객체 추적 기법의 경우 평균-이동(mean-shift)이나 칼만 필터를 이용한 객체 추적 기법과 달리, 부분적인 중첩이나 가려짐, 배경의 클러터(clutter) 등에 강인한 성능을 보인다. 특히 컬러 히스토그램 정보를 이용한 객체 추적 방법들은 조명 변화에도 강인하며, 특징점(feature)이 적은 저해상도 객체의 경우에도 비교적 높은 정확도로 추적을 수행한다. 그러나 이러한 파티클 필터 기반 추적 기법의 경우, 객체 추적 시 객체 간의 부분적인 중첩에는 강인함에도 불구하고, 유사한 객체 간의 상호 중첩이 발생한 경우에는 추적 정확도가 저하될 수 있다.Here, the particle filter algorithm widely used in the object tracking method is a method of tracking an object by diffusing a plurality of particles through an object's motion model and uncertainty. In contrast to object-tracking techniques using mean-shift or Kalman filter, object tracking using this particle filter algorithm has robust performance against partial overlapping, occlusion, and background clutter. In particular, object tracking methods using color histogram information are robust to illumination changes and perform tracking with a relatively high accuracy even in the case of a low resolution object with a small number of features. However, in the case of such a particle filter based tracking method, the tracking accuracy may be lowered when mutual overlap between similar objects occurs despite the robustness of partial overlap between objects in object tracking.

공개특허공보 제2012-0019008호Patent Publication No. 2012-0019008

본 발명의 목적은, 영상으로부터 객체를 추적하는 경우 유사한 형태의 객체 간의 상호 중첩 상태를 판별하여 상호 중첩 상태의 객체 추적 정보를 업데이트 하지 않음으로써 객체 추적의 정확도가 향상되도록 하는 객체 추적 장치 및 방법을 제공함에 있다.It is an object of the present invention to provide an object tracking apparatus and method for improving the accuracy of object tracking by determining mutually superimposed states of similar types of objects when tracking an object from an image and not updating object tracking information in mutually overlapping states .

상기의 목적을 달성하기 위한 본 발명에 따른 객체 추적 장치는, 입력되는 영상으로부터 객체를 포함하는 영역을 검출하는 객체 검출부, 입력되는 영상의 매 프레임마다 상기 객체에 대응하는 영역으로부터 복수 개의 파티클을 검출하고, 현재 프레임 및 이전 프레임으로부터 검출된 파티클을 비교하여 상기 객체의 위치를 추적하는 객체 추적부, 및 상기 파티클들의 평균치 및 유사도값 중 어느 하나에 근거하여 산출된 상태 변수 추정치 및 상기 영상으로부터 검출된 배경 영역의 정보를 이용하여 상기 객체의 중첩 상태를 판별하는 중첩 판별부를 포함하며, 상기 객체가 중첩 상태가 아닌 경우만 해당 객체의 정보를 업데이트 하도록 할 수 있다.According to an aspect of the present invention, there is provided an object tracking apparatus including an object detection unit detecting an area including an object from an input image, a plurality of particles detected from an area corresponding to the object for each frame of the input image, An object tracking unit for tracking the position of the object by comparing the particles detected from the current frame and the previous frame, and a state variable estimation unit for calculating a state variable estimate calculated based on the average value and the similarity value of the particles, And an overlapping determination unit for determining an overlapping state of the object using information of a background area, and may update the information of the corresponding object only when the object is not in the overlapping state.

상기 객체 추적부는, 상기 객체 검출부에 의해 검출된 적어도 하나의 객체에 대응하는 객체 추적 모듈을 생성하는 것을 특징으로 한다.And the object tracking unit generates an object tracking module corresponding to at least one object detected by the object detecting unit.

상기 객체 추적 모듈은, 대응하는 객체의 초기 위치에서 해당 객체의 특징 정보를 객체 추적 알고리즘에 적용하여 해당 객체의 위치를 추적하는 것을 특징으로 한다.The object tracking module tracks the position of a corresponding object by applying feature information of the object to an object tracking algorithm at an initial position of the corresponding object.

상기 객체 추적부는, 입력되는 영상의 현재 프레임에 대한 복수의 파티클을 추출하고 이전 프레임에서 추출된 복수의 파티클을 비교하여 각 파티클의 상태 변화를 판별하는 것을 특징으로 한다.The object tracking unit may extract a plurality of particles for a current frame of an input image and compare the plurality of particles extracted in a previous frame to determine a state change of each particle.

상기 복수 개의 파티클은 객체의 위치 좌표값, 높이 및 너비 중 적어도 하나의 상태 변수에 근거하여 추출되는 것을 특징으로 한다.Wherein the plurality of particles are extracted based on at least one state variable among a position coordinate value, a height, and a width of the object.

상기 객체 추적부는, 복수 개의 파티클에 대한 색상, 에지(edge) 및 로컬 바이너리 패턴(Local Binary Pattern) 중 적어도 하나의 특징 정보를 파악하여 각 파티클의 위치 추정 유사도(observation likelihood)를 계산하는 것을 특징으로 한다.The object tracking unit may calculate at least one feature of at least one of a color, an edge, and a local binary pattern of a plurality of particles to calculate an estimation likelihood of each particle. do.

상기 객체 추적부는, 현대 프레임에 대하여 소정 횟수만큼 복수의 파티클을 추출하고, 소정 횟수만큼 반복하여 추출한 파티클들의 평균값 및 최대 유사도값 중 어느 하나를 이용하여 현재 프레임에서의 해당 객체에 대한 상태 변수 추정치를 산출하는 것을 특징으로 한다.The object tracking unit extracts a plurality of particles from the contemporary frame by a predetermined number of times and uses the average value and the maximum similarity value of the particles repeatedly extracted a predetermined number of times to calculate a state variable estimate for the object in the current frame .

상기 중첩 판별부는, 입력되는 영상으로부터 검출된 배경 이미지 정보와 상기 영상으로부터 검출된 객체 및 다른객체에 대한 상태 변수 추정치를 이용하여 상기 객체의 중첩 상태를 판별하는 것을 특징으로 한다.The overlap determining unit determines the overlapping state of the object using the background image information detected from the input image, the object detected from the image, and a state variable estimate for another object.

상기 중첩 판별부는, 배경에 의한 중첩 여부, 대상객체와 다른객체의 중첩 비율 및 대상객체와 다른객체 간 유사도 중 적어도 하나를 이용하여 상기 객체의 중첩 상태를 판별하는 것을 특징으로 한다.The overlap determining unit may determine the overlapping state of the object by using at least one of overlapping by the background, overlapping ratio between the target object and another object, and degree of similarity between the target object and another object.

본 발명의 일 실시예에 따른 객체 추적 장치는, 카메라로부터 입력되는 영상을 분석하여 해당 영상의 각 프레임에 대한 특징 정보를 추출하고, 상기 영상으로부터 배경 이미지를 검출하는 영상 처리부를 더 포함할 수 있다.The object tracking apparatus according to an embodiment of the present invention may further include an image processing unit for analyzing an image input from a camera and extracting feature information of each frame of the image and detecting a background image from the image .

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 객체 추적 방법은, 입력되는 영상으로부터 객체를 포함하는 영역을 검출하는 단계, 입력되는 영상의 매 프레임마다 상기 객체에 대응하는 영역으로부터 복수 개의 파티클들을 검출하는 단계, 현재 프레임 및 이전 프레임으로부터 검출된 파티클들을 비교하여 상기 객체의 위치를 추적하는 단계, 상기 파티클들의 평균치 및 유사도값 중 어느 하나에 근거하여 산출된 상태 변수 추정치 및 상기 영상으로부터 검출된 배경 영역의 정보를 이용하여 상기 객체의 중첩 상태를 판별하는 단계, 및 상기 객체가 중첩 상태가 아닌 경우만 해당 객체의 정보를 업데이트 하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an object tracking method comprising: detecting an area including an object from an input image; detecting a plurality of particles from an area corresponding to the object for each frame of the input image; Tracking the position of the object by comparing the particles detected from the current frame and the previous frame, calculating a state variable estimate based on any one of the average value and the similarity value of the particles and the background detected from the image Determining whether the object is in an overlapping state using the information of the region, and updating information of the object only when the object is not in the overlapping state.

본 발명에 따르면, 영상으로부터 객체를 추적하는 경우 유사한 형태의 객체간의 상호 중첩 상태를 판별하여 상호 중첩 상태의 객체 추적 정보를 업데이트 하지 않음으로써 잘못된 정보를 업데이트 함으로 인해 객체 추적의 정확도가 저하되는 것을 방지할 수 있는 이점이 있다.According to the present invention, when an object is tracked from an image, mutual overlapping states of similar types of objects are discriminated, and object tracking information of mutually overlapping states is not updated, thereby preventing incorrect accuracy of the object tracking from being degraded There is an advantage to be able to do.

도 1은 본 발명의 일 실시예에 따른 객체 추적 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치의 배경 이미지를 도시한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 객체 추적 장치의 제1 실시예에 따른 객체 추적 동작을 설명하는데 참조되는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 객체 추적 장치의 제2 실시예에 따른 객체 추적 동작을 설명하는데 참조되는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 객체 추적 방법에 대한 동작 흐름을 도시한 순서도이다.1 is a block diagram of an object tracking apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an example of a background image of an object tracking apparatus according to an embodiment of the present invention.
3 is an exemplary diagram for explaining an object tracking operation according to the first embodiment of the object tracking apparatus according to an embodiment of the present invention.
4 is an exemplary diagram for explaining an object tracking operation according to a second embodiment of the object tracking apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating an operation flow for an object tracking method according to an embodiment of the present invention.

이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분이 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same components are denoted by the same reference symbols as possible. In addition, detailed descriptions of known functions and / or configurations are omitted. The following description will focus on the parts necessary for understanding the operation according to various embodiments, and a description of elements that may obscure the gist of the description will be omitted.

또한, 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
In addition, some of the elements of the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not entirely reflect the actual size, and therefore the contents described herein are not limited by the relative sizes or spacings of the components drawn in the respective drawings.

도 1은 본 발명의 실시예에 따른 객체 추적 장치의 구성을 도시한 도면이다.1 is a block diagram of an object tracking apparatus according to an embodiment of the present invention.

도 1을 참조하면, 객체 추적 장치(100)는 카메라(110), 출력부(120), 저장부(130), 제어부(140), 영상 처리부(150), 객체 검출부(160), 객체 추적부(170) 및 중첩 판별부(180)를 포함한다. 여기서, 제어부(140)는 객체 추적 장치(100)의 각 부의 동작을 제어할 수 있다.1, an object tracking apparatus 100 includes a camera 110, an output unit 120, a storage unit 130, a control unit 140, an image processing unit 150, an object detection unit 160, (170) and an overlap discrimination unit (180). Here, the control unit 140 may control operations of the respective units of the object tracking apparatus 100.

카메라(110)는 객체 추적을 위한 영상을 촬영하는 수단으로, 카메라(110)에 의해 촬영된 영상은 제어부(140)를 통해 저장부(130)에 저장될 수 있으며, 영상 처리부(150), 객체 검출부(160), 객체 추적부(170) 및 중첩 판별부(180) 중 적어도 하나로 제공될 수도 있다. 여기서, 카메라(110)는 실내 또는 실외에 설치되는 카메라 일 수 있으며, CCTV 등이 해당 될 수 있다. 또한, 카메라(110)는 촬영한 영상을 실시간으로 제공할 수 있으나, 촬영한 영상을 소정시간 단위로 제공할 수도 있다.The camera 110 is a means for photographing an object for tracking an object and an image photographed by the camera 110 may be stored in the storage unit 130 through the control unit 140. The image processing unit 150, And may be provided as at least one of the detection unit 160, the object tracking unit 170, and the overlap determination unit 180. Here, the camera 110 may be a camera installed indoors or outdoors, and may be a CCTV or the like. In addition, the camera 110 may provide the photographed image in real time, but may also provide the photographed image in a predetermined time unit.

출력부(120)는 카메라(110)로부터 획득한 영상을 출력하는 수단으로, 모니터와 같은 디스플레이 수단이 해당 될 수 있다. 이 경우, 출력부(120)는 객체 추적 장치(100)에 의한 객체 추적 결과 등을 출력할 수 있다. 또한, 출력부(120)는 특정 이벤트 발생 시 객체 추적 상태 또는 경보신호 등을 출력하는 음성 출력 수단일 수도 있다.The output unit 120 is a means for outputting an image obtained from the camera 110, and may be a display means such as a monitor. In this case, the output unit 120 may output an object tracking result or the like by the object tracking apparatus 100. The output unit 120 may be an audio output means for outputting an object tracking state or an alarm signal when a specific event occurs.

저장부(130)는 객체 추적 장치(100)의 동작을 위한 설정값이 저장될 수 있으며, 카메라(110)로부터 획득한 영상 및 객체 추적 장치(100)의 객체 추적 결과 등이 저장될 수도 있다. 또한, 저장부(130)는 객체 추적 장치(100)의 동작을 위한 알고리즘이 저장될 수 있다. 일 예로서, 저장부(130)는 영상으로부터 적어도 하나의 객체를 검출하는 객체 검출 알고리즘이 저장될 수 있으며, 영상으로부터 검출된 적어도 하나의 객체를 추적하는 객체 추적 알고리즘이 저장될 수 있다. 또한, 저장부(130)는 추적 대상이 되는 객체들의 상호 중첩 상태를 판별하는 중첩 판별 알고리즘이 저장될 수도 있다.The storage unit 130 may store set values for operation of the object tracking apparatus 100 and may store images obtained from the camera 110 and object tracking results of the object tracking apparatus 100. [ Also, the storage unit 130 may store an algorithm for the operation of the object tracking apparatus 100. [ As an example, the storage unit 130 may store an object detection algorithm for detecting at least one object from an image, and an object tracking algorithm for tracking at least one object detected from the image may be stored. In addition, the storage unit 130 may store an overlay discrimination algorithm for discriminating mutually overlapping states of objects to be tracked.

영상 처리부(150)는 카메라(110)로부터 획득한 영상을 분석하여, 해당 영상에 대한 분석 결과를 제어부(140)로 제공하여 저장부(130)에 저장되도록 할 수 있으며, 제어부(140)는 영상 처리부(150)로부터 입력된 영상 분석 결과를 객체 검출부(160), 객체 추적부(170) 및 중첩 판별부(180) 중 적어도 하나로 제공할 수 있다. The image processing unit 150 may analyze the image acquired from the camera 110 and provide the analysis result of the image to the control unit 140 so that the image is stored in the storage unit 130. The control unit 140 The object analyzing unit 160 may provide the image analysis result input from the processing unit 150 to at least one of the object detecting unit 160, the object tracking unit 170, and the overlap determining unit 180.

또한, 영상 처리부(150)는 카메라(110)로부터 획득한 영상으로부터 배경 이미지를 검출할 수 있다. 여기서, 영상 처리부(150)에 의해 검출된 배경 이미지는 도 2의 실시예를 참조하도록 한다. 다시 말해, 배경 이미지는, 도 2에 도시된 바와 같이, 객체를 포함하지 않는 이미지일 수 있다. 이 경우, 배경 이미지는 영상에 포함된 객체가 제거된 배경 이미지일 수도 있으며, 카메라(110)로부터 획득한 영상 프레임 중 객체를 포함하지 않는 프레임 이미지일 수도 있다. In addition, the image processing unit 150 can detect a background image from the image acquired from the camera 110. [ Here, the background image detected by the image processing unit 150 is referred to the embodiment of FIG. In other words, the background image may be an image that does not include an object, as shown in Fig. In this case, the background image may be a background image from which an object included in the image is removed, or a frame image that does not include an object among the image frames acquired from the camera 110.

영상 처리부(150)는 검출된 배경 이미지 및 배경 이미지에 대한 정보를 제어부(140)로 제공하여 저장부(130)에 저장되도록 할 수 있다. 여기서, 저장부(130)에 저장된 배경 이미지 및 배경 이미지에 대한 정보는 객체 검출부(160)에서 객체를 검출하거나, 객체 추적부(170)에서 객체를 추적하는데 이용될 수 있으며, 중첩 판별부(180)에서 객체 상호 간 중첩 상태를 판별하는데 적용될 수 있다.The image processing unit 150 may provide information on the detected background image and the background image to the control unit 140 and may be stored in the storage unit 130. The background image and background image information stored in the storage unit 130 may be used to detect an object in the object detection unit 160 or to track an object in the object tracking unit 170. The overlapping determination unit 180 ) Can be applied to determine the mutual overlap status of objects.

객체 검출부(160)는 카메라(110)로부터 획득한 영상 및 영상 처리부(150)로부터 검출된 배경 이미지에 대한 정보를 이용하여 객체를 검출한다. 이 경우, 객체 검출부(160)는 저장부(130)에 저장된 객체 검출 알고리즘을 호출하여 수행함으로써 영상으로부터 객체를 검출할 수 있다. The object detection unit 160 detects the object using the image obtained from the camera 110 and the information about the background image detected from the image processing unit 150. [ In this case, the object detection unit 160 can detect an object from the image by calling and executing the object detection algorithm stored in the storage unit 130.

일 예로서, 객체 검출부(160)는 카메라(110)로부터 획득한 영상에서 배경 이미지와 차이가 있는 영역을 객체 영역으로 검출할 수 있으며, 객체 영역에서 배경 이미지 정보에 포함되지 않은 특징 정보, 예를 들어, 색상, 실루엣 등의 정보를 객체 정보로 검출할 수 있다. 객체 검출부(160)는 객체 검출 결과를 제어부(140)를 통해 저장부(130)에 저장되도록 한다. 이때, 제어부(140)는 저장부(130)에 저장된 객체 검출 결과를 객체 추적부(170)로 제공할 수 있다.As an example, the object detection unit 160 may detect an area having a difference from the background image in the image obtained from the camera 110 as an object area, and may include feature information not included in the background image information in the object area, For example, information such as color, silhouette and the like can be detected as object information. The object detection unit 160 stores the object detection result in the storage unit 130 through the control unit 140. [ At this time, the control unit 140 may provide the object detection result stored in the storage unit 130 to the object tracking unit 170.

여기서, 객체 검출부(160)는 카메라(110)로부터 획득한 영상에 포함된 모든 객체를 검출할 수 있다. 물론, 객체 검출부(160)는 실시 형태에 따라서 기 정의된 특징을 갖는 형태의 객체만을 검출할 수도 있다. 이와 같이, 객체 검출부(160)에서 객체를 검출하는 형태는 설정된 값에 따라 다양하게 적용 가능하다. 이때, 객체 검출부(160)는 객체를 검출함에 있어서 검출된 객체를 포함하는 소정 범위의 객체 영역을 검출하여 객체 추적부(170)로 제공할 수 있다.Here, the object detecting unit 160 can detect all objects included in the image acquired from the camera 110. [ Of course, the object detecting unit 160 may detect only an object of a type having a predefined characteristic according to the embodiment. In this way, the object detecting unit 160 can detect objects in various ways according to the set values. At this time, the object detecting unit 160 may detect an object region within a predetermined range including the detected object in detecting the object, and provide the detected object region to the object tracking unit 170.

객체 추적부(170)는 객체 검출부(160)에 의해 검출된 객체 영역 및 해당 객체의 특징 정보를 이용하여 카메라(110)로부터 획득한 영상으로부터 객체를 추적하도록 한다. 이 경우, 객체 추적부(170)는 저장부(130)에 저장된 객체 추적 알고리즘을 호출하여 수행함으로써 영상으로부터 객체를 추적할 수 있다. The object tracking unit 170 tracks the object from the image obtained from the camera 110 using the object region detected by the object detecting unit 160 and the feature information of the object. In this case, the object tracking unit 170 can track the object from the image by calling and executing the object tracking algorithm stored in the storage unit 130.

여기서, 객체 추적부(170)는 객체 검출부(160)에 의해 검출된 적어도 하나의 객체에 대응하는 객체 추적 모듈(tracker)을 생성할 수 있으며, 각 객체 추적 모듈은 대응하는 각 객체의 정보를 객체 추적 알고리즘에 적용하여 해당 객체를 추적할 수 있다. 이때, 객체 추적부(170)는 객체 검출부(160)에 의해 검출된 적어도 하나의 객체 정보를 이용하여 각 객체에 대한 초기 위치를 설정하도록 한다. 따라서, 객체 추적 모듈은 대응하는 객체에 대하여 설정된 초기 위치를 기준으로 해당 객체를 추적할 수 있다.Here, the object tracking unit 170 may generate an object tracking module corresponding to at least one object detected by the object detecting unit 160, and each object tracking module outputs information of each corresponding object to an object It can be applied to the tracking algorithm to track the object. At this time, the object tracking unit 170 sets an initial position for each object by using at least one object information detected by the object detecting unit 160. [ Accordingly, the object tracking module can track the object based on the initial position set for the corresponding object.

일 예로서, 객체 추적 모듈은 카메라(110)로부터 획득한 영상의 각 프레임별로 객체 영역에 해당하는 복수 개의 파티클을 추출한다. 이 경우, 객체 추적 모듈은 현재 프레임의 객체 영역에서 추출된 복수 개의 파티클과 이전 프레임의 객체 영역에서 추출된 복수 개의 파티클을 비교하여 상태 변화를 판별하도록 한다. As one example, the object tracking module extracts a plurality of particles corresponding to the object region for each frame of the image acquired from the camera 110. [ In this case, the object tracking module compares the plurality of particles extracted from the object region of the current frame with the plurality of particles extracted from the object region of the previous frame to determine a state change.

여기서, 객체 추적 모듈은 각 프레임별 파티클의 상태 변수값을 상태 천이 행렬 및 파티클 운동 모델에 적용하여 해당 객체 영역에 대한 상태 변화를 검출할 수 있으며, 검출된 상태 변화를 통해 해당 객체의 위치를 추적하도록 한다. 이 경우, 객체 추적 모듈은 상태 천이 방정식을 이용하여 객체의 위치를 추적할 수 있다. 이때, 객체 추적 모듈에 의해 추출되는 복수 개의 파티클은 객체의 (x, y) 좌표값, 높이 및 너비 등의 상태 변수에 근거하여 추출되는 것으로 한다. 본 발명의 실시예에서, 객체 영역의 이동 속도는 상태 변수에 적용되지 않을 수 있다. 또한, 객체 추적 모듈에서 파티클 필터 기반의 객체 추적 알고리즘에 적용되는 파티클 운동 모델은 가우시안(gaussian) 모델, 랜덤 워크 모델 등과 같이 일반적으로 이용되는 랜덤 운동 모델이 해당 될 수 있다.Here, the object tracking module can detect the state change of the object region by applying the state variable value of each particle per frame to the state transition matrix and the particle motion model, and can detect the position of the object through the detected state change . In this case, the object tracking module can track the position of the object using the state transition equations. At this time, the plurality of particles extracted by the object tracking module are extracted based on state variables such as (x, y) coordinate values, height and width of the object. In an embodiment of the present invention, the moving speed of the object region may not be applied to the state variable. In addition, the particle motion model applied to an object tracking algorithm based on a particle filter in the object tracking module may be a commonly used random motion model such as a gaussian model and a random walk model.

한편, 객체 추적 모듈은 각 프레임별로 추출된 복수 개의 파티클에 대하여 위치 추정 유사도(observation likelihood)를 계산하도록 한다. 이때, 객체 추적 모듈은 각 프레임별로 추출된 복수 개의 파티클에 대한 색상, 에지(edge) 및 로컬 바이너리 패턴(Local Binary Pattern) 중 적어도 하나의 특징 정보를 파악하여 각 파티클의 위치 추정 유사도를 계산할 수 있다. 물론, 객체 추적 모듈은 복수의 파티클에 대한 특징 정보를 모두 융합하여 각 파티클에 대한 위치 추정 유사도를 계산할 수도 있다. Meanwhile, the object tracking module calculates an estimation likelihood for a plurality of particles extracted for each frame. At this time, the object tracking module can grasp at least one piece of feature information among colors, edges, and local binary patterns of a plurality of particles extracted for each frame, and calculate the position estimation similarity of each particle . Of course, the object tracking module may also calculate the position estimation similarity for each particle by fusing all of the feature information for the plurality of particles.

여기서, 객체 추적 모듈은 파티클의 검출 정확도를 높이기 위하여 각 프레임별로 파티클을 소정 횟수만큼 반복하여 추출할 수 있다. 이 경우, 객체 추적 모듈은 현재 프레임에서 소정 횟수만큼 반복하여 추출된 파티클들의 평균값 또는 최대 유사도값을 계산하여, 현재 프레임에서의 해당 객체에 대한 상태 변수 추정치를 산출할 수 있다. 이때, 객체 추적 모듈에 의해 산출된 상태 변수 추정치는 중첩 판별부(180)에서 유사 객체 간 상호 중첩 상태를 판별하는데 적용될 있다. 따라서, 객체 추적 모듈은 산출된 상태 변수 추정치를 제어부(140)를 통해 저장부(130)에 저장되도록 하고, 제어부(140)는 상태 변수 추정치를 중첩 판별부(180)에 제공하도록 한다.Here, the object tracking module can repeatedly extract particles by a predetermined number of times for each frame in order to increase the detection accuracy of the particles. In this case, the object tracking module may calculate a state variable estimate for the object in the current frame by calculating an average value or a maximum similarity value of the particles repeatedly extracted a predetermined number of times in the current frame. At this time, the state variable estimation values calculated by the object tracking module are applied to the overlap determination unit 180 to determine mutually overlapping states among similar objects. Accordingly, the object tracking module allows the controller 140 to store the calculated state variable estimates in the storage unit 130, and the controller 140 provides the state variable estimates to the overlay discrimination unit 180.

객체 추적 모듈은 객체 검출부(160)에 의해 검출된 각 객체에 대응하여 생성되기 때문에, 서로 다른 객체에 대응하는 객체 추적 모듈은 각각 대응하는 객체에 대한 상태 변수 추정치를 산출하게 된다. 따라서, 복수의 객체를 추적하는 경우에는 각 객체 추적 모듈에 의해 산출된 복수의 객체에 대한 상태 변수 추정치가 중첩 판별부(180)로 제공되게 된다. 따라서, 중첩 판별부(180)는 각 객체 추적 모듈로부터 입력된 복수의 객체에 대한 상태 변수 추정치에 근거하여 각 객체 간의 상호 중첩 상태를 판별하도록 한다. Since the object tracking module is generated corresponding to each object detected by the object detecting unit 160, the object tracking module corresponding to the different object calculates the state variable estimation value for the corresponding object, respectively. Accordingly, when tracking a plurality of objects, the state variable estimation values for a plurality of objects calculated by each object tracking module are provided to the overlap determining unit 180. Accordingly, the overlap determining unit 180 determines the mutual overlap status among the objects based on the state variable estimation values of the plurality of objects input from the object tracking modules.

여기서, 중첩 판별부(180)는 영상 처리부(150)에 의해 검출된 배경 이미지 정보와, 객체 추적 모듈에 의해 산출된 추적 대상이 되는 객체(이하, 대상객체라 칭한다) 및 대상객체를 제외한 나머지 다른객체의 상태 변수 추정치를 이용하여 대상객체의 중첩 상태를 판별하도록 한다.Here, the overlap determining unit 180 determines whether or not the background image information detected by the image processing unit 150, the object to be tracked (hereinafter referred to as a target object) calculated by the object tracking module, The state of the target object is determined using the state variable estimation value of the object.

이때, 중첩 판별부(180)는 아래 세 가지 항목을 기준으로 대상객체의 중첩 상태를 판별할 수 있다.At this time, the overlap determining unit 180 can determine the overlapping state of the target object based on the following three items.

<첫째, 배경에 의한 중첩 여부><First, Whether to overlap by background>

중첩 판별부(180)는 대상객체의 위치가 배경 영역에 속하는지, 아니면 전경 영역에 속하는지를 판별할 수 있다. 대상객체가 배경 영역에 속하는지 여부를 판별하는 동작은 도 3의 실시예를 통해서도 확인할 수 있다. 다시 말해, 도 3의 (a)는 대상객체의 위치가 배경 영역에 속하는 상태의 이미지를 나타낸 것이다. 도 3의 (a)와 같이, 대상객체는 가로등 및 교통 표지판 등과 같이 배경에 속한 물체를 지나가는 경우, 대상객체 영역(310)은 일부가 배경 영역에 속한 가로등 및 교통 표시판 등에 의해 가려질 수 있다. 한편, 도 3의 (b)는 대상객체의 위치가 배경 영역에 속하지 않는 상태의 이미지를 나타낸 것으로, (b)에 도시된 대상객체 영역(320)에서는 대상객체가 배경 영역에 속한 물체에 의해 가려지지 않는다. 여기서, 배경 영역에 속한 물체의 정보는 영상 처리부(150)에 의해 검출된 배경 이미지의 정보로부터 확인할 수 있다.The overlap determining unit 180 may determine whether the position of the target object belongs to the background region or the foreground region. The operation of determining whether the target object belongs to the background area can be confirmed through the embodiment of FIG. In other words, FIG. 3 (a) shows an image of a state in which the position of the target object belongs to the background area. As shown in FIG. 3A, when a target object passes through an object belonging to the background, such as a streetlight and a traffic sign, the target object area 310 may be partially covered by a streetlight and a traffic sign belonging to the background area. 3B shows an image in a state where the position of the target object does not belong to the background area. In the target object area 320 shown in (b), the target object is covered by the object belonging to the background area It does not. Here, the information of the object belonging to the background area can be confirmed from the information of the background image detected by the image processing unit 150.

이와 같이, 중첩 판별부(180)는 배경 영역에 속한 물체에 의해 대상객체가 가려진 경우에는 유사 객체 간 상호 중첩이 발생한 것으로 판단하지는 않는다.In this way, when the target object is hidden by the object belonging to the background area, the overlap determining unit 180 does not determine that mutual overlap between similar objects has occurred.

따라서, 중첩 판별부(180)는 대상객체가 배경에 의해 중첩되었는지 여부에 대한 판별 결과를 아래 [수학식 1]과 같이 나타낼 수 있다.Accordingly, the overlap determining unit 180 can determine the result of the determination as to whether or not the target object is overlapped by the background as shown in Equation (1) below.

Figure pat00001
Figure pat00001

여기서, X는 대상객체의 위치를 나타내며, IB(X)는 X에서 배경 영역에 의한 중첩 상태를 나타내는 변수이다. 이때, [수학식 1]에서와 같이, 대상객체의 위치가 배경 영역에 속하는 경우 배경 영역에 의한 중첩 상태는 0이 되고, 대상객체의 위치가 전경 영역에 속하는 경우, 다시 말해, 배경 영역에 속하지 않는 경우 배경 영역에 의한 중첩 상태는 1이 된다. Here, X represents the position of the target object, and I B (X) is a variable representing the overlapping state due to the background region in X. In this case, when the position of the target object belongs to the background region, the overlapping state due to the background region becomes 0, and when the position of the target object belongs to the foreground region, that is, The overlapping state due to the background area is 1.

일 예로서, 도 3의 (a)에 도시된 이미지의 경우 IB(X)=0이 되고, 도 3의 (b)에 도시된 이미지의 경우에는 IB(X)=1이 된다.
As an example, I B (X) = 0 for the image shown in FIG. 3 (a) and I B (X) = 1 for the image shown in FIG.

<둘째, 대상객체와 다른객체의 중첩 비율><Second, the overlap ratio between the target object and another object>

중첩 판별부(180)는 대상객체와 다른객체들의 상태 정보를 비교한다. 이 경우, 중첩 판별부(180)는 대상객체와 다른객체들에 대응하는 객체 추적 모듈로부터 입력된 상태 변수 추정값에 근거하여 대상객체와 다른객체들의 (x, y) 좌표, 높이(h) 및 너비(w) 등을 비교하도록 한다. 비교 결과, 대상객체가 적어도 하나의 다른객체와 중첩된 것으로 확인된 경우, 중첩 판별부(180)는 대상객체의 영역에 해당하는 면적과, 대상객체의 영역 중에서 다른객체와 중첩된 영역에 해당하는 면적을 비교하여, 그 비율에 따라 중첩 상태를 판별하도록 한다. The overlap determining unit 180 compares the status information of the target object with the status information of other objects. In this case, based on the state variable estimation value input from the object tracking module corresponding to the object and the other objects, the overlap determining unit 180 determines the (x, y) coordinates, the height (h) (w) and so on. As a result of the comparison, if it is determined that the target object is overlapped with at least one other object, the overlap determining unit 180 determines the area corresponding to the area of the target object, The areas are compared, and the overlapping state is determined according to the ratio.

대상객체와 다른객체 간 중첩 상태를 판별하는 동작은 도 4의 실시예를 통해서도 확인할 수 있다. 다시 말해, 도 4의 (a)는 대상객체의의 위치가 다른 객체의 위치와 중첩되지 않은 상태의 이미지를 나타낸 것이다. 도 4의 (a)에서와 같이, 대상객체 영역(410)과 다른객체 영역(420)은 서로 겹쳐지지 않은 것을 확인할 수 있다. 한편, 도 4의 (b)는 대상객체의 위치가 다른객체의 위치와 중첩된 상태의 이미지를 나타낸 것이다. 도 4의 (b)에서와 같이, 대상객체 영역(430)의 대부분은 다른객체 영역(440)에 의해 가려진 것을 확인할 수 있다.The operation of determining the overlapping state between the target object and another object can also be confirmed through the embodiment of FIG. In other words, FIG. 4 (a) shows an image in which the position of the target object does not overlap with the position of another object. As shown in FIG. 4A, it can be seen that the object object region 410 and the object region 420 are not overlapped with each other. 4B shows an image in which the position of the target object overlaps with the position of another object. As shown in FIG. 4B, it can be seen that most of the target object area 430 is covered by another object area 440.

이와 같이, 대상객체의 영역 중에서 다른객체와 중첩된 영역의 비율이 임계치를 초과하는 경우, 중첩 판별부(180)는 대상객체가 다른객체에 의해 중첩된 것으로 판별하도록 한다.In this manner, when the ratio of the area of the target object to the area overlapped with another object exceeds the threshold value, the overlap determining unit 180 determines that the target object is overlapped by another object.

여기서, 대상객체가 다른객체에 의해 중첩되었는지 여부에 대한 판별 결과는 아래 [수학식 2]와 같이 나타낼 수 있다.Here, the discrimination result of whether or not the target object is overlapped by another object can be expressed by the following equation (2).

Figure pat00002
Figure pat00002

여기서, X는 대상객체, Y는 다른객체의 상태 변수를 나타내고, area(X)는 대상객체의 영역에 해당하는 면적, area0(X, Y)는 대상객체와 다른객체가 중첩된 영역에 해당하는 면적을 나타내며, IA(X, Y)는 대상객체와 다른객체의 중첩 상태를 나타내는 변수이다.Here, X denotes a target object, Y denotes a state variable of another object, area (X) denotes an area corresponding to a target object area, and area 0 (X, Y) denotes a target object , And I A (X, Y) is a variable indicating the overlapping state of the target object and other objects.

이때, [수학식 2]에서와 같이, 대상객체와 다른객체가 중첩된 영역에 해당하는 면적 area0(X, Y)를 대상객체의 영역에 해당하는 면적 area(X)로 나눈 값이 임계치(areath)를 초과하는 경우 대상객체가 다른객체에 의해 완전히 중첩된 것으로 판단한다. 따라서, 대상객체와 다른객체의 중첩 상태를 나타내는 변수 IA(X, Y)는 1이 된다. 한편, 대상객체와 다른객체가 중첩된 영역에 해당하는 면적 area0(X, Y)를 대상객체의 영역에 해당하는 면적 area(X)로 나눈 값이 임계치(areath) 이하인 값이 되는 경우 대상객체가 다른객체에 의해 완전히 중첩되지 않았다고 판단한다. 따라서, 대상객체와 다른객체의 중첩 상태를 나타내는 변수 IA(X, Y)는 0이 된다.In this case, as shown in Equation (2), a value obtained by dividing the area 0 (X, Y) corresponding to the overlapping area of the target object with another object by the area area (X) area th ), it is determined that the target object is completely overlapped by another object. Therefore, the variable I A (X, Y) representing the superposition state of the target object and the other object is 1. On the other hand, when the value obtained by dividing the area area 0 (X, Y) corresponding to the area where the target object and the other object are overlapped by the area area (X) corresponding to the area of the target object is equal to or smaller than the threshold area th It determines that the object is not completely nested by another object. Therefore, the variable I A (X, Y) representing the superposition state of the target object and other objects becomes zero.

일 예로서, 도 4의 (a)에 도시된 이미지의 경우 대상객체의 영역(410)과 다른객체 영역(420)이 서로 중첩되지 않았기 때문에 IA(X, Y)=0이 되고, 도 4의 (b)에 도시된 이미지의 경우에는 대상객체의 영역(430)의 대부분이 대상객체의 영역(430)과 다른객체 영역(440) 간 중첩 영역에 해당되기 때문에 IA(X, Y)=1이 된다.
In the case of the image shown in FIG. 4A, I A (X, Y) = 0 because the area 410 of the target object and the other object area 420 are not overlapped with each other. in the case of the image shown in (b), since most of the region 430 of the target object to correspond to the overlapping area between the area 430 and other object region 440 of the target object, I a (X, Y) = 1.

<셋째, 대상객체와 다른객체 간 유사도><Third, similarity between object and other objects>

중첩 판별부(180)는 대상객체와 다른객체들의 상태 정보를 비교하여, 대상객체와 다른객체들 간의 유사도를 판별한다. 여기서, 중첩 판별부(180)는 다른객체들이 두 개 이상인 경우에는 대상객체와 중첩 영역이 가장 큰 객체를 기준으로 대상객체와의 유사도를 판별할 수도 있다.The overlap determining unit 180 compares the status information of the target object with the status information of other objects to determine the similarity between the target object and other objects. Here, if the number of other objects is two or more, the overlap determining unit 180 may determine the degree of similarity with the target object based on the object having the largest overlap area with the target object.

이 경우, 중첩 판별부(180)는 대상객체와 다른객체에 대응하는 객체 추적 모듈로부터 입력된 상태 변수 중 색상, 에지 및 로컬 바이너리 패턴 중 적어도 하나의 특징을 비교하여 유사도를 산출하도록 한다. 중첩 판별부(180)는 대상객체와 다른객체 간에 산출된 유사도와 임계치를 비교하여, 그 결과에 따라 다른객체가 대상객체와 유사 객체인지를 판별하도록 한다. In this case, the overlap determining unit 180 compares at least one of the color, edge, and local binary patterns among the state variables input from the object tracking module corresponding to the object and the other object to calculate the similarity. The overlap determining unit 180 compares the similarity calculated between the target object and another object with a threshold value, and determines whether another object is a similar object or a similar object according to the comparison result.

이때, 도 3의 (a)와 같이, 대상객체와 배경 영역에 속한 물체가 서로 중첩된 경우 대상객체의 특징과 배경 영역에 속한 가로등 또는 교통 표지판의 특징이 서로 상이하기 때문에, 그 유사도는 낮게 산출될 것이다. 한편, 도 4의 (b)와 같이, 대상객체와 다른객체가 서로 중첩된 경우에는 대상객체와 다른객체가 모두 사람이기 때문에 그 특징이 서로 유사하므로 유사도 또한 높게 산출될 것이다.3 (a), when the objects belonging to the target object and the background area are overlapped with each other, the characteristics of the target object and the characteristics of the street sign or the traffic sign belonging to the background area are different from each other. Will be. On the other hand, when the target object and the other objects are overlapped with each other as shown in (b) of FIG. 4, since the target object and the other objects are both human, their similarities are similar to each other.

여기서, 다른객체가 유사 객체인지에 대한 판별 결과는 아래 [수학식 3]과 같이 나타낼 수 있다.Here, the discrimination result of whether another object is a similar object can be expressed by the following equation (3).

Figure pat00003
Figure pat00003

여기서, X는 대상객체, Y는 다른객체의 상태 변수를 나타내고, S(X, Y)는 대상객체와 다른객체 간 유사도를 나타내며, IS(X, Y)는 다른객체 Y가 대상객체 X와 유사한지 아닌지를 나타내는 변수이다.S (X, Y) represents the degree of similarity between the target object and another object, and I S (X, Y) represents the degree of similarity between the target object X and another object Y, It is a variable indicating whether it is similar or not.

이때, [수학식 3]에서와 같이, 대상객체와 다른객체 간 유사도 S(X, Y)가 임계치(similarityth)를 초과하는 경우 다른객체가 대상객체와 유사 객체인 것으로 판단한다. 따라서, 다른객체가 유사 객체인지를 나타내는 변수 IS(X)는 1이 된다. 한편, 대상객체와 다른객체 간 유사도 S(X, Y)가 임계치(similarityth) 이하인 값이 되는 경우 다른객체가 대상객체와 유사 객체가 아닌 것으로 판단한다. 따라서, 다른객체가 유사 객체인지를 나타내는 변수 IS(X)는 0이 된다.At this time, if the similarity degree S (X, Y) between the target object and another object exceeds the threshold value (similarity th ) as in Equation (3), it is determined that the other object is a similar object to the target object. Therefore, the variable I S (X) indicating whether another object is a similar object is 1. On the other hand, if the similarity degree S (X, Y) between the target object and another object is equal to or less than the threshold value (similarity th ), it is determined that the other object is not a similar object. Therefore, the variable I S (X) indicating whether another object is a similar object is zero.

일 예로서, 도 3의 (a)에 도시된 이미지의 경우 대상객체의 특징과 배경 영역에 속한 가로등 또는 교통 표지판의 특징에 차이가 있기 때문에 IS(X)=0이 되고, 도 4의 (b)에 도시된 이미지의 경우에는 대상객체와 다른객체가 모두 사람이기 때문에 IS(X)=1이 된다.
In the case of the image shown in FIG. 3A, I S (X) = 0 because there is a difference between the characteristics of the target object and the characteristics of the streetlights or traffic signs belonging to the background area, In the case of the image shown in b), I S (X) = 1 because the object and the other object are both human.

이와 같이, 중첩 판별부(180)는 [수학식 1] 내지 [수학식 3]을 조합하여 대상객체의 중첩 상태를 판별할 수 있다. 구체적으로, 중첩 판별부(180)는 아래 [수학식 4]를 참조하여 대상객체의 중첩 상태를 판별할 수 있다.In this way, the overlap determining unit 180 can determine the overlap state of the target object by combining [Equation 1] to [Equation 3]. Specifically, the overlap determining unit 180 can determine the overlapping state of the target object with reference to Equation (4) below.

Figure pat00004
Figure pat00004

여기서, IB(E[Xk])는 k 번째 객체의 위치가 배경 영역에 속하는지에 대한 상태값, IA(E[Xk], argE [ Xi ] max(area0(E[Xk], E[Xi])))는 k 번째 객체의 좌표값이 k 번째 객체와의 중첩 영역이 가장 큰 i 번째 객체의 좌표값과 완전히 중첩되는지에 대한 상태값, IS(E[Xk], argE [ Xi ] max(area0(E[Xk], E[Xi])))는 k 번째 객체의 특징값과 k 번째 객체와의 중첩 영역이 가장 큰 i 번째 객체의 특징값이 유사한지에 대한 상태값을 나타내며, S(k)는 IB, IA, 및 IS의 상태값에 따른 대상객체의 중첩 상태를 나타내는 것이다. 이때, IB(E[Xk])는 앞서 설명한 [수학식 1]에 의해 산출될 수 있으며, IA(E[Xk], argE [ Xi ] max(area0(E[Xk], E[Xi])))는 앞서 설명한 [수학식 2]에 의해 산출될 수 있다. 또한, IS(E[Xk], argE [ Xi ] max(area0(E[Xk], E[Xi])))는 앞서 설명한 [수학식 3]에 의해 산출될 수 있다. Here, I B (E [X k ]) is the state value of how the k-th object location belonging to the background area, I A (E [X k ], arg E [Xi] max (area 0 (E [X k ], E [X i ]))) is a state value for whether the coordinate value of the kth object is completely overlapped with the coordinate value of the ith object having the largest overlapping area with the kth object, I S (E [X k ), arg E [ Xi ] max (area 0 (E [X k ], E [X i ])) is the feature value of the k th object and the feature value of the i th object S (k) represents a superimposition state of object objects according to the state values of I B , I A , and I S. At this time, I B (E [X k ]) are described above can be calculated by Equation 1], I A (E [ X k], arg E [Xi] max (area 0 (E [X k] , E [X i ])) can be calculated by the above-described expression (2). Further, I S (E [X k ], arg E [ Xi ] max (area 0 (E [X k ], E [X i ])) can be calculated by the above-described expression (3).

만일, S(k)가 1로 판정되는 경우, 중첩 판별부(180)는 k 번째의 대상객체가 i 번째의 다른객체와 중첩되어 가려진 것으로 판단하도록 한다. 한편, S(k)가 0으로 판정되는 경우, 중첩 판별부(180)는 k 번째의 대상객체가 i 번째의 다른객체와 중첩되지 않은 것으로 판단하도록 한다.If S (k) is determined to be 1, the overlap determining unit 180 determines that the k-th object overlaps with the i-th other object to be hidden. On the other hand, when S (k) is determined to be 0, the overlap determining unit 180 determines that the k-th object does not overlap with the i-th other object.

이 경우, IB, IA, 및 IS 중 어느 하나라도 0이 되면 S(k)=0이 되고, IB, IA, 및 IS가 모두 1이 되면 S(k)=1이 된다. 다시 말해, 대상객체의 위치가 배경 영역에 속하거나, 대상객체와 다른객체가 중첩된 영역에 해당하는 면적을 대상객체의 영역에 해당하는 면적으로 나눈 값이 임계치 이하이거나, 혹은 대상객체와 중첩된 다른객체 간 유사도가 임계치 이하이면, 대상객체가 다른객체와 중첩된 것으로 판단한다. In this case, any one of I B, I A, and I S, even if the zero and the S (k) = 0, I B, when I A, and I S are both 1 is the S (k) = 1 . In other words, if the position of the target object belongs to the background area, or the area corresponding to the overlapping area of the target object and another object is divided by the area corresponding to the area of the target object is less than or equal to the threshold value, If the degree of similarity between the other objects is below the threshold value, it is determined that the target object is overlapped with another object.

중첩 판별부(180)는 대상객체에 대한 중첩 판별 결과를 제어부(140)로 출력하도록 한다. 제어부(140)는 객체 추적부(170)에 의한 객체 추적 결과를 토대로 대상객체의 위치를 파악할 수 있다. 이 경우, 제어부(140)는 객체 추적 결과를 토대로 파악된 대상객체의 정보를 저장부(130)에 저장하도록 한다. 한편, 제어부(140)는 객체 추적부(170)에 의해 대상객체의 위치를 추적하는 동안 중첩 판별부(180)로부터 대상객체가 다른객체와 중첩된 것으로 판별된 경우, 잘못된 정보로 인해 대상객체의 추적 정확도가 떨어지는 것을 방지하기 위하여 해당 프레임에서의 객체 정보를 저장부(130)에 업데이트 하지 않도록 한다.
The overlap determining unit 180 outputs the result of the overlap determination for the target object to the control unit 140. The control unit 140 can grasp the position of the target object based on the object tracking result by the object tracking unit 170. [ In this case, the control unit 140 stores the information of the target object identified on the basis of the object tracking result in the storage unit 130. Meanwhile, when the object tracking unit 170 determines that the target object is overlapped with another object from the overlap determining unit 180 while tracking the position of the target object by the object tracking unit 170, The object information in the frame is not updated in the storage unit 130 in order to prevent the tracking accuracy from being lowered.

상기와 같이 구성되는 본 발명에 따른 객체 추적 장치의 동작 흐름을 더욱 상세히 설명하면 다음과 같다.The operation flow of the object tracking apparatus according to the present invention will be described in more detail as follows.

도 5는 본 발명의 일 실시예에 따른 객체 추적 방법에 대한 동작 흐름을 도시한 순서도이다. 도 5를 참조하면, 객체 추적 장치는 카메라에서 촬영한 영상이 입력되면(S100), 'S100' 과정에서 입력된 영상으로부터 배경 이미지를 획득하도록 한다(S110). 이때, 'S110' 과정에서 획득한 배경 이미지의 정보는 객체 검출 및 추적에 이용될 수 있으며, 객체 간 중첩 상태를 판별하는데 이용될 수 있다.5 is a flowchart illustrating an operation flow for an object tracking method according to an embodiment of the present invention. Referring to FIG. 5, when an image captured by a camera is inputted (S100), the object tracking apparatus obtains a background image from an image input in the step 'S100' (S110). At this time, the background image information acquired in the process 'S110' can be used for object detection and tracking, and can be used to determine the overlap state between objects.

또한, 객체 추적 장치는 'S100' 과정에서 입력된 영상으로부터 객체를 검출하도록 한다. 도 5의 실시예에서는 'S110' 과정에서 배경 이미지를 먼저 획득하고, 이후 'S120' 과정에서 객체를 검출하는 것으로 도시하였으나, 실시 형태에 따라서는 객체를 검출하는 과정을 먼저 수행할 수도 있다.In addition, the object tracking device detects an object from the input image in the process 'S100'. In the embodiment of FIG. 5, the background image is first acquired in step 'S110', and then the object is detected in step 'S120'. However, according to the embodiment, the process of detecting the object may be performed first.

이후, 객체 추적 장치는 'S120' 과정에서 검출된 객체에 대한 객체 추적을 초기화하고(S130), 'S120' 과정에서 검출된 객체의 위치 정보를 초기 위치로 하여 객체 추적을 시작하도록 한다.Then, the object tracking device initializes object tracking for the object detected in the process 'S120' (S130), and starts object tracking with the position information of the object detected in the process 'S120' as the initial position.

객체 추적 장치는 객체의 위치를 추적하기 위하여, 'S100' 과정에서 획득한 영상의 각 프레임별로 복수 개의 파티클을 추출하고(S140), 'S140' 과정에서 추출된 복수 개의 파티클의 상태 변수값, 상태 천이 행렬 및 파티클 운동 모델 등을 이용하여 각 파티클의 상태 천이를 판별하도록 한다(S150). 또한, 객체 추적 장치는 'S140' 과정에서 추출된 복수 개의 파티클에 대한 색상, 에지 및 로컬 바이너리 패턴 중 적어도 하나의 특징 정보를 파악하여 각 파티클의 위치 추정 유사도를 계산한다(S160).In order to track the position of the object, the object tracking device extracts a plurality of particles for each frame of the image obtained in the step 'S100' (S140), and calculates a state variable value, a state A state transition of each particle is determined using a transition matrix and a particle motion model (S150). In addition, the object tracking apparatus compares at least one of the color, edge, and local binary patterns of the plurality of particles extracted in step S140, and calculates the position estimation similarity of each particle (S160).

여기서, 'S140' 내지 'S160' 과정은 소정 횟수(α) 만큼 반복하여 수행할 수 있다. 만일, 현재 프레임에서의 파티클 추출 횟수가 α를 초과하면(S170), 객체 추적 장치는 소정 횟수만큼 반복하여 추출된 파티클들의 평균값 또는 최대 유사도값을 이용하여 현재 프레임에서의 해당 객체에 대한 상태 변수 추정치를 산출하도록 한다(S180).Here, the processes from S140 to S160 may be repeatedly performed a predetermined number of times. If the number of particle extraction times in the current frame exceeds? (S170), the object tracking apparatus calculates a state variable estimate for the object in the current frame using the average value or the maximum similarity value of the particles repeatedly extracted a predetermined number of times (S180).

이때, 객체 추적 장치는 'S180' 과정에서 산출된 해당 객체의 상태 변수 추정치와, 'S110' 과정에서 추출된 배경 이미지의 정보를 이용하여 추적 대상이 되는 객체의 중첩 상태를 판별하도록 한다(S190). 'S190' 과정의 판별 결과, 해당 객체가 유사한 다른객체에 의해 중첩된 것으로 판단되면(S200), 해당 객체의 정보를 업데이트하지 않고 다음 프레임에 대하여 'S140' 이후 과정을 수행하도록 한다.At this time, the object tracking apparatus determines the overlapping state of objects to be tracked using the state variable estimation value of the corresponding object calculated in the process of S180 and the background image information extracted in the process of S110 (S190) . As a result of the determination in the step 'S190', if it is determined that the object is overlapped by another similar object (S200), the process after 'S140' is performed for the next frame without updating the information of the object.

한편, 'S200' 과정에서 해당 객체가 유사한 다른객체에 의해 중첩된 것으로 판단된 경우에는 해당 객체의 정보를 업데이트하고(S210), 다음 프레임에 대하여 'S140' 이후 과정을 수행하도록 한다.
If it is determined that the object is overlapped by another similar object in step S200, the information of the object is updated (S210), and the process after step S140 is performed for the next frame.

한편, 본 발명은 위에서 논의된 다양한 실시예가 하나 이상의 컴퓨터 또는 프로세서에 의해 실행되는 경우 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the present invention may be embodied as processor readable code on a processor-readable recording medium when the various embodiments discussed above are being executed by one or more computers or processors. The processor-readable recording medium includes all kinds of recording apparatuses in which data that can be read by the processor is stored. Examples of the recording medium readable by the processor include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also a carrier wave such as transmission over the Internet. In addition, the processor readable recording medium may be distributed over networked computer systems so that code readable by the processor in a distributed manner can be stored and executed.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the essential characteristics of the invention. Therefore, the spirit of the present invention should not be construed as being limited to the embodiments described, and all technical ideas which are equivalent to or equivalent to the claims of the present invention are included in the scope of the present invention .

100: 객체 추적 장치 110: 카메라
120: 출력부 130: 저장부
140: 제어부 150: 영상 처리부
160: 객체 검출부 170: 객체 추적부
180: 중첩 판별부100: object tracking device 110: camera
120: output unit 130: storage unit
140: control unit 150: image processing unit
160: Object detection unit 170: Object tracking unit
180: superposition discrimination unit

Claims (1)

입력되는 영상으로부터 객체를 포함하는 영역을 검출하는 객체 검출부;
입력되는 영상의 매 프레임마다 상기 객체에 대응하는 영역으로부터 복수 개의 파티클들을 검출하고, 현재 프레임 및 이전 프레임으로부터 검출된 파티클들을 비교하여 상기 객체의 위치를 추적하는 객체 추적부; 및
상기 파티클들의 평균치 및 유사도값 중 어느 하나에 근거하여 산출된 상태 변수 추정치 및 상기 영상으로부터 검출된 배경 영역의 정보를 이용하여 상기 객체의 중첩 상태를 판별하는 중첩 판별부를 포함하며,
상기 객체가 중첩 상태가 아닌 경우만 해당 객체의 정보를 업데이트 하도록 하는 객체 추적 장치.An object detecting unit for detecting an area including an object from an input image;
An object tracking unit for detecting a plurality of particles from an area corresponding to the object every frame of the input image and comparing the detected particles from the current frame and the previous frame to track the position of the object; And
And an overlay discrimination unit for discriminating the overlapping state of the object using the state variable estimate calculated based on the average value and the similarity value of the particles and the information of the background area detected from the image,
And updates the information of the object only when the object is not in the superimposed state.
KR1020140001649A 2014-01-07 2014-01-07 Apparatus and method for tracking object KR20150081797A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140001649A KR20150081797A (en) 2014-01-07 2014-01-07 Apparatus and method for tracking object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140001649A KR20150081797A (en) 2014-01-07 2014-01-07 Apparatus and method for tracking object

Publications (1)

Publication Number Publication Date
KR20150081797A true KR20150081797A (en) 2015-07-15

Family

ID=53793531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140001649A KR20150081797A (en) 2014-01-07 2014-01-07 Apparatus and method for tracking object

Country Status (1)

Country Link
KR (1) KR20150081797A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059266A (en) * 2015-11-20 2017-05-30 한국전자통신연구원 Object tracking method and object tracking apparatus for performing the method
WO2017150899A1 (en) * 2016-02-29 2017-09-08 광주과학기술원 Object reidentification method for global multi-object tracking
KR101982942B1 (en) * 2017-12-21 2019-05-27 건국대학교 산학협력단 Method of tracking object and apparatuses performing the same
KR20220153870A (en) * 2021-05-12 2022-11-21 고현준 Hybrid video analysis device based on object filters and method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059266A (en) * 2015-11-20 2017-05-30 한국전자통신연구원 Object tracking method and object tracking apparatus for performing the method
WO2017150899A1 (en) * 2016-02-29 2017-09-08 광주과학기술원 Object reidentification method for global multi-object tracking
KR101982942B1 (en) * 2017-12-21 2019-05-27 건국대학교 산학협력단 Method of tracking object and apparatuses performing the same
US11176680B2 (en) 2017-12-21 2021-11-16 Konkuk University Industrial Cooperation Corp Method of tracking object and apparatuses performing the same
KR20220153870A (en) * 2021-05-12 2022-11-21 고현준 Hybrid video analysis device based on object filters and method

Similar Documents

Publication Publication Date Title
Santosh et al. Tracking multiple moving objects using gaussian mixture model
Lee et al. Occlusion handling in videos object tracking: A survey
Bondi et al. Real-time people counting from depth imagery of crowded environments
Mu et al. Multiscale edge fusion for vehicle detection based on difference of Gaussian
EP2965262A1 (en) Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera
JP2008542922A (en) Human detection and tracking for security applications
JP6679858B2 (en) Method and apparatus for detecting occlusion of an object
Jiang et al. Multiple pedestrian tracking using colour and motion models
Alqaysi et al. Detection of abnormal behavior in dynamic crowded gatherings
KR20150081797A (en) Apparatus and method for tracking object
Landabaso et al. Foreground regions extraction and characterization towards real-time object tracking
Mirabi et al. People tracking in outdoor environment using Kalman filter
KR101492059B1 (en) Real Time Object Tracking Method and System using the Mean-shift Algorithm
Wang et al. Tracking objects through occlusions using improved Kalman filter
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Zhang et al. Study on moving-objects detection technique in video surveillance system
Czyzewski et al. Moving object detection and tracking for the purpose of multimodal surveillance system in urban areas
CN103714552B (en) Motion shadow removing method and device and intelligent video analysis system
Batista et al. A dual-stage robust vehicle detection and tracking for real-time traffic monitoring
Deepak et al. Design and utilization of bounding box in human detection and activity identification
Fazli et al. Multiple object tracking using improved GMM-based motion segmentation
Wang et al. Pedestrian fall action detection and alarm in video surveillance
JP4298621B2 (en) Object detection apparatus, object detection method, and object detection program
Choeychuen et al. Robust ambiguous target handling for visual object tracking
Lin et al. A novel layer-scanning method for improving real-time people counting

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid