KR102160749B1 - Method and apparatus for object tracking - Google Patents

Method and apparatus for object tracking Download PDF

Info

Publication number
KR102160749B1
KR102160749B1 KR1020190063296A KR20190063296A KR102160749B1 KR 102160749 B1 KR102160749 B1 KR 102160749B1 KR 1020190063296 A KR1020190063296 A KR 1020190063296A KR 20190063296 A KR20190063296 A KR 20190063296A KR 102160749 B1 KR102160749 B1 KR 102160749B1
Authority
KR
South Korea
Prior art keywords
state
tracking
detected
detection reliability
image frame
Prior art date
Application number
KR1020190063296A
Other languages
Korean (ko)
Inventor
임영철
강민성
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020190063296A priority Critical patent/KR102160749B1/en
Application granted granted Critical
Publication of KR102160749B1 publication Critical patent/KR102160749B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method and a device for tracking an object. According to one embodiment of the present invention, the method for tracking the object, wherein an electronic device tracks the object by processing the object detected in an image in a plurality of states, comprises the step of maintaining a first state of inactivating tracking of an object in accordance with or setting the tracking with regard to the corresponding object as a second state of suspending the tracking of the corresponding object until a next image frame, a third state of tracking the corresponding object, and a fourth state of suspending the tracking inactivation with regard to the corresponding object until the next image frame whether a new object is detected from the image frame and a detection reliability value with regard to the object.

Description

객체 추적 방법 및 장치{Method and apparatus for object tracking}Object tracking method and apparatus TECHNICAL FIELD

본 발명은 객체 추적 방법 및 장치에 관한 것으로서, 더욱 상세하게는 다양한 추적 상태 천이를 통해 보다 높은 신뢰도로 객체를 추적할 수 있는 방법 및 장치에 관한 것이다.The present invention relates to an object tracking method and apparatus, and more particularly, to a method and apparatus capable of tracking an object with higher reliability through various tracking state transitions.

다중 객체 추적 기술은 영상에서 연속으로 검출된 객체들에 대하여, 고유 식별 정보(ID)를 유지하면서 각 객체들의 움직임을 추정하는 기술로서, 영상에서 객체를 검출하는 기술(객체 검출 기술)와, 검출된 객체를 연속된 영상에서 계속 추적하는 기술(객체 추적 기술)을 포함한다.Multi-object tracking technology is a technology that estimates the movement of each object while maintaining unique identification information (ID) for objects continuously detected in an image.It detects an object in an image (object detection technology) and detection It includes a technology (object tracking technology) that continuously tracks the created object in a continuous image.

특히, 신뢰성이 높은 다중 객체 추적 기술을 구현하기 위해서는, 정확도가 높은 객체 검출 기술이 필수적이다. 최근, 딥러닝(deep learning) 등의 기술 발전으로 인해, 객체 검출에 대한 정확도와 신뢰도는 많이 향상되었다. 하지만, 객체 검출 기술에서 문턱 값 설정에 따른 오 검출 또는 미 검출은 여전히 발생하고 있으며, 이에 따라 보다 정확한 객체 추적 기술을 구현하기 어려운 문제점이 있었다.In particular, in order to implement a highly reliable multi-object tracking technology, an object detection technology with high accuracy is essential. Recently, due to advances in technology such as deep learning, the accuracy and reliability of object detection have improved a lot. However, in the object detection technology, false detection or non-detection according to the threshold value setting still occurs, and accordingly, it is difficult to implement a more accurate object tracking technology.

이러한 문제점을 해결하기 위해, 객체 추적 기술과 관련하여, 다양한 다중 객체 추적 관리 기법이 도입되었다. 종래의 다중 객체 추적 관리 기법에서는 연속적으로 Ni개 이상 동일한 객체가 검출되고, 이들이 서로 연관되면 해당 객체에 대하여 추적을 활성화하고, 연속적으로 여러 번 연관되지 않은 객체들에 대하여는 추적을 비활성화하는 방법을 사용하였다. In order to solve this problem, various multi-object tracking management techniques have been introduced in relation to object tracking technology. In the conventional multi-object tracking management technique, if N i or more identical objects are continuously detected, and if they are related to each other, tracking is activated for the corresponding object, and tracking is deactivated for objects that are not continuously related several times. Used.

도 1은 종래의 다중 객체 추적 관리 기법에서 설정되는 객체에 대한 다양한 상태를 나타낸다.1 shows various states of objects set in a conventional multi-object tracking management technique.

즉, 도 1을 참조하면, 종래의 다중 객체 추적 관리 기법에서, 현재 추적중인 객체와 연관되지 않는 객체가 검출되면 해당 객체는 추적 비활성 상태에서 추적 초기 상태로 천이되며, 추적 초기 상태에서 연속적으로 일정 이상 동일한 객체가 검출되면 해당 객체는 추적이 활성화된다. 이때, 현재 추적중인 객체와 검출된 객체와의 유사도를 계산하여 동일 객체 여부를 판단한다. 객체 검출 기술에서 불균일하게 발생하는 오 검출들은 추적 초기 상태에서 데이터 연관이 연속적으로 이루어지지 않기 때문에 추적 활성화가 되지 못하고 비활성화 상태로 천이된다. 객체가 추적 활성 상태가 되면 진짜 객체라고 판단하기 때문에, 미 검출이 발생하더라도 객체 움직임을 예측하여, 해당 객체 영역을 추정함으로써, 미 검출 문제를 해결할 수 있다. 추적 활성 상태의 객체가 검출된 객체들과 연속적으로 Nt개 영상 프레임 이상 연관되지 않으면, 해당 객체는 현재 영상에서 존재하지 않는다고 판단하고, 해당 객체를 추적 비활성화 상태로 천이함으로써 추적을 완전히 종료한다.That is, referring to FIG. 1, in a conventional multi-object tracking management technique, when an object not related to the object currently being tracked is detected, the object transitions from the tracking inactive state to the tracking initial state, and is continuously constant from the tracking initial state. If the same object is detected above, tracking is activated for the object. At this time, it is determined whether the object is the same object by calculating the similarity between the object being tracked and the detected object. Misdetections that occur unevenly in the object detection technology are not continuously associated with data in the initial state of tracking, so tracking cannot be activated and transition to an inactive state. Since the object is determined to be a real object when it is in the tracking active state, the object motion is predicted even if no detection occurs, and the object region is estimated, thereby solving the non-detection problem. If the object in the tracking active state is not continuously associated with the detected objects for more than N t image frames, it is determined that the object does not exist in the current image, and the tracking is completely terminated by transitioning the object to the tracking inactive state.

즉, 종래 다중 객체 추적 관리 기법에서, 각 상태 사이의 천이는 객체 검출 결과와 연속된 데이터 연관 프레임 개수에 의하여 결정된다. 하지만, 객체 검출 기술에서의 객체 유무 판단은 미리 설정된 문턱 값에 의하여 이진 분류로 결정되기 때문에, 해당 객체를 단순히 연속적으로 일정 횟수 이상 검출된 것만으로 진짜 객체로 판단하는 것은 오류를 발생시킬 가능성이 높다.That is, in the conventional multi-object tracking management technique, the transition between each state is determined by the object detection result and the number of consecutive data associated frames. However, since the determination of the existence of an object in the object detection technology is determined by binary classification based on a preset threshold value, determining that the object as a real object simply by being continuously detected more than a certain number of times is likely to cause an error. .

도 2는 객체 검출 단계의 수행 결과에 대한 일 예시의 영상을 나타내며, 도 3은 도 2에 대한 종래 다중 객체 추적 관리 기법에 따른 객체 추적 수행 결과 영상을 나타낸다.FIG. 2 shows an example image of a result of performing an object detection step, and FIG. 3 shows an image of a result of performing object tracking according to the conventional multi-object tracking management technique of FIG. 2.

예를 들어, 객체 검출 문턱 값을 0.3이상, Ni와 Nt를 각각 3으로 설정하였다면, 연속적으로 4 프레임(도 2의 frame #1~ frame #4)에서 검출 신뢰 값이 각각 0.31-0.32-0.30-0.31로 검출된 객체(도 2에서 빨강 박스)는 추적이 활성화 되지만, 0.91-0.73-0.67-0.29로 검출된 객체(도 2에서 파란 박스)는 추적 초기 상태에서 0.29의 검출 신뢰도 값으로 인해 추적이 활성화되지 못하고, 비활성 상태로 천이된다. 위의 두 가지 경우에서, 검출 신뢰 값에 대한 평균을 계산하면, 첫 번째 경우는 0.31이고, 두 번째 경우는 0.65이므로, 확률적으로 보았을 때에는 두 번째 경우가 진짜 객체(real object)일 가능성이 높다. For example, if the object detection threshold is set to 0.3 or more and N i and N t are respectively set to 3, the detection confidence value is 0.31-0.32- respectively in 4 consecutive frames (frame #1 to frame #4 in Fig. 2). The object detected as 0.30-0.31 (red box in Fig. 2) is activated, but the object detected as 0.91-0.73-0.67-0.29 (blue box in Fig. 2) is due to the detection reliability value of 0.29 in the initial state of tracking. Tracking cannot be activated and transitions to an inactive state. In the above two cases, when the average of the detection confidence values is calculated, the first case is 0.31 and the second case is 0.65, so it is highly likely that the second case is a real object. .

하지만, 종래 다중 객체 추적 관리 기법은 첫 번째 경우에서만 추적이 활성화(도 3의 frame #4부터 활성화됨)된다. 만약, 첫 번째 경우에서 오 검출(도 2의 빨강 박스)에 대하여 추적 활성화가 이루어졌다면, 이후에 해당 객체에 대한 미 검출이 발생하더라도 객체 영역이 영상 추적 기술로 추정되어 오 검출 오류가 전파되는 문제가 발생한다(도 3에서 frame #5~#7까지 빨강 점선 박스).However, in the conventional multi-object tracking management scheme, tracking is activated only in the first case (activated from frame #4 of FIG. 3). In the first case, if tracking is activated for the false detection (red box in Fig. 2), the object area is estimated by the image tracking technology and the false detection error is propagated even if the object is not detected later. Occurs (red dotted boxes from frames #5 to #7 in FIG. 3).

도 4는 객체 검출 단계의 수행 결과에 대한 다른 일 예시의 영상을 나타내며, 도 5는 도 4에 대한 종래 다중 객체 추적 관리 기법에 따른 객체 추적 수행 결과 영상을 나타낸다.FIG. 4 shows an image of another example of a result of performing the object detection step, and FIG. 5 shows an image of a result of performing object tracking according to the conventional multi-object tracking management technique of FIG. 4.

한편, 영상에서 객체가 다른 물체에 의하여 가려지거나 FOV(field of veiw)에 의하여 영상에서 사라졌다가 다시 등장하는 경우가 발생할 수 있다. 도 4에서와 같이, 추적이 활성화된 객체가 가려짐으로 인해 일시적으로 미 검출이 발생할 경우, (도 4에서 frame #13~#17), 해당 객체는 움직임 예측으로 객체 영역(도 5에서 frame #13~#15 빨강 점선 박스)을 추정하게 된다. 하지만, 연속적으로 Nt개의 프레임 동안 해당 객체가 연관되지 않으면, 해당 객체는 영상에서 더 이상 존재하지 않는다고 판단하여 추적 비활성화 상태(도 5의 (나)에서 frame #16)로 천이된다. 이후, 해당 객체에 대한 가려짐이 사라지고, 다시 해당 객체가 검출될지라도, 해당 객체는 새로운 객체로 판단되면서, 추적 초기화 상태(도 4의 frame #18)로 천이된다. 도 5에서와 같이, 연속적으로 Ni개의 프레임 동안 해당 객체가 연관(도 5에서 frame #19~#21)된 후에, 해당 객체는 다시 추적 활성화 상태(도 5에서 frame #21)로 천이될 수 있다.On the other hand, there may be a case in which an object in the image is obscured by another object or disappears from the image due to a field of veiw (FOV) and then reappears. As shown in FIG. 4, when a non-detection occurs temporarily due to the object whose tracking is activated is obscured (frames #13 to #17 in FIG. 4), the corresponding object is the object area (frame # in FIG. 5) by motion prediction. 13~#15 red dotted box) is estimated. However, if the object is not associated for N t frames in succession, it is determined that the object does not exist anymore in the image, and the tracking is deactivated (frame #16 in FIG. 5(B)). Thereafter, the obscuration of the object disappears, and even if the object is detected again, the object is determined to be a new object and transitions to a tracking initialization state (frame #18 of FIG. 4). As shown in FIG. 5, after the corresponding object is continuously associated (frames #19 to #21 in FIG. 5) for N i frames, the corresponding object may transition back to the tracking activation state (frame #21 in FIG. 5). have.

즉, 종래 다중 객체 추적 관리 기법을 이용하여 다중 객체를 추적하면, 도 5에서와 같이, 일시적으로 검출이 되지 않는 객체에 대하여 추적 상태가 비활성화되고, 그 이후 다시 해당 객체가 검출되더라도 추적 상태를 다시 초기화함에 따라 해당 객체를 동일한 객체로 판단하지 않고, 서로 다른 객체로 판단(도 5에서 frame #21~#22)하는 문제점이 있었다.That is, if multiple objects are tracked using a conventional multi-object tracking management technique, as shown in FIG. 5, the tracking status is deactivated for objects that are not detected temporarily, and the tracking status is restored even if the corresponding object is detected again thereafter. Upon initialization, there is a problem in that the object is not determined as the same object, but as different objects (frames #21 to #22 in FIG. 5).

본 발명은 다양한 추적 상태 천이를 통해 보다 높은 신뢰도로 객체를 추적하여 객체의 미 검출 또는 오 검출에 따른 문제점을 최소화할 수 있는 객체 추적 방법 및 장치를 제공하는데 그 목적이 있다.An object of the present invention is to provide an object tracking method and apparatus capable of minimizing the problem of non-detection or erroneous detection of an object by tracking an object with higher reliability through various tracking state transitions.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved by the present invention is not limited to the problems mentioned above, and other problems that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 객체 추적 방법은 전자 장치가 영상에서 검출된 객체에 대해 다수의 상태로 처리하여 객체를 추척하는 방법으로서, 영상 프레임에서 새로운 객체의 검출 여부 및 그 객체에 대한 검출 신뢰도 값에 따라, 객체에 대해 추적을 비활성하는 제1 상태를 유지하거나, 해당 객체에 대한 추적을 그 다음 영상 프레임까지 보류하는 제2 상태, 해당 객체를 추적하는 제3 상태, 또는 해당 객체에 대한 추적 비활성을 그 다음 영상 프레임까지 보류하는 제4 상태로 설정하는 단계를 포함한다.An object tracking method according to an embodiment of the present invention for solving the above problems is a method for tracking an object by processing an object detected in an image in a plurality of states by an electronic device, and detecting a new object in an image frame. Depending on whether or not the object has a detection reliability value, the first state in which tracking is disabled for the object is maintained, or the second state in which the tracking of the object is suspended until the next image frame, and the third is to track the object. And setting a state or a fourth state in which tracking inactivity for the corresponding object is suspended until the next image frame.

본 발명의 일 실시예에 따른 객체 추적 방법은, (1) 영상 프레임에서 새로운 객체가 검출될 때까지 제1 상태를 유지하고, 검출될 경우에 계산된 그 검출 신뢰도 값에 따라, 제2 상태 또는 제3 상태로 설정하는 제1 설정 단계, (2) 제2 상태로 기 설정된 객체(제2 상태 객체)가 다음 영상 프레임에서 검출되는 여부 및 계산된 그 검출 신뢰도 값에 따라, 제1 상태 또는 제3 상태로 설정하는 제2 설정 단계, (3) 제3 상태로 기 설정된 객체(제3 상태 객체)가 다음 영상 프레임에서 검출되는 여부 및 계산된 그 검출 신뢰도 값에 따라, 제4 상태로 설정하는 제3 설정 단계를 포함할 수 있다.In the object tracking method according to an embodiment of the present invention, (1) a first state is maintained until a new object is detected in an image frame, and according to the detection reliability value calculated when a new object is detected, the second state or The first setting step of setting to the third state, (2) whether an object (second state object) preset as the second state is detected in the next image frame and the calculated detection reliability value, the first state or the second state A second setting step of setting the state to 3, (3) setting to the fourth state according to whether an object (third state object) preset to the third state is detected in the next video frame and the calculated detection reliability value. It may include a third setting step.

상기 제1 설정 단계는, 검출된 새로운 객체의 검출 신뢰도 값이 제1 기준 보다 크면 제3 상태로 상태 천이하며, 제1 기준에 미달하면 제2 상태로 상태 천이하는 단계를 포함할 수 있다.The first setting step may include transitioning a state to a third state when a detection reliability value of the detected new object is greater than a first criterion, and transitioning a state to a second state when it is less than the first criterion.

상기 제2 설정 단계는, (1) 제2 상태 객체가 다음 영상 프레임에서 미 검출되면 제1 상태로 상태 천이하는 단계, (2) 다음 영상 프레임에서 검출된 제2 상태 객체의 검출 신뢰도 값이 제1 기준 보다 크면 제3 상태로 상태 천이하는 단계, (3) 제1 기준 미달의 검출 신뢰도 값 및 그 이전 검출 신뢰도 값에 대한 평균 값(제1 평균 값)이 제2 기준 보다 작으면 제2 상태를 유지하는 단계, (4) 제1 평균 값이 제1 기준 보다 크되, 제2 상태 객체가 연속해서 일정 횟수 이상 검출된 것이면 제3 상태로 상태 천이하고, 해당 횟수 미만이면 제2 상태를 유지하는 단계를 포함할 수 있다.In the second setting step, (1) a state transition to the first state when the second state object is not detected in the next image frame, and (2) the detection reliability value of the second state object detected in the next image frame is zero. If it is greater than the 1 criterion, the state transitions to a third state. (3) If the average value (first average value) of the detection reliability value below the first criterion and the previous detection reliability value is less than the second criterion, (4) If the first average value is greater than the first criterion, but the second state object is continuously detected more than a certain number of times, the state transitions to the third state, and if less than the corresponding number of times, the second state is maintained. It may include steps.

상기 제1 기준은 상기 제2 기준 보다 큰 값을 가질 수 있다. The first criterion may have a larger value than the second criterion.

본 발명의 일 실시예에 따른 객체 추적 방법은, 제4 상태로 기 설정된 객체(제4 상태 객체)가 일정 개수(Nmf)의 다음 영상 프레임까지 재 검출되기 전까지 제4 상태를 유지하고, 재 검출되면 제3 상태로 설정하며, 미 검출되면 제1 상태로 설정하는 제4 설정 단계를 더 포함할 수 있다.An object tracking method according to an embodiment of the present invention maintains a fourth state until an object (fourth state object) preset to a fourth state is re-detected until the next image frame of a predetermined number (N mf ), and If detected, the third state is set, and if not detected, a fourth setting step of setting the first state may be further included.

상기 제3 설정 단계는, (1) 제3 상태 객체가 다음 영상 프레임에서 미 검출되면 페널티에 해당하는 값을 그 검출 신뢰도 값으로 설정하고, 검출되면 그 검출 신뢰도 값을 계산하는 단계, (2) 설정 또는 계산된 검출 신뢰도 값 및 그 이전 검출 신뢰도 값에 대한 평균 값(제2 평균값)이 제3 기준 보다 크면 제3 상태를 유지하는 단계, (3) 제2 평균 값이 제3 기준 보다 작으면, 상기 Nmf의 값을 설정하고 제4 상태로 상태 천이하는 단계를 포함할 수 있다.The third setting step includes the steps of: (1) setting a value corresponding to the penalty as the detection reliability value if the third state object is not detected in the next video frame, and calculating the detection reliability value when detected, (2) Maintaining a third state if the set or calculated detection reliability value and the average value (the second average value) of the previous detection reliability value is greater than the third criterion, (3) if the second average value is less than the third criterion And setting the value of N mf and transitioning the state to the fourth state.

상기 제1 기준은 상기 제3 기준 보다 큰 값을 가질 수 있다.The first criterion may have a larger value than the third criterion.

상기 객체에 대한 검출 신뢰도 값은 객체에 해당할 확률 값이며, 영상 프레임을 입력 받아 그 영상 프레임 내에 존재하는 객체 및 해당 객체에 대한 검출 신뢰도 값을 출력하도록 기 설정된 머신 러닝 모델을 이용해 도출될 수 있다.The detection reliability value for the object is a probability value corresponding to the object, and may be derived using a machine learning model set in advance to receive an image frame and output an object existing in the image frame and a detection reliability value for the object. .

본 발명의 일 실시예에 따른 객체 추적 장치는, (1) 영상 프레임을 저장한 저장부, (2) 영상 프레임에서 검출된 객체에 대해 다수의 상태로 처리하여 객체의 추적을 제어하는 제어부를 포함한다.An object tracking apparatus according to an embodiment of the present invention includes (1) a storage unit storing an image frame, and (2) a control unit for controlling the tracking of an object by processing an object detected in the image frame into a plurality of states. do.

상기 제어부는, 영상 프레임에서 새로운 객체의 검출 여부 및 그 객체에 대한 검출 신뢰도 값에 따라, 객체에 대해 추적을 비활성하는 제1 상태, 해당 객체에 대한 추적을 그 다음 영상 프레임까지 보류하는 제2 상태, 해당 객체를 추적하는 제3 상태, 또는 해당 객체에 대한 추적 비활성을 그 다음 영상 프레임까지 보류하는 제4 상태로 설정할 수 있다.According to whether a new object is detected in an image frame and a detection reliability value for the object, the control unit is in a first state in which tracking is disabled for an object, and a second state in which tracking for a corresponding object is suspended until the next image frame. , A third state for tracking the corresponding object, or a fourth state in which tracking inactivity for the corresponding object is held until the next image frame may be set.

상기와 같이 구성되는 본 발명은 추적 상태를 검출 신뢰도 값에 기반하여 확률적으로 설정할 수 있기 때문에, 객체 검출 시 발생되는 객체의 미 검출 또는 오 검출 문제를 최소화할 수 있다In the present invention configured as described above, since the tracking state can be set probabilistically based on the detection reliability value, it is possible to minimize the problem of non-detection or erroneous detection of an object that occurs when an object is detected.

또한, 본 발명은 가려짐 등으로 인해 발생되는 객체의 일시적 미 검출에 대하여도, 객체 재 인지 기술을 통하여, 해당 객체를 보다 빠르게 연속적으로 추적할 수 있다.In addition, in the present invention, even for temporary non-detection of an object caused by occlusion, the object can be continuously tracked more quickly through object recognition technology.

도 1은 종래의 다중 객체 추적 관리 기법에서 설정되는 객체에 대한 다양한 상태를 나타낸다.
도 2는 객체 검출 단계의 수행 결과에 대한 일 예시의 영상을 나타낸다.
도 3은 도 2에 대한 종래 다중 객체 추적 관리 기법에 따른 객체 추적 수행 결과 영상을 나타낸다.
도 4는 객체 검출 단계의 수행 결과에 대한 다른 일 예시의 영상을 나타낸다.
도 5는 도 4에 대한 종래 다중 객체 추적 관리 기법에 따른 객체 추적 수행 결과 영상을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 객체 추적 장치(100)의 블록 구성도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 객체 추적 방법에서 설정되는 객체에 대한 다양한 상태를 나타낸다.
도 9는 S200의 제1 설정 단계에 대한 순서도를 나타낸다.
도 10은 S200의 제2 설정 단계에 대한 순서도를 나타낸다.
도 11은 S200의 제3 설정 단계에 대한 순서도를 나타낸다.
도 12는 S200의 제4 설정 단계에 대한 순서도를 나타낸다.
도 13은 도 2에 대한 본 발명의 일 실시예에 객체 추적 방법의 수행 결과 영상을 나타낸다.
도 14는 도 4에 대한 본 발명의 일 실시예에 객체 추적 방법의 수행 결과 영상을 나타낸다.1 shows various states of objects set in a conventional multi-object tracking management technique.
2 shows an example image of a result of performing an object detection step.
FIG. 3 shows an image of a result of performing object tracking according to the conventional multi-object tracking management technique of FIG. 2.
4 shows another example image of a result of performing an object detection step.
5 shows an image of a result of performing object tracking according to the conventional multi-object tracking management technique of FIG. 4.
6 shows a block diagram of an object tracking apparatus 100 according to an embodiment of the present invention.
7 is a flowchart of an object tracking method according to an embodiment of the present invention.
8 shows various states of an object set in an object tracking method according to an embodiment of the present invention.
9 shows a flowchart of the first setting step of S200.
10 shows a flowchart of the second setting step of S200.
11 is a flowchart illustrating a third setting step of S200.
12 is a flowchart illustrating a fourth setting step of S200.
13 shows an image of a result of performing an object tracking method according to an embodiment of the present invention of FIG. 2.
14 shows an image of a result of performing an object tracking method according to an embodiment of the present invention of FIG. 4.

본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.The above objects and means of the present invention, and effects thereof, will become more apparent through the following detailed description in connection with the accompanying drawings, and accordingly, a person having ordinary knowledge in the technical field to which the present invention belongs can facilitate the technical idea of the present invention. It will be possible to do it. In addition, in describing the present invention, when it is determined that a detailed description of known technologies related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terms used in this specification are for describing exemplary embodiments, and are not intended to limit the present invention. In the present specification, the singular form also includes the plural form in some cases unless specifically stated in the phrase. In the present specification, terms such as "include", "include", "provision" or "have" do not exclude the presence or addition of one or more other elements other than the mentioned elements.

본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.In the present specification, terms such as “or” and “at least one” may represent one of words listed together, or a combination of two or more. For example, “or B” “at least one of “and B” may include only one of A or B, and may include both A and B.

본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.In this specification, the description following “for example” may not exactly match the information presented, such as the recited characteristics, variables, or values, and tolerances, measurement errors, limitations of measurement accuracy, and other commonly known factors. It should not be limited to the embodiments of the invention according to the various embodiments of the present invention to effects such as modifications including.

본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.In the present specification, when a component is described as being'connected' or'connected' to another component, it may be directly connected or connected to the other component, but other components exist in the middle. It should be understood that it may be possible. On the other hand, when a component is referred to as being'directly connected' or'directly connected' to another component, it should be understood that there is no other component in the middle.

본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.In the present specification, when a component is described as being'on' or'adjacent' of another component, it may be directly in contact with or connected to another component, but another component exists in the middle. It should be understood that it is possible. On the other hand, when a component is described as being'directly above' or'directly' of another component, it may be understood that there is no other component in the middle. Other expressions describing the relationship between components, for example,'between' and'directly,' can be interpreted as well.

본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.In this specification, terms such as'first' and'second' may be used to describe various elements, but the corresponding elements should not be limited by the above terms. In addition, the terms above should not be interpreted as limiting the order of each component, and may be used for the purpose of distinguishing one component from another component. For example, the'first element' may be named'second element', and similarly, the'second element' may also be named'first element'.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. Unless otherwise defined, all terms used in the present specification may be used with meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not interpreted ideally or excessively unless explicitly defined specifically.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

도 6은 본 발명의 일 실시예에 따른 객체 추적 장치(100)의 블록 구성도를 나타낸다.6 shows a block diagram of an object tracking apparatus 100 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 객체 추적 장치(100)는 전자 장치로서, 영상에서 검출된 객체에 대해 다수의 상태로 처리하여 객체를 추척하는 장치이다.The object tracking apparatus 100 according to an exemplary embodiment of the present invention is an electronic device that tracks an object by processing an object detected in an image into a plurality of states.

예를 들어, 본 발명의 일 실시예에 따른 객체 추적 장치(100)는 스마트폰(smart phone), 이동 전화기(mobile phone), 스마트패드(smart pad), 태블릿 PC(tablet personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 데스크탑 PC(desktop personal computer), 워크스테이션(workstation), PDA(personal digital assistant), 또는 웨어러블 장치(wearable device) 등일 수 있다.For example, the object tracking device 100 according to an embodiment of the present invention includes a smart phone, a mobile phone, a smart pad, a tablet personal computer, and a laptop PC. (laptop personal computer), a netbook computer (netbook computer), a desktop personal computer (desktop personal computer), a workstation (workstation), a personal digital assistant (PDA), or a wearable device (wearable device).

본 발명의 일 실시예에 따른 객체 추적 장치(100)는, 도 6에 도시된 바와 같이, 입력부(110), 통신부(120), 표시부(130), 저장부(140) 및 제어부(150)를 포함할 수 있다.The object tracking device 100 according to an embodiment of the present invention includes an input unit 110, a communication unit 120, a display unit 130, a storage unit 140, and a control unit 150 as shown in FIG. 6. Can include.

입력부(110)는 사용자의 입력에 대응하여, 입력데이터를 발생시킨다. 입력부(110)는 다양한 입력수단을 포함한다. 예를 들어, 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다.The input unit 110 generates input data in response to a user's input. The input unit 110 includes various input means. For example, the input unit 110 is a keyboard (key board), keypad (key pad), dome switch (dome switch), touch panel (touch panel), touch key (touch key), touch pad (touch pad), mouse It may include (mouse), menu button, etc.

통신부(120)는 영상 획득장치(미도시), 서버(미도시) 등의 외부장치와의 통신을 수행하는 구성으로서, 다수의 영상 프레임을 포함한 영상 데이터를 수신할 수 있다. 예를 들어, 통신부(120)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energe), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행할 수 있고, 케이블 통신 등의 유선 통신을 수행할 수 있다.The communication unit 120 is a component that communicates with an external device such as an image acquisition device (not shown) and a server (not shown), and may receive image data including a plurality of image frames. For example, the communication unit 120 is 5G (5th generation communication), LTE-A (long term evolution-advanced), LTE (long term evolution), Bluetooth, BLE (bluetooth low energe), NFC (near field communication), Wireless communication such as WiFi communication may be performed, and wired communication such as cable communication may be performed.

표시부(130)는 다양한 영상데이터를 표시한다. 또한, 표시부(130)는 입력부(120)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다. 표시부(130)는 비발광형 패널 또는 발광형 패널로 구성될 수 있다. The display unit 130 displays various image data. In addition, the display unit 130 may be combined with the input unit 120 to be implemented as a touch screen or the like. The display unit 130 may be configured as a non-light-emitting panel or a light-emitting panel.

예를 들어, 발광형 패널은 발광 다이오드 디스플레이 패널(light emitting diode display panel), 유기전계발광 디스플레이 패널(organic electroluminescence display panel, 또는 OLED[organic light emitting diode] panel), 백라이트형 액정 디스플레이 패널(backlight liquid crystal display panel), 또는 양자점 디스플레이 패널(quantum dot display panel) 등일 수 있다. 또한, 비발광형 패널은 액정 디스플레이 패널(liquid crystal display panel), 전기영동 디스플레이 패널(electrophoretic display panel), 콜레스테릭 액정 디스플레이 패널(cholesteric liquid crystal display panel), 마이크로전기기계 시스템 디스프레이 패널(micro-electromechanical system display panel), 일렉트로웨팅 디스플레이 패널(electrowetting display panel), 또는 전자유체 디스플레이 패널 등일 수 있다.For example, the light emitting panel is a light emitting diode display panel, an organic electroluminescence display panel (OLED), a backlight liquid crystal display panel. crystal display panel), or a quantum dot display panel. In addition, non-luminous panels include liquid crystal display panels, electrophoretic display panels, cholesteric liquid crystal display panels, and micro-electromechanical system display panels. electromechanical system display panel), an electrowetting display panel, or an electromagnetic fluid display panel.

저장부(140)는 객체 추적 장치(100)의 동작에 필요한 각종 저장 정보, 프로그램들을 저장한다. 이때, 저장 정보는 영상데이터, 검출된 객체, 객체의 검출 신뢰도 값, 객체의 상태, 객체 추적 방법에 관련된 알고리즘 등에 대한 정보를 포함할 수 있다.The storage unit 140 stores various types of storage information and programs necessary for the operation of the object tracking device 100. In this case, the storage information may include information about image data, a detected object, a detection reliability value of an object, a state of an object, an algorithm related to an object tracking method, and the like.

예를 들어, 저장부(140)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(Sagnetic media type), CD-ROM(compact disc read only memory), 광기록 매체 타입(Optical Media type), 자기-광 매체 타입(Sagneto-optical media type), 멀티미디어 카드 마이크로 타입(Sultimedia card micro type), 플래시 메모리 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등일 수 있다. 또한, 저장부(140)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템 등일 수 있다.For example, the storage unit 140 may be a hard disk type, a magnetic media type, a compact disc read only memory (CD-ROM), or an optical recording medium type according to the type. type), magneto-optical media type, multimedia card micro type, flash memory type, read only memory type, or random access memory type), etc. In addition, the storage unit 140 may be a cache, a buffer, a main memory device, an auxiliary memory device, or a separate storage system according to its purpose/location.

제어부(150)는 다양한 제어동작을 수행하며, 영상에서 검출된 객체에 대해 다수의 상태로 처리하여 객체를 추적하는 제어동작을 수행할 수 있다. 예를 들어, 제어부(150)는 프로세서(processor) 또는 프로세서에서 동작하는 제어 프로그램일 수 있다. 또한, 제어부(150)는 입력부(110), 통신부(120), 표시부(130) 및 저장부(140)의 동작을 제어할 수 있다.The controller 150 may perform various control operations, and may perform a control operation of tracking an object by processing an object detected in an image as a plurality of states. For example, the control unit 150 may be a processor or a control program operated by the processor. In addition, the control unit 150 may control operations of the input unit 110, the communication unit 120, the display unit 130, and the storage unit 140.

이하, 제어부(150)에 의해 제어 동작되는 본 발명의 일 실시예에 따른 객체 추적 방법에 대하여 설명하도록 한다.Hereinafter, a method of tracking an object according to an embodiment of the present invention controlled by the control unit 150 will be described.

도 7은 본 발명의 일 실시예에 따른 객체 추적 방법의 순서도를 나타낸다. 또한, 도 8은 본 발명의 일 실시예에 따른 객체 추적 방법에서 설정되는 객체에 대한 다양한 상태를 나타낸다.7 is a flowchart of an object tracking method according to an embodiment of the present invention. In addition, FIG. 8 shows various states of objects set in the object tracking method according to an embodiment of the present invention.

즉, 도 7을 참조하면, 본 발명의 일 실시예에 따른 객체 추적 방법은 영상에서 검출된 객체에 대해 다수의 상태로 처리하여 객체를 추척하는 방법으로서, S100 및 S200을 포함한다.That is, referring to FIG. 7, an object tracking method according to an embodiment of the present invention is a method of tracking an object by processing an object detected in an image into a plurality of states, and includes S100 and S200.

이때, 객체에 대한 상태는, 도 8에 도시된 바와 같이, 4가지 상태 중 어느 하나일 수 있다. 제1 상태는 객체에　대해　추적을　비활성하는　상태로서, 추적　비활성　상태라고 지칭될 수 있다. 제2 상태는 객체에 대한 추적을 그 다음 영상 프레임까지 보류하는 상태로서, 추적 초기 상태라고 지칭될 수 있으며, 이하 이러한 상태의 객체를 “제2 상태 객체”라 지칭한다. 즉, 제2 상태는 제1 상태에 있었던 객체에 대해 제3 상태로의 상태 천이 전에 객체에 대한 추적 활성의 결정을 조금 더 지켜볼 필요가 있을 경우에 설정되는 상태이다. 제3 상태는 객체를 추적하는 상태로서, 추적 활성 상태라고 지칭될 수 있으며, 이하 이러한 상태의 객체를 “제3 상태 객체”라 지칭한다. 제4 상태는 객체에 대한 추적 비활성을 그 다음 영상 프레임까지 보류하는 상태로서, 추적 종료 상태라고 지칭될 수 있으며, 이하 이러한 상태의 객체를 “제4 상태 객체”라 지칭한다. 즉, 제4 상태는 한번이라도 제3 상태에 있었던 객체에 대해 제1 상태로의 상태 천이 전에 객체 추적 비활성의 결정을 조금 더 지켜볼 필요가 있을 경우에 설정되는 상태이다.In this case, the state of the object may be any one of four states, as shown in FIG. 8. The first state is a state in which "tracking" is disabled for an object, and may be referred to as a tracking "inactive" state. The second state is a state in which tracking of an object is suspended until the next image frame, and may be referred to as a tracking initial state, and the object in this state is hereinafter referred to as a “second state object”. That is, the second state is a state set when it is necessary to observe the determination of the tracking activity for the object a little more before the state transition to the third state for the object in the first state. The third state is a state in which an object is tracked, and may be referred to as a tracking active state. Hereinafter, the object in this state is referred to as a “third state object”. The fourth state is a state in which tracking inactivity for an object is suspended until the next video frame, and may be referred to as a tracking end state, and the object in this state is hereinafter referred to as a “fourth state object”. That is, the fourth state is a state that is set when it is necessary to observe the determination of object tracking deactivation a little more before the state transition to the first state for the object that has been in the third state at least once.

<초기 설정 단계(S100)><Initial setting step (S100)>

S100은 초기 설정 단계로서, 객체 추적 방법이 개시되는 초기에 설정되는 단계이다. 즉,　S100에서는 제1　상태를 기본 상태로　설정한다.S100 is an initial setting step, which is set at the beginning of the object tracking method. That is, in 　S100, the first 　 state is set as the basic state 　.

<추적 설정 단계(200)><Trace setting step (200)>

S200은 추적 설정 단계로서, 초기 이후의 영상 프레임에서 새로운 객체의 검출 여부 및 그 객체에 대한 검출 신뢰도 값에 따라, 제1 상태 내지 제4 상태 중 어느 한 상태로 설정한다. 즉, S200은 객체의 현재 상태에 따라 제1 설정 단계 내지 제4 설정 단계를 포함할 수 있다. S200 is a tracking setting step, and is set to one of a first state to a fourth state according to whether a new object is detected in an image frame after the initial stage and a detection reliability value for the object. That is, S200 may include a first setting step to a fourth setting step according to the current state of the object.

-제1 설정 단계--The first setting step-

도 9는 S200의 제1 설정 단계에 대한 순서도를 나타낸다.9 shows a flowchart of the first setting step of S200.

도 9를 참조하면, 제1 설정 단계는 현재 상태(즉, 바로 직전에 설정된 상태)가 추적 비활성 상태인 경우(S211)에 적용되는 단계이다. 먼저, 다음 영상 프레임에서 새로운 객체의 검출 여부를 확인한다(S212). 이때, 새로운 객체가 검출되지 않으면, 추적 비활성 상태를 유지한다(S213). 반면, 새로운 객체가 검출되면, 검출된 객체에 대한 검출 신뢰도 값을 계산한다(S214).Referring to FIG. 9, a first setting step is a step applied when a current state (ie, a state set immediately before) is a tracking inactive state (S211). First, it is checked whether a new object is detected in the next image frame (S212). At this time, if a new object is not detected, the tracking inactive state is maintained (S213). On the other hand, when a new object is detected, a detection reliability value for the detected object is calculated (S214).

특히, 객체에 대한 검출 신뢰도 값은 검출된 객체가 목표 객체에 해당할 확률 값일 수 있다. 목표 객체는 사람, 물체, 동물 등과 같이 추적의 대상이 될 수 있는 다양한 객체를 의미한다. 즉, 검출 신뢰도 값이 높을수록, 해당 객체가 목표 객체에 부합할 가능성이 높은 것을 의미한다. 이러한 객체의 검출 여부 및 그 검출 신뢰도 값은 다양한 객체 검출 알고리즘 및 신뢰도 검출 알고리즘을 통해 도출될 수 있다. 예를 들어, 객체의 검출 여부 및 그 검출 신뢰도 값은 영상 프레임의 입력 값에 대해, 그 영상 프레임 내에 존재하는 객체 및 해당 객체에 대한 검출 신뢰도 값을 그 출력 값으로 출력하도록, 머신 러닝 기법을 통해 기 학습된 머신 러닝 모델을 이용해 도출될 수 있다.In particular, the detection reliability value for the object may be a probability value that the detected object corresponds to the target object. The target object refers to various objects that can be tracked, such as people, objects, and animals. That is, the higher the detection reliability value is, the higher the probability that the corresponding object matches the target object. Whether such an object is detected and a detection reliability value may be derived through various object detection algorithms and reliability detection algorithms. For example, whether or not an object is detected and its detection reliability value are determined through a machine learning technique to output an object existing in the image frame and a detection reliability value for the object as the output value for the input value of the image frame. It can be derived using a previously learned machine learning model.

예를 들어, 머신 러닝 기법은 지도 학습 기법(Supervised Learning) 또는 비 지도 학습 기법(Non-supervised Learning)일 수 있으며, 지도 학습 기법은 Artificial neural network, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of classifiers, Deep Learning 등의 기법 중에 하나일 수 있다.For example, the machine learning technique may be supervised learning or non-supervised learning, and the supervised learning technique is Artificial neural network, Boosting, Bayesian statistics, Decision tree, Gaussian process regression, It may be one of techniques such as Nearest neighbor algorithm, Support vector machine, Random forests, Symbolic machine learning, Ensembles of classifiers, and Deep Learning.

이후, S214에 따라 계산된 검출 신뢰도 값을 그에 대한 문턱 값인 제1 기준과 비교한다(S215). 계산된 검출 신뢰도 값이 제1 기준 보다 작은 경우, 해당 객체의 상태를 추적 비활성 상태에서 추적 초기 상태로 천이한다(S216). 반면, 계산된 검출 신뢰도 값이 제1 기준 보다 큰 경우, 해당 객체의 상태를 추적 비활성 상태에서 추적 활성 상태로 천이한다(S217).Thereafter, the detection reliability value calculated in accordance with S214 is compared with a first criterion that is a threshold value therefor (S215). If the calculated detection reliability value is less than the first criterion, the state of the object is transitioned from the tracking inactive state to the tracking initial state (S216). On the other hand, when the calculated detection reliability value is greater than the first criterion, the state of the object is transitioned from the tracking inactive state to the tracking active state (S217).

-제2 설정 단계--The second setting step-

도 10은 S200의 제2 설정 단계에 대한 순서도를 나타낸다.10 shows a flowchart of the second setting step of S200.

제2 설정 단계는 현재 상태가 추적 초기 상태인 경우(S221)의 객체, 즉 제2 상태 객체에 적용되는 단계이다. 먼저, 다음 영상 프레임에서 검출된 객체가 제2 상태 객체와 연관되는지 판단한다(S222). 즉, S222에서, 검출된 객체와 제2 상태 객체에 대해 유사도를 도출한다. 예를 들어, 다양한 상관 관계 알고리즘을 이용하여, 이러한 유사도를 도출할 수 있다. 이때, 유사도가 일정 미달이면, 검출된 객체와 제2 상태 객체가 서로 연관되지 않는 것으로 판단하여, 제2 상태 객체의 상태를 추적 비활성 상태로 천이하며(S223), 검출된 객체에 대해서는 새로운 객체로 판단하여 제1 설정 단계를 수행할 수 있다. 반면, 유사도가 일정 이상이면, 검출된 객체와 제2 상태 객체가 서로 연관되는 것으로 판단하며, 검출된 객체에 대한 검출 신뢰도 값을 계산하며(S224), 이는 S214의 과정과 동일하다.The second setting step is a step applied to the object when the current state is the initial tracking state (S221), that is, the second state object. First, it is determined whether the object detected in the next image frame is related to the second state object (S222). That is, in S222, a degree of similarity between the detected object and the second state object is derived. For example, various correlation algorithms can be used to derive such similarities. At this time, if the degree of similarity is less than a certain level, it is determined that the detected object and the second state object are not related to each other, and the state of the second state object is transitioned to a tracking inactive state (S223), and the detected object is converted to a new object. It is determined that the first setting step may be performed. On the other hand, if the similarity is more than a certain level, it is determined that the detected object and the second state object are related to each other, and a detection reliability value for the detected object is calculated (S224), which is the same as the process of S214.

이후, S224에 따라 계산된 검출 신뢰도 값을 그에 대한 문턱 값인 제1 기준과 비교한다(S225). 계산된 검출 신뢰도 값이 제1 기준 보다 큰 경우, 해당 제2 상태 객체의 상태를 추적 초기 상태에서 추적 활성 상태로 천이한다(S226). 반면, 계산된 검출 신뢰도 값이 제1 기준 보다 작은 경우, 평균 신뢰도 값을 계산한다(S227). 이때, 평균 신뢰도 값은 제1 기준 미달에 해당하는 검출된 객체의 검출 신뢰도 값과, 해당 제2 상태 객체에 대해 그 이전에 계산된 검출 신뢰도 값(복수개인 경우 복수개를 포함)에 대한 평균 값(이하, “제1 평균 값”이라 지칭함)이다.Thereafter, the detection reliability value calculated in accordance with S224 is compared with a first criterion that is a threshold value therefor (S225). When the calculated detection reliability value is greater than the first criterion, the state of the second state object is transitioned from the initial tracking state to the active tracking state (S226). On the other hand, when the calculated detection reliability value is less than the first criterion, an average reliability value is calculated (S227). In this case, the average reliability value is the average value of the detection reliability value of the detected object that falls short of the first criterion, and the detection reliability value (including a plurality if there are multiple) calculated before that for the corresponding second state object ( Hereinafter, it is referred to as "the first average value").

이후, S227에 따라 계산된 제1 평균 값을 그에 대한 문턱 값인 제2 기준과 비교한다(S228). 계산된 제1 평균 값이 제2 기준 보다 작은 경우, 해당 제2 상태 객체의 상태를 추적 초기 상태로 유지한다(S229). 반면, 계산된 제1 평균 값이 제2 기준 보다 큰 경우, 최소 연관 개수에 도달했는지 비교한다(S231). 즉, 연속된 영상 프레임에서, 제1 평균 값이 제2 기준 보다 큰 조건을 만족하는 제2 상태 객체가 연속해서 일정 횟수(최소 연관 개수) 미만으로 검출된다면, 해당 제2 상태 객체의 상태를 추적 초기 상태로 유지한다(S232). 반면, 연속된 영상 프레임에서, 제1 평균 값이 제2 기준 보다 큰 조건을 만족하는 제2 상태 객체가 연속해서 일정 횟수(최소 연관 개수) 이상으로 검출된다면, 해당 제2 상태 객체의 상태를 추적 활성 상태로 천이한다(S233).Thereafter, the first average value calculated according to S227 is compared with a second criterion that is a threshold value therefor (S228). If the calculated first average value is less than the second criterion, the state of the second state object is maintained as an initial tracking state (S229). On the other hand, if the calculated first average value is greater than the second criterion, it is compared whether the minimum number of associations has been reached (S231). That is, if a second state object that satisfies a condition having a first average value greater than the second criterion in successive video frames is continuously detected less than a certain number of times (minimum association number), the state of the second state object is tracked. Maintain the initial state (S232). On the other hand, in successive video frames, if a second state object that satisfies a condition having a first average value greater than the second criterion is continuously detected more than a certain number of times (minimum associated number), the state of the corresponding second state object is tracked. Transition to the active state (S233).

한편, 제1 기준은 하나의 영상 프레임을 기준으로 그 객체에 대해 적용되는 추적 활성 상태의 천이를 위한 기준인 반면, 제2 기준은 적어도 2개의 연속된 영상 프레임을 기준으로 연속해서 도출된 복수의 제2 상태 객체에 대해 적용되는 추적 활성 상태의 천이를 위한 기준이다. 이에 따라, 제2 기준을 적용하는 객체의 경우, 연속 도출된 것이므로 그 추적 활성의 필요성도 함께 높아진 것에 해당한다. 따라서, 제2 기준은 제1 기준 보다 작은 값을 가지는 것이 바람직할 수 있다. On the other hand, the first criterion is a criterion for transition of the tracking active state applied to the object based on one image frame, while the second criterion is a plurality of consecutively derived images based on at least two consecutive image frames. It is a criterion for transition of the tracking active state applied to the second state object. Accordingly, in the case of an object to which the second criterion is applied, since it is continuously derived, the necessity of tracking activation is also increased. Therefore, it may be preferable that the second criterion has a value smaller than the first criterion.

-제3 설정 단계--3rd setting step-

도 11은 S200의 제3 설정 단계에 대한 순서도를 나타낸다.11 is a flowchart illustrating a third setting step of S200.

제3 설정 단계는 현재 상태가 추적 활성 상태인 경우(S241)의 객체, 즉 제3 상태 객체에 적용되는 단계이다. 먼저, 다음 영상 프레임에서 검출된 객체가 제3 상태 객체와 연관되는지 판단한다(S242). 즉, S242에서, 검출된 객체와 제3 상태 객체에 대해 유사도를 도출한다. 예를 들어, 다양한 상관 관계 알고리즘을 이용하여, 이러한 유사도를 도출할 수 있다. 이때, 유사도가 일정 미달이면, 검출된 객체와 제3 상태 객체가 서로 연관되지 않는 것으로 판단하여, 제3 상태 객체의 검출 신뢰도 값에 패널티를 할당할 수 있다(S243). 예를 들어, 현재의 제3 상태 객체의 검출 신뢰도 값을 최소 값(가령, 0)으로 할당할 수 있으며, 검출된 객체에 대해서는 새로운 객체로 판단하여 제1 설정 단계를 수행할 수 있다. 반면, 유사도가 일정 이상이면, 검출된 객체와 제3 상태 객체가 서로 연관되는 것으로 판단하며, 검출된 객체에 대한 검출 신뢰도 값을 계산하며(S244), 이는 S214의 과정과 동일하다.The third setting step is a step applied to the object when the current state is the tracking active state (S241), that is, the third state object. First, it is determined whether the object detected in the next image frame is related to the third state object (S242). That is, in S242, a degree of similarity between the detected object and the third state object is derived. For example, various correlation algorithms can be used to derive such similarities. In this case, if the degree of similarity is less than a certain level, it is determined that the detected object and the third state object are not related to each other, and a penalty may be allocated to the detection reliability value of the third state object (S243). For example, the detection reliability value of the current third state object may be assigned as a minimum value (eg, 0), and the detected object may be determined as a new object and a first setting step may be performed. On the other hand, if the similarity is more than a certain level, it is determined that the detected object and the third state object are related to each other, and a detection reliability value for the detected object is calculated (S244), which is the same as the process of S214.

이후, 평균 신뢰도 값을 계산한다(S245). 이때, 평균 신뢰도 값은 S243에 따라 할당되거나 S244에 따라 계산된 검출 신뢰도 값과, 해당 제3 상태 객체에 대해 그 이전에 계산된 검출 신뢰도 값(복수개인 경우 복수개를 포함)에 대한 평균 값(이하, “제2 평균 값”이라 지칭함)이다.Thereafter, an average reliability value is calculated (S245). At this time, the average reliability value is the average value of the detection reliability value assigned according to S243 or calculated according to S244, and the detection reliability value calculated before that for the corresponding third state object (including a plurality of cases) (hereinafter , Referred to as “second average value”).

이후, S235에 따라 계산된 제2 평균 값을 그에 대한 문턱 값인 제3 기준과 비교한다(S246). 계산된 제2 평균 값이 제3 기준 보다 큰 경우, 해당 제3 상태 객체의 상태를 추적 활성 상태로 유지한다(S247). 반면, 계산된 제2 평균 값이 제3 기준 보다 작은 경우, 제4 상태를 유지하는 영상 프레임 개수(Nmf)을 설정한 후(S248), 해당 제3 상태 객체의 상태를 추적 종료 상태로 천이한다(S249). Thereafter, the second average value calculated according to S235 is compared with a third criterion, which is a threshold value therefor (S246). If the calculated second average value is greater than the third criterion, the state of the corresponding third state object is maintained in a tracking active state (S247). On the other hand, if the calculated second average value is smaller than the third criterion, after setting the number of image frames (N mf ) maintaining the fourth state (S248), the state of the third state object is transitioned to the tracking end state. Do (S249).

이때, Nmf은 제4 상태 객체에 대하여 객체 재 인지(re-identification)를 위하여 유지될 최대 프레임 개수를 의미한다. 즉, 객체의 경우, 영상에서 일시적으로 사라졌다가 다시 나타날 수 있다. 따라서, 영상에서 사라져서 제4 상태로 설정된 객체가 Nmf 내의 영상 프레임 기간 동안에 영상에 다시 나타나 재 인지된다면, 해당 객체에 대해 제2 설정 단계에 따른 과정 없이 바로 추적 활성 상태로 천이할 수 있는 이점이 생긴다.In this case, N mf means the maximum number of frames to be maintained for object re-identification with respect to the fourth state object. That is, in the case of an object, it may temporarily disappear from the image and then appear again. Therefore, if an object that has disappeared from the image and is set to the fourth state reappears in the image during the image frame period within N mf and is re-recognized, there is an advantage that the object can immediately transition to the tracking active state without the process according to the second setting step. Occurs.

한편, 제1 기준은 하나의 영상 프레임을 기준으로 그 객체에 대해 적용되는 추적 활성 상태의 천이를 위한 기준인 반면, 제3 기준은 적어도 한번 이상 추적 활성 상태에 도달했던 제3 상태 객체에 대해 적용되는 추적 활성 상태의 유지를 위한 기준이다. 이에 따라, 제3 기준을 적용하는 객체의 경우, 그 추적 활성 상태가 계속 유지될 필요성이 있는 것에 해당한다. 따라서, 제3 기준은 제1 기준 보다 작은 값을 가지는 것이 바람직할 수 있다. Meanwhile, the first criterion is a criterion for transition of the tracking active state applied to the object based on one image frame, while the third criterion is applied to a third state object that has reached the tracking active state at least once. This is the criterion for maintaining the tracking active state. Accordingly, in the case of an object to which the third criterion is applied, it is necessary to keep the tracking active state continuously. Therefore, it may be desirable that the third criterion has a value smaller than the first criterion.

-제4 설정 단계--4th setting step-

도 12는 S200의 제4 설정 단계에 대한 순서도를 나타낸다.12 is a flowchart illustrating a fourth setting step of S200.

제4 설정 단계는 현재 상태가 추적 종료 상태인 경우(S251)의 객체, 즉 제4 상태 객체에 적용되는 단계이다. 먼저, 다음 영상 프레임에서 검출된 객체가 제4 상태 객체에 해당하는지 판단한다(S252). 즉, S252에서, 검출된 객체와 제4 상태 객체에 대해 유사도를 도출한다. 예를 들어, 다양한 상관 관계 알고리즘을 이용하여, 이러한 유사도를 도출할 수 있다. 이때, 유사도가 일정 이상이면, 검출된 객체가 제4 상태 객체에 해당하는 것으로 인지하며, 해당 제4 상태 객체의 상태를 추적 활성 상태로 천이한다(S253). 반면, 유사도가 일정 미달이면, 검출된 객체가 제4 상태 객체에 해당하지 않는 것으로 인지하여, 제4 상태 객체가 일정 개수(Nmf) 만큼 연속해서 영상 프레임에서 미 검출된 것인지 판단한다. 즉, 제4 상태 객체의 검출에 실패하면, 해당 미 검출된 영상 프레임의 개수만큼 Nmf을 하나씩 감한다(S254). 이후, Nmf이 아직 0에 도달하지 않았으면, 해당 제4 상태 객체의 상태를 추적 종료 상태로 유지한다(S256). 반면, Nmf이 0에 도달하면, 해당 제4 상태 객체의 상태를 추적 비활성 상태로 천이한다(S257).The fourth setting step is a step applied to the object when the current state is the tracking end state (S251), that is, the fourth state object. First, it is determined whether the object detected in the next image frame corresponds to the fourth state object (S252). That is, in S252, a degree of similarity between the detected object and the fourth state object is derived. For example, various correlation algorithms can be used to derive such similarities. In this case, if the similarity is greater than a certain level, it is recognized that the detected object corresponds to the fourth state object, and the state of the fourth state object is transitioned to a tracking active state (S253). On the other hand, if the degree of similarity is less than a certain level, it is recognized that the detected object does not correspond to the fourth state object, and it is determined whether the fourth state object has been continuously detected in the image frame by a certain number N mf . That is, if detection of the fourth state object fails, N mf is subtracted one by one by the number of corresponding undetected image frames (S254). Thereafter, if N mf has not yet reached 0, the state of the fourth state object is maintained as the tracking end state (S256). On the other hand, when N mf reaches 0, the state of the fourth state object is transitioned to the tracking inactive state (S257).

도 13은 도 2에 대한 본 발명의 일 실시예에 객체 추적 방법의 수행 결과 영상을 나타낸다. 또한, 도 14는 도 4에 대한 본 발명의 일 실시예에 객체 추적 방법의 수행 결과 영상을 나타낸다.13 shows an image of a result of performing an object tracking method according to an embodiment of the present invention of FIG. 2. In addition, FIG. 14 shows an image of a result of performing an object tracking method according to an embodiment of the present invention of FIG. 4.

본 발명은 추적 활성 상태와 추적 비활성 상태에 대한 신뢰도를 높이기 위하여, 객체 대한 연속된 검출 신뢰도 값에 기반한 각 상태의 천이를 수행함으로써, 다중 객체 추적 관리가 가능하다. 그 결과, 본 발명은 객체 검출의 불확실성에 의한 객체의 오 검출 또는 미 검출에 따른 악영향을 최소화할 수 있는 이점이 있다. In the present invention, in order to increase the reliability of the tracking active state and the tracking inactive state, multiple object tracking management is possible by performing transition of each state based on a continuous detection reliability value for an object. As a result, the present invention has an advantage of minimizing adverse effects due to erroneous detection or non-detection of an object due to uncertainty in object detection.

즉, 도 1에 따른 종래의 추적 관리 기법에서는 추적 비활성, 추적 초기, 추적 활성 상태 등의 추적 상태 천이가 객체 검출 유무와 연속 데이터 연관 개수에 의하여 이루어졌다. 객체 검출 유무는 미리 설정된 문턱 값에 의하여, 이진 분류로 결정하였기 때문에, 객체 존재 유무에 대한 확률 정보는 활용하지 않았다. 또한, 종래 방법에서는 연속된 데이터 연관 개수를 이용하여, 오 검출에 대한 문제를 해결하였고, 추적 활성 상태에서는 객체 움직임 예측으로 미 검출에 대한 문제를 해결하였다. That is, in the conventional tracking management technique according to FIG. 1, transitions of tracking states such as tracking inactivity, tracking initial, and tracking active states are performed by the presence or absence of object detection and the number of consecutive data associations. Since the presence or absence of object detection was determined by binary classification based on a preset threshold value, probability information on the presence or absence of an object was not utilized. In addition, in the conventional method, the problem of false detection is solved by using the number of consecutive data associations, and the problem of non-detection is solved by object motion prediction in the active tracking state.

그 결과, 종래 방법에서는 추적이 활성화된 객체가 가려짐으로 인해 일시적으로 미 검출이 발생한 후, 연속적으로 Nt개의 프레임 동안 해당 객체가 연관되지 않으면, 해당 객체는 영상에서 더 이상 존재하지 않는다고 판단하여 추적 비활성화 상태로 천이된다. 이후, 해당 객체에 대한 가려짐이 사라지고, 다시 해당 객체가 검출될지라도, 해당 객체는 새로운 객체로 판단되면서 추적 초기화 상태로 천이된다. 따라서, 종래 방법은 일시적으로 검출이 되지 않다 다시 나타난 객체에 대해 서로 객체로 판단하는 문제점과 함께, 해당 객체에 대한 추적 활성화 상태로의 천이가 그만큼 느린 문제점이 있었다.As a result, in the conventional method, if the object is not detected for a period of N t frames in succession after a temporary non-detection occurs due to the object whose tracking is activated is obscured, it is determined that the object is no longer present in the image. Transitions to the inactive state of tracking. Thereafter, the obscuration of the object disappears, and even if the object is detected again, the object is determined as a new object and transitions to the tracking initialization state. Accordingly, the conventional method has a problem in that objects that reappear temporarily not detected are judged as objects to each other, and a transition to a tracking activation state for a corresponding object is slow enough.

반면, 본 발명의 객체 추적 방법은, 도 8에 도시된 바와 같이, 추적 비활성, 추적 초기, 추적 활성 및 추적 종료의 4가지 추적 상태를 설정하며, 각각의 추적 상태는 객체 검출 신뢰도 값 또는 그 평균 신뢰 값에 기반하여 결정된다. 이로 인해, 검출 신뢰 값이 아주 크거나 다수 프레임 동안의 평균 신뢰 값이 큰 객체에 대하여만 추적 활성화가 이루어질 수 있다. 그 결과, 오 검출된 객체에 대한 추적 활성 상태로의 천이 가능성을 최소화할 수 있다. On the other hand, the object tracking method of the present invention, as shown in FIG. 8, sets four tracking states: tracking inactivity, tracking initial, tracking active, and tracking end, and each tracking state is an object detection reliability value or an average thereof. It is determined based on the confidence value. Accordingly, tracking activation can be performed only for an object having a very large detection confidence value or a large average confidence value for multiple frames. As a result, it is possible to minimize the possibility of transition to an active tracking state for an object that has been erroneously detected.

또한, 추적 활성 상태의 객체에 대하여는 평균 신뢰 값을 기반으로 해당 객체가 영상에서 존재하는지를 판단하므로, 추적 종료 상태로의 천이에 대한 신뢰도를 높일 수 있다. 또한, 가려짐 등으로 인해 일시적으로 미 검출된 객체에 대하여는 추적 종료 상태로 천이한 후, 해당 상태가 일정 기간 동안 유지된다. 이러한 추적 종료 상태 동안에, 해당 객체가 다시 나타나 재 검출이 되어 해당 객체가 재 인지되면, 해당 객체는 바로 추적 활성 상태로 천이되며, 이전과 동일한 객체로 판단될 수 있다. In addition, since it is determined whether a corresponding object exists in an image based on an average confidence value for an object in a tracking active state, reliability for a transition to a tracking end state can be increased. In addition, objects that are temporarily undetected due to obscuration or the like are transferred to the tracking end state, and then the corresponding state is maintained for a certain period of time. During such a tracking end state, when the corresponding object appears again and is detected again and the corresponding object is recognized again, the corresponding object immediately transitions to the active tracking state, and may be determined as the same object as before.

도 2에 도시된 바와 같이, 연속 4 프레임(frame #1~ frame #4)에서, 검출 신뢰도 값이 0.31-0.32-0.30-0.31인 객체(도 2에서 빨강 박스)와, 검출 신뢰도 값이 0.91-0.73-0.67-0.29인 객체(도 2에서 파란 박스)에 대하여, 종래 추적 관리 기법을 적용하면, 도 3에 도시된 바와 같이, 진짜 객체에 대하여는 추적 활성화가 늦게 이루어지고(도 3의 frame #8), 오 검출에 대하여는 추적 활성화가 빠른 시점(도 3의 frame #4)에 이루어지게 된다. 또한, 오 검출에 대하여 추적이 활성화되면, 검출이 되지 않은 프레임에서도 영상 추적에 의하여 오 검출이 전파되는 문제가 발생한다(도 3에서 frame #5~#7까지 빨강 점선 박스). As shown in FIG. 2, in 4 consecutive frames (frame #1 to frame #4), an object having a detection reliability value of 0.31-0.32-0.30-0.31 (red box in FIG. 2) and a detection reliability value of 0.91- For an object of 0.73-0.67-0.29 (blue box in FIG. 2), when a conventional tracking management technique is applied, as shown in FIG. 3, tracking activation is delayed for a real object (frame #8 in FIG. 3). ), for false detection, it is performed at a point in time when tracking activation is early (frame #4 of FIG. 3). In addition, when tracking is activated for false detection, a problem occurs in that false detection is propagated by video tracking even in frames that are not detected (red dotted boxes in frames #5 to #7 in FIG. 3).

반면, 본 발명의 객체 추적 방법에서, 제1 기준을 0.9, 제2 기준 및 제3 기준을 0.5로 각각 설정하면, 도 13에 도시된 바와 같이, 종래 방법에서 발생했던 객체의 오 검출 또는 미 검출에 따른 문제점이 모두 해결될 수 있다. 즉, 첫 번째 객체(도 2에서 빨강 박스)의 경우, 연속된 프레임의 평균 신뢰도 값이 0.5를 넘지 못하기 때문에 추적 초기 상태를 유지(도 13에서 frame #1~#4)하다가 추적 비활성화 상태(도 13에서 frame #5)로 천이하게 된다. 두 번째 객체(도 2에서 파란 박스)의 경우, 첫 번째 프레임에서 검출 신뢰도가 0.91이 되어서, 제1 기준을 초과하게 되어 바로 추적 활성 상태로 천이하게 된다. 4번째 프레임에서 (도 2에서 frame #4)에서 미 검출이 발생하지만, 해당 객체가 추적 활성 상태이기 때문에, 영상 추적으로 해당 객체의 영역을 추정함(도 13에서 frame #4의 파란 점선 박스)으로써, 미 검출 문제를 해결할 수 있다. On the other hand, in the object tracking method of the present invention, if the first criterion is set to 0.9, the second criterion and the third criterion to 0.5, respectively, as shown in FIG. 13, erroneous detection or non-detection of an object occurred in the conventional method. All of the problems can be solved. That is, in the case of the first object (the red box in Fig. 2), the initial state of tracking is maintained (frames #1 to #4 in Fig. 13) because the average reliability value of the consecutive frames does not exceed 0.5, and the tracking is inactive ( In Fig. 13, it transitions to frame #5). In the case of the second object (blue box in Fig. 2), the detection reliability is 0.91 in the first frame, exceeding the first criterion, and immediately transitions to the tracking active state. In the fourth frame (frame #4 in Fig. 2), no detection occurs, but since the object is in the tracking active state, the area of the object is estimated by tracking the image (blue dotted box in frame #4 in Fig. 13) Thus, it is possible to solve the non-detection problem.

한편, 도 4에 도시된 바와 같이, 가려짐에 의하여 일시적으로 미 검출이 발생한 경우, 종래 방법에서는 해당 객체가 추적 비활성 상태로 천이되고, 추적이 완전히 종료되었다. 이후에, 해당 객체가 다시 검출되더라도, 해당 객체가 새로운 객체로 인지되어 추적이 활성화(도 5에서 frame #21과 #22의 노란 박스)되는 문제가 발생하였다. 반면, 본 발명의 객체 추적 방법의 경우, 도 14에 도시된 바와 같이, 일시적인 가려짐에 의하여 추적이 일시적으로 종료되더라도, 해당 객체가 다시 검출되는 경우(도 4에서 frame #19의 빨강 박스), 추적 종료 상태의 객체들과 유사도를 판단하여 객체 재 인지가 성공되면, 해당 객체는 다시 활성 상태로 천이되고, 기존 객체와 동일한 객체로 판단(도 14에서 frame #19의 빨강 박스)된다. On the other hand, as shown in FIG. 4, when there is a temporary non-detection due to being covered, in the conventional method, the object is transitioned to a tracking inactive state, and tracking is completely terminated. Thereafter, even if the object is detected again, the object is recognized as a new object and tracking is activated (yellow boxes in frames #21 and #22 in FIG. 5). On the other hand, in the case of the object tracking method of the present invention, as shown in FIG. 14, even if the tracking is temporarily terminated due to temporary occlusion, when the object is detected again (the red box of frame #19 in FIG. 4), When re-recognition of the object is successful by determining the similarity to the objects in the tracking end state, the corresponding object transitions to the active state again, and it is determined as the same object as the existing object (the red box in frame #19 in FIG. 14).

즉, 본 발명의 객체 추적 방법은 추적 상태를 검출 신뢰도 값에 기반하여 확률적으로 설정할 수 있기 때문에, 객체 검출 시 발생되는 객체의 미 검출 또는 오 검출 문제를 최소화할 수 있다. 또한, 가려짐 등으로 인해 발생되는 일시적 미 검출에 대하여도, 객체 재 인지 기술을 통하여, 해당 객체를 보다 빠르게 연속적으로 추적할 수 있다. 이러한 본 발명의 객체 추적 방법은 CCTV, 자동차, 로봇, 게임 등의 다중 객체 추적이 요구되는 다양한 응용 분야에서 유용하게 활용될 수 있다.That is, since the object tracking method of the present invention can probabilistically set the tracking state based on the detection reliability value, it is possible to minimize a problem of non-detection or false detection of an object that occurs when an object is detected. In addition, even for temporary non-detection caused by occlusion, the object can be continuously tracked more quickly through object recognition technology. The object tracking method of the present invention can be usefully utilized in various application fields requiring multiple object tracking such as CCTV, automobile, robot, and game.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention is not limited to the described embodiments, and should be defined by the claims to be described later and equivalents to the claims.

100: 객체 추적 장치
110: 입력부 120: 통신부
130: 표시부 140: 저장부
150: 제어부100: object tracking device
110: input unit 120: communication unit
130: display unit 140: storage unit
150: control unit

Claims (10)

전자 장치가 영상에서 검출된 객체에 대해 다수의 상태로 처리하여 객체를 추척하며, 영상 프레임에서 새로운 객체의 검출 여부 및 그 객체에 대한 검출 신뢰도 값에 따라, 객체에 대해 추적을 비활성하는 제1 상태, 해당 객체에 대한 추적을 그 다음 영상 프레임까지 보류하는 제2 상태, 해당 객체를 추적하는 제3 상태, 또는 해당 객체에 대한 추적 비활성을 그 다음 영상 프레임까지 보류하는 제4 상태로 설정하는 방법으로서,
영상 프레임에서 새로운 객체가 검출될 때까지 제1 상태를 유지하고, 검출될 경우에 계산된 그 검출 신뢰도 값에 따라, 제2 상태 또는 제3 상태로 설정하는 제1 설정 단계;
제2 상태로 기 설정된 객체(제2 상태 객체)가 다음 영상 프레임에서 검출되는 여부 및 계산된 그 검출 신뢰도 값에 따라, 제1 상태 또는 제3 상태로 설정하는 제2 설정 단계; 및
제3 상태로 기 설정된 객체(제3 상태 객체)가 다음 영상 프레임에서 검출되는 여부 및 계산된 그 검출 신뢰도 값에 따라, 제4 상태로 설정하는 제3 설정 단계;를 포함하며,
상기 제2 설정 단계는,
제2 상태 객체가 다음 영상 프레임에서 미 검출되면 제1 상태로 상태 천이하는 단계;
다음 영상 프레임에서 검출된 제2 상태 객체의 검출 신뢰도 값이 제1 기준 보다 크면 제3 상태로 상태 천이하는 단계;
제1 기준 미달의 검출 신뢰도 값 및 그 이전 검출 신뢰도 값에 대한 평균 값(제1 평균 값)이 제2 기준 보다 작으면 제2 상태를 유지하는 단계; 및
제1 평균 값이 제2 기준 보다 크되, 제2 상태 객체가 연속해서 일정 횟수 이상 검출된 것이면 제3 상태로 상태 천이하고, 해당 횟수 미만이면 제2 상태를 유지하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.The first state in which the electronic device tracks the object by processing the object detected in the image in multiple states, and disables tracking for the object according to whether a new object is detected in the image frame and the detection reliability value for the object , As a method of setting a second state in which tracking of the object is suspended until the next image frame, a third state in which the object is traced, or a fourth state in which tracking inactivity for the object is suspended until the next image frame. ,
A first setting step of maintaining a first state until a new object is detected in the image frame, and setting a second state or a third state according to the calculated detection reliability value when detected;
A second setting step of setting a first state or a third state according to whether an object preset as a second state (a second state object) is detected in a next image frame and a calculated detection reliability value; And
And a third setting step of setting the object to the fourth state according to whether the object (third state object) preset as the third state is detected in the next image frame and the calculated detection reliability value; and
The second setting step,
If the second state object is not detected in the next video frame, state transitioning to the first state;
If the detection reliability value of the second state object detected in the next image frame is greater than the first reference, state transition to a third state;
Maintaining a second state when an average value (a first average value) of a detection reliability value less than the first criterion and a previous detection reliability value is less than a second criterion; And
And if the first average value is greater than the second criterion, and the second state object is continuously detected more than a certain number of times, the state transitions to a third state, and if less than the corresponding number of times, the second state is maintained; Object tracking method. 삭제delete 제1항에 있어서,
상기 제1 설정 단계는,
검출된 새로운 객체의 검출 신뢰도 값이 제1 기준 보다 크면 제3 상태로 상태 천이하며, 제1 기준에 미달하면 제2 상태로 상태 천이하는 단계를 포함하는 것을 특징으로 하는 객체 추적 방법.The method of claim 1,
The first setting step,
And a state transitioning to a third state when the detection reliability value of the detected new object is greater than the first criterion, and transitioning to a second state when the detection reliability value is less than the first criterion. 삭제delete 제1항에 있어서,
상기 제1 기준은 상기 제2 기준 보다 큰 값을 가지는 것을 특징으로 하는 객체 추적 방법.The method of claim 1,
The object tracking method, wherein the first criterion has a larger value than the second criterion. 제1항에 있어서,
제4 상태로 기 설정된 객체(제4 상태 객체)가 일정 개수(Nmf)의 다음 영상 프레임까지 재 검출되기 전까지 제4 상태를 유지하고, 재 검출되면 제3 상태로 설정하며, 미 검출되면 제1 상태로 설정하는 제4 설정 단계를 더 포함하는 것을 특징으로 하는 객체 추적 방법.The method of claim 1,
The object set in the fourth state (the fourth state object) remains in the fourth state until the next image frame of a certain number (N mf ) is re-detected, and if it is detected again, it is set to the third state. The object tracking method further comprises a fourth setting step of setting the state to 1. 제6항에 있어서,
상기 제3 설정 단계는,
제3 상태 객체가 다음 영상 프레임에서 미 검출되면 페널티에 해당하는 값을 그 검출 신뢰도 값으로 설정하고, 검출되면 그 검출 신뢰도 값을 계산하는 단계;
설정 또는 계산된 검출 신뢰도 값 및 그 이전 검출 신뢰도 값에 대한 평균 값(제2 평균값)이 제3 기준 보다 크면 제3 상태를 유지하는 단계; 및
제2 평균 값이 제3 기준 보다 작으면, 상기 Nmf의 값을 설정하고 제4 상태로 상태 천이하는 단계;
를 포함하는 것을 특징으로 하는 객체 추적 방법.The method of claim 6,
The third setting step,
If the third state object is not detected in the next image frame, setting a value corresponding to the penalty as the detection reliability value, and calculating the detection reliability value if detected;
Maintaining a third state when the set or calculated detection reliability value and an average value (second average value) of the detection reliability value prior to that is greater than the third reference; And
If the second average value is less than the third criterion, setting the value of N mf and transitioning the state to a fourth state;
Object tracking method comprising a. 제7항에 있어서,
상기 제2 상태 객체를 제3 상태로 상태 천이 하기 위한 제2 상태 객체의 검출 신뢰도 값에 대한 기준인 제1 기준은 상기 제3 기준 보다 큰 값을 가지는 것을 특징으로 하는 객체 추적 방법.The method of claim 7,
The object tracking method according to claim 1, wherein a first criterion, which is a criterion for a detection reliability value of a second state object for state transition from the second state object to a third state, has a larger value than the third criterion. 제1항, 제3항, 제5항 내지 제8항 중 어느 한 항에 있어서,
상기 객체에 대한 검출 신뢰도 값은 객체에 해당할 확률 값이며, 영상 프레임을 입력 받아 그 영상 프레임 내에 존재하는 객체 및 해당 객체에 대한 검출 신뢰도 값을 출력하도록 기 설정된 머신 러닝 모델을 이용해 도출되는 것을 특징으로 하는 객체 추적 방법.The method according to any one of claims 1, 3, 5 to 8,
The detection reliability value for the object is a probability value corresponding to the object, and is derived using a machine learning model set in advance to receive an image frame and output an object existing in the image frame and a detection reliability value for the object. Object tracking method. 영상 프레임을 저장한 저장부; 및
영상 프레임에서 검출된 객체에 대해 다수의 상태로 처리하여 객체의 추적을 제어하며, 영상 프레임에서 새로운 객체의 검출 여부 및 그 객체에 대한 검출 신뢰도 값에 따라, 객체에 대해 추적을 비활성하는 제1 상태, 해당 객체에 대한 추적을 그 다음 영상 프레임까지 보류하는 제2 상태, 해당 객체를 추적하는 제3 상태, 또는 해당 객체에 대한 추적 비활성을 그 다음 영상 프레임까지 보류하는 제4 상태로 설정하는 제어부;를 포함하며,
상기 제어부는,
영상 프레임에서 새로운 객체가 검출될 때까지 제1 상태를 유지하고 검출될 경우에 계산된 그 검출 신뢰도 값에 따라 제2 상태 또는 제3 상태로 설정하는 제1 설정과, 제2 상태로 기 설정된 객체(제2 상태 객체)가 다음 영상 프레임에서 검출되는 여부 및 계산된 그 검출 신뢰도 값에 따라 제1 상태 또는 제3 상태로 설정하는 제2 설정과, 제3 상태로 기 설정된 객체(제3 상태 객체)가 다음 영상 프레임에서 검출되는 여부 및 계산된 그 검출 신뢰도 값에 따라 제4 상태로 설정하는 제3 설정을 각각 수행하고,
상기 제2 설정의 수행 시, 제2 상태 객체가 다음 영상 프레임에서 미 검출되면 제1 상태로 상태 천이하는 과정과, 다음 영상 프레임에서 검출된 제2 상태 객체의 검출 신뢰도 값이 제1 기준 보다 크면 제3 상태로 상태 천이하는 과정과, 제1 기준 미달의 검출 신뢰도 값 및 그 이전 검출 신뢰도 값에 대한 평균 값(제1 평균 값)이 제2 기준 보다 작으면 제2 상태를 유지하는 과정과, 제1 평균 값이 제2 기준 보다 크되 제2 상태 객체가 연속해서 일정 횟수 이상 검출된 것이면 제3 상태로 상태 천이하고 해당 횟수 미만이면 제2 상태를 유지하는 과정을 각각 수행하는 것을 특징으로 하는 객체 추적 장치.A storage unit storing an image frame; And
A first state in which tracking of an object is controlled by processing an object detected in an image frame in multiple states, and inactivating tracking for an object according to whether a new object is detected in the image frame and the detection reliability value for the object And a controller configured to set a second state in which tracking of the object is suspended until the next image frame, a third state in which the object is tracked, or a fourth state in which tracking inactivity for the object is suspended until the next image frame; Including,
The control unit,
A first setting that maintains the first state until a new object is detected in the image frame and sets the second state or the third state according to the calculated detection reliability value when a new object is detected, and an object preset as the second state A second setting for setting the (second state object) to the first state or the third state according to whether the (second state object) is detected in the next image frame and the calculated detection reliability value, and the object preset to the third state (the third state object) ) Is detected in the next video frame and a third setting is performed, respectively, to set to the fourth state according to the calculated detection reliability value,
When performing the second setting, if the second state object is not detected in the next image frame, the state transitions to the first state, and if the detection reliability value of the second state object detected in the next image frame is greater than the first reference A process of transitioning a state to a third state, and a process of maintaining a second state when the average value (first average value) of the detection reliability value below the first criterion and the previous detection reliability value is less than the second criterion; and An object, characterized in that, if the first average value is greater than the second criterion but the second state object is continuously detected more than a certain number of times, the state transitions to the third state, and if less than the corresponding number of times, the process of maintaining the second state is performed. Tracking device.
KR1020190063296A 2019-05-29 2019-05-29 Method and apparatus for object tracking KR102160749B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190063296A KR102160749B1 (en) 2019-05-29 2019-05-29 Method and apparatus for object tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190063296A KR102160749B1 (en) 2019-05-29 2019-05-29 Method and apparatus for object tracking

Publications (1)

Publication Number Publication Date
KR102160749B1 true KR102160749B1 (en) 2020-09-28

Family

ID=72800890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190063296A KR102160749B1 (en) 2019-05-29 2019-05-29 Method and apparatus for object tracking

Country Status (1)

Country Link
KR (1) KR102160749B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118134970A (en) * 2024-05-06 2024-06-04 山西太重数智科技股份有限公司 Jack-up and lifting hook detection tracking method and system based on image recognition
CN118134970B (en) * 2024-05-06 2024-07-09 山西太重数智科技股份有限公司 Jack-up and lifting hook detection tracking method and system based on image recognition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018566A (en) * 2010-08-23 2012-03-05 (주)넥스리얼 Method and apparatus for surveying objects in moving picture images
KR101406334B1 (en) * 2013-04-18 2014-06-19 전북대학교산학협력단 System and method for tracking multiple object using reliability and delayed decision

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018566A (en) * 2010-08-23 2012-03-05 (주)넥스리얼 Method and apparatus for surveying objects in moving picture images
KR101406334B1 (en) * 2013-04-18 2014-06-19 전북대학교산학협력단 System and method for tracking multiple object using reliability and delayed decision

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118134970A (en) * 2024-05-06 2024-06-04 山西太重数智科技股份有限公司 Jack-up and lifting hook detection tracking method and system based on image recognition
CN118134970B (en) * 2024-05-06 2024-07-09 山西太重数智科技股份有限公司 Jack-up and lifting hook detection tracking method and system based on image recognition

Similar Documents

Publication Publication Date Title
US11620894B2 (en) Surveillance system and method for predicting patient falls using motion feature patterns
CN108629284B (en) Method, device and system for real-time face tracking and face pose selection based on embedded vision system
Ren et al. Anomaly detection based on a dynamic Markov model
Jiang et al. Anomalous video event detection using spatiotemporal context
CN108734107B (en) Multi-target tracking method and system based on human face
US10282546B1 (en) Systems and methods for detecting malware based on event dependencies
US20210158147A1 (en) Training approach determination for large deep learning models
US20060268111A1 (en) Multi-state target tracking
US20080219502A1 (en) Tracking bimanual movements
US20110052003A1 (en) Foreground object detection in a video surveillance system
Ferryman et al. Robust abandoned object detection integrating wide area visual surveillance and social context
KR102348536B1 (en) Method for detecting an anomalous behavior based on machine-learning and Apparatus thereof
US11699096B2 (en) Systems and methods for event prediction using schema networks
Luo et al. Real-time people counting for indoor scenes
Tan et al. Detecting eye blink states by tracking iris and eyelids
KR101979375B1 (en) Method of predicting object behavior of surveillance video
Bargi et al. AdOn HDP-HMM: An adaptive online model for segmentation and classification of sequential data
US20220051413A1 (en) Object tracking device, object tracking method, and recording medium
Zhang et al. Pedestrian detection based on hierarchical co-occurrence model for occlusion handling
Wang et al. Noise tolerant drift detection method for data stream mining
KR102160749B1 (en) Method and apparatus for object tracking
Steinmann et al. Learning to intervene on concept bottlenecks
US11676383B2 (en) Object counting system for high volume traffic
Rezaei et al. Novel adaptive eye detection and tracking for challenging lighting conditions
Krause et al. Crossing boundaries: Multi-level introspection in a complex robotic architecture for automatic performance improvements

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant