KR102366779B1 - 다수 객체 추적 시스템 및 이의 객체 추적 방법 - Google Patents

다수 객체 추적 시스템 및 이의 객체 추적 방법 Download PDF

Info

Publication number
KR102366779B1
KR102366779B1 KR1020170019427A KR20170019427A KR102366779B1 KR 102366779 B1 KR102366779 B1 KR 102366779B1 KR 1020170019427 A KR1020170019427 A KR 1020170019427A KR 20170019427 A KR20170019427 A KR 20170019427A KR 102366779 B1 KR102366779 B1 KR 102366779B1
Authority
KR
South Korea
Prior art keywords
image
tracking
object tracking
bounding box
objects
Prior art date
Application number
KR1020170019427A
Other languages
English (en)
Other versions
KR20180093402A (ko
Inventor
김광용
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170019427A priority Critical patent/KR102366779B1/ko
Priority to US15/662,738 priority patent/US10600191B2/en
Publication of KR20180093402A publication Critical patent/KR20180093402A/ko
Application granted granted Critical
Publication of KR102366779B1 publication Critical patent/KR102366779B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 객체 추적 시스템에 관한 것으로, 상기 객체 추적 시스템은 기 설정되는 관측 영역을 촬영하여 획득되는 영상을 출력하는 영상 촬영부; 및 상기 영상 촬영부로부터의 영상으로부터 획득되는 프레임별 이미지에서 객체를 추출하여 생성되는 객체 이미지 내 다수 객체를 추적하여 객체 추적 영상을 출력하는 다수 객체 추적부를 포함하고, 상기 다수 객체 추적부는, 다수 객체 추적을 수행하면서 객체 간 겹침 현상 및 하이젝킹 현상이 발생하는지를 판단하고, 상기 객체 간 겹침 현상과 하이젝킹 현상 중 적어도 하나의 현상이 발생한 것으로 판단하면, 발생한 현상을 제거하는 과정을 통해 보정된 객체 추적 영상을 출력한다.

Description

다수 객체 추적 시스템 및 이의 객체 추적 방법{System and method for tracking multiple objects}
본 발명은 객체 추적 시스템에 관한 것으로, 상세하게는 다수의 객체를 추적하는 시스템 및 이의 객체 추적 방법에 관한 것이다.
스포츠 및 보안 서비스 분야에는, 다수의 추적 대상(ex, 사람)에 대한 카메라 추적을 통해 획득되는 영상에 대한 분석을 통해 추적 대상들을 정확하게 추적하여, 추적 대상들에 대한 정보를 제공할 수 있는 서비스가 적용되고 있다.
이와 같이 다수의 추적 대상을 추적하여 추적 대상들에 대한 정보를 제공하는 경우, 객체들 간의 겹침(Occlusion) 현상 및 객체들 간의 유사성으로 인하여 추적 대상이 변경되는(즉, 다른 추적 대상을 추적하는) 하이젝킹(Hijacking) 현상이 발생하는 문제점이 있다.
따라서, 객체들 간의 겹침 현상과 다른 추적 대상을 추적하는 하이젝킹 현상에 의한 객체 추적 오류를 방지하기 위한 방안이 필요하다.
따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 다수 객체를 동시 추적하는 경우에 발생하는 객체들 간 겹침 현상과 하이젝킹 현상을 처리하여, 추적 객체에 대한 정확한 정보를 제공할 수 있는 다수 객체 추적 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 다수 객체 추적 시스템은 기 설정되는 관측 영역을 촬영하여 획득되는 영상을 출력하는 영상 촬영부 및 상기 영상 촬영부로부터의 영상으로부터 획득되는 프레임별 이미지에서 객체를 추출하여 생성되는 객체 이미지 내 다수 객체를 추적하여 객체 추적 영상을 출력하는 다수 객체 추적부를 포함하고, 상기 다수 객체 추적부는, 다수 객체 추적을 수행하면서 객체 간 겹침 현상 및 하이젝킹 현상이 발생하는지를 판단하고, 판단 결과 객체 간 겹침 현상 및 하이젝킹 현상이 발생한 것으로 판단되면 객체별 바운딩 박스와 객체의 깊이를 추정하여, 상기 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하고, 상기 추적 대상 객체의 바운딩 박스가 실제로 추적하고 있는 객체를 객체 이미지에서 제거하여, 상기 바운딩 박스가 상기 추적 대상 객체를 추적하도록 하는 과정을 통해 보정된 객체 추적 영상을 출력하고, 상기 다수 객체 추적부는, 생성된 상기 객체 이미지가 최초 객체 이미지인 경우, 객체별로 바운딩 박스를 할당하여 다수 객체 추적을 초기화한 후, 다수 개체 추적을 수행한다.
상기 다수 객체 추적부는, 다수 객체 추적을 수행하면서 객체 간 겹침 현상 및 하이젝킹 현상이 발생하는지를 판단하고, 상기 객체 간 겹침 현상과 하이젝킹 현상 중 적어도 하나의 현상이 발생한 것으로 판단하면, 발생한 현상을 제거하는 과정을 통해 보정된 객체 추적 영상을 출력한다.
상기 다수 객체 추적부는 상기 객체 간 겹침 현상 및 하이젝킹 현상이 발생하지 않은 것으로 판단하면 현재 객체 추적 영상을 출력한다.
상기 다수 객체 추적부는, 추적 대상 객체의 바운딩 박스에 다른 객체의 바운딩 박스가 겹쳐진 것이 탐지되면, 상기 객체 간 겹침 현상이 발생한 것으로 판단한다.
삭제
상기 다수 객체 추적부는 추정되는 객체별 바운딩 박스와 깊이를 바탕으로 객체별 깊이 순서를 결정하고, 결정된 객체별 깊이 순서를 바탕으로 추적 대상 객체 앞의 객체 및 뒤의 객체 중 적어도 하나를 인식하여, 인식된 객체를 제거한다.
상기 다수 객체 추적부는, 기설정되는 시간 동안의 추적 대상 객체의 바운딩 박스의 변위와 다른 객체의 바운딩 박스의 변위가 같은 경우가 탐지되면, 상기 하이젝킹 현상이 발생한 것으로 판단한다.
삭제
상기 다수 객체 추적부는, 상기 영상 촬영부로부터의 기준배경 모델링용 영상을 이용하여 기준 배경을 모델링하여 기준 배경 이미지를 생성하고, 상기 기준 배경 이미지와, 상기 영상 촬영부로부터의 객체 추적용 영상으로부터 획득되는 프레임별 이미지의 비교 결과를 바탕으로 프레임별 이미지에서 객체들을 추출하여 객체이미지를 생성한다.
상기 다수 객체 추적부는, 상기 기준 배경 이미지와 상기 프레임별 이미지의 색상을 비교하여 색상 차를 획득하고, 획득된 색상 차를 기반으로 하여 상기 프레임별 이미지에서 객체들을 추출한다.
삭제
본 발명의 실시 예에 따른 다수 객체 추적 방법은 영상 촬영부로부터의 기준배경 모델링용 영상을 이용하여 기준 배경을 모델링하여 기준배경 이미지를 생성하는 단계, 상기 기준배경 이미지와, 상기 영상 촬영부로부터의 객체 추적용 영상으로부터 획득되는 프레임별 이미지의 비교 결과를 바탕으로 프레임별 이미지에서 객체들을 추출하여 객체 이미지를 생성하는 단계 및 상기 객체 이미지를 바탕으로 다수 객체 추적을 수행하면서, 객체 간 겹침 현상 및 하이젝킹 현상 발생 여부에 대한 판단 결과에 따라, 현재 객체 추적 영상을 출력하거나, 보정된 객체 추적 영상을 출력하는 단계를 포함하고, 상기 객체 이미지를 바탕으로 다수 객체 추적을 수행하는 것은, 최초 다수 객체 추적이 이루어지는 경우, 바운딩 박스를 객체별로 할당하여, 다수 객체 추적을 초기화한 후, 다수 객체 추적을 수행하는 것을 포함하고, 상기 판단 결과, 상기 객체 간 겹침 현상 및 상기 하이젝킹 현상이 발생한 것으로 판단되면, 객체별 바운딩 박스와 객체의 깊이를 추정하여, 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하는 과정과, 추적 대상 객체의 바운딩 박스가 실제로 추적하고 있는 객체를 객체 이미지에서 제거하여, 바운딩 박스가 추적 대상 객체를 추적하도록 하는 과정을 통해 보정된 객체 추적 영상을 출력하는 단계를 더 포함한다.
상기 객체 간 겹침 현상 발생 여부 판단은 추적 대상 객체의 바운딩 박스에 다른 객체의 바운딩 박스가 겹쳐지는 것이 탐지되는지를 바탕으로 이루어진다.
상기 하이젝킹 현상 발생 여부 판단은 기설정되는 시간 동안의 추적 대상 객체의 바운딩 박스의 변위와 다른 객체의 바운딩 박스의 변위가 같은 경우가 탐지되는지를 바탕으로 이루어진다.
상기 다수 객체 추적 방법은, 상기 판단 결과, 상기 객체 간 겹침 현상 및 상기 하이젝킹 현상이 발생하지 않은 것으로 판단되면, 상기 현재 객체 추적 영상을 출력하는 단계를 포함한다.
삭제
삭제
삭제
상기 객체별 바운딩 박스와 객체의 깊이를 추정하여, 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하는 과정은, 추정되는 객체별 바운딩 박스와 깊이를 바탕으로 객체별 깊이 순서를 결정하고, 결정된 객체별 깊이 순서를 바탕으로 추적 대상 객체 앞의 객체 및 뒤의 객체 중 적어도 하나를 인식하여, 인식된 객체를 제거하는 과정이다.
상기 객체 이미지를 생성하는 단계는, 상기 기준 배경 이미지와 상기 프레임별 이미지의 색상을 비교하여 색상 차를 획득하고, 획득된 색상 차를 기반으로 하여 상기 프레임별 이미지에서 객체들을 추출하여 객체 이미지를 생성하는 단계이다.
삭제
본 발명에서 제안하는 다수 객체 추적 기술에 따르면, 다수 객체를 동시 추적하는 경우에 발생하는 객체 간 겹침 현상과 하이젝킹 현상이 제거된다.
또한, 본 발명에서 제안하는 다수 객체 추적 기술은 추적 대상 객체를 남기고 오류를 유발하는 다른 객체를 제거하는 것을 바탕으로 하기 때문에, 간단하면서도 효율적으로 객체 간 겹침 현상과 하이젝킹 현상을 제거할 수 있다.
또한, 본 발명에서 제안하는 다수 객체 추적 기술 적용 시, 추적 환경에 맞도록 파라메터 튜닝을 최적화하면 실제 추적 환경에서 우수한 효과를 기대할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 동작에 따른 순서를 도시한 도면이다.
도 3은 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 동작 중 객체 추적 영상을 출력하는 동작에 대한 상세 순서를 도시한 도면이다.
도 4(a)는 본 발명의 실시 예에 있어서 다수 객체 추적부로 입력되는 영상의 일례를 도시한 도면이다.
도 4(b)는 본 발명의 실시 예에 있어서 다수 객체 추적부에 의해 모델링된 기준 배경 이미지의 일례를 도시한 도면이다.
도 4(c)는 본 발명의 실시 예에 있어서 다수 객체 추적부에 의해 입력 영상에서 추출되어 생성되는 객체 이미지의 일례를 도시한 도면이다.
도 5는 본 발명의 실시 예에 있어서 하이젝킹 현상이 발생한지를 판단하는 방법을 설명하기 위한 도면이다.
도 6(a)는 본 발명의 실시 예에 있어서 다수 객체 추적부에 입력되는 원본 영상을 도시한 것이다.
도 6(b)는 본 발명의 실시 예에 있어서 하이젝킹 현상이 발생한 경우를 도시한 것이다.
도 6(c)는 본 발명의 실시 예에 있어서 하이젝킹 현상이 제거된 경우를 도시한 것이다.
도 7(a)는 본 발명의 실시 예에 있어서 객체 간 겹침 현상이 발생한 경우를 도시한 것이다.
도 7(b)는 본 발명의 실시 예에 있어서 객체 간 겹침 현상이 제거된 경우를 도시한 것이다.
도 8은 본 발명의 실시 예에 따른 다수 객체 추적 시스템과 종래 객체 추적 시스템의 Center location error 결과를 비교한 표를 도시한 것이다.
도 9는 본 발명의 실시 예에 따른 다수 객체 추적 시스템과 종래 객체 추적 시스템의 success rate를 비교한 표를 도시한 것이다.
도 10은 본 발명의 실시 예에 따른 다수 객체 추적 시스템과 종래 객체 추적 시스템의 다수 객체 추적 수행 시간을 비교한 표를 도시한 것이다.
본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 본 발명에서 제안하는 다수 객체 추적 시스템 및 의의 객체 추적 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템(100, 이하 ‘시스템’)은 다수 객체를 동시 추적하는 데에 있어서 발생하는 객체들 간 겹침 현상과 하이젝킹 현상을 처리하여, 추적 객체에 대한 정확한 정보를 제공한다.
이를 위해, 상기 시스템(100)은 객체들 간 겹침 현상 및 하이젝킹 현상을 처리하면서 다수 객체를 추적하는 기능을 수행하는 적어도 하나 이상의 프로세서와, 객체들 간 겹침 현상 및 하이젝킹 현상을 처리하면서 다수 객체를 추적하는 데에 필요한 정보(ex, 다수 객체 추적 알고리즘, 객체들 간 겹침 현상 처리 알고리즘, 하이젝킹 현상 처리 알고리즘 등)을 저장하는 적어도 하나 이상의 메모리를 포함한다.
구체적으로, 상기 시스템(100)은 영상 촬영부(110), 저장부(130), 다수 객체 추적부(150) 및 디스플레이부(170)로 구성될 수 있다.
상기 영상 촬영부(110)는 기설정되는 소정의 관측 영역(ex, 경기장 내, 보안감시구역 등)을 촬영하도록 설치되며, 촬영을 통해 획득되는 영상을 다수 객체 추적부(150)로 제공한다.
본 발명에 있어서, 영상 촬영부(110)에 의해 획득되는 영상은 기준 배경을 모델링하는 데에 이용되거나, 다수 객체를 추적하는 데에 이용된다.
설명을 위해, 기준 배경을 모델링하는 데에 이용되는 영상은 ‘기준배경 모델링용 영상’이라 하고, 다수 객체를 추적하는 데에 이용되는 영상은 ‘객체 추적용 영상’이라 한다.
상기 저장부(130)는 적어도 하나 이상의 메모리로 구성될 수 있으며, 다수 객체 추적부(150)가 다수 객체 추적 기능을 수행하는 데에 필요한 정보(ex, 다수 객체 추적 알고리즘, 객체 간 겹침 현상 처리 알고리즘, 하이젝킹 현상 처리 알고리즘 등)을 저장한다.
상기 다수 객체 추적부(150)는 영상 촬영부(110)로부터 제공되는 영상 내 추적 대상 객체를 추적하고, 객체 추적 영상을 디스플레이부(170)로 제공한다.
이때, 상기 다수 객체 추적부(150)는 객체들 간 겹침 현상 및 하이젝킹 현상이 발생하는지를 판단하고, 객체들 간 겹침 현상 및 하이젝킹 현상이 발생한 것으로 판단되면, 객체들 간 겹침 현상 및 하이젝킹 현상을 처리하여 보정된 객체 추적 영상을 디스플레이부(170)로 제공한다.
상기 다수 객체 추적부(150)와 관련한 구체적인 기능에 대해서는 후술하도록 한다.
상기 디스플레이부(170)는 다수 객체 추적부(150)로부터 제공되는 정보, 즉 객체 추적 영상을 디스플레이하며, LCD 패널 혹은 OLED 패널을 포함하여 구현될 수 있다.
상기 다수 객체 추적부(150)의 기능에 대해서 구체적으로 살펴보면, 다수 객체 추적부(150)는 영상 촬영부(110)로부터의 기준배경 모델링용 영상을 이용하여 기준 배경을 모델링하여 기준배경 이미지를 생성한다.
이때, 상기 다수 객체 추적부(150)는 기준배경 모델링용 영상 내 배경 이미지를 바탕으로 기준 배경을 모델링한다.
그리고, 상기 다수 객체 추적부(150)는 기준 배경 이미지와, 영상 촬영부(110)로부터의 객체 추적용 영상으로부터 획득되는 프레임별 이미지의 비교 결과를 바탕으로 프레임별 이미지에서 객체들을 추출한다.
이때, 상기 다수 객체 추적부(150)는 기준 배경 이미지와 프레임별 이미지의 색상을 비교하여 색상 차를 획득하고, 획득된 색상 차를 기반으로 하여 프레임별 이미지에서 객체들을 추출하여 객체 이미지를 생성한다.
그리고, 상기 다수 객체 추적부(150)는 생성되는 객체 이미지를 바탕으로 다수 객체 추적을 수행하고, 객체 추적 영상을 디스플레이부(170)로 제공한다.
이때, 상기 다수 객체 추적부(150)는 생성된 객체 이미지가 최초 객체 이미지인 경우(즉, 최초 객체 추적 시도인 경우), 객체별로 바운딩 박스(추적 영역)를 할당하여 다수 객체 추적을 초기화한 후, 다수 개체 추적을 수행한다.
그리고, 상기 다수 객체 추적부(150)는 다수 객체 추적을 수행하는 과정에서 바운딩 박스 오류가 발생하는 것을 방지하기 위하여, 입력 영상과 배경 영상의 차 영상을 이용하여 바운딩 박스가 추적 대상 객체를 추적하도록 하면서 다수 객체 추적을 수행한다.
이때, 상기 다수 객체 추적부(150)는 바운딩 박스를 주변으로 조금씩 이동시키면서, 바운딩 박스가 객체를 온전히 포함하도록 하면서 다수 객체 추적을 수행한다.
다수 객체 추적을 수행하는 경우, 상기 다수 객체 추적부(150)는 다수 객체 추적용으로 확장된 Kernelized correlation Filter(KCF)를 기반으로 하여 다수 객체 추적을 수행할 수 있다.
KCF 기반 다수 객체 추적 방법은, 기존의 단일 객체에 대하여 추적하는 KCF 기반 추적 방법을 추적 대상 객체의 수만큼 반복적으로 수행하는 추적 방법이다.
다수 객체 추적용으로 확장된 Kernelized correlation Filter(KCF)를 기반으로 하여 이루어지는 다수 객체 추적에 대한 알고리즘은 다음과 같이 표현될 수 있다.
[다음]
for (i=1; i < 추적 대상 객체 수; i++)
{
단일 객체 KCF 추적
}
그리고, 상기 다수 객체 추적부(150)는 다수 객체 추적을 수행하면서, 객체 간 겹침 현상 및 하이젝킹 현상이 발생하였는지를 판단하고, 객체들 간 겹침 현상 및 하이젝킹 현상이 발생한 것으로 판단되면, 객체들 간 겹침 현상 및 하이젝킹 현상을 처리하여 보정된 객체 추적 영상을 디스플레이부(170)로 제공한다.
이때, 상기 다수 객체 추적부(150)는 추적 대상 객체의 바운딩 박스에 다른 객체의 바운딩 박스가 겹쳐진 것이 탐지되면, 객체 간 겹침 현상이 발생한 것으로 판단한다.
예를 들어, 유사한 색상을 가진 객체들이 겹치는 경우, 추적 대상 객체 기준으로 외양이 비슷한 앞 혹은/및 뒤 객체로 인해 추적 대상 객체에 대한 추적이 실패하는 경우가 발생한다.
상기 다수 객체 추적부(150)는 객체 간 겹침 현상이 발생한 것으로 판단하면, 객체 이미지에서 객체별 바운딩 박스와 객체의 깊이(depth)를 추정하여, 객체 이미지에서 추적 대상 객체 이외의 객체를 제거한다.
이때, 상기 다수 객체 추적부(150)는 추정되는 객체별 바운딩 박스와 깊이를 바탕으로 객체별 깊이 순서를 결정하고, 결정된 객체별 깊이 순서를 바탕으로 추적 대상 객체의 앞 혹은/및 뒤 객체를 인식하여, 인식된 객체를 제거한다.
특히, 상기 다수 객체 추적부(150)는 객체의 top 위치를 바탕으로 객체의 순서를 결정하는데, top 위치가 위쪽에 위치하는 객체일수록 멀리 위치하는 객체인 것으로 판단한다.
그리고, 상기 다수 객체 추적부(150)는 추적 대상 객체 이외의 객체를 객체 이미지에서 제거하여 보정된 객체 추적 영상을 디스플레이부(170)로 제공한다.
한편, 상기 다수 객체 추적부(150)는 추적 대상 객체의 바운딩 박스에 대한 기설정되는 시간(ex, 10 프레임) 동안의 변위와 다른 객체의 바운딩 박스에 대한 기설정되는 시간(ex, 10 프레임) 동안의 변위가 같은 경우가 탐지되면, 하이젝킹 현상이 발생한 것으로 판단한다.
즉, 상기 다수 객체 추적부(150)는 기설정되는 시간 동안의 추적 대상 객체의 바운딩 박스의 변위와 다른 객체의 바운딩 박스의 변위가 같은 경우가 탐지되면, 하이젝킹 현상이 발생한 것으로 판단한다.
예를 들어, A 객체를 추적해야 하는 제 1 바운딩 박스가 B 객체를 추적하는 경우, 제 1 바운딩 박스는 B 객체를 추적하는 제 2 바운딩 박스와 동일한 변위로 이동하므로, 이러한 현상을 근거로 하이젝킹 현상이 발생하였는지를 판단할 수 있다.
상기 다수 객체 추적부(150)는, 하이젝킹 현상이 발생한 것으로 판단하면, 추적 대상 객체의 바운딩 박스가 실제로 추적하고 있는 객체를 객체 이미지에서 제거하여, 바운딩 박스가 추적 대상 객체를 추적하도록 보정된 객체 추적 영상을 디스플레이부(170)로 제공한다.
즉, 상기 다수 객체 추적부(150)는 2개의 바운딩 박스가 추적하고 있는 객체를 객체 이미지에서 제거하며, 특히 2개의 바운딩 박스의 공통 영역을 객체 이미지에서 제거한다.
이상에서는 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 구성 및 구성별 기능에 대해서 살펴보았다. 이하에서는 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 객체 추적 방법에 대해서 살펴본다.
도 2는 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 동작에 따른 순서를 도시한 도면이다.
도 2에 도시된 동작은 도 1에서 살펴본 다수 객체 추적 시스템(100)에 의해 수행될 수 있는 것으로서, 다수 객체 추적부(150)는 영상 촬영부(110)로부터의 기준배경 모델링용 영상을 이용하여 기준 배경을 모델링하여 기준배경 이미지를 생성한다(S200).
이때, 상기 단계 S200에서, 다수 객체 추적부(150)는 기준배경 모델링용 영상 내 배경 이미지를 바탕으로 기준 배경을 모델링한다.
상기 단계 S200 이후, 다수 객체 추적부(150)는 기준배경 이미지와, 영상 촬영부(110)로부터의 객체 추적용 영상으로부터 획득되는 프레임별 이미지의 비교 결과를 바탕으로 프레임별 이미지에서 객체들을 추출하여 객체 이미지를 생성한다(S210).
이때, 상기 단계 S210에서, 다수 객체 추적부(150)는 기준 배경 이미지와 프레임별 이미지의 색상을 비교하여 색상 차를 획득하고, 획득된 색상 차를 기반으로 하여 프레임별 이미지에서 객체들을 추출하여 객체 이미지를 생성한다.
도 4(a)는 본 발명의 실시 예에 있어서 다수 객체 추적부로 입력되는 영상의 일례를 도시한 도면이고, 도 4(b)는 본 발명의 실시 예에 있어서 다수 객체 추적부에 의해 모델링된 기준 배경 이미지의 일례를 도시한 도면이고, 도 4(c)는 본 발명의 실시 예에 있어서 다수 객체 추적부에 의해 입력 영상에서 추출되어 생성되는 객체 이미지의 일례를 도시한 도면이다.
상기 단계 S210 이후, 다수 객체 추적부(150)는 객체 이미지를 바탕으로 다수 객체 추적을 수행하면서(S220), 객체 간 겹침 현상 및 하이젝킹 현상 발생 여부에 대한 판단 결과에 따라, 현재 객체 추적 영상을 디스플레이부(170)를 통해 출력하거나, 보정된 객체 추적 영상을 디스플레이부(170)를 통해 출력한다(S230).
이때, 상기 단계 S220는, 최초 다수 객체 추적이 이루어지는 경우, 다수 객체 추적 영역(바운딩 박스)을 객체별로 할당하여, 다수 객체 추적을 초기화한 후, 다수 객체 추적을 수행하는 것을 포함한다.
그리고, 상기 단계 S220에서, 다수 객체 추적 수행은 다수 객체 추적용으로 확장된 Kernelized correlation Filter(KCF)를 기반으로 이루어질 수 있다.
상기 단계 S230에 대한 구체적인 동작은 도 3을 참조하여 후술하도록 하도록 한다.
상기 단계 S230 이후, 다수 객체 추적부(150)는 동작 종료가 요청되었는지를 판단하고(S240), 동작 종료가 요청되지 않았으면(S240-아니오), 단계 S210을 수행하고, 동작 종료가 요청되었으면(S240-예), 동작을 종료한다.
도 3은 본 발명의 바람직한 실시 예에 따른 다수 객체 추적 시스템의 동작 중 객체 추적 영상을 출력하는 동작에 대한 상세 순서를 도시한 도면이다.
도 3에 도시된 순서는 도 2의 단계 S230을 대체할 수 있는 것으로서, 다수 객체 추적부(150)는 객체 간 겹침 현상이 발생하였는지를 판단한다(S300).
이때, 상기 단계 S300에서, 다수 객체 추적부(150)는 추적 대상 객체의 바운딩 박스에 다른 객체의 바운딩 박스가 겹쳐지는 것이 탐지되는지를 바탕으로 객체 간 겹침 현상이 발생하였는지를 판단한다.
즉, 상기 단계 S300에서, 다수 객체 추적부(150)는 추적 대상 객체의 바운딩 박스에 다른 객체의 바운딩 박스가 겹쳐지는 것이 탐지되면 객체 간 겹침 현상이 발생한 것으로 판단한다.
상기 단계 S300에서의 판단 결과, 객체 간 겹침 현상이 발생하지 않은 것으로 판단하면(S300-아니오), 다수 객체 추적부(150)는 하이젝킹 현상이 발생하였는지를 판단한다(S310).
이때, 상기 단계 S310에서, 다수 객체 추적부(150)는 기설정되는 시간 동안의 추적 대상 객체의 바운딩 박스의 변위와 다른 객체의 바운딩 박스의 변위가 같은 경우가 탐지되면, 하이젝킹 현상이 발생한 것으로 판단한다.
도 5는 본 발명의 실시 예에 있어서 하이젝킹 현상이 발생한지를 판단하는 방법을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 일정 수의 프레임 동안 녹색 바운딩 박스의 변위와 분홍색 바운딩 박스의 변위가 같은 경우가 탐지되면, 다수 객체 추적부(150)는 하이젝킹 현상이 발생한 것으로 판단한다.
상기 단계 S310에서의 판단 결과, 하이젝킹 현상이 발생하지 않은 것으로 판단하면(S310-아니오), 다수 객체 추적부(150)는 현재 객체 추적 영상을 출력한다(S320).
상기 단계 S310에서의 판단 결과, 하이젝킹 현상이 발생한 것으로 판단하면(S310-예), 다수 객체 추적부(150)는 하이젝킹 현상을 제거하고(S330), 하이젝킹 현상 제거 과정을 통해 보정된 객체 추적 영상을 출력한다(S340).
이때, 상기 단계 S330에서, 다수 객체 추적부(150)는 추적 대상 객체의 바운딩 박스가 실제로 추적하고 있는 객체를 객체 이미지에서 제거하여, 바운딩 박스가 추적 대상 객체를 추적하도록 하는 과정을 통해 하이젝킹 현상을 제거한다.
도 6은 본 발명의 실시 예에 있어서 하이젝킹 현상을 제거하는 예를 도시한 것으로, 도 6(a)는 본 발명의 실시 예에 있어서 다수 객체 추적부에 입력되는 원본 영상을 도시한 것이고, 도 6(b)는 본 발명의 실시 예에 있어서 하이젝킹 현상이 발생한 경우를 도시한 것이고, 도 6(c)는 본 발명의 실시 예에 있어서 하이젝킹 현상이 제거된 경우를 도시한 것이다.
한편, 상기 단계 S300에서의 판단 결과, 객체 간 겹침 현상이 발생한 것으로 판단하면(S300-예), 다수 객체 추적부(150)는 객체 간 겹침 현상을 제거하고(S350), 하이젝킹 현상이 발생하였는지를 판단한다(S360).
이때, 상기 단계 S350에서, 다수 객체 추적부(150)는 객체별 바운딩 박스와 객체의 깊이(depth)를 추정하여, 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하는 과정을 통해 객체 간 겹침 현상을 제거한다.
구체적으로, 객체별 바운딩 박스와 객체의 깊이를 추정하여, 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하는 과정은, 추정되는 객체별 바운딩 박스와 깊이를 바탕으로 객체별 깊이 순서를 결정하고, 결정된 객체별 깊이 순서를 바탕으로 추적 대상 객체 앞의 객체 및 뒤의 객체 중 적어도 하나를 인식하여, 인식된 객체를 제거하는 과정일 수 있다.
도 7은 본 발명의 실시 예에 있어서 다수 객체 추적부가 객체 간 겹침 현상을 제거하는 예를 도시하는 것으로, 도 7(a)는 본 발명의 실시 예에 있어서 객체 간 겹침 현상이 발생한 경우를 도시한 것이고, 도 7(b)는 본 발명의 실시 예에 있어서 객체 간 겹침 현상이 제거된 경우를 도시한 것이다.
그리고, 상기 단계 S360에서, 다수 객체 추적부(150)는 기설정되는 시간 동안의 추적 대상 객체의 바운딩 박스의 변위와 다른 객체의 바운딩 박스의 변위가 같은 경우가 탐지되면, 하이젝킹 현상이 발생한 것으로 판단한다.
상기 단계 S360에서의 판단 결과, 하이젝킹 현상이 발생하지 않은 것으로 판단하면(S360-아니오), 다수 객체 추적부(150)는 객체 간 겹침 현상 제거 과정을 통해 보정된 객체 추적 영상을 출력한다(S370).
상기 단계 S360에서의 판단 결과, 하이젝킹 현상이 발생한 것으로 판단하면(S360-예), 다수 객체 추적부(150)는 하이젝킹 현상을 제거하고(S380), 객체 간 겹침 현상 제거 과정 및 하이젝킹 현상 제거 과정을 통해 보정된 객체 추적 영상을 출력한다(S390).
도 8은 본 발명의 실시 예에 따른 다수 객체 추적 시스템과 종래 객체 추적 시스템의 Center location error 결과를 비교한 표를 도시한 것이고, 도 9는 본 발명의 실시 예에 따른 다수 객체 추적 시스템과 종래 객체 추적 시스템의 success rate를 비교한 표를 도시한 것이고, 도 10은 본 발명의 실시 예에 따른 다수 객체 추적 시스템과 종래 객체 추적 시스템의 다수 객체 추적 수행 시간을 비교한 표를 도시한 것이다.
도 8에서 확인할 수 있는 바와 같이, 본 발명의 실시 예에 따른 다수 객체 추적 시스템을 이용하여 다수 객체 추적을 수행하면, center location error 측면에서 약 평균 602% 향상되는 것을 알 수 있다.
그리고, 도 9에서 확인할 수 있는 바와 같이, 본 발명의 실시 예에 따른 다수 객체 추적 시스템을 이용하여 다수 객체 추적을 수행하면, success rate 측면에서 약 157% 개선되는 것을 알 수 있다.
그리고, 도 10에서 확인할 수 있는 바와 같이, 본 발명의 실시 예에 따른 다수 객체 추적 시스템은 초당 약 3.66 프레임을 처리하고, 종래 객체 추적 시스템은 초당 약 0.243 프레임을 처리하므로, 본 발명의 실시 예에 따른 다수 객체 추적 시스템을 이용하여 다수 객체 추적을 수행하면, 약 15배 빠르게 다수 객체 추적을 수행할 수 있음을 알 수 있다.
이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서와 같이, 본 발명에 따른 다수 객체 추적 시스템 및 이의 객체 추적 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 다수 객체 추적 시스템
110 : 영상 촬영부
130 : 저장부
150 : 다수 객체 추적부
170 : 디스플레이부

Claims (20)

  1. 기 설정되는 관측 영역을 촬영하여 획득되는 영상을 출력하는 영상 촬영부; 및
    상기 영상 촬영부로부터의 영상으로부터 획득되는 프레임별 이미지에서 객체를 추출하여 생성되는 객체 이미지 내 다수 객체를 추적하여 객체 추적 영상을 출력하는 다수 객체 추적부를 포함하고,
    상기 다수 객체 추적부는, 다수 객체 추적을 수행하면서 객체 간 겹침 현상 및 하이젝킹 현상이 발생하는지를 판단하고, 판단 결과 객체 간 겹침 현상 및 하이젝킹 현상이 발생한 것으로 판단되면 객체별 바운딩 박스와 객체의 깊이를 추정하여, 상기 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하고, 상기 추적 대상 객체의 바운딩 박스가 실제로 추적하고 있는 객체를 객체 이미지에서 제거하여, 상기 바운딩 박스가 상기 추적 대상 객체를 추적하도록 하는 과정을 통해 보정된 객체 추적 영상을 출력하고,
    상기 다수 객체 추적부는, 생성된 상기 객체 이미지가 최초 객체 이미지인 경우, 객체별로 바운딩 박스를 할당하여 다수 객체 추적을 초기화한 후, 다수 개체 추적을 수행하는
    다수 객체 추적 시스템.
  2. 제 1 항에 있어서,
    상기 다수 객체 추적부는 상기 객체 간 겹침 현상 및 하이젝킹 현상이 발생하지 않은 것으로 판단하면 현재 객체 추적 영상을 출력하는
    다수 객체 추적 시스템.
  3. 제 1 항에 있어서,
    상기 다수 객체 추적부는, 추적 대상 객체의 바운딩 박스에 다른 객체의 바운딩 박스가 겹쳐진 것이 탐지되면, 상기 객체 간 겹침 현상이 발생한 것으로 판단하는
    다수 객체 추적 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 다수 객체 추적부는 추정되는 객체별 바운딩 박스와 깊이를 바탕으로 객체별 깊이 순서를 결정하고, 결정된 객체별 깊이 순서를 바탕으로 추적 대상 객체 앞의 객체 및 뒤의 객체 중 적어도 하나를 인식하여, 인식된 객체를 제거하는
    다수 객체 추적 시스템.
  6. 제 1 항에 있어서,
    상기 다수 객체 추적부는, 기설정되는 시간 동안의 추적 대상 객체의 바운딩 박스의 변위와 다른 객체의 바운딩 박스의 변위가 같은 경우가 탐지되면, 상기 하이젝킹 현상이 발생한 것으로 판단하는
    다수 객체 추적 시스템.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 다수 객체 추적부는, 상기 영상 촬영부로부터의 기준배경 모델링용 영상을 이용하여 기준 배경을 모델링하여 기준 배경 이미지를 생성하고, 상기 기준 배경 이미지와, 상기 영상 촬영부로부터의 객체 추적용 영상으로부터 획득되는 프레임별 이미지의 비교 결과를 바탕으로 프레임별 이미지에서 객체들을 추출하여 객체이미지를 생성하는
    다수 객체 추적 시스템.
  9. 제 8 항에 있어서,
    상기 다수 객체 추적부는, 상기 기준 배경 이미지와 상기 프레임별 이미지의 색상을 비교하여 색상 차를 획득하고, 획득된 색상 차를 기반으로 하여 상기 프레임별 이미지에서 객체들을 추출하는
    다수 객체 추적 시스템.
  10. 삭제
  11. 영상 촬영부로부터의 기준배경 모델링용 영상을 이용하여 기준 배경을 모델링하여 기준배경 이미지를 생성하는 단계;
    상기 기준배경 이미지와, 상기 영상 촬영부로부터의 객체 추적용 영상으로부터 획득되는 프레임별 이미지의 비교 결과를 바탕으로 프레임별 이미지에서 객체들을 추출하여 객체 이미지를 생성하는 단계; 및
    상기 객체 이미지를 바탕으로 다수 객체 추적을 수행하면서, 객체 간 겹침 현상 및 하이젝킹 현상 발생 여부에 대한 판단 결과에 따라, 현재 객체 추적 영상을 출력하거나, 보정된 객체 추적 영상을 출력하는 단계를 포함하고,
    상기 객체 이미지를 바탕으로 다수 객체 추적을 수행하는 것은, 최초 다수 객체 추적이 이루어지는 경우, 바운딩 박스를 객체별로 할당하여, 다수 객체 추적을 초기화한 후, 다수 객체 추적을 수행하는 것을 포함하고,
    상기 판단 결과, 상기 객체 간 겹침 현상 및 상기 하이젝킹 현상이 발생한 것으로 판단되면, 객체별 바운딩 박스와 객체의 깊이를 추정하여, 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하는 과정과, 추적 대상 객체의 바운딩 박스가 실제로 추적하고 있는 객체를 객체 이미지에서 제거하여, 바운딩 박스가 추적 대상 객체를 추적하도록 하는 과정을 통해 보정된 객체 추적 영상을 출력하는 단계를 더 포함하는
    다수 객체 추적 방법.
  12. 제 11 항에 있어서,
    상기 객체 간 겹침 현상 발생 여부 판단은 추적 대상 객체의 바운딩 박스에 다른 객체의 바운딩 박스가 겹쳐지는 것이 탐지되는지를 바탕으로 이루어지는
    다수 객체 추적 방법.
  13. 제 11 항에 있어서,
    상기 하이젝킹 현상 발생 여부 판단은 기설정되는 시간 동안의 추적 대상 객체의 바운딩 박스의 변위와 다른 객체의 바운딩 박스의 변위가 같은 경우가 탐지되는지를 바탕으로 이루어지는
    다수 객체 추적 방법.
  14. 제 11 항에 있어서,
    상기 판단 결과, 상기 객체 간 겹침 현상 및 상기 하이젝킹 현상이 발생하지 않은 것으로 판단되면, 상기 현재 객체 추적 영상을 출력하는 단계를 포함하는
    다수 객체 추적 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제 11 항에 있어서,
    상기 객체별 바운딩 박스와 객체의 깊이를 추정하여, 객체 이미지에서 추적 대상 객체 이외의 객체를 제거하는 과정은, 추정되는 객체별 바운딩 박스와 깊이를 바탕으로 객체별 깊이 순서를 결정하고, 결정된 객체별 깊이 순서를 바탕으로 추적 대상 객체 앞의 객체 및 뒤의 객체 중 적어도 하나를 인식하여, 인식된 객체를 제거하는 과정인
    다수 객체 추적 방법.
  19. 제 11 항에 있어서,
    상기 객체 이미지를 생성하는 단계는, 상기 기준 배경 이미지와 상기 프레임별 이미지의 색상을 비교하여 색상 차를 획득하고, 획득된 색상 차를 기반으로 하여 상기 프레임별 이미지에서 객체들을 추출하여 객체 이미지를 생성하는 단계인
    다수 객체 추적 방법.
  20. 삭제
KR1020170019427A 2017-02-13 2017-02-13 다수 객체 추적 시스템 및 이의 객체 추적 방법 KR102366779B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170019427A KR102366779B1 (ko) 2017-02-13 2017-02-13 다수 객체 추적 시스템 및 이의 객체 추적 방법
US15/662,738 US10600191B2 (en) 2017-02-13 2017-07-28 System and method for tracking multiple objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170019427A KR102366779B1 (ko) 2017-02-13 2017-02-13 다수 객체 추적 시스템 및 이의 객체 추적 방법

Publications (2)

Publication Number Publication Date
KR20180093402A KR20180093402A (ko) 2018-08-22
KR102366779B1 true KR102366779B1 (ko) 2022-02-24

Family

ID=63105294

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170019427A KR102366779B1 (ko) 2017-02-13 2017-02-13 다수 객체 추적 시스템 및 이의 객체 추적 방법

Country Status (2)

Country Link
US (1) US10600191B2 (ko)
KR (1) KR102366779B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901416B2 (en) * 2018-07-19 2021-01-26 Honda Motor Co., Ltd. Scene creation system for autonomous vehicles and methods thereof
US11726210B2 (en) * 2018-08-05 2023-08-15 COM-IoT Technologies Individual identification and tracking via combined video and lidar systems
CN109740533A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 遮挡比例确定方法、装置和电子系统
CN109859241B (zh) * 2019-01-09 2020-09-18 厦门大学 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法
CN110322479B (zh) * 2019-07-05 2022-07-26 武汉科技大学 一种基于时空显著性的双核kcf目标跟踪方法
CN111105444B (zh) * 2019-12-31 2023-07-25 哈尔滨工程大学 一种适用于水下机器人目标抓取的连续跟踪方法
KR20210114728A (ko) * 2020-03-11 2021-09-24 연세대학교 산학협력단 박스 레벨의 객체 위치 정보를 사용한 픽셀 레벨의 동영상 객체 추적 장치
CN112116634B (zh) * 2020-07-30 2024-05-07 西安交通大学 一种半在线机置的多目标跟踪方法
KR102563758B1 (ko) * 2022-12-30 2023-08-09 고려대학교 산학협력단 3차원 모델을 활용한 시멘틱 세그멘테이션 학습 데이터 생성 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406334B1 (ko) 2013-04-18 2014-06-19 전북대학교산학협력단 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
US20150104066A1 (en) * 2013-10-10 2015-04-16 Canon Kabushiki Kaisha Method for improving tracking in crowded situations using rival compensation

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113616B2 (en) * 2001-12-05 2006-09-26 Hitachi Kokusai Electric Inc. Object tracking method and apparatus using template matching
GB2404247B (en) * 2003-07-22 2005-07-20 Hitachi Int Electric Inc Object tracing method and object tracking apparatus
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
US8456528B2 (en) * 2007-03-20 2013-06-04 International Business Machines Corporation System and method for managing the interaction of object detection and tracking systems in video surveillance
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
JP5488076B2 (ja) 2010-03-15 2014-05-14 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
KR101355974B1 (ko) 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
KR101254087B1 (ko) * 2011-07-28 2013-04-12 전남대학교산학협력단 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법
KR20140137893A (ko) * 2013-05-24 2014-12-03 한국전자통신연구원 객체 추적 방법 및 장치
KR20150071504A (ko) * 2013-12-18 2015-06-26 한국전자통신연구원 카메라 추적 제어권 자동 전환 시스템 및 이의 카메라 추적 제어권 자동 전환 방법
KR20150081732A (ko) 2014-01-06 2015-07-15 한화테크윈 주식회사 이동-물체 추적 시스템
US9361520B2 (en) * 2014-04-10 2016-06-07 Disney Enterprises, Inc. Method and system for tracking objects
KR101764845B1 (ko) * 2015-06-08 2017-08-03 군산대학교 산학협력단 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR20150084740A (ko) 2015-07-03 2015-07-22 이성기 이동체 추적 방법
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
KR20170082735A (ko) * 2016-01-07 2017-07-17 한국전자통신연구원 객체 추적 기반의 객체 영상 제공 방법
US10185877B2 (en) * 2016-07-08 2019-01-22 Huawei Technologies Co., Ltd. Systems, processes and devices for occlusion detection for video-based object tracking
US10319412B2 (en) * 2016-11-16 2019-06-11 Adobe Inc. Robust tracking of objects in videos
KR20180092495A (ko) * 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406334B1 (ko) 2013-04-18 2014-06-19 전북대학교산학협력단 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
US20150104066A1 (en) * 2013-10-10 2015-04-16 Canon Kabushiki Kaisha Method for improving tracking in crowded situations using rival compensation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
장혜경 등, 겹침 상황에서 깊이 영상과 특징점을 이용한 이동 객체 구분에 관한 연구, 한국정보기술학회논문지.(2012.10.)*

Also Published As

Publication number Publication date
KR20180093402A (ko) 2018-08-22
US20180232891A1 (en) 2018-08-16
US10600191B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
KR102366779B1 (ko) 다수 객체 추적 시스템 및 이의 객체 추적 방법
US8254760B2 (en) Pixel analysis and frame alignment for background frames
US11538141B2 (en) Method and apparatus for processing video
US8908915B2 (en) Devices and methods for tracking moving objects
KR101969623B1 (ko) 병렬 검출과 추적, 및/또는 그룹화된 피처 모션 시프트 추적을 이용한 얼굴 인식
JP2010239605A (ja) 映像編集装置
US9256792B2 (en) Image processing apparatus, image processing method, and program
US20230274399A1 (en) Motion-based pixel propagation for video inpainting
US9082019B2 (en) Method of establishing adjustable-block background model for detecting real-time image object
Bagiwa et al. Digital video inpainting detection using correlation of hessian matrix
CN103685866A (zh) 视频稳像方法及其装置
Liu et al. A novel video forgery detection algorithm for blue screen compositing based on 3-stage foreground analysis and tracking
CN108369640B (zh) 用于调适捕获图像的方法及装置
Verma et al. Analysis of moving object detection and tracking in video surveillance system
JP2010257267A (ja) 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
KR20210067824A (ko) 딥러닝 기반 영상의 안개 제거 방법, 이를 수행하기 위한 기록 매체 및 장치
JP6427650B1 (ja) 追跡装置及び追跡プログラム
CN106202130A (zh) 一种镜头分割的方法及装置
CN115565135A (zh) 目标跟踪方法、装置及电子设备
US10713808B2 (en) Stereo matching method and system using rectangular window
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
US11935214B2 (en) Video content removal using flow-guided adaptive learning
KR102243924B1 (ko) 프레임 간에 동일한 배경을 갖는 동영상으로부터 움직이는 객체를 추적하기 위한 객체 추적 장치 및 그 동작 방법
WO2024197514A1 (zh) 一种视频脏点检测的方法、设备及电子设备
CN106407887B (zh) 一种候选框搜索步长的获取方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)