KR102552968B1 - 다중 객체 추적 방법 및 이를 위한 장치 - Google Patents

다중 객체 추적 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102552968B1
KR102552968B1 KR1020220059605A KR20220059605A KR102552968B1 KR 102552968 B1 KR102552968 B1 KR 102552968B1 KR 1020220059605 A KR1020220059605 A KR 1020220059605A KR 20220059605 A KR20220059605 A KR 20220059605A KR 102552968 B1 KR102552968 B1 KR 102552968B1
Authority
KR
South Korea
Prior art keywords
tracker
objects
trackers
learning
target object
Prior art date
Application number
KR1020220059605A
Other languages
English (en)
Other versions
KR20220075273A (ko
Inventor
오태현
박재식
주경돈
김준식
권인소
이활석
Original Assignee
한화비전 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사, 한국과학기술원 filed Critical 한화비전 주식회사
Priority to KR1020220059605A priority Critical patent/KR102552968B1/ko
Publication of KR20220075273A publication Critical patent/KR20220075273A/ko
Application granted granted Critical
Publication of KR102552968B1 publication Critical patent/KR102552968B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예는, 객체 검출부가 복수의 객체들을 검출하는 단계; 추적기 생성부가 상기 객체들 중 어느 하나인 대상 객체를 추적하기 위한 추적기를 생성하는 단계; 추적기 학습부가 상기 추적기에 대해, 상기 대상 객체를 포지티브(positive) 샘플로 설정하고, 상기 객체들 중 상기 대상 객체와 상이한 어느 하나 이상의 객체를 네거티브(negative) 샘플로 설정하고, 상기 샘플들을 이용하여 상기 추적기를 학습시키는 단계; 및 객체 추적부가 상기 추적기를 이용하여 상기 대상 객체를 추적하는 단계;를 포함하는 것을 특징으로 하는, 다중 객체 추적 방법을 개시한다.

Description

다중 객체 추적 방법 및 이를 위한 장치 {METHOD OF TRACKING MULTIPLE OBJECTS AND APPARATUS FOR THE SAME}
본 발명의 실시예들은 다중 객체 추적 방법 및 이를 위한 장치에 관한 것으로, 더 상세하게는 포지티브(positive) 샘플 및 네거티브(negative) 샘플을 이용하여 추적기를 학습시켜 다중 객체를 추적하는 다중 객체 추적 방법 및 이를 위한 장치에 관한 것이다.
사람 및 물체를 추적하는 기술은 컴퓨터 비전 분야의 대표적인 어플리케이션으로써, 요즘 대두되고 있는 카메라를 이용한 감시 시스템에 필요한 핵심적인 기술이다.
최근 들어, 감시 시스템의 수요가 증가하는 상황에서 사용자가 눈으로 직접 영상을 하나하나 확인하는 경우, 많은 시간과 노력이 요구된다. 이러한 감시 시스템에 자동으로 타겟을 추적하는 추적기를 활용하면 위와 같은 수고를 덜 수 있다.
한국공개특허 제10-2010-0026123호
본 발명의 실시예들은 특정 추적기가 추적하는 객체를 포지티브(positive) 샘플로 설정하고, 나머지 추적기들이 추적하는 객체들을 네거티브(negative) 샘플들로 설정하는 방식으로 전체 추적기들을 학습시킴으로써, 이미지 내 전체 객체들이 서로 겹치는 복잡한 상황에서도 보다 객체들 각각을 안정적으로 분별하여 추적할 수 있는 다중 객체 추적 방법 및 이를 위한 장치를 제공한다.
본 발명의 일 실시예는, 객체 검출부가 복수의 객체들을 검출하는 단계; 추적기 생성부가 상기 객체들 중 어느 하나인 대상 객체를 추적하기 위한 추적기를 생성하는 단계; 추적기 학습부가 상기 추적기에 대해, 상기 대상 객체를 포지티브(positive) 샘플로 설정하고, 상기 객체들 중 상기 대상 객체와 상이한 어느 하나 이상의 객체를 네거티브(negative) 샘플로 설정하고, 상기 샘플들을 이용하여 상기 추적기를 학습시키는 단계; 및 객체 추적부가 상기 추적기를 이용하여 상기 대상 객체를 추적하는 단계;를 포함하는 것을 특징으로 하는, 다중 객체 추적 방법을 개시한다.
상기 추적기를 생성하는 단계는 상기 추적기 생성부가 상기 객체들 중 상기 대상 객체와 상이한 어느 하나인 추가 대상 객체를 추적하기 위한 추가 추적기를 더 생성하고, 상기 추적기를 학습시키는 단계는 상기 추적기 학습부가 상기 추적기에 대해, 상기 추가 대상 객체를 네거티브 샘플로 설정하고, 상기 추가 추적기에 대해, 상기 추가 대상 객체를 포지티브 샘플로 설정하고, 상기 대상 객체를 네거티브 샘플로 설정하여 상기 추적기 및 추가 추적기를 상호 학습시킬 수 있다.
상기 추적기를 학습시키는 단계는 상기 추적기 학습부가 상기 추적기에 포함된 분류기들 각각 또는 상기 분류기들 중 어느 둘 이상의 조합들 각각의 로그 가능도(log likelihood) 값을 산출하여 상기 분류기들 각각의 가중치를 결정함으로써 상기 추적기를 학습시킬 수 있다.
본 발명의 다른 일 실시예는, 복수의 객체들을 검출하는 객체 검출부; 상기 객체들 중 어느 하나인 대상 객체를 추적하기 위한 추적기를 생성하는 추적기 생성부; 상기 추적기에 대해, 상기 대상 객체를 포지티브(positive) 샘플로 설정하고, 상기 객체들 중 상기 대상 객체와 상이한 어느 하나 이상의 객체를 네거티브(negative) 샘플로 설정하고, 상기 샘플들을 이용하여 상기 추적기를 학습시키는 추적기 학습부; 및 상기 추적기를 이용하여 상기 대상 객체를 추적하는 객체 추적부;를 포함하는 것을 특징으로 하는, 다중 객체 추적 장치를 개시한다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 따른 다중 객체 추적 방법 및 이를 위한 장치에 의해, 특정 추적기가 추적하는 객체를 포지티브(positive) 샘플로 설정하고, 나머지 추적기들이 추적하는 객체들을 네거티브(negative) 샘플들로 설정하는 방식으로 전체 추적기들을 학습시킴으로써, 이미지 내 전체 객체들이 서로 겹치는 복잡한 상황에서도 보다 객체들 각각을 안정적으로 분별하여 추적할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 객체 추적 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 다중 객체 추적 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 추적기의 설정 및 학습 방법을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체들 간의 겹침 비율을 산출하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 추적기의 동작 과정을 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 다중 객체 추적 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 객체 추적 장치는 객체 검출부(110), 추적기 생성부(120), 추적기 학습부(130) 및 객체 추적부(140)를 포함한다.
객체 검출부(110)는 이미지에서 복수의 객체들을 검출한다.
예컨대, 객체 검출부(110)는 카메라가 한 방향을 주시한 상태에서 획득한 현재 영상과 기준 영상 간의 차이 영상으로 객체의 국부 움직임을 검출할 수 있다. 기준 영상은 객체 감지를 위한 움직임 감지 기능이 활성화되는 순간 촬영되어 결정된다. 현재 영상은 기준 영상이 결정된 후 촬영된 영상이다. 기준 영상과 현재 영상은 카메라의 화각에 의해 결정된다.
객체 검출부(110)는 동일한 방향에서 생성된 기준 영상과 현재 영상의 단순 비교에 의해 객체를 검출할 수 있다. 본 발명의 객체 검출부(110)가 객체의 국부 움직임을 검출하는 방법은 전술된 영상 차이를 이용하는 방법에 제한되지 않으며, 공지의 다양한 방법이 적용될 수 있음은 물론이다.
선택적 실시예에서, 객체 검출부(110)는 객체 검출 결과의 집합인 메타데이터를 생성할 수 있다. 메타데이터는 영상 내에서 검출된 객체의 개수 및 각 객체의 좌표를 포함할 수 있다. 객체의 좌표는 객체 블럭의 좌측 상단 좌표 및 우측 하단 좌표를 포함할 수 있다.
선택적 실시예에서, 객체 검출부(110)는 적분 채널 특징(Integral Channel Feature; ICF)을 이용하여 객체들을 검출할 수 있다. 적분 채널 특징은, 색상 관련, 방향 관련 적분 연산이 수행된 복수의 이미지로 구성될 수 있으며, 적분 채널 특징을 이용함으로써, 4번의 덧셈 또는 뺄셈 연산만으로 원하는 영역에 대한 특징 값의 합을 구할 수 있다.
추적기 생성부(120)는 객체 검출부(110)에서 검출된 객체들을 추적하기 위한 추적기를 생성한다. 추적기 생성부(120)는 객체들 중 어느 하나를 대상 객체로 하여 추적하기 위한 추적기를 생성할 수 있다.
추적기는 복수의 분류기들의 결합으로 이루어질 수 있다. 분류기는 입력 이미지에 대해 테스트를 수행하고 결과 값으로서 해당 입력 이미지가 포지티브일 확률 또는 네거티브일 확률을 결과 값으로 제공한다. 특정 이미지가 포지티브인 경우, 해당 이미지는 대상 객체에 상응함을 의미하며, 특정 이미지가 네거티브인 경우, 해당 이미지는 대상 객체에 상응하지 아니함을 의미할 수 있다.
분류기는 복수의 이진 테스트들을 포함할 수 있다. 예컨대, 분류기는 복수의 이진 테스트들을 임의로 선택하여 포함하는 랜더마이즈드 펀(randomized fern)일 수 있다.
이진 테스트는 결과 값이 두 가지 값 중 하나로 정해지는 테스트이다. 이진 테스트는 임의의 두 사각형 영역 내 값들의 합들을 비교하고, 특정 영역의 합이 더 큰지 여부를 판단하는 테스트일 수 있다. 예컨대, 이진 테스트는 Haar-like와 같은 이진 테스트일 수 있다.
복수의 이진 테스트들은 계층적 구조로 연결되어 수행될 수 있다. 이진 테스트들은 이진 트리(tree) 형태의 계층적 구조로 연결될 수 있다. 예컨대, 제1 이진 테스트가 루트 노드(root node)이고, 제2 및 제3 이진 테스트가 제1 이진 테스트의 자식 노드인 경우, 제1 이진 테스트를 수행하여 결과 값이 제1 결과 값인 경우 제2 이진 테스트를 수행하고, 제2 결과 값인 경우 제3 이진 테스트를 수행하도록 연결될 수 있다. 이진 테스트들 각각에는 결과 값에 자식 노드 또는 분류기의 결과 값이 매핑되어 있을 수 있다.
선택적 실시예로, 추적기 생성부(120)는 객체들 중 대상 객체와 상이한 어느 하나를 추가 대상 객체로 하여 추적하기 위한 추가 추적기를 생성할 수 있다. 나아가, 추적기 생성부(120)는 객체들 각각을 추적하는 복수의 추적기들을 생성할 수 있다. 예컨대, 객체 검출부(110)에 의해 3개의 객체들이 검출된 경우, 각각의 객체를 추적하기 위한 3개의 추적기들이 생성될 수 있다.
추적기 학습부(130)는 추적기 생성부(120)에서 생성된 추적기를 포지티브(positive) 샘플 및 네거티브(negative) 샘플을 이용하여 학습시킨다. 포지티브 샘플은 추적기가 추적하는 대상 영역에서 획득한 정보이며, 네거티브 샘플은 대상 영역을 제외한 영역에서 획득한 정보일 수 있다. 예컨대, 추적기 학습부(130)는 밀 부스팅(Multiple-Instance Learning boosting; MIL boosting) 방식을 이용하여 추적기를 학습시킬 수 있다.
추적기 학습부(130)는 추적기에 대해, 대상 객체를 포지티브 샘플로 설정하고, 객체들 중 대상 객체와 상이한 어느 하나 이상의 객체를 네거티브 샘플로 설정하고, 해당 샘플들을 이용하여 추적기를 학습시킬 수 있다.
선택적 실시예에서, 추적기 생성부(120)에 의해 추가 추적기가 생성된 경우, 추적기에 대해서는 대상 객체를 포지티브 샘플로 설정하고, 추가 대상 객체를 네거티브 샘플로 설정하고, 추가 추적기에 대해서는, 추가 대상 객체를 포지티브 샘플로 설정하고, 대상 객체를 네거티브 샘플로 설정하여 학습시킴으로써, 추적기 및 추가 추적기를 상호 학습시킬 수 있다. 나아가, 3개 이상의 추적기들이 생성된 경우에 있어서도, 추적기 학습부(130)는 각각의 추적기에 대해 자신의 대상 객체를 포지티브 샘플로 설정하고, 다른 추적기의 대상 객체를 네거티브 샘플로 설정함으로써, 해당 추적기들을 상호 학습시킬 수 있다.
추적기 학습부(130)는 추적기에 포함된 분류기들 각각에 가중치를 결정함으로써 추적기를 학습시킬 수 있다. 추적기는 입력 이미지가 포지티브일 최종 확률을 제공하며, 최종 확률은 해당 추적기에 포함된 분류기들에 의한 포지티브 확률들 각각에 가중치를 곱한 값들의 합 또는 평균 값일 수 있다. 예컨대, 가중치가 0 내지 '1/(추적기의 수)' 범위 내 값인 경우, 최종 확률은 포지티브 확률들 각각에 가중치를 곱한 값들의 합이 되고, 가중치가 0 내지 1 범위 내 값인 경우, 최종 확률은 포지티브 확률들 각각에 가중치를 곱한 값들의 평균 값일 수 있다.
추적기 학습부(130)는 분류기들 각각에 대해 로그 가능도(log likelihood) 값을 산출하고, 로그 가능도 값을 이용하여 가중치를 결정할 수 있다.
예컨대, 분류기들 각각의 가중치는 로그 가능도 값에 따라 0 또는 1로 결정될 수 있다. 즉, 가중치가 0인 경우, 해당 분류기의 결과 값은 추적기에 반영되지 아니하며, 가중치가 1인 경우, 해당 분류기의 결과 값은 추적기에 반영되는 것을 의미한다.
보다 구체적으로, 분류기들 각각의 가중치를 결정하는 방법을 이하에서 설명한다.
먼저, 분류기들 각각에 대해 로그 가능도 값을 산출하고, 로그 가능도 값이 가장 큰 분류기의 가중치를 1로 결정한다.
다음으로, 가중치가 1로 결정된 하나의 분류기와 나머지 분류기들 각각을 이용하여 조합들을 생성한 뒤, 조합들 각각에 대해 로그 가능도 값을 산출하고, 로그 가능도 값이 가장 큰 조합에 사용된 나머지 분류기의 가중치를 1로 결정한다.
다음으로, 가중치가 1로 결정된 두 분류기들과 나머지 분류기들 각각을 이용하여 조합들을 생성한 뒤, 조합들 각각에 대해 로그 가능도 값을 산출하고, 로그 가능도 값이 가장 큰 조합에 사용된 나머지 분류기의 가중치를 1로 결정한다. 이와 같은 과정을 한번 반복할 때마다 가중치가 1로 결정될 분류기를 하나씩 늘려나갈 수 있다. 즉, 이와 같은 과정을 반복함으로써, 기설정된 수만큼의 분류기의 가중치를 1로 결정하고, 나머지 분류기들의 가중치는 0으로 결정할 수 있다.
선택적 실시예에서, 추적기 학습부(130)는 포지티브 백(bag) 및 네거티브 백을 이용하여 추적기를 학습시킬 수 있다. 포티지브 백은 적어도 하나의 포지티브 샘플을 포함하는 샘플 그룹이며, 네거티브 백은 네거티브 샘플만을 포함하는 샘플 그룹이다.
객체 추적부(140)는 추적기 학습부(130)에서 학습된 추적기를 이용하여 객체를 추적한다. 추적기 학습부(130)의 학습 결과에 따라, 특정 추적기는 특정 객체가 나머지 객체들과 겹치게 되더라도 해당 객체를 보다 안정적으로 분별하여 추적할 수 있다.
선택적 실시예에서, 객체 추적부(140)는 객체들 간 겹침이 발생하는 경우, 객체들에 상응하는 영역들에 대해, 합집합 영역의 넓이 및 교집합 영역의 넓이의 비율을 산출함으로써, 겹침 비율을 산출할 수 있다.
즉, 본 발명의 일 실시예에 따른 다중 객체 추적 장치는 특정 추적기에 대해, 해당 추적기가 추적하는 객체를 포지티브(positive) 샘플로 설정하고, 나머지 객체들을 네거티브(negative) 샘플들로 설정하는 방식으로 전체 추적기를 상호 학습시킴으로써, 이미지 내 전체 객체들이 서로 겹치는 복잡한 상황에서도 보다 객체들 각각을 안정적으로 분별하여 추적할 수 있다.
도 2는 본 발명의 일 실시예에 따른 다중 객체 추적 방법을 나타낸 동작 흐름도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 다중 객체 추적 방법은 객체 검출부가 복수의 객체들을 검출하는 단계(S210), 추적기 생성부가 대상 객체를 추적하기 위한 추적기를 생성하는 단계(S220), 추적기 학습부가 샘플들을 이용하여 추적기를 학습시키는 단계(S230), 및 객체 추적부가 대상 객체를 추적하는 단계(S240)를 포함한다.
먼저, 객체 검출부가 이미지에서 복수의 객체들을 검출한다(S210). 단계(S210)에서 객체 검출부는 적분 채널 특징을 이용하여 객체들을 검출할 수 있다.
다음으로, 추적기 생성부가 단계(S210)에서 검출된 객체들을 추적하기 위한 추적기를 생성한다(S220). 단계(S220)에서 추적기 생성부는 복수의 객체들 각각을 추적하기 위한 복수의 추적기들을 생성할 수 있다.
다음으로, 추적기 학습부가 단계(S220)에서 생성된 추적기를 포지티브 샘플 및 네거티브 샘플을 이용하여 학습시킨다(S230). 단계(S230)에서 추적기 학습부는 특정 추적기에 대해, 해당 추적기가 추적하기 위한 대상인 대상 객체를 포지티브 샘플로 설정하고, 대상 객체와 상이한 적어도 하나의 객체를 네거티브 샘플로 설정하여 해당 추적기를 학습시킬 수 있다. 단계(S220)에서 복수의 추적기들이 생성된 경우, 추적기 학습부는 각각의 추적기에 대해 자신의 대상 객체를 포지티브 샘플로 설정하고, 다른 추적기의 대상 객체를 네거티브 샘플로 설정함으로써, 해당 추적기들을 상호 학습시킬 수 있다.
마지막으로, 객체 검출부가 단계(S230)에서 학습된 추적기를 이용하여 객체를 추적한다(S240). 단계(S240)에서 객체들 간 겹침이 발생하는 경우, 객체 검출부는 객체들에 상응하는 영역들에 대해, 합집합 영역의 넓이 및 교집합 영역의 넓이의 비율을 산출함으로써, 겹침 비율을 산출할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 다중 객체 추적 방법은 특정 추적기에 대해, 해당 추적기가 추적하는 객체를 포지티브(positive) 샘플로 설정하고, 나머지 객체들을 네거티브(negative) 샘플들로 설정하는 방식으로 전체 추적기를 상호 학습시킴으로써, 이미지 내 전체 객체들이 서로 겹치는 복잡한 상황에서도 보다 객체들 각각을 안정적으로 분별하여 추적할 수 있다.
도 3은 본 발명의 일 실시예에 따른 추적기의 설정 및 학습 방법을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 추적기의 설정 방법은 객체들(311, 312, 313) 각각에 대해 추적기들(331, 332, 333)이 설정되는 과정을 통해 설명될 수 있다.
예컨대, 도 3(a)와 같이, 객체 검출부가 이미지(310)에서 사람들(301, 302, 303)을 인식하고, 도 3(b)와 같이, 사람들(301, 302, 303)을 포함하는 영역을 객체들(311, 312, 313)로서 획득할 수 있다. 도 3은 사람들을 인식하여 객체를 획득하는 예를 도시하였으나, 본 발명의 인식 대상은 제한되지 아니하며, 공지의 인식 알고리즘에 따른 다양한 인식 대상에 대해 객체를 획득할 수 있음은 물론이다.
다음으로 도 3(c)와 같이, 추적기 생성부가 전체 객체들(320) 중 추적 대상이 되는 객체에 대해 추적기를 생성할 수 있다. 도 3은 전체 객체들(320) 전부(311, 312, 313)에 대해 추적기들(331, 332, 333)을 생성한 경우를 도시하였으나, 전체 객체들(320) 중 일부(예컨대, 311, 312)에 대해서만 추적기들(예컨대, 331, 332)을 생성할 수도 있다. 이 경우, 추적기(331)는 객체(311)를, 추적기(332)는 객체(312)를, 추적기(333)는 객체(313)를 각각 대상 객체로서 추적하기 위한 것일 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 추적기는 이미지에서 인식된 객체들 각각을 추적하기 위해 설정될 수 있다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 추적기의 학습 방법은 추적기들(331, 332, 333) 각각에 대해 포지티브 샘플(341a, 342a, 343a) 및 네거티브 샘플(341b, 342b, 343b)이 설정되는 과정을 통해 설명될 수 있다.
예컨대, 추적기 학습부는 추적기(331)에 대해, 대상 객체(311)를 포지티브 샘플(341a)로 설정하고, 다른 추적기(332, 333)의 대상 객체(312, 313)를 네거티브 샘플(341b)로 설정할 수 있다. 또한, 추적기 학습부는 추적기(332)에 대해, 대상 객체(312)를 포지티브 샘플(342a)로 설정하고, 다른 추적기(331, 333)의 대상 객체(311, 313)를 네거티브 샘플(342b)로 설정할 수 있다. 또한, 추적기 학습부는 추적기(333)에 대해, 대상 객체(313)를 포지티브 샘플(343a)로 설정하고, 다른 추적기(331, 332)의 대상 객체(311, 312)를 네거티브 샘플(343b)로 설정할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 추적기는 추적기들 각각에 대해 자신의 대상 객체를 포지티브 샘플로 설정하고, 다른 추적기의 대상 객체를 네거티브 샘플로 설정함으로써, 상호 학습될 수 있다.
도 4는 본 발명의 일 실시예에 따른 객체들 간의 겹침 비율을 산출하는 방법을 나타낸 도면이다.
도 4(a)를 참조하면, 객체들(311, 312, 313) 중 두 객체들(311, 312) 간 겹침이 발생하였음을 알 수 있다.
도 4(b)와 같이, 객체 검출부는 객체들(311, 312)에 상응하는 영역(A, B)들에 대해, 합집합 영역(A∪B)의 넓이 및 교집합 영역(A∩B)의 넓이의 비율을 산출함으로써, 겹침 비율을 산출할 수 있다.
도 5는 본 발명의 일 실시예에 따른 추적기의 동작 과정을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 추적기는 이미지(x)를 입력으로 하여, 이미지(x)가 포지티브일 확률 값(H(x))을 결과로 제공한다.
추적기는 복수의 분류기들(h1, hi, hr)을 포함하며, 분류기들(h1, hi, hr) 각각은 이미지(x)에 대해 복수의 이진 테스트를 수행하여 산출된 확률 값(예컨대, 이미지(x)가 포지티브일 확률 값(c0) 또는 네거티브일 확률 값(c1))을 제공한다. 추적기는 분류기들(h1, hi, hr)로부터 산출된 확률 값에 가중치(a1, ai, ar)을 곱하여 합한 값을 최종적으로 이미지(x)가 포지티브일 확률 값(H(x))을 제공한다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 나아가, 매체는 네트워크 상에서 전송 가능한 형태로 구현되는 무형의 매체를 포함할 수 있으며, 예를 들어 소프트웨어 또는 애플리케이션 형태로 구현되어 네트워크를 통해 전송 및 유통이 가능한 형태의 매체일 수도 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
110: 객체 검출부 120: 추적기 생성부
130: 추적기 학습부 140: 객체 추적부

Claims (5)

  1. 영상 내에서 획득된 포지티브(positive) 샘플과 네거티브(negative) 샘플을 이용하여 추적기를 학습시키는 단계; 및
    상기 추적기를 이용하여 객체를 추적하는 단계;를 포함하고,
    상기 포지티브 샘플은 상기 영상에서 상기 추적기가 추적하는 대상 영역에서 획득되고, 상기 네거티브 샘플은 상기 영상에서 상기 대상 영역을 제외한 영역에서 획득되고,
    상기 추적기 학습 단계는, 복수의 추적기들을 학습시키는 단계를 포함하고,
    상기 복수의 추적기들 각각이 학습하는 포지티브 샘플이 서로 상이한, 객체 추적 장치의 객체 추적 방법.
  2. 제1항에 있어서,
    상기 복수의 추적기들은 제1추적기 및 제2추적기를 포함하고,
    상기 제1추적기의 포지티브 샘플이 상기 제2추적기의 네거티브 샘플인, 객체 추적 장치의 객체 추적 방법.
  3. 제1항에 있어서, 상기 추적기 학습 단계는,
    상기 복수의 추적기들 각각이 자신이 추적하는 객체인 포지티브 샘플과 다른 추적기들이 추적하는 객체들인 네거티브 샘플들을 이용하여 학습되도록 상기 복수의 추적기들을 상호 학습시키는, 객체 추적 장치의 객체 추적 방법.
  4. 제1항에 있어서, 상기 추적기 학습 단계는,
    상기 복수의 추적기들 각각에 대해 복수의 포지티브 샘플들과 복수의 네거티브 샘플들을 학습시키는, 객체 추적 장치의 객체 추적 방법.
  5. 제1항에 있어서, 상기 추적기 학습 단계는,
    상기 추적기에 포함된 분류기들 각각 또는 상기 분류기들 중 어느 둘 이상의 조합들 각각의 로그 가능도(log likelihood) 값을 산출하여 상기 분류기들 각각의 가중치를 결정함으로써 상기 추적기를 학습시키는 것을 특징으로 하는, 객체 추적 장치의 객체 추적 방법.

KR1020220059605A 2015-05-20 2022-05-16 다중 객체 추적 방법 및 이를 위한 장치 KR102552968B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220059605A KR102552968B1 (ko) 2015-05-20 2022-05-16 다중 객체 추적 방법 및 이를 위한 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150070569A KR102399974B1 (ko) 2015-05-20 2015-05-20 다중 객체 추적 방법 및 이를 위한 장치
KR1020220059605A KR102552968B1 (ko) 2015-05-20 2022-05-16 다중 객체 추적 방법 및 이를 위한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150070569A Division KR102399974B1 (ko) 2015-05-20 2015-05-20 다중 객체 추적 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20220075273A KR20220075273A (ko) 2022-06-08
KR102552968B1 true KR102552968B1 (ko) 2023-07-10

Family

ID=57707262

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150070569A KR102399974B1 (ko) 2015-05-20 2015-05-20 다중 객체 추적 방법 및 이를 위한 장치
KR1020220059605A KR102552968B1 (ko) 2015-05-20 2022-05-16 다중 객체 추적 방법 및 이를 위한 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020150070569A KR102399974B1 (ko) 2015-05-20 2015-05-20 다중 객체 추적 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (2) KR102399974B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879735B1 (ko) * 2017-03-15 2018-07-18 (주)넥셀 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법
KR102465960B1 (ko) * 2017-08-29 2022-11-11 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
KR102500853B1 (ko) * 2020-12-14 2023-02-17 주식회사 에스원 경량화된 딥러닝 기반 싸움상황 감지 방법 및 이를 이용한 감지 시스템
KR102517905B1 (ko) 2022-10-04 2023-04-04 주식회사 비던스 트래픽 처리 속도 성능 개선을 위한 인공지능 기반 애드 익스체인지 플랫폼 프로세스 처리 방법, 장치 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221623A (zh) * 2008-01-30 2008-07-16 北京中星微电子有限公司 一种物体类型的在线训练和识别方法及其系统
JP2010539623A (ja) * 2007-09-19 2010-12-16 パナソニック株式会社 位置情報を使用して画像内のオブジェクトを識別するシステムおよび方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100745980B1 (ko) * 2006-01-11 2007-08-06 삼성전자주식회사 분류기 통합을 위한 스코어 합성 방법 및 장치
KR100979726B1 (ko) 2008-08-29 2010-09-02 (주)제이티 이동 물체의 특징점을 이용하는 영상 검지 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010539623A (ja) * 2007-09-19 2010-12-16 パナソニック株式会社 位置情報を使用して画像内のオブジェクトを識別するシステムおよび方法
CN101221623A (zh) * 2008-01-30 2008-07-16 北京中星微电子有限公司 一种物体类型的在线训练和识别方法及其系统

Also Published As

Publication number Publication date
KR20160136689A (ko) 2016-11-30
KR102399974B1 (ko) 2022-05-19
KR20220075273A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
KR102552968B1 (ko) 다중 객체 추적 방법 및 이를 위한 장치
US10824914B2 (en) Apparatus and method of data generation for object detection based on generative adversarial networks
CN108009544B (zh) 目标检测方法及装置
US9971942B2 (en) Object detection in crowded scenes using context-driven label propagation
US9767352B2 (en) Apparatus and method for analyzing body part association
WO2016179808A1 (en) An apparatus and a method for face parts and face detection
KR20180037746A (ko) 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US20210089823A1 (en) Information processing device, information processing method, and non-transitory computer-readable storage medium
CN111291668A (zh) 活体检测方法、装置、电子设备及可读存储介质
KR102138681B1 (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
Wang et al. A two-layer night-time vehicle detector
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
KR102325072B1 (ko) 포즈 매칭 방법 및 이를 수행하기 위한 장치
US20140294300A1 (en) Face matching for mobile devices
JP5643147B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム
US20220261642A1 (en) Adversarial example detection system, method, and program
CN108921015B (zh) 基于递归结构车载单目摄像头下行人目标校验算法及系统
CN108764110B (zh) 基于hog特征行人检测器的递归错检校验方法、系统及设备
Spooner et al. Generation of pedestrian pose structures using generative adversarial networks
CN111860093A (zh) 图像处理方法、装置、设备及计算机可读存储介质
US20230196752A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20240095934A1 (en) Image processing apparatus, training apparatus, image processing method, training method, and non-transitory computer-readable medium
US11861879B2 (en) Information processing device, information processing method, and storage medium
US20230154017A1 (en) Electronic apparatus and method used for object tracking

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant