KR102369413B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102369413B1
KR102369413B1 KR1020170058547A KR20170058547A KR102369413B1 KR 102369413 B1 KR102369413 B1 KR 102369413B1 KR 1020170058547 A KR1020170058547 A KR 1020170058547A KR 20170058547 A KR20170058547 A KR 20170058547A KR 102369413 B1 KR102369413 B1 KR 102369413B1
Authority
KR
South Korea
Prior art keywords
target
image processing
candidate selection
frame
processing apparatus
Prior art date
Application number
KR1020170058547A
Other languages
English (en)
Other versions
KR20180054406A (ko
Inventor
린 마
데헹 퀴안
남동경
광웨이 왕
허진구
징타오 쑤
밍카이 저우
퀴앙 왕
자이란 왕
지화 리우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/794,677 priority Critical patent/US10565713B2/en
Publication of KR20180054406A publication Critical patent/KR20180054406A/ko
Application granted granted Critical
Publication of KR102369413B1 publication Critical patent/KR102369413B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

영상 처리 장치는 제1 프레임 내의 기저 영상(basis image)의 위치에 기초하여 제2 프레임 내의 복수의 후보 선택 영역 각각에 관한 위치 오프셋을 계산하는 계산부 및 상기 계산된 위치 오프셋 및 상기 복수의 후보 선택 영역 각각에 할당된 가중치에 따라 상기 제2 프레임 내에서 타겟을 포함하는 최종 선택 영역을 결정하는 결정부를 포함할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
아래의 설명은 영상 처리 기술에 관한 것이다.
스마트 폰, 태블릿 PC(personal computer), 랩탑 컴퓨터 등과 같은 휴대용 단말들이 널리 보급되고 있다. 이에 따라, 휴대용 단말에 있는 촬영 장치를 통해 관심 있는 타겟(target)을 연속적으로 촬영하는 것이 가능해졌다. 연속 촬영되는 비디오 파일 내에서 명확한 프레임을 획득하기 위해서는, 타겟에 대한 추적과 그에 따른 초점 조정을 수행하는 과정이 필요할 것이다.
타겟 추적 방법에는 예를 들어, 복수의 영역 중 특정 바운딩 박스(bounding box)에 대해 선택적 탐색(selective search)을 수행하는 방법, 각각의 포인트들의 확률적 움직임을 예측하는 파티클 필터(particle filter)를 이용하여 프레임 내 타겟을 추적하는 방법 등이 존재하고 있다.
일측에 따르면, 제1 프레임 내의 기저 영상(basis image)의 위치에 기초하여 제2 프레임 내의 복수의 후보 선택 영역 각각에 관한 위치 오프셋을 계산하는 계산부 및 상기 계산된 위치 오프셋 및 상기 복수의 후보 선택 영역 각각에 할당된 가중치에 따라 상기 제2 프레임 내에서 타겟을 포함하는 최종 선택 영역을 결정하는 결정부를 포함할 수 있다.
일실시예에 따르면, 상기 결정부는 상기 복수의 후보 선택 영역 각각의 상기 제2 프레임 내의 위치에 기초하여 상기 가중치를 결정할 수 있다.
다른 일실시예에 따르면, 상기 계산부는 상기 복수의 후보 선택 영역 각각에 특징회귀행렬을 적용하여 복수의 위치 오프셋을 계산하고, 상기 복수의 위치 오프셋 각각에 대해 상기 가중치를 적용하여 상기 타겟을 추적하는 타겟 위치 오프셋을 계산할 수 있다.
또 다른 일실시예에 따르면, 상기 계산부는 미리 학습된 복수의 특징회귀행렬을 이용하여 제1 후보 선택 영역에 관한 복수의 위치 오프셋을 계산하고, 상기 복수의 위치 오프셋의 평균값을 이용하여 상기 제1 후보 선택 영역에 대응하는 제1 위치 오프셋을 계산할 수 있다. 또한, 상기 복수의 특징회귀행렬은 상기 기저 영상 내의 특징 포인트 및 복수의 샘플 프레임 각각의 특징 포인트들에 따른 위치 오프셋에 기초하여 학습될 수 있다.
또 다른 일실시예에 따르면, 상기 영상 처리 장치는 상기 제1 프레임 내의 기저 영상에 기초하여 상기 제2 프레임에서 상기 타겟에 관한 초기 선택 영역을 결정하고, 상기 결정된 초기 선택 영역을 중심으로 상기 복수의 후보 선택 영역을 추출하는 추출부를 더 포함할 수 있다. 상기 추출부는 상기 제1 프레임 및 상기 제2 프레임 사이의 전체 위치 오프셋을 계산하고, 상기 계산된 전체 위치 오프셋과 상기 기저 영상 내에 타겟이 존재하는 위치 정보에 기초하여 초기 선택 영역을 결정할 수 있다.
또 다른 일실시예에 따르면, 상기 추출부는 상기 기저 영상 내의 특징 포인트에 대응하는 투영 포인트들을 상기 제2 프레임 내에서 추출하고, 상기 추출된 투영 포인트들과 소정 범위 내에 존재하는 포인트들의 텍스처 값을 이용하여 상기 전체 위치 오프셋을 결정할 수 있다. 상기 추출부는 상기 추출된 투영 포인트를 중심으로 소정 범위 내의 포인트들을 추출하고, 추출된 포인트들의 텍스처 값과 상기 특징 포인트의 텍스처 값의 유사도에 따라 상기 특징 포인트에 대응하는 매칭 포인트를 결정하고, 상기 특징 포인트의 위치 및 상기 매칭 포인트의 위치를 비교하여 상기 전체 위치 오프셋을 결정할 수 있다.
또 다른 일실시예에 따르면, 상기 영상 처리 장치는 상기 최종 선택 영역이 결정된 상기 제2 프레임을 저장하고, 저장된 프레임들의 개수가 임계치 이상이 되는 경우에 상기 프레임들의 타겟 추적 결과값에 따라 상기 기저 영상을 업데이트 하는 저장부를 더 포함할 수 있다.
다른 일측에 따르면, 영상 처리 방법은 타겟의 특징에 관한 포지티브 샘플(positive sample)과 복수의 후보 선택 영역 각각이 갖는 유사도를 계산하는 단계 및 상기 계산된 유사도에 따라 프레임 내에서 타겟을 포함하는 최종 선택 영역을 결정하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 유사도를 계산하는 단계는 희소 부분공간 클러스터링(SSC: Sparse Subspace Clustering) 모델에 포함되는 상기 포지티브 샘플의 특징과 각각의 후보 선택 영역 내의 서브 영역의 특징을 비교하여 상기 유사도를 계산하는 단계를 포함할 수 있다.
다른 일실시예에 따르면, 상기 유사도를 계산하는 단계는 제1 후보 선택 영역에 포함되는 복수의 서브 영역에 관한 유사도들의 합에 따라 상기 제1 후보 선택 영역의 유사도를 계산하는 단계를 포함할 수 있다.
또 다른 일실시예에 따르면, 상기 희소 부분공간 클러스터링 모델은 상기 타겟의 특징에 관한 포지티브 샘플 및 상기 타겟의 이웃한 영역의 특징에 관한 네거티브 샘플의 유클리드 거리에 기초하여 복수의 샘플 프레임으로부터 학습될 수 있다.
또 다른 일실시예에 따르면, 상기 영상 처리 방법은 상기 프레임의 최종 선택 영역과 상기 포지티브 샘플의 유사도와 이전 프레임들과 상기 포지티브 샘플의 유사도 평균값을 비교하는 단계 및 상기 비교 결과에 따라 상기 프레임을 새롭게 저장하는 단계를 포함할 수 있다. 보다 구체적으로, 상기 영상 처리 방법은 저장된 프레임들의 개수와 소정의 임계치를 비교하고, 상기 비교의 결과에 따라 상기 저장된 프레임들을 샘플 프레임으로서 이용하여 희소 부분공간 클러스터링 모델을 업데이트하는 단계를 더 포함할 수 있다.
또 다른 일측에 따르면, 기저 영상을 이용하여 입력 프레임으로부터 복수의 후보 선택 영역을 추출하는 추출부, 상기 복수의 후보 선택 영역 각각에 존재하는 특징 포인트들로부터 타겟을 추적하는 타겟 위치 오프셋을 계산하는 제1 계산부, 타겟의 특징에 관한 포지티브 샘플과 상기 복수의 후보 선택 영역 각각이 갖는 유사도를 계산하는 제2 계산부 및 상기 타겟 위치 오프셋에 제1 가중치를 적용하고 상기 복수의 후보 선택 영역 각각의 유사도에 제2 가중치를 적용하여, 상기 타겟을 포함하는 최종 선택 영역을 결정하는 결정부를 포함할 수 있다.
일실시예에 따르면, 상기 제1 계산부는 상기 복수의 후보 선택 영역 각각에 특징회귀행렬을 적용하여 복수의 위치 오프셋을 계산하고, 상기 계산된 복수의 위치 오프셋에 가중치를 적용하여 상기 타겟 위치 오프셋을 계산할 수 있다.
다른 일실시예에 따르면, 상기 제2 계산부는 상기 타겟에 관한 포지티브 샘플 및 상기 타겟의 이웃한 영역에 관한 네거티브 샘플을 이용하여 학습된 혼합 희소 부분공간 클러스터링(HSSC: Hybrid Sparse Subspace Clustering) 모델에 따라 상기 유사도를 계산할 수 있다.
또 다른 일측에 따르면 현재 프레임 중 타겟에 관한 후보 선택 영역을 획득하는 단계 및 상기 획득한 후보 선택 영역에 대해 특징회귀를 진행하여 최종 선택 영역을 획득하는 단계를 포함하는 타겟 추적 방법이 제공된다.
일실시예에 따르면, 상기 현재 프레임 중 타겟에 관한 후보 선택 영역을 획득하는 단계는, 미리 저장된 프레임 중 타겟의 기저 영상에 기초하여 상기 현재 프레임 중 타겟의 초기 선택 영역의 정보를 결정하는 단계 및 상기 타겟의 초기 선택 영역 주위의 제1 설정 개수의 후보 선택 영역의 정보를 획득하는 단계를 포함할 수 있다.
다른 일실시예에 따르면, 상기 획득한 후보 선택 영역에 대하여 특징회귀를 진행하여 최종 선택 영역을 획득하는 단계는, 특징회귀행렬에 기초하여 획득한 각각의 후보 선택 영역의 정보에 대하여 회귀하는 단계 및 상기 회귀로 획득한 후보 선택 영역의 종합 회귀 후의 정보에 기초하여 상기 타겟의 최종 선택 영역을 결정하는 단계를 포함할 수 있다.
또 다른 일실시예에 따르면, 상기 획득한 후보 선택 영역에 대하여 특징회귀를 진행하여 최종 선택 영역을 획득하는 단계는, 획득한 후보 선택 영역에 대하여 특징회귀와 특징평가를 진행하여 최종 선택 영역을 획득하는 단계를 더 포함할 수 있다.
또 다른 일측에 따르면, 현재 프레임 중 타겟에 관한 후보 선택 영역을 획득하는 단계 및 획득한 후보 선택 영역에 대하여 특징평가를 진행하여 최종 선택 영역을 획득하는 단계를 포함하고, 상기 특징평가는 희소 부분공간 클러스터링 모델에 기초하여 진행되는 타겟 추적 방법이 제공된다.
일실시예에 따르면, 상기 획득한 후보 선택 영역에 대하여 특징평가를 하여 최종 선택 영역을 획득하는 단계는, 희소 부분공간 클러스터링 모델에 기초하여 획득한 각각의 후보 선택 영역의 정보에 대하여 평가를 하는 단계 및 상기 평가로 획득한 최대 평가 값의 후보 선택 영역의 정보에 기초하여 상기 타겟의 최종 선택 영역을 결정하는 단계를 포함할 수 있다.
다른 일실시예에 따르면, 상기 희소 부분공간 클러스터링 모델에 기초하여 획득한 각각의 후보 선택 영역의 정보에 대하여 평가를 하는 단계는, 상기 희소 부분공간 클러스터링 모델에 기초하여 획득한 각각의 후보 선택 영역의 각각의 서브 후보 선택 영역의 영상 특징에 대하여 평가를 하는 단계, 각각의 서브 후보 선택 영역의 영상 특징의 평가값에 기초하여 상기 후보 선택 영역의 영상 특징의 평가값을 결정하는 단계 및 각각의 후보 선택 영역 특징의 평가 값에서 최대 평가 값을 결정하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 동작을 설명하는 예시도이다.
도 2는 일실시예에 따른 영상 처리 장치를 설명하는 블록도이다.
도 3a 및 도 3b는 도 2에서 설명된 영상 처리 장치가 기저 영상을 이용하여 초기 선택 영역을 결정하는 과정을 도시하는 예시도이다.
도 4는 도 2에서 설명된 영상 처리 장치가 타겟을 포함하는 최종 선택 영역을 결정하는 과정을 설명하는 흐름도이다.
도 5는 다른 일실시예에 따른 영상 처리 장치가 특징회귀행렬을 학습하는 과정을 설명하는 흐름도이다.
도 6은 또 다른 일실시예에 따른 영상 처리 장치가 타겟을 포함하는 최종 선택 영역을 결정하는 과정을 설명하는 흐름도이다.
도 7a 및 도 7b는 또 다른 일실시예에 따른 영상 처리 장치가 샘플 프레임을 이용하여 포지티브 샘플과 네거티브 샘플을 추출하는 과정을 설명하는 예시도이다.
도 8은 도 7a에서 설명된 영상 처리 장치가 희소 부분공간 클러스터링 모델을 학습하는 과정을 설명하는 흐름도이다.
도 9는 또 다른 일실시예에 따른 영상 처리 장치를 설명하는 블록도이다.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 영상 처리 장치의 동작을 설명하는 예시도이다. 영상 처리 장치(100)는 컴퓨터 장치로 구현될 수 있다. 이를테면, 영상 처리 장치(100)는 적어도 하나의 소프트웨어 모듈, 적어도 하나의 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다. 도 1을 참조하면, 영상 처리 장치(100)는 입력 영상을 수신하고, 수신된 입력 영상 내에서 타겟을 포함하는 최종 선택 영역을 결정할 수 있다. 이하의 설명에서, 타겟은 사용자의 관심 영역으로서 영상 데이터 내에서 추적되는 객체를 의미한다. 예를 들어, 타겟은 전체 영상의 프레임 내에서 특정 사용자의 눈 및 코로 지정될 수 있다. 또는, 타겟은 복수의 플레이어들이 함께 움직이는 스포츠 영상 내에서 특정 플레이어의 위치로 지정될 수 있다.
타겟을 포함하는 최종 선택 영역을 결정하기 위해, 영상 처리 장치(100)는 미리 저장된 기저 영상(basis image)을 이용할 수 있다. 이하의 설명에서, 기저 영상은 특정 프레임 내에서 타겟이 존재하는 것으로 결정된 영역을 의미한다. 기저 영상은 복수의 픽셀 포인트들을 연결하는 다변형 영역, 타원형 영역 및 불규칙형 영역과 같이 다양한 형태로 저장될 수 있다. 예시적으로, 다변형은 삼각형, 오각형, 오각별형, 육각형 등과 같은 형태로 구현될 수 있다.
보다 구체적으로, 영상 처리 장치(100)는 기저 영상의 위치에 기반하여 제1 프레임(F1) 내의 최종 선택 영역(110)을 결정할 수 있다. 마찬가지로, 영상 처리 장치(100)는 기저 영상의 위치에 기반하여 제N 프레임(FN) 내의 최종 선택 영역(120)을 결정할 수 있다. 영상 처리 장치(100)는 최종 선택 영역이 결정된 프레임의 개수에 따라 상기 기저 영상을 업데이트할 수 있다. 기저 영상이 선택되고, 업데이트 되는 과정에 대해서는 이하에서 보다 자세하게 설명될 것이다.
도 2는 일실시예에 따른 영상 처리 장치를 설명하는 블록도이다. 도 2를 참조하면, 영상 처리 장치(200)는 추출부(210), 계산부(220), 결정부(230) 및 저장부(240)를 포함할 수 있다. 추출부(210)는 제1 프레임 내의 기저 영상에 기초하여 제2 프레임에서 타겟에 관한 초기 선택 영역을 결정할 수 있다. 예시적으로, 제1 프레임은 전체 입력 영상 내에 존재하는 임의의 프레임으로서, 기저 영상에 관한 정보가 미리 저장된 프레임을 나타낼 수 있다. 상기 기저 영상은 상기 제1 프레임 내에서 타겟을 포함하는 영역의 영상을 나타낼 수 있다. 예시적으로, 상기 기저 영상에 관한 정보는 기저 영상 내에 존재하는 특징 포인트들에 관한 정보를 나타낼 수 있다. 또한, 제2 프레임은 상기 전체 입력 영상에서 상기 제1 프레임 이후에 영상 처리 장치(200)로 입력되는 프레임을 나타낼 수 있다.
또한, 추출부(210)는 상기 제2 프레임 내에서 결정된 초기 선택 영역을 중심으로 복수의 후보 선택 영역을 추출할 수 있다. 예시적으로, 추출부(210)는 타겟에 관한 초기 선택 영역을 중심으로 소정 개수의 후보 선택 영역을 추출할 수 있다.
계산부(220)는 상기 제1 프레임 내의 기저 영상의 위치에 기초하여 상기 제2 프레임 내의 복수의 후보 선택 영역 각각의 위치 오프셋을 계산할 수 있다. 일실시예로서, 계산부(220)는 상기 복수의 후보 선택 영역 각각에 대해 특징회귀를 수행하여 상기 위치 오프셋을 계산할 수 있다. 이하의 설명에서, 특징회귀란 각각의 후보 선택 영역에 대해 기저 영상 내의 특징 포인트들이 이동된 위치 오프셋을 추적하는 과정을 나타낸다.
일실시예로서, 계산부(220)는 상기 복수의 후보 선택 영역 각각에 미리 학습된 특징회귀행렬을 적용하여 복수의 위치 오프셋을 계산할 수 있다. 이하의 설명에서, 특징회귀행렬은 기저 영상 내의 특징 포인트들과 후보 선택 영역 내의 특징 포인트들의 위치 차이를 정의하는 행렬식을 나타낼 수 있다. 영상 처리 장치(200)는 특징회귀행렬에 기초하여 타겟이 존재하는 기저 영상의 위치와 후보 선택 영역의 크기 및 위치를 비교하고, 상기 비교의 결과에 따라 상기 기저 영상과 가장 유사한 특징을 갖는 후보 선택 영역을 추적할 수 있다.
또한, 계산부(220)는 계산된 복수의 위치 오프셋 각각에 대해 가중치를 적용하여 타겟을 추적하는 타겟 위치 오프셋을 계산할 수 있다.
결정부(230)는 계산된 위치 오프셋 및 복수의 후보 선택 영역 각각에 할당된 가중치에 따라 상기 제2 프레임 내에서 타겟을 포함하는 최종 선택 영역을 결정할 수 있다. 결정부(230)는 복수의 후보 선택 영역 각각이 상기 제2 프레임 내에 존재하는 위치에 따라 상기 가중치를 결정할 수 있다.
저장부(240)는 상기 최종 선택 영역이 결정된 제2 프레임을 영상 처리 장치(200) 내의 메모리에 저장할 수 있다. 또한, 저장부(240)는 저장된 프레임들의 개수가 임계치 이상이 되는 경우, 프레임들의 타겟 추적 결과값에 따라 기저 영상을 새롭게 업데이트할 수 있다.
다른 일실시예로서, 저장부(240)는 새롭게 저장된 프레임을 이용하여 특징회귀행렬을 업데이트할 수 있다. 또한, 저장부(240)는 가장 오래 업데이트 되지 않은 특징회귀행렬을 새로운 특징회귀행렬로서 치환할 수 있다.
도 3a 및 도 3b는 도 2에서 설명된 영상 처리 장치가 기저 영상을 이용하여 초기 선택 영역을 결정하는 과정을 도시하는 예시도이다. 도 3a을 참조하면, 영상 처리 장치는 미리 저장된 제1 프레임(F1)을 이용하여 새롭게 입력된 제2 프레임(F2) 내의 초기 선택 영역(340)을 결정할 수 있다. 일실시예로서, 추출부(210)는 기저 영상(310) 내의 특징 포인트들(320)에 기초하여 상기 제2 프레임(F2) 내의 복수의 매칭 포인트들(330)을 결정할 수 있다. 이하의 설명에서, 특징 포인트는 프레임 내의 픽셀 포인트들 중 영상 처리 장치에 의해 식별 가능한 포인트를 의미한다. 이를테면, 특징 포인트는 타겟의 얼굴 윤곽 포인트 및 얼굴 기관(눈, 코, 입 등) 포인트 등과 같은 포인트들로 정의될 수 있다.
추출부(210)는 미리 저장된 제1 프레임(F1) 내의 특징 포인트들(320)을 이용하여 입력 영상의 제2 프레임(F2) 내의 복수의 투영 포인트들을 추출할 수 있다. 이하의 설명에서, 투영 포인트는 상기 특징 포인트들(320)에 대응하는 제2 프레임 내의 픽셀 포인트를 나타낼 수 있다. 추출부(210)는 상기 투영 포인트를 중심으로 소정 범위 내에 존재하는 픽셀 포인트들을 추출할 수 있다. 예시적으로, 추출부(210)는 상기 투영 포인트의 위치를 중심으로 하여 3행 3열 행렬에 대응하는 포인트들을 상기 픽셀 포인트들로서 추출할 수 있다. 3행 3열의 크기는 이해를 돕기 위한 예시적 기재일 뿐 다른 실시예의 범위를 제한하거나 한정하는 것으로 해석되어서는 안되고, 기술 분야의 전문가의 선택에 따라 다양한 범위의 픽셀 포인트들이 추출될 수 있을 것이다.
일실시예로서, 추출부(210)는 상기 특징 포인트들(320)의 텍스처 값과 상기 추출된 픽셀 포인트들의 텍스처 값을 비교하고, 비교의 결과에 따라 상기 제2 프레임 내의 매칭 포인트를 결정할 수 있다. 예시적으로, 추출부(210)는 상기 특징 포인트들(320)의 텍스처 값에 대해 가장 높은 유사도를 갖는 픽셀 포인트들을 상기 제2 프레임 내의 매칭 포인트로 결정할 수 있다.
다른 일실시예로서, 추출부(210)는 상기 투영 포인트와 상기 추출된 픽셀 포인트들의 텍스처 그래디언트 값을 계산하고, 상기 계산된 텍스처 그래디언트 값이 소정의 임계치를 초과하는 픽셀 포인트들을 후보 매칭 포인트로서 추출할 수 있다. 또한, 추출부(210)는 상기 특징 포인트들(320)의 텍스처 값과 상기 후보 매칭 포인트들의 텍스처 값을 비교하고, 비교의 결과에 따라 상기 제2 프레임 내의 매칭 포인트(330)를 결정할 수 있다. 보다 구체적으로, 추출부(210)는 상기 특징 포인트들(320)의 텍스처 값에 대해 가장 높은 유사도를 갖는 픽셀 포인트들을 상기 제2 프레임 내의 매칭 포인트(330)로 결정할 수 있다. 본 실시예에 따른 영상 처리 장치는 투영 포인트에 기초하여 타겟을 추적하기 위한 초기 선택 영역을 선택할 수 있어 타겟 추적의 정확성과 효율을 향상 시킬 수 있다.
일실시예로서, 추출부(210)는 제1 프레임(F1) 내에서 상기 특징 포인트들(320)의 위치 및 제2 프레임(F2) 내에서 상기 매칭 포인트들(330)의 위치를 비교하고, 상기 비교의 결과에 따라 입력 영상의 상기 제2 프레임(F2)에 관한 전체 위치 오프셋을 결정할 수 있다.
다른 일실시예로서, 추출부(210)는 각각의 특징 포인트들(320)에 대응하는 가중치를 이용하여 입력 영상의 상기 제2 프레임(F2)에 관한 전체 위치 오프셋을 결정할 수 있다. 보다 구체적으로, 추출부(210)는 각각의 특징 포인트(320)와 매칭 포인트(330) 사이의 위치 오프셋을 계산하고, 계산된 위치 오프셋에 상기 가중치를 적용한 가중 평균(weighting average)값을 상기 제2 프레임(F2)에 관한 전체 위치 오프셋으로서 계산할 수 있다. 예시적으로, 상기 가중치는 상기 특징 포인트(320)의 텍스처 값 및 상기 매칭 포인트(330)의 텍스처 값의 유사도에 따라 결정될 수 있다.
추출부(210)는 제1 프레임(F1) 내의 기저 영상(310)의 영역 정보 및 계산된 전체 위치 오프셋을 이용하여 제2 프레임(F2) 내에서 초기 선택 영역(340)의 영역 정보를 계산할 수 있다. 예시적으로, 영역 정보는 영역 내의 영상 데이터, 영역의 크기 정보, 프레임 내의 영역의 위치 정보 및 영역 내의 특징 포인트들에 관한 정보 중 적어도 하나를 포함할 수 있다.
추출부(210)는 제1 프레임(F1) 내에서 기저 영상(310)의 위치 정보 및 제2 프레임(F2)에 관한 전체 위치 오프셋에 기초하여 상기 제2 프레임(F2) 내에서 타겟의 위치 정보를 추정할 수 있다. 상기 타겟의 위치 정보는 상기 기저 영상(310)이 제2 프레임(F2) 내에 존재하는 위치를 의미할 수 있다. 또한, 추출부(210)는 상기 추정된 타겟의 위치 정보에 따라 제2 프레임(F2) 내에서 타겟에 관한 초기 선택 영역(340)을 결정할 수 있다. 예시적으로, 초기 선택 영역(340)의 크기와 기저 영상(310)의 크기는 동일할 수 있다.
도 3b를 참조하면, 영상 처리 장치는 추출된 초기 선택 영역(340)에 기반하여 복수의 후보 선택 영역(351, 352, 353, 354)을 추출할 수 있다. 일실시예로서, 추출부(210)는 초기 선택 영역(340)의 이웃한 공간 내에서 후보 선택 영역 Xi(단, i=1, … , N이고, N은 양의 정수) 샘플링하고, 추출된 후보 선택 영역 Xi에 관한 영역 정보를 획득할 수 있다. 상기 영역 정보는 후보 선택 영역 Xi의 크기 정보, 위치 정보 및 영역 내 특징 포인트들(331, 332, 333, 334, 335, 336)의 정보를 포함할 수 있다.
다른 일실시예로서 기저 영상이 적어도 두 개 이상의 기저 서브 영상을 포함하는 경우, 추출부(210)는 추출된 후보 선택 영역에 기초하여 각각의 기저 서브 영상에 대응하는 서브 후보 선택 영역의 정보를 획득할 수 있다. 예시적으로, 하나의 기저 영상이 네 개의 기저 서브 영상으로 구분되어 메모리 내에 저장된 경우가 존재할 수 있다. 이 경우에, 추출부(210)는 네 개의 기저 서브 영상에 각각 대응하는 서브 후보 선택 영역을 추출하고, 각각의 서브 후보 선택 영역에 대응하는 정보를 획득할 수 있다.
도 4는 도 2에서 설명된 영상 처리 장치가 타겟을 포함하는 최종 선택 영역을 결정하는 과정을 설명하는 흐름도이다. 도 4를 참조하면, 영상 처리 장치는 복수의 후보 선택 영역 각각에 특징회귀행렬을 적용하여 복수의 위치 오프셋을 계산하는 단계(410), 상기 복수의 위치 오프셋 각각에 대해 가중치를 적용하여 타겟 위치 오프셋을 계산하는 단계(420) 및 타겟 위치 오프셋을 이용하여 타겟을 포함하는 최종 선택 영역을 결정하는 단계(430)를 수행할 수 있다.
단계(410)에서, 영상 처리 장치는 특징회귀를 수행하여 제1 프레임 내의 기저 영상의 위치와 제2 프레임 내의 후보 선택 영역 각각의 대표 위치의 차이값을 계산할 수 있다. 보다 구체적으로, 영상 처리 장치는 미리 학습된 특징회귀행렬을 각각의 후보 선택 영역에 적용하여 복수의 위치 오프셋을 계산할 수 있다.
후보 선택 영역의 대표 위치가 (x, y)인 경우가 존재할 수 있다. 이 경우에, 특징회귀행렬 H는 대표 위치 (x, y)를 기저 영상 내로 특징회귀 하도록 하는 H=[h1,h2] 행렬로 정의될 수 있다. 특징회귀행렬은 기저 영상 내의 특징 포인트 및 샘플 프레임 내의 특징 포인트들의 위치 차이에 기반하여 학습되는 행렬을 나타낼 수 있다. 특징회귀행렬이 기계 학습되어 생성되는 과정에 관한 보다 자세한 설명은 이하에서 추가될 도면과 함께 보다 자세하게 설명될 것이다.
일실시예로서, 영상 처리 장치는 후보 선택 영역 Xi(단, i=1, … , N이고, N은 양의 정수) 내에 존재하는 특징 포인트 qi에 따라, 아래의 수학식 1에 기초하여 상기 후보 선택 영역 Xi에 대응하는 위치 오프셋 Ti을 계산할 수 있다.
Figure 112017044738604-pat00001
상기 수학식 1에서 HT는 특징회귀행렬의 전치 행렬을 나타낼 수 있다. 상기 수학식 1에 따라, 영상 처리 장치는 샘플링된 N 개의 후보 선택 영역 각각에 대응하는 위치 오프셋 Ti(단, i=1, … , N이고, N은 양의 정수)를 계산할 수 있다.
다른 일실시예로서, 복수의 샘플 프레임에 기초하여 복수의 특징회귀행렬 Hj(단, j=1, … , M이고, M은 양의 정수)이 미리 학습된 경우가 존재할 수 있다. 이 경우에, 영상 처리 장치는 각각의 후보 선택 영역에 대해 복수의 특징회귀행렬을 반복 적용하여 복수의 위치 오프셋을 계산할 수 있다. 보다 구체적으로, 영상 처리 장치는 후보 선택 영역 Xi에 대응하는 위치 오프셋 Ti j를 아래의 수학식 2와 같이 계산할 수 있다.
Figure 112017044738604-pat00002
상기 수학식 2에서, qi는 후보 선택 영역 Xi(단, i=1, … , N이고, N은 양의 정수) 내에 존재하는 특징 포인트를 나타내고, Ti j는 제i 후보 선택 영역 Xi에 제j 특징회귀행렬이 적용되어 계산된 위치 오프셋을 나타낸다. 또한, 상기 수학식 2에서 Hj T는 제j 특징회귀행렬의 전치 행렬을 나타낸다. 영상 처리 장치는 아래의 수학식 3에 기반하여, 제i 후보 선택 영역 Xi에 대응하는 제i 위치 오프셋 Ti을 계산할 수 있다.
Figure 112017044738604-pat00003
영상 처리 장치는 복수의 특징회귀행렬을 이용하여 계산된 위치 오프셋들의 평균값을 계산하여 제i 후보 선택 영역 Xi에 대응하는 제i 위치 오프셋 Ti을 계산할 수 있다.
단계(420)에서 영상 처리 장치는 복수의 위치 오프셋 Ti 각각에 대해 가중치를 적용하여, 타겟을 추적하기 위한 타겟 위치 오프셋을 계산할 수 있다. 영상 처리 장치는 후보 선택 영역 Xi에 대응하는 위치 오프셋 Ti j들의 분산 Vi에 따라 상기 가중치를 결정할 수 있다. 보다 구체적으로, 가중치
Figure 112017044738604-pat00004
는
Figure 112017044738604-pat00005
에 비례하도록 정의될 수 있다.
또한, 영상 처리 장치는 서로 이웃한 위치에 존재하는 후보 선택 영역이 유사한 가중치를 갖도록 결정할 수 있다. 보다 구체적으로, 영상 처리 장치는 타겟 함수 f(g)를 최소화하는 가중행렬 g를 계산하고, 상기 가중행렬 g에 따라 상기 가중치를 결정할 수 있다. 상기 타겟 함수 f(g)는 아래의 수학식 4와 같이 정의될 수 있다.
Figure 112017044738604-pat00006
mij는 제i 후보 선택 영역 Xi와 제j 후보 선택 영역 Xj의 중첩률(overlapping rate)을 나타낼 수 있다. 상기 중첩률은 제i 후보 선택 영역 Xi 및 제j 후보 선택 영역 Xj이 함께 공유하는 영역의 크기와 제i 후보 선택 영역 Xi 및 제j 후보 선택 영역 Xj 중 적어도 하나가 차지하는 영역의 크기의 비율을 의미한다. Q는 mij를 원소로 하는 N by N 행렬을 나타낼 수 있다. di가
Figure 112017044738604-pat00007
이고, D가 Diag{d1, … , dN}인 경우에, 상기 수학식 4의 라플라시안 행렬(Laplacian matrix) L은 D-Q로 계산될 수 있다. g=
Figure 112017044738604-pat00008
는 각각의 후보 선택 영역의 위치에 따라 결정된 가중치의 가중 행렬을 나타내고,
Figure 112017044738604-pat00009
을 나타낼 수 있다. 또한, 상기 수학식 4에서, 가중행렬 g는 각각의 원소가 0보다 작지 않도록 정의될 수 있다.
또한, 단계(420)에서 영상 처리 장치는 각각의 후보 선택 영역의 위치, 각각의 위치 오프셋 및 가중치에 따라 상기 후보 선택 영역의 특징회귀 후 위치를 결정할 수 있다. 보다 구체적으로, 영상 처리 장치는 아래의 수학식 5와 같이 타겟을 추적하기 위한 타겟 위치 오프셋 T를 계산할 수 있다.
Figure 112017044738604-pat00010
상기 수학식 5에서, Xi D는 제i 후보 선택 영역 Xi의 대표 위치를 나타내는 위치 벡터를 나타낸다. 그에 따라, 상기 제i 후보 선택 영역 Xi에 대한 특징회귀 후의 위치는 Xi D+Ti로 계산될 수 있다. 영상 처리 장치는 각각의 후보 선택 영역에 대응하는 가중치 gi를 이용하여 종합회귀 후의 타겟 위치 오프셋 T를 계산할 수 있다.
단계(430)에서 영상 처리 장치는 타겟 위치 오프셋 T를 이용하여 타겟을 포함하는 최종 선택 영역을 결정할 수 있다. 영상 처리 장치는 타겟 위치 오프셋 T에 기초하여 후보 선택 영역 각각의 회귀 후 위치를 결정할 수 있다. 일실시예로서, 영상 처리 장치는 미리 저장된 기저 영상의 위치에 계산된 타겟 위치 오프셋 T를 적용하는 방식으로 현재 프레임 내의 최종 선택 영역을 결정할 수 있다.
도 4에서 도시되지는 않았지만, 영상 처리 장치는 최종 선택 영역이 결정된 제2 프레임을 메모리에 저장할 수 있다. 또한, 영상 처리 장치는 메모리 내에 저장된 프레임의 개수가 소정의 임계치를 초과하는 경우, 저장된 프레임을 이용하여 기저 영상을 업데이트할 수 있다. 보다 구체적으로, 영상 처리 장치는 각각의 저장된 프레임에 대응하는 최종 선택 영역의 평가 결과값에 기반하여 새롭게 업데이트될 기저 영상을 선택할 수 있다.
도 5는 다른 일실시예에 따른 영상 처리 장치가 특징회귀행렬을 학습하는 과정을 설명하는 흐름도이다. 도 5를 참고하면, 영상 처리 장치는 샘플 프레임의 기저 영상을 이용하여 복수의 후보 선택 영역을 추출하는 단계(510), 추출된 복수의 후보 선택 영역과 상기 기저 영상 사이의 위치 오프셋 행렬을 계산하는 단계(520) 및 상기 계산된 위치 오프셋 행렬에 기초하여 입력 영상에 관한 특징회귀행렬을 학습하는 단계(530)를 수행할 수 있다.
단계(510)에서 영상 처리 장치는 샘플 프레임의 기저 영상을 중심으로 복수의 후보 선택 영역을 추출할 수 있다. 일실시예로서, 영상 처리 장치는 기저 영상의 위치를 중심으로 하여 이웃한 영역의 N 개의 후보 선택 영역을 샘플링할 수 있다. 보다 구체적으로, 영상 처리 장치는 후보 선택 영역의 위치 분포가 균등 분포 또는 가우스 분포를 따르도록 상기 복수의 후보 선택 영역을 추출할 수 있다.
다른 일실시예로서, 영상 처리 장치는 고정된 크기를 갖는 각각의 후보 선택 영역을 추출할 수 있다. 예시적으로, 하나의 후보 선택 영역은 32 by 32로 정의되는 픽셀 블록 공간으로 정의될 수 있다. 또는, 후보 선택 영역의 크기는 미리 저장된 기저 영상의 크기와 동일할 수 있다.
단계(520)에서 영상 처리 장치는 추출된 복수의 후보 선택 영역과 기저 영상의 위치를 이용하여 위치 오프셋 행렬을 계산할 수 있다. 보다 구체적으로, 영상 처리 장치는 복수의 후보 선택 영역 각각의 대표 위치와 기저 영상의 위치의 차이를 위치 오프셋으로 계산할 수 있다. 예시적으로, 후보 선택 영역의 대표 위치는 상기 후보 선택 영역 내의 중심점의 위치를 나타낼 수 있다. 영상 처리 장치는 제1 후보 선택 영역의 대표 위치 (x1, y1)를 기저 영상의 위치와 비교하여, 제1 위치 오프셋 (P1 x, P2 x)을 계산한다. 마찬가지로, 영상 처리 장치는 복수의 후보 선택 영역 각각에 대응하는 (x, y) 좌표의 복수의 위치 오프셋을 각각
Figure 112017044738604-pat00011
과
Figure 112017044738604-pat00012
로서 계산할 수 있다. 또한, 영상 처리 장치는 계산된 복수의 위치 오프셋을 이용하여 위치 오프셋 행렬 C=[C1, C2]를 계산해낼 수 있다. 보다 구체적으로,
Figure 112017044738604-pat00013
으로 각각 정의될 수 있다.
단계(530)에서 영상 처리 장치는 상기 계산된 위치 오프셋 행렬에 기초하여 입력 영상에 관한 특징회귀행렬을 학습할 수 있다. 보다 구체적으로, 영상 처리 장치는 각각의 후보 선택 영역이 포함하는 특징 포인트 및 기저 영상 내의 특징 포인트에 상기 위치 오프셋 행렬을 적용하여 샘플 프레임에 대응하는 특징회귀행렬을 결정하고 저장할 수 있다.
영상 처리 장치는 아래의 수학식 6과 같은 타겟 함수 f(H)를 최소화하여 특징회귀행렬 H(h1, h2)를 계산할 수 있다.
Figure 112017044738604-pat00014
상기 수학식 6에서 제i 후보 선택 영역 Xi에 대응하는 특징 포인트는 qi이고, X 좌표 및 Y 좌표 각각에 대한 특징회귀벡터는 h1 및 h2이며, γ는 상수를 나타낸다. 일실시예로서, 영상 처리 장치는 로지스틱 회귀(logistic regression)에 기초하여 특징회귀행렬 H를 계산할 수 있다. 영상 처리 장치에 의해 계산된 특징회귀행렬 H는 아래의 수학식 7과 같이 정리될 수 있다.
Figure 112017044738604-pat00015
상기 수학식 7에서, X는 후보 선택 영역의 대표 위치에 관한 행렬을 나타내고, I는 대각선 상의 원소를 1로 갖고 나머지 원소들을 0으로 갖는 단위행렬을 나타낸다. 영상 처리 장치는 학습된 특징회귀행렬을 메모리 내에 저장할 수 있다.
다른 일실시예로서, 영상 처리 장치는 서로 다른 M 개의 샘플 프레임을 이용하여 M 개의 특징회귀행렬을 트레이닝하고 저장할 수 있다. 위와 같은 경우에, 하나의 샘플 프레임은 하나의 특징회귀행렬에 대응되며 M은 2보다 작지 않은 양의 정수를 나타낼 수 있다. 본 실시예에 따른 영상 처리 장치는 복수의 특징회귀행렬을 이용하여 아웃라이어(outlier)를 보다 효과적으로 제거하여 타겟 추적의 정확도를 향상시킬 수 있다. 트레이닝되어 학습된 특징회귀행렬은 입력 영상에 포함되는 임의의 프레임의 타겟을 추적하는데 이용될 수 있다. 타겟 추적 과정에 대한 자세한 설명은 앞선 도 1 내지 도 4의 설명이 그대로 적용될 수 있어, 중복되는 설명은 생략하기로 한다.
도 6은 또 다른 일실시예에 따른 영상 처리 장치가 타겟을 포함하는 최종 선택 영역을 결정하는 과정을 설명하는 흐름도이다. 도 6을 참조하면, 최종 선택 영역을 결정하는 방법은 타겟의 특징에 관한 포지티브 샘플(positive sample)과 복수의 후보 선택 영역 각각이 갖는 유사도를 계산하는 단계(610) 및 상기 계산된 유사도에 따라 프레임 내에서 타겟을 포함하는 최종 선택 영역을 결정하는 단계(620)를 포함할 수 있다.
단계(610)에서 영상 처리 장치는 저장된 클러스터링 모델(clustering model)을 이용하여 복수의 후보 선택 영역 각각이 상기 포지티브 샘플에 대해 갖는 유사도를 계산할 수 있다. 도 6에서 도시되지 않았지만, 영상 처리 장치는 입력된 프레임 내에서 타겟에 관한 초기 선택 영역을 결정하고, 결정된 초기 선택 영역을 중심으로 복수의 후보 선택 영역을 추출할 수 있다. 영상 처리 장치가 복수의 후보 선택 영역을 추출하는 과정에 대해서는 도 3a 및 도 3b 등과 함께 자세하게 설명되었기 때문에 중복되는 설명은 생략하기로 한다.
보다 구체적으로, 상기 클러스터링 모델은 기저 영상 내의 타겟 영역의 특징을 포지티브 샘플로 추출하여 학습된 포지티브 샘플 행렬을 포함할 수 있다. 또한, 상기 클러스터링 모델은 상기 타겟 영역을 중심으로 소정 범위 내에 존재하는 주위 영역의 특징을 네거티브 샘플로 추출하여 학습된 네거티브 샘플 행렬을 포함할 수 있다. 예시적으로, 영상의 특징으로서 휘도 영상(gray image) 및 오리엔티드 그래디언트 히스토그램(histogram of oriented gradients) 중 적어도 하나가 이용될 수 있다.
일실시예로서, 단계(610)에서 영상 처리 장치는 복수의 기저 서브 영상에 기반하여 학습된 희소 부분공간 클러스터링 모델(SSC: Sparse Subspace Clustering model)을 이용하여 복수의 후보 선택 영역 각각이 상기 포지티브 샘플에 대해 갖는 유사도를 계산할 수 있다. 보다 구체적으로, 희소 부분공간 클러스터링 모델은 포지티브 샘플 행렬과 네거티브 샘플 행렬을 포함하는 혼합 희소 부분공간 클러스터링 모델(HSSC: Hybrid Sparse Subspace Clustering model)로 구현될 수 있다.
단계(610)에서 영상 처리 장치는 희소 부분공간 클러스터링 모델에 포함되는 포지티브 샘플 행렬과 각각의 후보 선택 영역에 포함되는 특징 포인트들의 유사도를 계산할 수 있다. 다른 일실시예로서, 영상 처리 장치는 상기 포지티브 샘플 행렬과 상기 후보 선택 영역에 포함되는 서브 영역의 특징 포인트를 비교하여 상기 유사도를 계산할 수 있다. 영상 처리 장치는 후보 선택 영역 각각에 포함되는 복수의 서브 영역에 관한 유사도들을 더할 수 있다.
또한, 영상 처리 장치는 후보 선택 영역에 포함되는 복수의 서브 영역에 관한 유사도의 합에 기반하여 상기 후보 선택 영역에 대응하는 유사도를 결정할 수 있다. 보다 구체적으로, 영상 처리 장치는 복수의 서브 영역에 관한 유사도들의 평균값을 상기 후보 선택 영역의 유사도로서 계산할 수 있다.
단계(620)에서 영상 처리 장치는 각각의 후보 선택 영역에 대응하는 유사도에 따라, 프레임 내에서 타겟을 포함하는 최종 선택 영역을 결정할 수 있다. 보다 구체적으로, 영상 처리 장치는 복수의 후보 선택 영역 중 포지티브 샘플에 대해 최대 유사도를 갖는 후보 선택 영역을 타겟에 관한 최종 선택 영역으로 결정할 수 있다. 또한, 영상 처리 장치는 상기 결정된 최종 선택 영역의 정보를 현재 프레임에 대한 타겟 추적 결과로서 저장할 수 있다. 예시적으로, 최종 선택 영역의 정보는 영역의 크기, 영역의 위치, 영역 내의 영상 데이터 및 영상 내의 특징 데이터 중 적어도 하나를 포함할 수 있다.
도 6에서 도시되지는 않았지만, 영상 처리 장치는 상기 프레임의 최종 선택 영역과 메모리 내에 저장된 이전 프레임들을 비교할 수 있다. 보다 구체적으로, 영상 처리 장치는 상기 최종 선택 영역의 포지티브 샘플에 대한 유사도와 이전 프레임들의 상기 포지티브 샘플에 대한 유사도 평균값을 비교할 수 있다. 비교 결과로서 상기 최종 선택 영역의 포지티브 샘플에 대한 유사도가 이전 프레임들의 상기 포지티브 샘플에 대한 유사도 평균값보다 큰 경우, 영상 처리 장치는 상기 최종 선택 영역이 결정된 프레임을 새롭게 저장할 수 있다. 또한, 영상 처리 장치는 기저장된 프레임들 중 상기 포지티브 샘플에 대해 최대 유사도를 갖는 프레임 내에서 타겟의 기저 영상을 새롭게 저장할 수 있다.
도 7a 및 도 7b는 또 다른 일실시예에 따른 영상 처리 장치가 샘플 프레임을 이용하여 포지티브 샘플과 네거티브 샘플을 추출하는 과정을 설명하는 예시도이다. 도 7a를 참조하면, 영상 처리 장치(700)는 샘플 프레임을 입력 받고, 상기 샘플 프레임에 대응하는 포지티브 샘플 및 네거티브 샘플 중 어느 하나를 출력할 수 있다. 영상 처리 장치(700)는 지정된 샘플 프레임 내에서 포지티브 샘플 또는 네거티브 샘플을 추출하도록 미리 학습될 수 있다. 영상 처리 장치(700)는 샘플 프레임을 이용하여 생성된 포지티브 샘플 행렬(721) 및 네거티브 샘플 행렬(722) 각각을 클러스터링 모델로서 메모리(710)내에 저장할 수 있다.
도 7b를 참조하면, 영상 처리 장치(700)는 입력되는 샘플 프레임 내의 특징 포인트들(731, 732, 733, 734, 735, 736, 737, 738)을 포지티브 샘플로서 추출할 수 있다. 일실시예로서, 영상 처리 장치(700)는 샘플 프레임의 기저 영상에 포함되는 타겟의 얼굴 윤곽 포인트, 타겟의 아이 포인트, 타겟의 마우스 포인트 등과 같은 특징 포인트들을 상기 포지티브 샘플로서 추출할 수 있다. 또한, 영상 처리 장치(700)는 상기 포지티브 샘플로 추출된 특징 포인트를 기준으로하여 소정 거리 d 내에 존재하는 영역(740)에서 복수의 픽셀 포인트들을 샘플링하고, 네거티브 샘플로서 추출할 수 있다. 소정 거리 d는 포지티브 샘플과 네거티브 샘플을 분리할 수 있도록 지정되는 변수를 나타낸다.
도 8은 도 7a에서 설명된 영상 처리 장치가 희소 부분공간 클러스터링 모델을 학습하는 과정을 설명하는 흐름도이다. 도 8을 참조하면, 영상 처리 장치(700)는 포지티브 샘플 행렬을 이용하여 포지티브 샘플의 서브 영역을 정의하는 계수 행렬을 계산하는 단계(810) 및 계산된 계수 행렬을 이용하여 스펙트럴 클러스터링을 수행하는 단계(820)를 수행할 수 있다.
단계(810)에서 영상 처리 장치(700)는 미리 결정된 포지티브 샘플 행렬을 이용하여 생산 계수 행렬(production coefficient matrix)를 최적화할 수 있다. 포지티브 샘플의 개수가 N 개인 경우, 포지티브 샘플은
Figure 112017044738604-pat00016
이고, 포지티브 샘플 행렬 A는
Figure 112017044738604-pat00017
로 정의될 수 있다. 또한, 네거티브 샘플의 개수가 M 개인 경우, 네거티브 샘플은
Figure 112017044738604-pat00018
로 정의될 수 있다. 영상 처리 장치(700)가 적어도 하나의 샘플 프레임으로부터 포지티브 샘플을 추출하고, 포지티브 샘플 행렬을 생성하는 과정에 대해서는 도 7a 및 도 7b와 함께 기재된 설명이 그대로 적용될 수 있어 중복되는 설명은 생략하기로 한다.
단계(810)에서 영상 처리 장치(700)는 LSR(Least Squares Regression) 모델에 기반하여 생산 계수 행렬을 최적화할 수 있다. 보다 구체적으로, 영상 처리 장치(700)는 아래의 수학식 8과 같은 타겟 함수 f(W)를 최소화 하여, 최적의 생산 계수 행렬 W*을 계산할 수 있다.
Figure 112017044738604-pat00019
상기 수학식 8에서, W는 생산 계수 행렬을 나타내고, λ는 상수를 나타내고, | |F는 F행렬을 나타낸다. 영상 처리 장치(700)는 상기 수학식 8에 따라 정의되는 f(W)를 최소로 하는 최적의 생산 계수 행렬 W*을 아래의 수학식 9와 같이 계산할 수 있다.
Figure 112017044738604-pat00020
상기 수학식 9에서, AT는 포지티브 샘플 행렬의 전치행렬(transposed matrix)를 나타내고,
Figure 112017044738604-pat00021
는
Figure 112017044738604-pat00022
의 역행렬을 나타낸다. 영상 처리 장치(700)는 계산된 최적의 생산 계수 행렬 W*을 아래의 수학식 10에 적용하여, 혼합계수행렬 B를 계산할 수 있다.
Figure 112017044738604-pat00023
단계(820)에서 영상 처리 장치(700)는 계산된 계수 행렬을 이용하여 스펙트럴 클러스터링을 수행할 수 있다. 영상 처리 장치(700)는 생성된 혼합계수행렬 B에 대하여 스펙트럴 클러스터링을 수행하고, 복수의 포지티브 샘플 그룹을 획득할 수 있다.
다른 일실시예로서, 영상 처리 장치(700)는 기설정된 횟수만큼 반복하여 혼합계수행렬 B에 대한 스펙트럴 클러스터링을 수행하고, 복수의 포지티브 샘플 그룹을 획득할 수 있다. 예시적으로, 그러나 한정되지 않게, 영상 처리 장치(700)는 N 개의 포지티브 샘플이 K 개의 포지티브 샘플 그룹으로 클러스터링 되는 경우까지 스펙트럴 클러스터링을 수행할 수 있다(단, K는 N보다 크지 않은 정수 이다). 스펙트럴 클러스터링 과정은 기술 분야의 전문가에게는 straight forward한 내용이므로 자세한 설명은 생략하기로 한다.
영상 처리 장치(700)는 혼합계수행렬 B에 대하여 스펙트럴 클러스터링이 수행된 횟수를 인덱스로서 카운팅하고, 카운팅된 인덱스에 기초하여 스펙트럴 클러스터링의 반복 여부를 결정할 수 있다. 보다 구체적으로, 영상 처리 장치(700)는 혼합계수행렬 B에 대한 스펙트럴 클러스터링이 미리 지정된 K 번 반복된 경우에, 제K 차수에 생성된 포지티브 샘플 그룹을 희소 부분공간 클러스터링 모델에 저장하고, 스펙트럴 클러스터링의 반복을 종료할 수 있다.
또 다른 일실시예로서, 영상 처리 장치(700)는 포지티브 샘플 그룹과 네거티브 샘플을 이용하여 스펙트럴 클러스터링의 반복 여부를 결정하는 판별성 계수 행렬을 계산할 수 있다. 영상 처리 장치(700)는 임의의 제k 포지티브 샘플 그룹에 대응하는 포지티브 샘플 및 네거티브 샘플을 하나의 샘플 그룹으로서 추출할 수 있다. 영상 처리 장치(700)는 미리 지정된 그래프 임베딩(graph embedding) 모델에 기초하여 상기 샘플 그룹 내의 포지티브 샘플에 대응하는 판별방향 pk를 획득할 수 있다. 이하의 설명에서, 그래프 임베딩 모델은 하나의 그래프를 그와 구분되는 다른 그래프에 매핑하는 방법을 의미한다.
보다 구체적으로, 영상 처리 장치(700)는 샘플 그룹에 포함되는 포지티브 샘플 및 네거티브 샘플의 유클리드 거리에 기초하여 샘플들 사이의 가중치(weighting)를 결정할 수 있다. 예시적으로, 제k 그룹 내에 존재하는 포지티브 샘플
Figure 112017044738604-pat00024
및 네거티브 샘플
Figure 112017044738604-pat00025
이 존재하는 경우가 있을 수 있다. 이 경우에, 영상 처리 장치(700)는 두 샘플의 유클리드 거리를
Figure 112017044738604-pat00026
로 계산하고, 상기 유클리드 거리
Figure 112017044738604-pat00027
에 기반하여 가중치
Figure 112017044738604-pat00028
를 계산할 수 있다. 일실시예로서 두 개의 샘플 모두가 포지티브 샘플이거나 네거티브 샘플인 경우, 영상 처리 장치(700)는 상기 두 개의 샘플 사이의 가중치를 0으로서 계산할 수 있다. 또한, 영상 처리 장치(700)는 계산된 가중치에 기초하여 그래프 임베딩에 이용되는 라플라시안 행렬을 계산하고, 상기 라플라시안 행렬에 기초하여 판별방향 pk를 획득할 수 있다.
영상 처리 장치(700)는 각각의 샘플 그룹의 판별방향 pk에 기초하여 포지티브 샘플과 포지티브 샘플 그룹의 평균값의 유사성을 결정할 수 있다. 보다 구체적으로, 영상 처리 장치(700)는 아래의 수학식 11과 같이 포지티브 샘플
Figure 112017044738604-pat00029
과 포지티브 샘플 그룹의 평균값
Figure 112017044738604-pat00030
의 유사성
Figure 112017044738604-pat00031
을 계산할 수 있다.
Figure 112017044738604-pat00032
또한, 영상 처리 장치(700)는 상기 수학식 11과 같이 계산된 유사성
Figure 112017044738604-pat00033
에 기초하여 판별성 계수 행렬을 계산할 수 있다. 영상 처리 장치(700)는 포지티브 샘플
Figure 112017044738604-pat00034
및 포지티브 샘플
Figure 112017044738604-pat00035
사이의 판별성에 기초하여 아래의 수학식 12와 같이 유사도 계수
Figure 112017044738604-pat00036
를 계산할 수 있다.
Figure 112017044738604-pat00037
상기 수학식 12에서 Ii 1는 포지티브 샘플
Figure 112017044738604-pat00038
와 제1 포지티브 샘플 그룹의 평균값
Figure 112017044738604-pat00039
의 유사성을 나타내고, Ij 1는 포지티브 샘플
Figure 112017044738604-pat00040
와 제1 포지티브 샘플 그룹의 평균값
Figure 112017044738604-pat00041
의 유사성을 나타낸다. 또한, 영상 처리 장치(700)는 상기 수학식 12에서 계산된 유사도 계수
Figure 112017044738604-pat00042
를 원소로 하여 판별성 계수 행렬
Figure 112017044738604-pat00043
를 획득할 수 있다.
또한, 영상 처리 장치(700)는 각각의 포지티브 샘플 그룹에 포함되는 포지티브 샘플의 개수를 확인할 수 있다. 확인된 포지티브 샘플의 개수가 소정의 임계치보다 작은 경우에, 영상 처리 장치(700)는 포지티브 샘플에 대응하는 포지티브 샘플 그룹의 베이컨시(vacancy) 상태를 결정할 수 있다.
또한, 영상 처리 장치(700)는 베어컨시 상태로 존재하는 제1 포지티브 샘플 그룹에 대해 포지티브 샘플을 추가할 수 있다. 보다 구체적으로, 영상 처리 장치(700)는 상기 제1 포지티브 샘플 그룹과 기설정된 임계치 이상의 유사도를 갖는 제2 포지티브 샘플 그룹의 포지티브 샘플을 상기 제1 포지티브 샘플 그룹으로 보충할 수 있다. 영상 처리 장치(700)는 제1 포지티브 샘플 그룹의 포지티브 샘플의 개수가 상기 소정의 임계치 이상이 되도록 포지티브 샘플의 보충을 반복할 수 있다.
영상 처리 장치(700)는 최적의 생산 계수 행렬 W*과 판별성 계수 행렬
Figure 112017044738604-pat00044
을 이용하여 아래의 수학식 13과 같이 혼합계수행렬 B를 획득할 수 있다.
Figure 112017044738604-pat00045
상기 수학식 13에서
Figure 112017044738604-pat00046
는 상수를 나타낸다. 영상 처리 장치(700)는 혼합계수행렬 B에 대해 스펙트럴 클러스터링을 수행하고, 각각의 반복 차수에 대응하는 포지티브 샘플 그룹을 생성할 수 있다. 영상 처리 장치(700)는 상기 반복 차수가 미리 정의된 임계 차수에 도달할 때까지 상기 혼합계수행렬 B에 대한 스펙트럴 클러스터링을 수행할 수 있다.
또한, 영상 처리 장치(700)는 생성된 포지티브 샘플 그룹 각각에 대해 주성분 분석(PCA: Principal Component Analysis)을 수행하고, 포지티브 샘플 그룹의 서브 영역을 획득할 수 있다. 포지티브 샘플 그룹의 각각의 서브 영역은 희소 부분공간 클러스터링 모델에 포함될 수 있다. 또한, 각각의 서브 영역은 상기 서브 영역에 포함되는 포지티브 샘플들의 평균값을 포함할 수 있다.
본 실시예에 따른 영상 처리 장치(700)는 타겟에 관한 포지티브 샘플을 이용하여 클러스터링 모델을 생성할 수 있다. 또한, 영상 처리 장치(700)는 포지티브 샘플 내의 서브 영역에 대응하는 희소 부분공간 클러스터링 모델을 생성하고, 상기 희소 부분공간 클러스터링 모델을 통해 영상 노이즈(noise)에 대해 강인성을 가질 수 있고, 이동하는 타겟을 보다 정확하게 추적할 수 있다. 상기 희소 부분공간 클러스터링 모델은 상기 타겟의 특징에 관한 포지티브 샘플 및 상기 타겟의 이웃한 영역의 특징에 관한 네거티브 샘플의 유클리드 거리에 기초하여 복수의 샘플 프레임으로부터 학습될 수 있다.
도 8에 도시되지는 않았지만, 영상 처리 장치(700)는 희소 부분공간 클러스터링 모델을 업데이트할 수 있다. 영상 처리 장치(700)는 최종 선택 영역이 결정되어 메모리 내에 저장된 프레임의 개수가 소정의 임계치를 초과하는지 여부를 판단할 수 있다. 상기 판단 결과에 따라 기저장된 프레임의 개수가 상기 임계치를 초과하는 경우, 영상 처리 장치(700)는 입력 영상 내에서 새로운 샘플 프레임을 추출하고, 추출된 샘플 프레임을 이용하여 희소 부분공간 클러스터링 모델을 업데이트할 수 있다. 보다 구체적으로, 영상 처리 장치(700)는 새롭게 추출된 샘플 프레임에 기초하여 포지티브 샘플 그룹의 서브 영역을 추출할 수 있다.
또한, 영상 처리 장치(700)는 새롭게 추출된 샘플 프레임에 기반하여 기저 영상을 업데이트할 수 있다. 영상 처리 장치(700)는 업데이트된 기저 영상 및 희소 부분공간 클러스터링 모델을 이용하여 이후에 입력되는 프레임에 대해 타겟을 추적할 수 있다. 영상 처리 장치(700)가 타겟을 추적하는 과정에 대해서는 도 6에서 설명된 방법이 그대로 적용될 수 있어 중복되는 설명은 생략하기로 한다.
도 9는 또 다른 일실시예에 따른 영상 처리 장치를 설명하는 블록도이다. 도 9를 참조하면, 영상 처리 장치(900)는 추출부(910), 제1 계산부(920), 제2 계산부(930) 및 결정부(940)를 포함할 수 있다. 추출부(910)는 기저 영상을 이용하여 입력 프레임으로부터 복수의 후보 선택 영역을 추출할 수 있다. 상기 기저 영상은 영상 처리 장치(900) 내에 저장된 프레임 내에서 타겟이 존재하는 영역의 영상을 의미한다. 일실시예로서, 상기 기저 영상은 타겟을 포함하는 입력 영상의 첫 번째 프레임에 포함될 수 있다. 다른 일실시예로서, 상기 기저 영상은 영상 처리 장치(900)에 의해 타겟이 추적된 최종 선택 영역으로서 입력 영상의 임의의 프레임에 포함될 수 있다.
제1 계산부(920)는 상기 복수의 후보 선택 영역 각각에 존재하는 특징 포인트들로부터 타겟을 추적할 수 있다. 보다 구체적으로, 제1 계산부(920)는 상기 복수의 후보 선택 영역 각각에 특징회귀행렬을 적용하여 복수의 위치 오프셋을 계산할 수 있다. 또한, 제1 계산부(920)는 상기 계산된 복수의 위치 오프셋에 가중치를 적용하여 타겟 위치 오프셋을 계산할 수 있다.
제2 계산부(930)는 타겟의 특징에 관한 포지티브 샘플과 상기 복수의 후보 선택 영역 각각이 갖는 유사도를 계산할 수 있다. 보다 구체적으로, 제2 계산부(930)는 혼합 희소 부분공간 클러스터링(HSSC: Hybrid Sparse Subspace Clustering) 모델에 따라 상기 유사도를 계산할 수 있다. 보다 구체적으로, 혼합 희소 부분공간 클러스터링 모델은 상기 타겟에 관한 포지티브 샘플 및 상기 타겟의 이웃한 영역에 관한 네거티브 샘플을 이용하여 학습된다. 제2 계산부(930)는 아래의 수학식 14와 같이, 후보 선택 영역 내에 포함되는 서브 영역이 포지티브 샘플에 대해 갖는 유사도를 계산해낼 수 있다.
Figure 112017044738604-pat00047
상기 수학식 14에서, Uk는 혼합 희소 부분공간 클러스터링 모델에 포함되는 제k 부분공간을 나타내고, I는 각각의 부분공간에 포함되는 포지티브 샘플의 특징,
Figure 112017044738604-pat00048
는 각각의 부분공간에 포함되는 포지티브 샘플의 특징 평균값을 나타내고, r은 후보 선택 영역 내의 서브 영역의 인덱스를 나타낼 수 있다. 예시적으로, 상기 I는 상기 포지티브 샘플의 휘도값을 나타낼 수 있다.
또한, 제2 계산부(930)는 혼합 희소 부분공간 클러스터링 모델에 포함되는 부분공간들 중 제r 서브 영역과 최대 유사도를 갖는 부분공간의 유사도를 상기 제r 서브 영역의 유사도로 결정할 수 있다. 보다 구체적으로, 제2 계산부(930)는 아래의 수학식 15와 같이 제r 서브 영역의 유사도를 계산할 수 있다.
Figure 112017044738604-pat00049
또한, 제2 계산부(930)는 제i 후보 선택 영역에 포함되는 모든 서브 영역의 유사도를 합하여, 상기 제i 후보 선택 영역 Xi에 대응하는 유사도를 수학식 16과 같이 계산할 수 있다.
Figure 112017044738604-pat00050
결정부(940)는 타겟 위치 오프셋에 제1 가중치를 적용하고, 상기 복수의 후보 선택 영역 각각의 유사도에 제2 가중치를 적용하여, 상기 타겟을 포함하는 최종 선택 영역을 결정할 수 있다. 보다 구체적으로, 결정부(940)는 아래의 수학식 17과 같이 최종 선택 영역에 대응하는 평가 정보를 계산할 수 있다.
Figure 112017044738604-pat00051
상기 수학식 17에서,
Figure 112017044738604-pat00052
는 후보 선택 영역의 최대 유사도이고,
Figure 112017044738604-pat00053
은 타겟 위치 오프셋이고,
Figure 112017044738604-pat00054
는 0보다 크고 1보다 작은 실수로서 가중 계수를 나타내고,
Figure 112017044738604-pat00055
는 타겟을 포함하는 최종 선택 영역의 평가 정보이다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 프로세서로 구현되는:
    제1 프레임 내의 기저 영상(basis image)의 위치에 기초하여 제2 프레임 내의 복수의 후보 선택 영역 각각에 관한 위치 오프셋을 계산하는 계산부; 및
    상기 계산된 위치 오프셋 및 상기 복수의 후보 선택 영역 각각에 할당된 가중치에 따라 상기 제2 프레임 내에서 타겟을 포함하는 최종 선택 영역을 결정하는 결정부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 결정부는 상기 복수의 후보 선택 영역 각각의 상기 제2 프레임 내의 위치에 기초하여 상기 가중치를 결정하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 계산부는 상기 복수의 후보 선택 영역 각각에 특징회귀행렬을 적용하여 복수의 위치 오프셋을 계산하고, 상기 복수의 위치 오프셋 각각에 대해 상기 가중치를 적용하여 상기 타겟을 추적하는 타겟 위치 오프셋을 계산하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 계산부는 미리 학습된 복수의 특징회귀행렬을 이용하여 제1 후보 선택 영역에 관한 복수의 위치 오프셋을 계산하고, 상기 복수의 위치 오프셋의 평균값을 이용하여 상기 제1 후보 선택 영역에 대응하는 제1 위치 오프셋을 계산하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 복수의 특징회귀행렬은 상기 기저 영상 내의 특징 포인트 및 복수의 샘플 프레임 각각의 특징 포인트들에 따른 위치 오프셋에 기초하여 학습되는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 제1 프레임 내의 기저 영상에 기초하여 상기 제2 프레임에서 상기 타겟에 관한 초기 선택 영역을 결정하고, 상기 결정된 초기 선택 영역을 중심으로 상기 복수의 후보 선택 영역을 추출하는 추출부
    를 더 포함하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 추출부는 상기 제1 프레임 및 상기 제2 프레임 사이의 전체 위치 오프셋을 계산하고, 상기 계산된 전체 위치 오프셋과 상기 기저 영상 내에 타겟이 존재하는 위치 정보에 기초하여 초기 선택 영역을 결정하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 추출부는 상기 기저 영상 내의 특징 포인트에 대응하는 투영 포인트들을 상기 제2 프레임 내에서 추출하고, 상기 결정된 투영 포인트들과 소정 범위 내에 존재하는 포인트들의 텍스처 값을 이용하여 상기 전체 위치 오프셋을 결정하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 추출부는 상기 결정된 투영 포인트를 중심으로 소정 범위 내의 포인트들을 추출하고, 추출된 포인트들의 텍스처 값과 상기 특징 포인트의 텍스처 값의 유사도에 따라 상기 특징 포인트에 대응하는 매칭 포인트를 결정하고, 상기 특징 포인트의 위치 및 상기 매칭 포인트의 위치를 비교하여 상기 전체 위치 오프셋을 결정하는 영상 처리 장치.
  10. 제1항에 있어서,
    상기 최종 선택 영역이 결정된 상기 제2 프레임을 저장하고, 저장된 프레임들의 개수가 임계치 이상이 되는 경우에 상기 프레임들의 타겟 추적 결과값에 따라 상기 기저 영상을 업데이트 하는 저장부
    를 더 포함하는 영상 처리 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 컴퓨터 구현되는,
    제1 프레임 내의 기저 영상의 위치에 기초하여 제2 프레임 내의 복수의 후보 선택 영역을 추출하는 추출부;
    상기 복수의 후보 선택 영역 각각에 관한 타겟 위치 오프셋을 계산하는 제1 계산부;
    타겟의 특징에 관한 포지티브 샘플과 상기 복수의 후보 선택 영역 각각이 갖는 유사도를 계산하는 제2 계산부; 및
    상기 타겟 위치 오프셋에 제1 가중치를 적용하고 상기 복수의 후보 선택 영역 각각의 유사도에 제2 가중치를 적용하여, 상기 타겟을 포함하는 최종 선택 영역을 결정하는 결정부
    를 포함하는 영상 처리 장치.
  18. 제17항에 있어서,
    상기 제1 계산부는 상기 복수의 후보 선택 영역 각각에 특징회귀행렬을 적용하여 복수의 위치 오프셋을 계산하고, 상기 계산된 복수의 위치 오프셋에 가중치를 적용하여 상기 타겟 위치 오프셋을 계산하는 영상 처리 장치.
  19. 제17항에 있어서,
    상기 제2 계산부는 상기 타겟에 관한 포지티브 샘플 및 상기 타겟의 이웃한 영역에 관한 네거티브 샘플을 이용하여 학습된 혼합 희소 부분공간 클러스터링(HSSC: Hybrid Sparse Subspace Clustering) 모델에 따라 상기 유사도를 계산하는 영상 처리 장치.
  20. 제17항에 있어서,
    상기 제1 계산부는 미리 학습된 복수의 특징회귀행렬을 이용하여 제1 후보 선택 영역에 관한 복수의 위치 오프셋을 계산하고, 상기 복수의 위치 오프셋의 평균값을 이용하여 상기 제1 후보 선택 영역에 대응하는 제1 타겟 위치 오프셋을 계산하는 영상 처리 장치.
KR1020170058547A 2016-11-15 2017-05-11 영상 처리 장치 및 방법 KR102369413B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/794,677 US10565713B2 (en) 2016-11-15 2017-10-26 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611025103.9A CN108073936B (zh) 2016-11-15 2016-11-15 目标跟踪方法、装置及设备
CN201611025103.9 2016-11-15

Publications (2)

Publication Number Publication Date
KR20180054406A KR20180054406A (ko) 2018-05-24
KR102369413B1 true KR102369413B1 (ko) 2022-03-03

Family

ID=62160658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170058547A KR102369413B1 (ko) 2016-11-15 2017-05-11 영상 처리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102369413B1 (ko)
CN (1) CN108073936B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102167011B1 (ko) * 2018-03-13 2020-10-16 재단법인대구경북과학기술원 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법
KR102215285B1 (ko) * 2018-12-26 2021-02-15 건국대학교 산학협력단 키 프레임 선택 방법 및 이를 수행하는 장치들
CN112991147B (zh) * 2019-12-18 2023-10-27 抖音视界有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN117351240B (zh) * 2023-10-12 2024-04-09 北京卓视智通科技有限责任公司 一种正样本采样方法、系统、存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246997A1 (en) * 2009-03-30 2010-09-30 Porikli Fatih M Object Tracking With Regressing Particles
US20140105304A1 (en) 2012-10-12 2014-04-17 Arcsoft Hangzhou Co., Ltd. Video processing method and electronic device
KR101414670B1 (ko) * 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
US20160196665A1 (en) 2013-07-30 2016-07-07 Holition Limited Locating and Augmenting Object Features in Images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111134B1 (en) * 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
US9076227B2 (en) * 2012-10-01 2015-07-07 Mitsubishi Electric Research Laboratories, Inc. 3D object tracking in multiple 2D sequences
EP3259845B1 (en) * 2015-02-16 2019-09-18 Sound Devices, LLC High dynamic range analog-to-digital conversion with selective regression based data repair
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246997A1 (en) * 2009-03-30 2010-09-30 Porikli Fatih M Object Tracking With Regressing Particles
US20140105304A1 (en) 2012-10-12 2014-04-17 Arcsoft Hangzhou Co., Ltd. Video processing method and electronic device
KR101414670B1 (ko) * 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
US20160196665A1 (en) 2013-07-30 2016-07-07 Holition Limited Locating and Augmenting Object Features in Images

Also Published As

Publication number Publication date
CN108073936A (zh) 2018-05-25
CN108073936B (zh) 2024-04-19
KR20180054406A (ko) 2018-05-24

Similar Documents

Publication Publication Date Title
Zhong et al. Anchor box optimization for object detection
Kristan et al. The visual object tracking vot2015 challenge results
US10565713B2 (en) Image processing apparatus and method
CN109657615B (zh) 一种目标检测的训练方法、装置及终端设备
US9053358B2 (en) Learning device for generating a classifier for detection of a target
US9773159B2 (en) Method and apparatus for extracting image feature
WO2016138838A1 (zh) 基于投影极速学习机的唇语识别方法和装置
KR102369413B1 (ko) 영상 처리 장치 및 방법
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110069985B (zh) 基于图像的目标点位置检测方法、装置、电子设备
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
US20200380721A1 (en) Image processing device, image processing method, and image processing program
WO2018100668A1 (en) Image processing device, image processing method, and image processing program
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
Gündoğdu et al. The visual object tracking VOT2016 challenge results
KR20170024303A (ko) 얼굴의 특징점 검출 시스템 및 방법
KR102210404B1 (ko) 위치 정보 추출 장치 및 방법
Ahmadi et al. Efficient and fast objects detection technique for intelligent video surveillance using transfer learning and fine-tuning
WO2015176502A1 (zh) 一种图像特征的估计方法和设备
CN107657223B (zh) 一种基于快速处理多距离度量学习的人脸认证方法
CN107403145B (zh) 图像特征点定位方法及装置
KR102014093B1 (ko) 얼굴의 특징점 검출 시스템 및 방법
KR20220079428A (ko) 비디오에서 객체를 검출하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right