KR102022889B1 - 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법 - Google Patents

단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법 Download PDF

Info

Publication number
KR102022889B1
KR102022889B1 KR1020180055259A KR20180055259A KR102022889B1 KR 102022889 B1 KR102022889 B1 KR 102022889B1 KR 1020180055259 A KR1020180055259 A KR 1020180055259A KR 20180055259 A KR20180055259 A KR 20180055259A KR 102022889 B1 KR102022889 B1 KR 102022889B1
Authority
KR
South Korea
Prior art keywords
interest
model
image
unit
tracking
Prior art date
Application number
KR1020180055259A
Other languages
English (en)
Inventor
김동환
유주한
이우섭
강성철
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020180055259A priority Critical patent/KR102022889B1/ko
Application granted granted Critical
Publication of KR102022889B1 publication Critical patent/KR102022889B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법에서, 상기 물체추적 시스템은 촬영부, 모델 생성부, 물체 검출부, 판단부 및 모델 갱신부를 포함한다. 상기 촬영부는 물체에 대한 이미지를 촬영한다. 상기 모델 갱신부는 추적하는 시점에 취득한 물체에 대한 이미지를 바탕으로 관심 물체에 대한 초기 모델을 생성한다. 상기 물체 검출부는 상기 관심 물체에 대한 초기 모델과, 추적이 시작된 이후 촬영된 물체에 대한 이미지를 바탕으로 자세왜곡 점수 및 크기비율을 계산한다. 상기 판단부는 상기 자세왜곡 점수를 바탕으로 관심물체의 검출 여부를 판단한다. 상기 모델 갱신부는 상기 검출된 관심물체를 바탕으로 상기 관심 물체에 대한 모델을 갱신한다.

Description

단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법{OBJECT TRACKING SYSTEM USING A SINGLE MODEL AND METHOD FOR OBJECT TRACKING USING THE SAME}
본 발명은 물체 추적 시스템 및 이를 이용한 물체 추적방법에 관한 것으로, 더욱 상세하게는 모바일 매니퓰레이터를 위한 단일 모델을 이용하여 물체의 크기나 자세의 변화에 강인하게 대응할 수 있는 단일모델 기반 물체 추적시스템 및 이를 이용한 물체 추적방법에 관한 것이다.
모바일 매니퓰레이터는 모바일 플랫폼과 로봇 매니퓰레이터 암의 장점을 결합한 시스템으로 산업용 도구로 많이 사용되는데, 이러한 모바일 매니퓰레이터에서 물체의 추적 기술은 매우 중요하다. 특히, 모바일 매니퓰레이터는 작업 공간이 넓고 이동이 가능하므로 이동에 따라 초기 위치에서 추정한 물체의 위치가 변할 수 있으며 이러한 이동에 따른 위치 오차를 최소화하는 것이 필요하기 때문이다.
이와 관련하여, 종래의 물체 추적 방법들은 국소 기술자(descriptor)들을 사용하는데, 이는 노이즈나 물체간 겹침에 강인하지만 크기 변화에는 약한 단점이 있으며, 이에 따라 관심 물체에 대해서 가능한 모든 자세에 대한 다중 크기 모델을 구성하여 이러한 한계를 극복하고자 하였다. 그러나, 많은 모델을 생성해야하는 문제가 있어 계산량이 증가하고 저장 공간의 효율성이 저하되는 단점을 야기하였다.
예를 들어, 대한민국 등록특허 제10-1375765호에서는 칼만 필터를 이용한 이동 물체 추적 장치 및 방법을 제안하였으나, 이 경우 물체의 자세나 크기가 변화하는 경우 추적 성능이 저하되는 문제가 있으며, 대한민국 등록특허 제10-1341637호에서는 물체 추적 장치 및 방법으로써, 추적 대상 및 가정된 위치에서 추적 대상 후보의 특성값을 이용하여 추적 대상의 위치변화, 크기변화 및 각도변화를 추적하는 기술을 개시하고 있으나, 이는 자세변화가 크면 추적 성능이 저하되는 문제가 있다.
대한민국 등록특허 제10-1375765호 대한민국 등록특허 제10-1341637호
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 물체의 크기는 물론 자세 변화에도 강인하여 추적 성능을 향상시킬 수 있으며, 상대적으로 계산량을 최소화하면서 저장 공간의 효율적 사용이 가능하고, 보다 빠르고 정확하게 실시간으로 관심 물체의 추적이 가능한 단일모델 기반 물체 추적 시스템에 관한 것이다.
또한, 본 발명의 다른 목적은 상기 물체 추적 시스템을 이용한 물체 추적방법에 관한 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 물체추적 시스템은 촬영부, 모델 생성부, 물체 검출부, 판단부 및 모델 갱신부를 포함한다. 상기 촬영부는 물체에 대한 이미지를 촬영한다. 상기 모델 생성부는 추적하는 시점에 취득한 물체에 대한 이미지를 바탕으로 관심 물체에 대한 초기 모델을 생성한다. 상기 물체 검출부는 상기 관심 물체에 대한 초기 모델과, 추적이 시작된 이후 촬영된 물체에 대한 이미지를 바탕으로 자세왜곡 점수 및 크기비율을 계산한다. 상기 판단부는 상기 자세왜곡 점수를 바탕으로 관심물체의 검출 여부를 판단한다. 상기 모델 갱신부는 상기 검출된 관심물체를 바탕으로 상기 관심 물체에 대한 모델을 갱신한다.
일 실시예에서, 상기 촬영되는 물체에 대한 이미지는 2차원 이미지일 수 있다.
일 실시예에서, 상기 물체 검출부는, 상기 초기 모델의 특징점과, 상기 촬영된 물체에 대한 이미지의 특징점을 비교하여 유사도가 높은 쌍(pair)을 찾는 정합부, 상기 정합부에서 찾은 쌍들 중 잘못 정합된 쌍을 후처리하여 제거하는 후처리부, 잔류한 쌍들에서 자세 왜곡 점수를 계산하는 왜곡점수 계산부, 및 상기 검출된 관심 물체와 상기 생성된 초기 모델의 크기 비율값을 계산하는 크기비율 계산부를 포함할 수 있다.
일 실시예에서, 상기 자세 왜곡 점수는 상기 쌍들 각각의 기하학적 왜곡의 정도를 나타내는 수치값일 수 있다.
일 실시예에서, 상기 모델 갱신부는, 상기 촬영된 물체에 대한 이미지를 그룹화하는 그룹화부, 및 상기 그룹화된 결과로부터 전경과 배경을 정의하고, 상기 전경과 배경을 이용하여 분할을 수행하여 새로운 전경을 추출하는 분할부를 포함할 수 있다.
일 실시예에서, 상기 모델 갱신부는, 상기 분할부를 통해 추출된 새로운 전경을 관심물체에 대한 새로운 모델로 갱신할 수 있다.
일 실시예에서, 상기 모델 갱신부는, 상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up) 및 최소값(Td down)의 사이 범위로 계산되는 경우, 상기 그룹화부 및 상기 분할부를 통해 상기 관심 물체에 대한 모델을 갱신할 수 있다.
일 실시예에서, 상기 모델 갱신부는, 상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up)보다 크고, 최소값(Td down)보다 작은 경우라도, 상기 크기 비율값이 설정된 크기 비율값의 최대값(Tr up)보다 크고, 최소값(Tr down)보다 작은 경우, 상기 촬영된 물체에 대한 이미지를 관심 물체에 대한 모델로 갱신할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 물체 추적방법에서 추적하는 시점에 취득한 물체에 대한 이미지를 바탕으로 관심 물체에 대한 초기 모델을 생성한다. 물체에 대한 이미지가 입력된다. 상기 관심 물체에 대한 초기 모델과, 추적이 시작된 이후 촬영되어 입력되는 상기 물체에 대한 이미지를 바탕으로, 자세왜곡 점수를 이용하여 관심물체를 검출한다. 상기 검출된 관심물체를 바탕으로 상기 관심 물체에 대한 모델을 갱신한다.
일 실시예에서, 상기 관심물체를 검출하는 단계는, 상기 입력되는 물체에 대한 이미지의 특징점을 생성하는 단계, 상기 초기 모델의 특징점과 상기 이미지의 특징점을 비교하여 유사도가 높은 쌍(pair)을 찾아 정합하는 단계, 상기 찾은 쌍들 중 잘못 정합된 쌍을 후처리하여 제거하는 단계, 잔류한 쌍들에서 자세 왜곡 점수를 계산하는 단계, 상기 자세 왜곡 점수를 바탕으로 관심물체의 검출 여부를 판단하는 단계, 및 상기 검출된 관심물체와 상기 생성된 초기모델의 크기 비율값을 계산하는 단계를 포함할 수 있다.
일 실시예에서, 상기 관심물체의 모델을 갱신하는 단계는, 상기 촬영된 물체에 대한 이미지를 그룹화하는 단계, 상기 그룹화된 결과로부터 전경과 배경을 정의하는 단계, 상기 전경과 배경을 바탕으로 분할을 수행하여 새로운 전경을 추출하는 단계, 및 상기 추출된 전경을 관심물체에 대한 새로운 모델로 갱신하는 단계를 포함할 수 있다.
일 실시예에서, 상기 관심물체의 모델을 갱신하는 단계는, 상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up) 및 최소값(Td down)의 사이 범위로 계산되는 경우, 수행될 수 있다.
일 실시예에서, 상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up)보다 크고, 최소값(Td down)보다 작고, 상기 크기 비율값이 설정된 크기 비율값의 최대값(Tr up)보다 크고, 최소값(Tr down)보다 작은 경우, 상기 관심물체의 모델을 갱신하는 단계에서, 상기 촬영된 물체에 대한 이미지를 관심 물체에 대한 모델로 갱신할 수 있다.
본 발명의 실시예들에 의하면, 종래 물체 추적에 있어 물체의 크기나 자세가 변화하는 경우 이를 추적하기 위해 구성해야할 모델의 수가 증가하고 이에 따른 계산량이 증가하는 문제를 해결하여, 관심 물체에 대하여 생성된 초기 모델을 바탕으로 자세왜곡 점수와 크기비율에 대한 연산을 바탕으로 관심 물체에 대한 모델 갱신을 판단하여 모델을 갱신하거나 기존 모델을 그대로 유지함으로써 물체의 추적을 수행할 수 있어, 물체의 크기나 자세가 변화하더라도 상대적으로 단순한 연산으로 해당 물체에 대한 효과적이고 빠른 추적을 수행할 수 있다.
특히, 상기 물체 추적을 위해 사용되는 이미지도 2차원 이미지이면 충분하므로, 물체 추적을 위한 연산이나 저장 공간의 사용량이 절감될 수 있다.
즉, 초기 모델과 촬영된 물체의 이미지들 사이의 기하학적 왜곡의 정도를 나타내는 자세 왜곡 점수를 바탕으로 매칭 정도를 판단하여, 모델 갱신이 필요하다고 판단되는 경우는 그룹화와 분할을 통해 모델 갱신을 수행하고, 크기나 자세의 변화가 크지 않다고 판단되면 기존 모델을 그대로 유지함으로써, 종래 별도의 저장부에 저장된 모든 형태의 모델과 비교하여 연산하는 과정과 대비하여, 빠르고 신속하면서도 정확하게 물체의 추적을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 의한 물체 추적 시스템을 도시한 블록도이다.
도 2는 도 1의 물체 추적 시스템을 이용한 물체 추적방법을 도시한 흐름도이다.
도 3은 도 2의 관심물체를 검출하는 단계를 도시한 흐름도이다.
도 4는 도 2의 관심물체의 모델을 갱신하는 단계를 도시한 흐름도이다.
도 5a 내지 도 5e는 도 2의 물체 추적방법의 각각의 단계의 예를 도시한 이미지들이다.
도 6은 도 2의 물체 추적방법의 주요 단계를 도시한 흐름도이다.
도 7은 도 4의 관심물체의 모델 갱신에서 전경과 배경을 설명하기 위한 모식도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 의한 물체 추적 시스템을 도시한 블록도이다.
우선, 도 1을 참조하면, 본 실시예에서의 상기 물체 추적 시스템(10)은 촬영부(100), 모델 생성부(200), 물체 검출부(300), 판단부(400) 및 모델 갱신부(500)를 포함한다.
상기 촬영부(100)는 추적하고자 하는 대상 물체, 즉 관심 물체에 대한 이미지를 촬영하는 것으로, 이렇게 촬영된 이미지는 상기 모델 생성부(200) 및 상기 물체 검출부(300)로 제공된다.
본 실시예에서는, 상기 촬영부(100)에서 촬영되는 이미지는 2차원 이미지인 것으로, 추적을 시작하는 시점은 물론, 추적이 시작된 이후 모델의 갱신 여부를 판단하기 위한 매 순간마다 상기 관심 물체에 대한 촬영을 수행하게 된다.
상기 모델 생성부(200)는 상기 관심 물체에 대하여 추적을 시작하는 시점에 상기 촬영부(100)로부터 취득한 이미지, 즉 2차원 이미지를 바탕으로 상기 관심 물체에 대한 초기 모델을 생성한다.
상기 물체 검출부(300)는 상기 모델 생성부(200)에서 생성한 상기 관심 물체에 대한 초기 모델과, 상기 추적이 시작된 이후 매 순간마다 촬영된 상기 관심 물체에 대한 이미지를 바탕으로 자세왜곡 점수 및 크기비율을 계산한다.
보다 구체적으로, 상기 물체 검출부(300)는 정합부(310), 후처리부(320), 왜곡점수 계산부(330) 및 크기비율 계산부(340)를 포함하며, 각각의 구성에 대한 상세한 설명은 후술한다.
상기 판단부(400)는 상기 물체 검출부(300)에서 연산된 자세왜곡 점수를 바탕으로 관심 물체가 검출되었는지의 여부를 판단하며, 상기 모델 갱신부(500)는 상기 판단부(400)에서 관심 물체가 검출된 것으로 판단되면, 상기 검출된 관심물체를 바탕으로 상기 관심 물체에 대한 모델을 갱신한다.
이하에서는, 상기 물체 추적 시스템(10)을 이용한 물체 추적방법에 대하여 상세히 설명하며, 상기 물체 추적방법의 설명에서, 상기 물체 추적 시스템(10)의 구성에 대하여도 구체적으로 동시에 설명한다.
도 2는 도 1의 물체 추적 시스템을 이용한 물체 추적방법을 도시한 흐름도이다. 도 3은 도 2의 관심물체를 검출하는 단계를 도시한 흐름도이다. 도 4는 도 2의 관심물체의 모델을 갱신하는 단계를 도시한 흐름도이다. 도 5a 내지 도 5e는 도 2의 물체 추적방법의 각각의 단계의 예를 도시한 이미지들이다. 도 6은 도 2의 물체 추적방법의 주요 단계를 도시한 흐름도이다. 도 7은 도 4의 관심물체의 모델 갱신에서 전경과 배경을 설명하기 위한 모식도이다.
우선, 도 2, 도 5a 및 도 6을 참조하면, 본 실시예에 의한 물체 추적 시스템에서는, 상기 모델 생성부(200)는 추적을 시작하는 시점에 상기 촬영부(100)로부터 취득한 물체, 즉 관심 물체에 대한 2차원 이미지를 바탕으로 상기 관심 물체에 대한 초기 모델을 생성한다(단계 S100).
이 경우, 상기 초기 모델은, 상기 추적을 시작하는 시점에서 상기 촬영부(100)에서 취득한 영상에 나타나는 2차원 이미지만 사용되는 것으로, 이렇게 생성된 상기 초기 모델은, 추적 중에 단일 모델로 사용되며, 후술되는 모델 갱신에 의해 갱신될 수 있다.
한편, 상기 모델 생성부(200)에서 생성하는 상기 초기 모델은, 상기 2차원 이미지로부터 특징점(points, patches, line segments)을 추출하고, 이를 바탕으로 국소 기술자(local descriptor)를 생성하여 기술될 수 있다.
이 경우, 상기 초기 모델을 국소 기술자를 이용하여 기술하는 방법에는 제한이 없으며, scale invariant feature transform(SIFT), speeded up robust feature(SURF), histogram of oriented gradients(HOG) 등의 방법이 적용될 수 있다.
이상과 같이, 상기 모델 생성부(200)에서 생성되는 관심 물체에 대한 초기 모델은 도 5a에 도시된 바와 같은 2차원 이미지일 수 있다.
이 후, 도 2 및 도 6을 참조하면, 추적이 시작된 이후, 상기 촬영부(100)에서는 상기 관심 물체에 대하여 새롭게 2차원 이미지를 촬영하며, 이렇게 촬영된 관심 물체에 대한 2차원 이미지가 상기 물체 검출부(300)로 입력된다(단계 S200).
이 후, 도 2, 도 3, 도 5b 및 도 6을 참조하면, 상기 물체 검출부(300)에서는, 상기 초기 모델과 상기 입력된 2차원 이미지를 바탕으로, 자세 왜곡 점수를 이용하여 상기 관심 물체를 검출한다(단계 S300).
보다 구체적으로, 도 3을 참조하면, 상기 관심 물체의 검출에 있어서, 우선, 상기 입력된 2차원 이미지로부터 특징점을 생성한다(단계 S310).
이 경우, 상기 2차원 이미지로부터 특징점을 생성하는 방법의 경우, 앞선 초기 모델의 생성과 실질적으로 동일하다.
즉, 상기 2차원 이미지로부터 특징점(points, patches, line segments)을 추출하고, 이를 바탕으로 국소 기술자(local descriptor)를 생성하여 기술할 수 있으며, 이 경우, 상기 초기 모델을 국소 기술자를 이용하여 기술하는 방법에는 제한이 없으며, scale invariant feature transform(SIFT), speeded up robust feature(SURF), histogram of oriented gradients(HOG) 등의 방법이 적용될 수 있다.
이와 같이, 2차원 이미지로부터도 특징점을 생성한 후, 도 3 및 도 6을 참조하면, 상기 정합부(310)에서는 상기 초기 모델의 특징점과 상기 2차원 이미지의 특징점을 비교하여 유사도가 높은 쌍(pair)을 찾아 정합을 수행한다(단계 S320).
즉, 상기 초기 모델의 특징점과 상기 2차원 이미지의 특징점을 비교하여, 특징점들 사이에서 서로 유사도가 높은 서로 대응되는 쌍을 찾아 정합하며, 이 경우 정합의 방법으로는 histogram matching, spectral matching 등의 방법이 사용될 수 있다.
한편, 이러한 정합의 수행에 있어서, 노이즈 등의 영향으로 서로 잘못 정합된 쌍(pair)들이 존재할 수 있으므로, 이 후, 도 3을 참조하면, 상기 후처리부(320)에서는 상기 잘못 정합된 쌍을 후처리하여 제거한다(단계 S330).
이 경우, 사용되는 후처리 방법으로는 random sample consensus(RANSAC) 등의 방법이 사용될 수 있다.
이 후, 도 3 및 도 6을 참조하면, 상기 왜곡점수 계산부(330)에서는, 상기 후처리를 통해 잘못 정합된 쌍들이 제거되어 잔류한 쌍들에 대하여, 자세 왜곡 점수(affine distortion, D)를 계산한다(단계 S340).
이 경우, 상기 자세 왜곡 점수란, 상기 서로 매칭된 쌍(pair)들 각각의 기하학적 왜곡의 정도를 나타내는 수치값으로 정의되며, 이를 바탕으로 대응되는 쌍들이 기하하적으로 얼마나 왜곡되어 있는지를 확인할 수 있다.
예를 들어, 상기 자세 왜곡 점수(D)를, Ju Han Yoo and Dong Hwan Kim, "A New Robotic Context-Based Object Recognition Algorithm for Humanoid Robots," in Proceedings of the 15th IEEE-RAS International Conference on Humanoid Robots, pp. 47-52, Nov. 2015.에 정의된 affine distortion 값을 이용한다면, 상기 자세 왜곡 점수는 0~1 사이의 범위를 가지게 되며, 1에 가까운 값을 가질수록 서로 매칭된 쌍의 왜곡은 없으며 유사도가 높은 것으로 정의될 수 있다.
다만, 본 실시예에서는, 상기 판단부(400)에서 상기 관심물체가 검출되었는지의 여부를 판단함에 있어, 상기 자세 왜곡 점수의 계산값을 기 설정된 임계값과 비교한다.
즉, 상기 자세 왜곡 점수가 계산되면, 도 3 및 도 6을 참조하면, 상기 판단부(400)에서는 상기 자세 왜곡 점수를 바탕으로 관심물체가 검출되었는지를 판단한다(단계 S350).
보다 구체적으로, 상기 관심물체의 검출 여부를 판단하기 위해, 기 설정된 임계값으로, 자세 왜곡 점수의 최대값(Td up)과 자세 왜곡 점수의 최소값(Td down)을 설정한다. 이 경우, 상기 최대값 및 최소값은 하기 조건 (1)을 만족시키는 것으로, 사용자에 의해 추적 물체의 크기나 종류 등을 고려하여 미리 설정된다.
Figure 112018047499747-pat00001
조건 (1)
그리하여, 상기 자세 왜곡 점수(D)가 하기 식 (1)을 만족시킨다면, 상기 판단부(400)에서는 상기 관심물체가 검출된 것으로 판단한다. 즉, 상기 2차원 이미지는 초기 생성된 초기 모델과 동일한 관심 물체에 해당되는 것으로 판단하게 된다.
Td down<D 식 (1)
도 5b에서는, 상기 판단부(400)에서 상기 자세 왜곡 점수(D)가 상기 식 (1)을 만족시켜, 상기 2차원 이미지가 관심 물체에 해당되는 것으로 판단한 예를 도시하였다. 즉, 도 5b에 도시된 바와 같이, 상기 관심 물체가 비록 자세는 변경되었으나 상기 물체 검출부(300)의 검출 방법을 적용한 결과 관심 물체로서 판단될 수 있다.
이 후, 도 3 및 도 6을 참조하면, 상기 관심 물체가 검출된 경우, 상기 관심 물체에 대한 모델 갱신의 여부를 판단하기 위해, 상기 크기비율 계산부(340)에서는 상기 검출된 관심물체와 상기 초기 모델의 크기 비율값(R)을 계산한다(단계 S360).
보다 구체적으로, 상기 크기비율 계산부(340)에서는, 상기 초기 모델의 크기(Sm)와 상기 검출된 관심물체의 크기(Sc)를 하기 식 (2)를 통해 크기 비율값(R)을 계산한다.
R=Sc/Sm 식 (2)
이상과 같이, 상기 물체 검출부(300) 및 상기 판단부(400)에서는 관심 물체 판단을 위한 과정을 수행하여 관심 물체의 검출 여부를 판단한다.
이 후, 도 2 및 도 6을 참조하면, 상기 검출된 관심물체를 바탕으로, 필요에 따라 상기 관심 물체에 대한 모델을 갱신한다(단계 S400).
이 경우, 우선 도 6을 참조하면, 상기 관심 물체에 대한 모델의 갱신 여부는 상기 자세 왜곡 점수(D)와 상기 크기 비율값(R)을 바탕으로 판단한다.
우선, 상기 자세 왜곡 점수(D)와 상기 크기 비율값(R)을 계산한 결과, 상기 자세 왜곡 점수(D)가 하기 식 (3)을 만족시키고, 상기 크기 비율값(R)이 하기 식 (4)를 만족시키지 않는다면, 상기 초기 생성된 초기 모델을 갱신하지 않는다.
Td down>D or Td up<D 식 (3)
Tr down>R or Tr up<R 식 (4)
이 경우, Tr down 및 Tr up은, 상기 크기 비율값(R)과 관련하여, 기 설정된 임계값으로, 크기 비율값의 최대값(Tr up)과 크기 비율값의 최소값(Tr down)이다. 상기 최대값 및 최소값은 사용자에 의해 추적 물체의 크기나 종류 등을 고려하여 미리 설정된다.
즉, 상기 식 (3)을 통하여, 자세 왜곡 점수(D)가 기 설정된 최소값(Td down)보다 작다면, 상기 취득된 2차원 이미지 상의 물체는 상기 초기 모델과 지나치게 매칭도가 낮은 것으로 간주되며, 상기 자세 왜곡 점수(D)가 기 설정된 최대값(Td up)보다 크다면, 상기 취득된 2차원 이미지 상의 물체는 상기 초기 모델과 매칭도가 매우 높은 것으로 간주된다.
또한, 상기 식 (4)를 통하여, 상기 크기 비율값(R)이 기 설정된 최소값(Tr down)보다 작거나, 기 설정된 최대값(Tr up)보다 크다면, 이는 상기 취득된 2차원 이미지 상의 물체가 초기 모델과 대비하여 크기가 매우 작거나 크기가 매우 큰 것으로 간주된다. 이에 따라, 상기 식(4)를 만족시키지 않는 경우라면 상기 취득된 2차원 이미지 상의 물체가 초기 모델과 대비하여 유사한 정도의 크기를 가지는 것으로 간주된다.
다만 실제 매칭에 있어서, 자세 왜곡 점수(D)가 기 설정된 최소값(Td down)보다 작은, 즉 매칭도가 매우 낮은 상태를 제외한다면, 상기 식 (3) 및 상기 식 (4)를 동시에 만족시키는 경우라면, 결국 상기 취득된 2차원 이미지 상의 물체는 상기 초기 모델과 매칭도가 매우 높으므로 동일한 관심 물체라고 간주될 수 있으나, 크기가 매우 작거나 크게 변한 것이므로, 결국, 상기 모델 갱신부(500)에서는 별도의 모델 갱신 프로세스를 수행할 필요가 없으며, 상기 취득된 2차원 이미지 상의 물체를 새로운 모델로 갱신하는 것으로 충분하다(단계 S400, 도 6 참조).
이와 달리, 상기 식 (3)은 만족시키지만, 상기 식 (4)를 만족시키지 않는 경우라면, 즉, 상기 크기 비율값(R)이 기 설정된 최소값(Tr down)과 기 설정된 최대값(Tr up)의 사이로서, 상기 취득된 2차원 이미지 상의 물체가 초기 모델과 대비하여 크기가 유사한 정도라고 판단되는 경우라면, 마찬가지로 실제 매칭에 있어서, 자세 왜곡 점수(D)가 기 설정된 최소값(Td down)보다 작은, 즉 매칭도가 매우 낮은 상태를 제외한다면, 결국 상기 취득된 2차원 이미지 상의 물체로 상기 초기 모델을 갱신할 필요는 없으며, 상기 초기 모델을 그대로 유지하게 된다(단계 S400, 도 6 참조).
한편, 상기 식 (3)을 만족시키지 않는 경우, 즉 상기 취득된 2차원 이미지 상의 물체가 상기 초기 모델과 유사도가 보통 정도인 경우에는, 상기 모델 갱신부(500)에서는 그룹화 및 분할을 통해 모델을 갱신한다(단계 S400, 도 6 참조).
보다 구체적으로, 도 4, 도 5c 및 도 6을 참조하면, 우선, 상기 그룹화부(510)에서는 상기 취득된 2차원 이미지를 그룹화(clustering)한다(단계 S410).
이 경우, 그룹화는 상기 취득된 2차원 이미지에서, 픽셀 레벨(pixel level)에서 mean-shit, superpixel 등의 그룹화 방법을 이용하여 그룹화를 수행하며, 이와 같은 그룹화의 예는 도 5c에 도시된 바와 같다.
이 후, 도 4를 참조하면, 상기 그룹화된 결과로부터 전경과 배경을 정의한다(단계 S420).
이 경우, 전경이란, 도 7을 참조하면, 관심 물체에 대응되는 물체(11)의 형태를 포함하는 그룹화된 영역(12, 제1 영역)으로서, 상기 전경은 상기 전경을 포함하는 초기 모델을 포함하는 영역(13, 제2 영역)보다는 작은 영역으로 정의된다.
또한, 배경이란, 상기 제2 영역(13)보다 충분히 큰 영역(14, 제3 영역)과 전체 이미지의 크기에 해당되는 영역(15, 제4 영역)의 사이 영역으로 정의된다. 즉, 상기 제4 영역(15)과 상기 제3 영역(14) 사이의 빗금친 영역이 배경이다.
이 경우, 도 7은 배경의 예시 영역으로써, 상기 배경의 영역의 형태는 다양할 수 있으며, 상기 배경은 상기 관심 물체에 대응되는 물체(11)를 포함하지 않을 가능성이 높은 영역으로 정의하는 것이 필요하다.
이와 같이, 상기 전경 및 배경이 정의된 후, 도 4 및 도 6을 참조하면, 상기 전경 및 배경을 바탕으로 상기 분할부(520)에서는 분할(segmentation)을 수행하여 새로운 전경을 추출한다(단계 S430).
이 경우, 상기 분할을 수행하는 방법으로는, graph cut, level set 등의 방법이 적용될 수 있으며, 상기 분할을 수행함으로써, 도 5d에 도시된 바와 같이, 새로운 전경이 추출될 수 있다.
이 후, 도 4 및 도 6을 참조하면, 상기 새롭게 추출된 전경을 관심물체에 대한 새로운 모델로 갱신하며(단계 S440), 도 5e에 도시된 바와 같이, 검출된 관심물체가 새로운 모델 갱신된다.
이렇게 갱신된 새로운 모델은 도 6에 도시된 바와 같이, 상기 초기 모델을 대신하여 추적을 수행하는 현 단계에서의 초기 모델로 정의되며, 이 후, 앞서 설명한 단계가 계속 반복되며 물체에 대한 추적을 수행하게 된다.
상기와 같은 본 발명의 실시예들에 의하면, 종래 물체 추적에 있어 물체의 크기나 자세가 변화하는 경우 이를 추적하기 위해 구성해야할 모델의 수가 증가하고 이에 따른 계산량이 증가하는 문제를 해결하여, 관심 물체에 대하여 생성된 초기 모델을 바탕으로 자세왜곡 점수와 크기비율에 대한 연산을 바탕으로 관심 물체에 대한 모델 갱신을 판단하여 모델을 갱신하거나 기존 모델을 그대로 유지함으로써 물체의 추적을 수행할 수 있어, 물체의 크기나 자세가 변화하더라도 상대적으로 단순한 연산으로 해당 물체에 대한 효과적이고 빠른 추적을 수행할 수 있다.
특히, 상기 물체 추적을 위해 사용되는 이미지도 2차원 이미지이면 충분하므로, 물체 추적을 위한 연산이나 저장 공간의 사용량이 절감될 수 있다.
즉, 초기 모델과 촬영된 물체의 이미지들 사이의 기하학적 왜곡의 정도를 나타내는 자세 왜곡 점수를 바탕으로 매칭 정도를 판단하여, 모델 갱신이 필요하다고 판단되는 경우는 그룹화와 분할을 통해 모델 갱신을 수행하고, 크기나 자세의 변화가 크지 않다고 판단되면 기존 모델을 그대로 유지함으로써, 종래 별도의 저장부에 저장된 모든 형태의 모델과 비교하여 연산하는 과정과 대비하여, 빠르고 신속하면서도 정확하게 물체의 추적을 수행할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 물체 추적시스템
100 : 촬영부 200 : 모델 생성부
300 : 물체 검출부 310 : 정합부
320 : 후처리부 330 : 왜곡점수 계산부
340 : 크기비율 계산부 400 : 판단부
500 : 모델 갱신부 510 : 그룹화부
520 : 분할부

Claims (13)

  1. 물체에 대한 이미지를 촬영하는 촬영부;
    추적하는 시점에 취득한 물체에 대한 이미지를 바탕으로 관심 물체에 대한 초기 모델을 생성하는 모델 생성부;
    상기 관심 물체에 대한 초기 모델과, 추적이 시작된 이후 촬영된 물체에 대한 이미지를 바탕으로 자세왜곡 점수 및 크기비율값을 계산하는 물체 검출부;
    상기 자세왜곡 점수를 바탕으로 관심물체의 검출 여부를 판단하는 판단부; 및
    상기 검출된 관심물체를 바탕으로 상기 관심 물체에 대한 모델을 갱신하는 모델 갱신부를 포함하고,
    상기 모델 갱신부는,
    상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up)보다 크고, 최소값(Td down)보다 작은 경우라도,
    상기 크기 비율값이 설정된 크기 비율값의 최대값(Tr up)보다 크고, 최소값(Tr down)보다 작은 경우,
    상기 촬영된 물체에 대한 이미지를 관심 물체에 대한 모델로 갱신하는 것을 특징으로 하는 물체 추적시스템.
  2. 제1항에 있어서,
    상기 촬영되는 물체에 대한 이미지는 2차원 이미지인 것을 특징으로 하는 물체 추적시스템.
  3. 제1항에 있어서, 상기 물체 검출부는,
    상기 초기 모델의 특징점과, 상기 촬영된 물체에 대한 이미지의 특징점을 비교하여 유사도를 바탕으로 서로 대응되는 쌍(pair)을 찾는 정합부;
    상기 정합부에서 찾은 쌍들 중 잘못 정합된 쌍을 후처리하여 제거하는 후처리부;
    잔류한 쌍들에서 자세 왜곡 점수를 계산하는 왜곡점수 계산부; 및
    상기 검출된 관심 물체와 상기 생성된 초기 모델의 크기 비율값을 계산하는 크기비율 계산부를 포함하는 물체 추적시스템.
  4. 제3항에 있어서,
    상기 자세 왜곡 점수는 상기 쌍들 각각의 기하학적 왜곡의 정도를 나타내는 수치값인 것을 특징으로 하는 물체 추적시스템.
  5. 제3항에 있어서, 상기 모델 갱신부는,
    상기 촬영된 물체에 대한 이미지를 그룹화하는 그룹화부; 및
    상기 그룹화된 결과로부터 전경과 배경을 정의하고, 상기 전경과 배경을 이용하여 분할을 수행하여 새로운 전경을 추출하는 분할부를 포함하는 것을 특징으로 하는 물체 추적시스템.
  6. 제5항에 있어서, 상기 모델 갱신부는,
    상기 분할부를 통해 추출된 새로운 전경을 관심물체에 대한 새로운 모델로 갱신하는 것을 특징으로 하는 물체 추적시스템.
  7. 제5항에 있어서, 상기 모델 갱신부는,
    상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up) 및 최소값(Td down)의 사이 범위로 계산되는 경우, 상기 그룹화부 및 상기 분할부를 통해 상기 관심 물체에 대한 모델을 갱신하는 것을 특징으로 하는 물체 추적시스템.
  8. 삭제
  9. 추적하는 시점에 취득한 물체에 대한 이미지를 바탕으로 관심 물체에 대한 초기 모델을 생성하는 단계;
    물체에 대한 이미지가 입력되는 단계;
    상기 관심 물체에 대한 초기 모델과, 추적이 시작된 이후 촬영되어 입력되는 상기 물체에 대한 이미지를 바탕으로, 자세왜곡 점수 및 크기 비율값을 계산하고, 관심물체를 검출하는 단계; 및
    상기 검출된 관심물체를 바탕으로 상기 관심 물체에 대한 모델을 갱신하는 단계를 포함하고,
    상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up)보다 크고, 최소값(Td down)보다 작고, 상기 크기 비율값이 설정된 크기 비율값의 최대값(Tr up)보다 크고, 최소값(Tr down)보다 작은 경우, 상기 관심물체의 모델을 갱신하는 단계에서, 상기 촬영된 물체에 대한 이미지를 관심 물체에 대한 모델로 갱신하는 것을 특징으로 하는 물체 추적방법.
  10. 제9항에 있어서, 상기 관심물체를 검출하는 단계는,
    상기 입력되는 물체에 대한 이미지의 특징점을 생성하는 단계;
    상기 초기 모델의 특징점과 상기 이미지의 특징점을 비교하여 유사도를 바탕으로 서로 대응되는 쌍(pair)을 찾아 정합하는 단계;
    상기 찾은 쌍들 중 잘못 정합된 쌍을 후처리하여 제거하는 단계;
    잔류한 쌍들에서 자세 왜곡 점수를 계산하는 단계;
    상기 자세 왜곡 점수를 바탕으로 관심물체의 검출 여부를 판단하는 단계; 및
    상기 검출된 관심물체와 상기 생성된 초기모델의 크기 비율값을 계산하는 단계를 포함하는 것을 특징으로 하는 물체 추적방법.
  11. 제10항에 있어서, 상기 관심물체의 모델을 갱신하는 단계는,
    상기 촬영된 물체에 대한 이미지를 그룹화하는 단계;
    상기 그룹화된 결과로부터 전경과 배경을 정의하는 단계;
    상기 전경과 배경을 바탕으로 분할을 수행하여 새로운 전경을 추출하는 단계; 및
    상기 추출된 전경을 관심물체에 대한 새로운 모델로 갱신하는 단계를 포함하는 것을 특징으로 하는 물체 추적방법.
  12. 제11항에 있어서, 상기 관심물체의 모델을 갱신하는 단계는,
    상기 자세 왜곡 점수가 설정된 자세 왜곡 점수의 최대값(Td up) 및 최소값(Td down)의 사이 범위로 계산되는 경우, 수행되는 것을 특징으로 하는 물체 추적방법.
  13. 삭제
KR1020180055259A 2018-05-15 2018-05-15 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법 KR102022889B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180055259A KR102022889B1 (ko) 2018-05-15 2018-05-15 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180055259A KR102022889B1 (ko) 2018-05-15 2018-05-15 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법

Publications (1)

Publication Number Publication Date
KR102022889B1 true KR102022889B1 (ko) 2019-09-19

Family

ID=68067745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180055259A KR102022889B1 (ko) 2018-05-15 2018-05-15 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법

Country Status (1)

Country Link
KR (1) KR102022889B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341637B1 (ko) 2008-08-29 2013-12-16 서울대학교산학협력단 물체 추적 장치 및 방법
KR101375765B1 (ko) 2012-12-14 2014-03-20 (주)오시에스티 칼만 필터를 이용한 이동 물체 추적 장치 및 방법
KR20160136145A (ko) * 2015-05-19 2016-11-29 국방과학연구소 영상의 표적 추적 장치 및 방법
KR20180009180A (ko) * 2016-07-18 2018-01-26 단국대학교 천안캠퍼스 산학협력단 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
KR101834084B1 (ko) * 2016-09-05 2018-03-02 건국대학교 산학협력단 다중 객체 추적 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341637B1 (ko) 2008-08-29 2013-12-16 서울대학교산학협력단 물체 추적 장치 및 방법
KR101375765B1 (ko) 2012-12-14 2014-03-20 (주)오시에스티 칼만 필터를 이용한 이동 물체 추적 장치 및 방법
KR20160136145A (ko) * 2015-05-19 2016-11-29 국방과학연구소 영상의 표적 추적 장치 및 방법
KR20180009180A (ko) * 2016-07-18 2018-01-26 단국대학교 천안캠퍼스 산학협력단 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
KR101834084B1 (ko) * 2016-09-05 2018-03-02 건국대학교 산학협력단 다중 객체 추적 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yoo & Kim. A new robotic context based object recognition algorithm for humanoid robots. IEEE RAS Conference on Humanoid Robots, 2015년 11월. pp. 47-52. 1부.* *

Similar Documents

Publication Publication Date Title
CN108090470B (zh) 一种人脸对齐方法及装置
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
JP4709668B2 (ja) ３次元物体認識システム
US9256802B2 (en) Object or shape information representation method
Jellal et al. LS-ELAS: Line segment based efficient large scale stereo matching
KR101234046B1 (ko) 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016212688A (ja) 関節位置推定装置、方法、及びプログラム
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
US20220172386A1 (en) Method and device for simultaneous localization and mapping (slam)
JP2018036770A (ja) 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
KR101705584B1 (ko) 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
KR102022889B1 (ko) 단일모델 기반 물체 추적 시스템 및 이를 이용한 물체 추적방법
CN110705554B (zh) 图像的处理方法和装置
KR20160109049A (ko) 고차 라플라시안 오브 가우시안 커널을 이용한 이미지의 특징점 추출 장치 및 방법
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2015007919A (ja) 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
Arbeiter et al. Efficient segmentation and surface classification of range images
CN110288633B (zh) 目标追踪方法、装置、可读存储介质及电子设备
KR101915402B1 (ko) 점진적 그래프 최적화를 통한 특징점 매칭 방법
KR101900903B1 (ko) 분할된 이미지의 무게중심에 기반한 이미지 오리엔테이션 추정방법 및 이를 이용한 문자 인식 장치와 문자 인식 방법
JP2022185872A5 (ko)

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant