KR101326644B1 - 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법 - Google Patents

예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법 Download PDF

Info

Publication number
KR101326644B1
KR101326644B1 KR1020120087225A KR20120087225A KR101326644B1 KR 101326644 B1 KR101326644 B1 KR 101326644B1 KR 1020120087225 A KR1020120087225 A KR 1020120087225A KR 20120087225 A KR20120087225 A KR 20120087225A KR 101326644 B1 KR101326644 B1 KR 101326644B1
Authority
KR
South Korea
Prior art keywords
pose
particles
sample
image
particle
Prior art date
Application number
KR1020120087225A
Other languages
English (en)
Inventor
이칠우
오치민
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020120087225A priority Critical patent/KR101326644B1/ko
Application granted granted Critical
Publication of KR101326644B1 publication Critical patent/KR101326644B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 객체 추적 방법에 관한 것으로, 보다 구체적으로는 시간의 흐름에 따라 갱신되는 예제포즈입자와 이전 시간에 최적포즈 결정 후, 리-샘플링된 샘플입자들에 복합적으로 기반하는 입자필터를 통해 현재의 최적포즈를 결정함으로써 영상 객체 추적의 정확도를 매우 향상시킬 수 있는 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법에 관한 것이다.

Description

예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법{Full-body joint image tracking method using evolutionary exemplar-based particle filter}
본 발명은 영상 객체 추적 방법에 관한 것으로, 보다 구체적으로는 시간의 흐름에 따라 갱신되는 예제포즈입자와 이전 시간에 최적포즈 결정 후, 리-샘플링된 샘플입자들에 복합적으로 기반하는 입자필터를 통해 현재의 최적포즈를 결정함으로써 영상 객체 추적의 정확도를 매우 향상시킬 수 있는 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법에 관한 것이다.
영상 객체 추적이란 동적인 영상에서 사람의 포즈를 인식하고 연속적인 인식을 통해 영상 객체를 추적하는 방법으로써 보안, 사람의 행동분석, 로봇비전 및 사람과 컴퓨터 간의 상호작용해석 분야에서 가장 중요한 기술 중 하나이다.
그러나 사람의 움직임은 매우 복잡하고 빠르며, 취할 수 있는 포즈도 무한하므로, 컴퓨터를 이용하여 실시간으로 사람의 포즈를 연속적으로 인식하여 추적하는 것은 매우 어려운 일이다.
종래에 영상 객체 추적은 사람의 포즈를 인식하기 위해 다양한 사람의 포즈영상의 색상정보, 에지 형상정보, 특징점 정보 등을 이용하여 DB를 구축한 후, 통계적으로 분석하는 방법을 사용하였다.
그러나, 이러한 종래의 영상 객체 추적방법은 데이터가 방대하여 DB구축비용이 증가하고 인식 시간이 오래 걸리며, 사람의 포즈영상을 촬영하는 카메라의 주시방향이나 조명의 밝기 변화 등에 매우 민감하여 안정적인 결과를 얻기 어려운 문제점이 있다.
따라서 본 발명자들은 사람의 상반신의 관절모델을 생성하여 DB화하고 입력되는 영상과 관절모델을 서로 비교함으로써 포즈인식에 기준이 되는 데이터의 양을 줄여 인식속도 및 인식률이 매우 향상된 포즈인식 시스템(한국등록특허:10-1035291)을 개발한바 있다.
본 발명자들은 영상 객체 추적의 정확도를 매우 향상시키고자 연구 노력한 결과, 입자필터를 이용하여 입력되는 영상의 포즈를 예측함으로써 영상 객체를 추적하되, 관절모델로 구성되는 예제포즈입자와 이전 시간에 리-샘플링된 샘플입자들로부터 복합적으로 예측하여 현재의 최적포즈 인식률을 매우 향상시킬 수 있는 영상 객체 추적방법의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 입자필터를 이용하여 현재 영상 내의 영상 객체를 추적하되, 현재 시간에 입력되는 실루엣 영상과 유사한 예제포즈입자들과 이전 시간에 최적포즈 결정 이후, 리-샘플링된 샘플입자 중, 가중치가 높은 샘플입자들에서 복합적으로 예측하여 영상 객체 추적의 정확도는 높이고 계산량은 줄일 수 있는 영상 객체 추적방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 최적포즈로 결정된 입자를 예제포즈입자DB에 추가하거나 특정한 예제포즈입자와 교체하여 갱신함으로써 다음 시간에 현재포즈입자 예측시 예측의 정확도를 높여 영상 객체 추적의 정확도를 점진적으로 향상시킬 수 있는 영상 객체 추적 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위하여 본 발명은 입자필터(Particle filter)를 이용한 영상 객체 추적방법으로써, 움직이는 객체가 표현할 수 있는 포즈(pose)의 위치 및 형태 정보를 포함하는 서로 다른 예제포즈입자들을 생성하여 예제포즈입자DB에 저장하고, 이전 시간에 최적포즈 결정 후 리-샘플링(re-sampling)된 입자인 샘플입자들을 샘플입자DB에 저장하는 단계; 추적하고자 하는 영상 객체가 포함된 실루엣 영상(Silhouette image)을 입력받는 단계; 상기 실루엣 영상과 상기 각 예제포즈입자들 간의 유사도인 제1 유사도를 계산하는 단계; 입자 필터(Particle filter)를 이용하여 상기 영상 객체로 추정되는 현재포즈입자들을 예측하되, 상기 현재포즈입자들의 일부는 상기 제1 유사도에 비례하여 상기 예제포즈입자들로부터 예측하고, 나머지는 상기 샘플입자들이 갖는 가중치에 비례하여 상기 샘플입자들로부터 예측하는 단계; 상기 각 현재포즈입자들과 상기 실루엣 영상 간의 유사도인 제2 유사도를 계산한 후, 상기 제2 유사도에 비례하여 상기 각 현재포즈입자들에 가중치를 부여하는 단계; 상기 현재포즈입자들의 기대치(expected value)를 최적포즈로 결정하는 단계; 및 상기 현재포즈입자들을 가중치에 비례하여 리-샘플링한 후, 상기 샘플입자DB에 저장함으로써 상기 샘플입자들을 갱신하는 단계;를 포함하는 것을 특징으로 하는 입자필터를 이용한 영상 객체 추적방법을 제공한다.
바람직한 실시예에 있어서, 상기 예제포즈입자들은 서로 정해진 값 이상의 모션 에너지(Motion energy)를 갖는 입자들이며, 상기 최적포즈를 결정하는 단계 이후에, 상기 최적포즈와 상기 각 예제포즈입자들 간의 모션 에너지를 계산하여 상기 최적포즈가 상기 각 예제포즈입자들과 서로 정해진 값 이상의 모션 에너지를 갖는 경우, 상기 최적포즈를 상기 예제포즈입자DB에 추가하여 저장하는 단계를 더 포함한다.
바람직한 실시예에 있어서, 상기 최적포즈를 상기 예제포즈입자DB에 저장하는 단계에서, 상기 최적포즈가 상기 각 예제포즈입자들과 서로 정해진 값 이상의 모션 에너지를 갖지 않을 경우, 상기 예제포즈입자들 중, 상기 최적포즈와 가장 낮은 모션 에너지를 갖는 예제포즈입자를 상기 최적포즈로 대체하여 상기 예제포즈입자DB를 갱신한다.
바람직한 실시예에 있어서, 상기 예제포즈입자들은 각각 관절모델로 생성되며, 상기 관절모델은 몸통 박스, 머리 박스, 오른쪽 팔 상부 박스, 오른쪽 팔 하부 박스, 왼쪽 팔 상부 박스, 왼쪽 팔 하부 박스, 오른쪽 다리 상부 박스, 오른쪽 다리 하부 박스. 왼쪽 다리 상부 박스 및 왼쪽 다리 하부 박스의 열 개의 박스로 이루어지고, 각 박스의 위치좌표 및 크기정보를 포함한다.
바람직한 실시예에 있어서, 상기 제1 유사도는 상기 실루엣 영상의 거리변환 영상을 생성하고, 상기 거리변환 영상에 상기 각 예제포즈입자들의 관절모델들을 겹쳐 관절모델의 테두리에 해당하는 상기 거리변환 영상의 픽셀 값의 합인 챔퍼거리(chamfer distance)를 구하고 구해진 챔퍼거리들을 정규화함으로써 계산된다.
바람직한 실시예에 있어서, 상기 제1 유사도는 아래의 수학식에 의해 계산된다.
[수학식]
Figure 112012063764070-pat00001
여기서, 상기 I는 실루엣 영상, 상기 Xi는 각 예제포즈입자, 상기 CD는 챔버거리함수, ei는 제1 유사도이다.
또한, 본 발명은 컴퓨터를 수단으로 상기 각 단계들을 수행하여 상기 실루엣 영상의 최적포즈를 결정함으로써 상기 실루엣 영상 내의 영상 객체를 추적하는 영상 객체 추적 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장매체를 더 제공한다.
또한, 본 발명은 상기 영상 객체 추적 프로그램이 저장되고 통신망을 통해 상기 영상 객체 추적 프로그램을 클라이언트 컴퓨터로 전송할 수 있는 서버 컴퓨터를 더 제공한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
먼저, 본 발명의 영상 객체 추적방법에 의하면, 입자필터를 이용하여 현재 영상 내의 영상 객체를 추적하되, 현재 시간에 입력되는 실루엣 영상과 유사한 예제포즈입자들과 이전 시간에 최적포즈 결정 이후, 리-샘플링된 샘플입자 중, 가중치가 높은 샘플입자들에서 복합적으로 현재포즈입자들을 예측함으로써 최적포즈 결정의 정확도를 매우 높일 수 있는 효과가 있다.
또한, 본 발명의 영상 객체 추적방법에 의하면, 최적포즈로 결정된 입자를 예제포즈입자DB에 추가하거나 특정한 예제포즈입자와 교체하여 갱신함으로써, 다음 시간에 현재포즈입자 예측시 예제포즈입자로부터 예측되는 예측의 정확도를 높일 수 있으므로 영상 객체 추적의 정확도를 점진적으로 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 객체 추적방법을 수행하기 위한 환경을 보여주는 도면,
도 2는 본 발명의 일 실시예에 따른 영상 객체 추적방법의 흐름도,
도 3은 본 발명의 일 실시예에 따른 영상 객체 추적방법의 예제포즈입자DB를 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른 영상 객체 추적방법의 관절모델을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른 영상 객체 추적방법의 관절박스를 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른 영상 객체 추적방법의 실루엣 영상을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른 영상 객체 추적방법의 실루엣 영상과 예제포즈입자 간의 유사도 계산방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른 영상 객체 추적방법의 현재포즈입자들을 추정하는 방법을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른 영상 객체 추적방법의 최적포즈를 설명하기 위한 도면,
도 10은 본 발명의 일 실시예에 따른 영상 객체 추적방법의 모션 에너지를 설명하기 위한 도면,
도 11은 본 발명의 일 실시예에 따른 영상 객체 추적방법의 예제포즈입자DB 갱신방법을 설명하기 위한 도면이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 객체 추적방법을 수행하기 위한 환경을 보여주는 도면으로써, 본 발명의 일 실시예에 따른 영상 객체 추적방법은 실질적으로 컴퓨터(200)에 의해 수행된다.
또한, 상기 컴퓨터(200)에는 상기 컴퓨터(200)를 상기 영상 객체 추적방법의 수행주체로 기능시키기 위한 영상 객체 추적 프로그램이 저장되며, 상기 영상 객체 추적 프로그램은 CD, USB저장매체, SD카드 등 공지된 다양한 컴퓨터로 읽을 수 있는 저장매체에 저장되어 제공될 수 있다.
그러나, 상기 컴퓨터(200)는 상기 영상 객체 추적 프로그램을 상기 영상 객체 추적 프로그램이 저장된 서버 컴퓨터로부터 통신망을 통해 다운로드 받아 저장할 수 있으며, 이때 상기 컴퓨터(200)는 클라이언트 컴퓨터가 된다.
또한, 상기 컴퓨터(200)는 상기 영상 객체 추적 프로그램을 다운로드 받지 않고 온라인 상에서 상기 서버 컴퓨터에 접속하여 상기 영상 객체 추적 프로그램의 명령에 의해 수단으로 기능함으로써 상기 영상 객체 추적 방법을 수행할 수 있다.
또한, 상기 서버 컴퓨터(200)는 통신망을 통해 상기 영상 객체 추적 프로그램을 전송할 수 있는 통신부, 상기 영상 객체 추적 프로그램을 저장할 수 있는 저장소 및 상기 저장소에 저장된 영상 객체 추적 프로그램을 상기 통신부를 통해 전송명령할 수 있는 중앙처리장치가 포함되는 공지된 컴퓨터이다.
또한, 상기 컴퓨터(200)는 영상 객체(10)를 촬영하기 위한 카메라(100)와 연결되어 영상을 입력받고, 상기 카메라(100)는 일반적인 이차원 영상을 촬영하는 카메라일 수도 있고, 깊이 영상을 촬영할 수 있는 깊이 카메라(RGBD카메라)일 수도 있다.
이하에서는 본 발명의 일 실시예에 따른 영상 객체 추적방법에 대해 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 영상 객체 추적방법의 흐름도이다.
도 2를 참조하면 본 발명의 일 실시예에 따른 영상 객체 추적방법은 먼저, 상기 컴퓨터(200)가 예제포즈입자DB와 샘플입자DB를 생성하여 내부 저장소에 저장한다(S1000).
또한, 상기 예제포즈입자DB는 예제포즈입자들로 구성되는 데이터베이스이며 최초에 상기 컴퓨터(200)의 입력장치에 통해 사용자로부터 입력받아 저장한다.
또한, 상기 예제포즈입자들은 각각 서로 다른 포즈를 갖는 관절모델들로 이루어진다.
도 3은 상기 예제포즈입자DB를 설명하기 위한 것으로 상기 예제포즈입자DB(210)는 서로 다른 포즈를 갖는 복수 개의 예제포즈입자들(X1,X2,...,Xn)로 구성된다.
또한, 상기 각 예제포즈입자들(X1,X2,...,Xn)은 관절모델로 모델링되며 본 발명에서는 초기에 스무 개의 관절모델들로 제작하여 상기 예제포즈입자DB를 생성하였다.
그러나, 상기 예제포즈입자들(X1,X2,...,Xn)의 개수는 요구되는 정확도에 따라 조절이 가능하다.
또한, 상기 관절모델들의 개수가 많을수록 영상 객체 추적의 정확도는 상승할 수 있으나 계산량의 증가로 추적시간이 지연될 수 있으므로 필요에 따라 적절한 개수의 관절모델을 제작하여야 한다.
또한, 상기 각 관절모델들은 복수 개의 관절박스들로 구성되며, 각 관절박스들은 위치정보 및 크기정보를 포함한다.
도 4는 상기 관절모델을 설명하기 위한 것으로, 하나의 관절모델(Xi)은 열 개의 관절박스를 포함한다.
그러나 상기 관절모델은 인식하고자 하는 포즈에 따라 몸통, 머리, 팔 등 상체에 관한 관절박스만으로 구성되게 할 수 있고, 추적하고자하는 대상이 사람이 아닌 동물 또는 사물일 경우에도 필요에 따라 관절박스의 개수를 줄이거나 늘려 조절할 수 있다.
또한, 상기 관절박스는 몸통 박스(x1), 머리 박스(x2), 오른쪽 팔 상부 박스(x3), 오른쪽 팔 하부 박스(x4), 왼쪽 팔 상부 박스(x5), 왼쪽 팔 하부 박스(x6), 오른쪽 다리 상부 박스(x7), 오른쪽 다리 하부 박스(x8). 왼쪽 다리 상부 박스(x9) 및 왼쪽 다리 하부 박스(x10)를 포함하며, 상기 각 관절박스는 위치좌표정보(x,y), 크기정보(w,h), 연결된 부모관절로부터의 거리정보(dx,dy), 부모관절박스와 이루는 각도정보(θ)를 포함한다.
도 5를 참조하여 상기 관절박스가 갖는 정보들을 설명하면, 상기 오른쪽 팔 하부 박스(x4)의 위치좌표(x,y)는 부모관절박스인 오른쪽 팔 상부 박스(x3)와 연결되는 지점이고, 상기 오른쪽 팔 하부 박스(x4)의 거리정보는 상기 오른쪽 팔 상부 박스(x3)와의 거리정보이고, 크기정보는 가로길이(w)와 세로길이(h)일 수 있다. 또한, 상기 오른쪽 팔 하부 박스(x4)의 각도정보는 상기 오른쪽 팔 상부 박스(x3)의 세로 중심선과 상기 오른쪽 팔 하부 박스(x4)의 세로 중심선이 이루는 각도(θ)일 수 있다.
그러나 상기 관절박스의 정보는 초기에 사용자에 의해 입력되는 정보이므로 위치좌표, 크기정보 및 각도정보를 포함한다면, 어떠한 기준위치로부터 계산되어 생성될 수 있다.
즉, 상기 각 관절모델은 아래의 수학식 1과 같이 열 개의 관절박스로 이루어지는 집합으로 표현할 수 있고, 상기 각 관절박스는 아래의 수학식 2와 같이 위치좌표, 거리정보, 크기정보, 각도정보로 이루어진다.
Figure 112012063764070-pat00002
Figure 112012063764070-pat00003
또한, 상기 샘플입자DB는 이전 시간에 최적포즈(이전시간에 최종적으로 인식된 포즈) 결정에 사용된 입자들을 리-샘플링한 샘플입자들의 데이터베이스이며, 각 샘플입자들이 갖는 정보는 상기 예제포즈입자들이 갖는 정보와 동일하고, 일정한 개수의 샘플입자들로 구성된다(본 발명에서는 100개의 샘플입자들로 구성하였다.).
또한, 상기 샘플입자들은 영상 객체 추적이 한 번도 이루어지지 않은 초기에는 임의의 위치좌표, 임의의 거리정보 임의의 크기정보 및 임의의 각도정보를 갖도록 설정된다.
또한, 상기 리-샘플링(re-sampling)이란 상기 현재포즈입자들로부터 다음 시간에 이용할 샘플입자들을 생성하는 것으로 상기 최적포즈 결정에 사용된 입자들의 가중치에 비례하여 가중치가 높은 입자일수록 많이 복제하고 가중치가 낮은 입자들은 제거하여 가중치가 높은 입자들이 다음 시간의 샘플입자들로 생성되게 하는 기법이다.
이러한 리-샘플링(re-sampling) 기법은 본 발명자들이 개발한 포즈인식 시스템(한국등록특허:10-1035291)의 리-샘플링(re-sampling) 기법을 포함하여 입자필터 기술분야에서 공지된 다양한 리-샘플링 기법을 활용할 수 있다.
다음, 추적하고자하는 영상 객체가 포함된 실루엣 영상(120,Silhouette image)을 입력받는다(S2000).
그러나, 입력되는 영상이 일반적인 이차원 영상일 경우 전처리를 통해 상기 실루엣 영상을 생성하여야 한다.
도 6을 참조하여 상기 실루엣 영상을 설명하면, 상기 실루엣 영상(120)은 이차원 영상(110)에서 전경과 배경을 분리하고, 분리된 전경과 배경을 이진화하는 전처리가 수행된 영상이다.
즉, 상기 카메라(100)가 깊이 카메라일 경우에는 별도의 전처리가 필요없이 깊이 영상으로부터 실루엣 영상을 획득할 수 있으나, 일반적인 카메라일 경우, 상기 입력되는 영상을 전처리하여 상기 실루엣 영상(120)으로 변환하여야하는 것이다.
또한, 이러한 전처리 기법은 본 발명자들의 포즈인식 시스템(한국등록특허:10-1035291)의 전처리 기법을 동일하게 활용할 수 있다.
다음, 상기 실루엣 영상(120)과 상기 각 예제포즈입자들(X1,X2,...,Xn) 간의 유사도인 제1 유사도 계산한다(S3000).
또한, 도 7을 참조하면, 상기 실루엣 영상(120)과 상기 각 예제포즈입자들(X1,X2,...,Xn) 간의 제1 유사도를 계산하는 과정은 먼저, 상기 실루엣 영상(120)의 거리변환영상(130)을 생성하고, 다음, 상기 실루엣 영상(120)의 거리변환영상(130)에 예제포즈입자를 겹쳐놓고 겹쳐진 예제포즈입자의 테두리 즉, 관절모델의 테두리에 해당하는 상기 거리변환영상(130)의 픽셀 값을 합인 챔퍼거리(chamfer distance)를 구한 후, 구해진 챔퍼거리들의 합이 '1'이 되도록 정규화함으로써 계산된다.
여기서, 상기 거리변환영상(130)이란 상기 실루엣 영상(120)과 같은 이진 영상의 각 화소에 대해 인접한 화소들간의 차이값을 계산하여 생성한 영상으로서, 상기 실루엣 영상(120)의 테두리에 가까운 픽셀일수록 검은색으로 표현된 영상을 말한다.
또한, 상기 제1 유사도는 아래의 수학식 3에 의해 계산된다.
Figure 112012063764070-pat00004
여기서, 상기 I는 상기 실루엣 영상(120), 상기 Xi는 각 예제포즈입자, 상기 CD는 챔버거리함수, ei는 제1 유사도이다.
즉, 상기 제1 유사도는 상기 각 예제포즈입자들(210)의 포즈가 상기 실루엣 영상(120)의 포즈와 얼마나 유사한지를 나타내는 척도이며, 상기 제1 유사도를 계산하는 단계는 상기 각 예제포즈입자들(210)에 상기 실루엣 영상(120)과의 제1 유사도를 부여하는 단계이다.
다음, 입자필터(particle filter)를 이용하여 상기 실루엣 영상(120) 내의 영상 객체로 추정되는 입자인 현재포즈입자들을 예측한다(S4000).
또한, 상기 입자필터는 현재포즈와 유사한 입자들을 예측하는 예측방법으로써, 이미 존재하는 기존의 입자와 유사한 범위 내의 제안분포로부터 현재의 입자를 예측하여 예측의 성능을 높이는 예측 추적 이론에 기반한 방법이다.
여기서, 본 발명은 상기 예제포즈입자들과 상기 샘플입자들을 동시에 기존의 입자로 이용하여 현재포즈입자들을 예측한다.
이러한 예측 기법은 본 기술의 핵심이며, 상기 예제포즈입자들을 이용한다는 의미는 현재 입력된 실루엣 영상에서 현재포즈를 예측한다는 의미이고, 상기 샘플입자를 이용한다는 의미는 이전에 예측된 이전포즈로부터 현재포즈를 예측한다는 의미이다.
즉, 과거의 포즈정보와 현재의 포즈정보를 서로 융합하여 최적의 현재포즈를 결정할 수 있으므로 영상 객체 추적에 정확도를 매우 향상시킬 수 있는 것이다.
또한, 본 발명에서는 현재포즈입자들의 80%는 상기 샘플입자들로부터 예측하고 나머지 20%는 상기 예제포즈입자들로부터 예측하였다. 그러나, 사용자의 필요에 따라 비율은 조정이 가능하다.
도 8은 상기 현재포즈입자들을 추정하는 방법을 설명하기 위한 것으로, 상기 현재포즈입자들(230,(St 1,...,St n))은 제1 유사도(e)가 부여된 예제포즈입자들(210a)로부터 예측된 입자(210aa)와 상기 샘플입자(220,St -1 1)로부터 예측된 입자(220a)들의 집합으로 이루어진다.
또한, 제1 유사도(e)인 막대의 길이는 제1 유사도의 크기를 나타내며 유사도가 큰 예제포즈입자가 더 많이 현재포즈입자로 예측된다.
또한, 상기 샘플입자(220)들에는 유사도가 표시되어 있지 않으나 실질적으로 가중치 정보를 가지고 있으며, 가중치에 크기에 비례하여 상기 현재포즈입자들로 예측될 수 있다.
그러나, 가중치가 큰 순으로 특정 개수의 샘플입자들을 그대로 현재포즈입자로 사용할 수도 있다.
다음, 상기 현재포즈입자들(230) 각각과 상기 실루엣 영상(120)간의 유사도인 제2 유사도를 계산한다(S5000).
여기서 상기 제2 유사도의 계산은 상기 제1 유사도 계산과 실질적으로 동일하므로 설명을 생략한다.
다음. 상기 현재포즈입자들(230)들로부터 최적포즈(Xt)를 계산한다(S6000).
또한, 도 9를 참조하면 상기 최적포즈(Xt)는 상기 현재포즈입자들(230)의 기대치(expected value)로 계산되며, 상기 기대치는 아래의 수학식 4와 같이 가중치가 곱해진 현재포즈입자들의 합으로 계산된다.
Figure 112012063764070-pat00005
여기서, π는 상기 제2 가중치를 뜻한다.
다음, 상기 현재포즈입자들(230)을 리-샘플링하여 상기 샘플입자DB를 갱신하며, 다음 시간에 영상 객체 추적에 사용할 수 있게 한다(S7000).
또한, 여기서 상기 리-샘플링은 전술한바 있으므로 생략하기로 한다.
다음, 상기 최적포즈(Xt)를 상기 예제포즈입자DB(210)에 추가하거나 특정 예제포즈입자를 상기 최적포즈(Xt)로 대체하여 상기 예제포즈입자DB(210)를 갱신한다(S8000).
즉, 다음 시간에 사용되는 예제포즈입자DB(210)에는 이전 시간의 최적포즈의 정보가 포함되어 있으므로 추적의 정확도를 향상시킬 수 있는 것이다.
또한, 상기 예제포즈입자DB(210)의 예제포즈입자들은 서로 정해진 값 이상의 모션 에너지(Motion energy)를 갖는다.
또한, 도 10을 참조하면, 상기 모션 에너지는 아래의 수학식 5와 같이 각 예제포즈입자들 간의 유클라디언거리값(Euclidean distance)으로 정의한다.
Figure 112012063764070-pat00006
여기서, Xi,Xj는 서로 다른 임의의 예제포즈입자를 뜻한다.
즉, 상기 예제포즈입자들은 아래의 수학식 6과 같이 서로 일정한 거리값 이상의 포즈를 갖는다.
Figure 112012063764070-pat00007
여기서, σ는 거리 값을 뜻하며, 상기 모션 에너지와 동일한 의미를 갖는다.
또한, 도 11을 참조하면, 아래의 수학식 7과 같이 상기 최적포즈(Xt)가 상기 예제포즈입자DB(210)의 모든 예제포즈입자와 일정한 값 이상의 거리 값을 갖는 경우, 상기 최적포즈(Xt)를 상기 예제포즈입자DB(210)에 추가하고, 상기 예제포즈입자DB(210)의 모든 예제포즈입자와 일정한 값 이상의 거리 값을 갖지 않는 경우, 상기 상기 최적포즈(Xt)와 가장 거리 값이 낮은(가장 유사한 포즈를 갖는) 예제포즈입자(Xi)를 상기 최적포즈(Xt)로 대체하여 상기 예제포즈입자DB(210)를 갱신한다.
Figure 112012063764070-pat00008
다음, 다음 실루엣 영상의 입력이 있을 경우, 상기 영상 객체 추적방법을 반복하고 다음 실루엣 영상이 입력되지 않을 경우, 종료한다(S9000).
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
100:카메라 110:이차원 영상
120:실루엣 영상 130:거리변환영상
200:컴퓨터 210:예제포즈입자DB
220:샘플입자DB 230:현재포즈입자

Claims (8)

  1. 입자필터(Particle filter)를 이용한 영상 객체 추적방법으로써,
    움직이는 객체가 표현할 수 있는 포즈(pose)의 위치 및 형태 정보를 포함하는 서로 다른 예제포즈입자들을 생성하여 예제포즈입자DB에 저장하고, 이전 시간에 최적포즈 결정 후 리-샘플링(re-sampling)된 입자인 샘플입자들을 샘플입자DB에 저장하는 단계;
    추적하고자 하는 영상 객체가 포함된 실루엣 영상(Silhouette image)을 입력받는 단계;
    상기 실루엣 영상과 상기 각 예제포즈입자들 간의 유사도인 제1 유사도를 계산하는 단계;
    입자 필터(Particle filter)를 이용하여 상기 영상 객체로 추정되는 현재포즈입자들을 예측하되, 상기 현재포즈입자들의 일부는 상기 제1 유사도에 비례하여 상기 예제포즈입자들로부터 예측하고, 나머지는 상기 샘플입자들이 갖는 가중치에 비례하여 상기 샘플입자들로부터 예측하는 단계;
    상기 각 현재포즈입자들과 상기 실루엣 영상 간의 유사도인 제2 유사도를 계산한 후, 상기 제2 유사도에 비례하여 상기 각 현재포즈입자들에 가중치를 부여하는 단계;
    상기 현재포즈입자들의 기대치(expected value)를 최적포즈로 결정하는 단계; 및
    상기 현재포즈입자들을 상기 제2 유사도에 비례하여 부여된 가중치에 비례하여 리-샘플링한 후, 상기 샘플입자DB에 저장함으로써 상기 샘플입자들을 갱신하는 단계;를 포함하는 것을 특징으로 하는 입자필터를 이용한 영상 객체 추적방법.
  2. 제 1 항에 있어서,
    상기 예제포즈입자들은 서로 정해진 값 이상의 모션 에너지(Motion energy)를 갖는 입자들이며,
    상기 최적포즈를 결정하는 단계 이후에,
    상기 최적포즈와 상기 각 예제포즈입자들 간의 모션 에너지를 계산하여 상기 최적포즈가 상기 각 예제포즈입자들과 서로 정해진 값 이상의 모션 에너지를 갖는 경우, 상기 최적포즈를 상기 예제포즈입자DB에 추가하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 입자필터를 이용한 영상 객체 추적방법.
  3. 제 2 항에 있어서,
    상기 최적포즈를 상기 예제포즈입자DB에 저장하는 단계에서,
    상기 최적포즈가 상기 각 예제포즈입자들과 서로 정해진 값 이상의 모션 에너지를 갖지 않을 경우, 상기 예제포즈입자들 중, 상기 최적포즈와 가장 낮은 모션 에너지를 갖는 예제포즈입자를 상기 최적포즈로 대체하여 상기 예제포즈입자DB를 갱신하는 것을 특징으로 하는 입자필터를 이용한 영상 객체 추적방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 예제포즈입자들은 각각 관절모델로 생성되며,
    상기 관절모델은 몸통 박스, 머리 박스, 오른쪽 팔 상부 박스, 오른쪽 팔 하부 박스, 왼쪽 팔 상부 박스, 왼쪽 팔 하부 박스, 오른쪽 다리 상부 박스, 오른쪽 다리 하부 박스, 왼쪽 다리 상부 박스 및 왼쪽 다리 하부 박스의 열 개의 박스로 이루어지고, 각 박스의 위치좌표 및 크기정보를 포함하는 것을 특징으로 하는 입자필터를 이용한 영상 객체 추적방법.
  5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제1 유사도는 상기 실루엣 영상의 거리변환 영상을 생성하고, 상기 거리변환 영상에 상기 각 예제포즈입자들의 관절모델들을 겹쳐 관절모델의 테두리에 해당하는 상기 거리변환 영상의 픽셀 값의 합인 챔퍼거리(chamfer distance)를 구하고 구해진 챔퍼거리들을 정규화함으로써 계산되는 것을 특징으로 하는 입자필터를 이용한 영상 객체 추적방법.
  6. 제 5 항에 있어서,
    상기 제1 유사도는 아래의 수학식에 의해 계산되는 것을 특징으로 하는 입자필터를 이용한 영상 객체 추적방법.
    [수학식]
    Figure 112013089129928-pat00009

    여기서, 상기 I는 실루엣 영상, 상기 Xi는 각 예제포즈입자, 상기 CD는 챔퍼거리함수, ei는 제1 유사도이다.
  7. 컴퓨터를 수단으로 제 1 항 내지 제 3 항 중 어느 한 항의 단계들을 수행하여 상기 실루엣 영상의 최적포즈를 결정함으로써 상기 실루엣 영상 내의 영상 객체를 추적하는 영상 객체 추적 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장매체.
  8. 제 7 항의 영상 객체 추적 프로그램이 저장되고 통신망을 통해 상기 영상 객체 추적 프로그램을 클라이언트 컴퓨터로 전송할 수 있는 서버 컴퓨터.
KR1020120087225A 2012-08-09 2012-08-09 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법 KR101326644B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120087225A KR101326644B1 (ko) 2012-08-09 2012-08-09 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120087225A KR101326644B1 (ko) 2012-08-09 2012-08-09 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법

Publications (1)

Publication Number Publication Date
KR101326644B1 true KR101326644B1 (ko) 2013-11-08

Family

ID=49857074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120087225A KR101326644B1 (ko) 2012-08-09 2012-08-09 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법

Country Status (1)

Country Link
KR (1) KR101326644B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109633666A (zh) * 2019-01-18 2019-04-16 广州高新兴机器人有限公司 室内动态环境下基于激光雷达的定位方法及计算机存储介质
KR20200009347A (ko) 2018-07-18 2020-01-30 동명대학교산학협력단 Wi-Fi 환경에서 칼만필터와 입자필터를 혼용한 이동물체 위치추적 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120048958A (ko) * 2010-11-08 2012-05-16 재단법인대구경북과학기술원 객체 추적 및 위치 추정 방법
KR101165335B1 (ko) 2011-04-19 2012-07-18 전남대학교산학협력단 지수함수 기반의 입자 리샘플링 방법 및 그 방법을 이용한 영상객체 추적방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120048958A (ko) * 2010-11-08 2012-05-16 재단법인대구경북과학기술원 객체 추적 및 위치 추정 방법
KR101165335B1 (ko) 2011-04-19 2012-07-18 전남대학교산학협력단 지수함수 기반의 입자 리샘플링 방법 및 그 방법을 이용한 영상객체 추적방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200009347A (ko) 2018-07-18 2020-01-30 동명대학교산학협력단 Wi-Fi 환경에서 칼만필터와 입자필터를 혼용한 이동물체 위치추적 방법
CN109633666A (zh) * 2019-01-18 2019-04-16 广州高新兴机器人有限公司 室内动态环境下基于激光雷达的定位方法及计算机存储介质
CN109633666B (zh) * 2019-01-18 2021-02-02 广州高新兴机器人有限公司 室内动态环境下基于激光雷达的定位方法及计算机存储介质

Similar Documents

Publication Publication Date Title
CN107179768B (zh) 一种障碍物识别方法及装置
EP3644277A1 (en) Image processing system, image processing method, and program
CN111079619A (zh) 用于检测图像中的目标对象的方法和装置
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
KR20220160066A (ko) 이미지 처리 방법 및 장치
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN113177968A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN106033601A (zh) 检测异常情形的方法和装置
CN112818925A (zh) 一种城市建筑和树冠识别方法
WO2021249114A1 (zh) 目标跟踪方法和目标跟踪装置
US20230281913A1 (en) Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN113869429A (zh) 模型训练方法及图像处理方法
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
CN114169425B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN115482556A (zh) 关键点检测模型训练及虚拟角色驱动的方法和对应的装置
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
KR101326644B1 (ko) 예제포즈입자 기반의 입자필터를 이용한 영상 객체 추적 방법
CN113793251A (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN115984093A (zh) 基于红外图像的深度估计方法、电子设备以及存储介质
CN115375742A (zh) 生成深度图像的方法及系统
CN115729250A (zh) 一种无人机的飞行控制方法、装置、设备及存储介质
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant