KR20110038971A - 스케일을 고려한 이미지 패치 추적 장치 및 방법 - Google Patents

스케일을 고려한 이미지 패치 추적 장치 및 방법 Download PDF

Info

Publication number
KR20110038971A
KR20110038971A KR1020090096196A KR20090096196A KR20110038971A KR 20110038971 A KR20110038971 A KR 20110038971A KR 1020090096196 A KR1020090096196 A KR 1020090096196A KR 20090096196 A KR20090096196 A KR 20090096196A KR 20110038971 A KR20110038971 A KR 20110038971A
Authority
KR
South Korea
Prior art keywords
scale
image patch
change
patch
registered image
Prior art date
Application number
KR1020090096196A
Other languages
English (en)
Other versions
KR101594113B1 (ko
Inventor
최기완
이형기
박지영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090096196A priority Critical patent/KR101594113B1/ko
Priority to CN201010135629.9A priority patent/CN102044079B/zh
Priority to US12/662,528 priority patent/US8903159B2/en
Publication of KR20110038971A publication Critical patent/KR20110038971A/ko
Application granted granted Critical
Publication of KR101594113B1 publication Critical patent/KR101594113B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

스케일을 고려한 이미지 추적 장치 및 방법이 개시된다. 본 발명의 일 양상에 따르면, 등록된 이미지 패치는 소정의 스케일 불변 지수(SII)에 따라 스케일 불변 이미지 패치와 스케일 변화 이미지 패치로 구분될 수 있다. 등록된 이미지 패치는 획득된 영상에서 추적되며, 등록된 이미지 패치를 획득된 영상에서 찾을 때, 스케일 불변 이미지 패치는 그 위치만을 조정하여 추적하고 스케일 변화 이미지 패치는 그 위치와 스케일을 함께 조정하여 추적함으로써 추적의 정확도를 높이는 것이 가능하다.
이미지 패치(image patch), 스케일 불변 지수(scale invariance index), 스케일 불변(scale invariance), 스케일 변화(scale variance)

Description

스케일을 고려한 이미지 패치 추적 장치 및 방법{Apparatus and Method for tracking image patch in consideration of scale}
영상을 이용한 로봇의 위치 인식 기술과 관련된다.
일반적으로 로봇이란 자율적으로 어떠한 임무를 수행하는 자동 장치를 통칭한다. 이러한 로봇은 극한 환경 또는 위험 지역에서 사람을 대신하여 작업을 수행할 수 있기 때문에 많은 각광을 받고 있다. 특히 청소 로봇과 같이 자율적으로 집안을 돌아다니면서 가사 업무를 도와주는 이동 로봇도 다수 보급되기에 이르렀다.
이러한 이동 로봇은 다양한 기능을 갖는데, 그 중 자신의 위치를 인식하는 기능은 가장 기본적인 기능 중 하나이다. 이동 로봇의 위치는 로봇에 장착된 카메라로부터 얻어진 영상에 기초하여 측정될 수 있다. 영상에 기반하여 로봇의 위치를 추정하는 구체적인 방법으로는 SLAM (simultaneously localization and mapping) 방법이 대표적이다.
SLAM 방법에서는 초기 영상에서 특징점을 등록하고 그 이후에 연속적으로 들어오는 영상들에서 등록된 특징점에 해당하는 이미지 상의 위치를 추적하여 각 이미지 프레임들 사이의 특징점 위치 관계를 기초로 로봇의 위치를 구하는 것이 가능 하다.
로봇의 위치를 구하기 위해서는 이미지 프레임 사이에 특징점의 위치가 추적되어야 한다. 통상적으로, 특징점을 추적하는 방법으로는 처음 특징점을 등록하는 시점에서 특징점을 중심으로 일정 영역의 이미지 패치를 저장하고, 그 이후의 프레임에서 저장된 이미지 패치를 찾는 방법이 사용된다.
이미지 패치 추적의 정확도를 높이고 추적 시간을 단축시키는 스케일을 고려한 이미지 패치 추적 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 이미지 패치 추적 장치는, 등록된 이미지 패치(image patch)에 대해 스케일 변화에 따른 픽셀 값 변화 량에 기초하여 정의되는 스케일 불변 지수(scale invariance index, SII)를 계산하는 스케일 불변 지수 계산부 및 스케일 불변 지수가 임계 값 미만인 경우 등록된 이미지 패치를 스케일 불변(scale invariance) 이미지 패치로 결정하고, 스케일 불변 지수가 임계 값 이상인 경우 등록된 이미지 패치를 스케일 변화(scale variance) 이미지 패치로 결정하는 스케일 특성 결정부를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따라, 이미지 패치 추적 장치는, 수신된 영상에서 등록된 이미지 패치를 추적하되, 스케일 불변 이미지 패치로 결정된 이미지 패치의 경우, 등록된 이미지 패치의 위치를 조절하여 추적하고, 스케일 변화 이미지 패치로 결정된 이미지 패치의 경우, 등록된 이미지 패치의 위치 및 크기를 조절하여 추적하는 이미지 패치 추적부를 더 포함할 수 있다.
본 발명의 일 양상에 따라, 스케일 불변 지수는 스케일 변화 중심을 고려한 스케일 변화에 따른 픽셀 값 변화 량의 제곱의 평균 중 최소 값으로 정의될 수 있다.
한편, 본 발명의 일 양상에 따른 이미지 패치 추적 방법은, 등록된 이미지 패치(image patch)에 대해 스케일 변화에 따른 픽셀 값 변화 량에 기초하여 정의되는 스케일 불변 지수(scale invariance index, SII)를 계산하는 단계 및 스케일 불변 지수가 임계 값 미만인 경우 등록된 이미지 패치를 스케일 불변(scale invariance) 이미지 패치로 결정하고, 스케일 불변 지수가 임계 값 이상인 경우 등록된 이미지 패치를 스케일 변화(scale variance) 이미지 패치로 결정하는 단계를 포함할 수 있다.
또한, 스케일 불변 지수를 계산하는 단계는, 등록된 이미지 패치 내에 다수의 스케일 변화 중심을 설정하는 단계 및 설정된 각각의 스케일 변화 중심으로부터 스케일 변화에 따른 픽셀 값 변화 량의 제곱의 평균을 계산하고, 계산 결과 중에서 최소 값을 스케일 불변 지수로 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따라, 이미지 패치 추적 방법은, 수신된 영상에서 상기 등록된 이미지 패치를 추적하되, 등록된 이미지 패치 중에서 스케일 불변 이미지 패치로 결정된 이미지 패치의 경우, 등록된 이미지 패치의 위치를 조절하여 추적하고, 등록된 이미지 패치 중에서 스케일 변화 이미지 패치로 결정된 이미지 패치의 경우, 등록된 이미지 패치의 위치 및 크기를 조절하여 추적하는 단계를 더 포함할 수도 있다.
개시된 내용에 따르면, 등록된 이미지 패치의 스케일 불변 또는 스케일 변화 특성에 따라 최적의 추적 파라미터가 설정되므로 이미지 패치의 추적의 정확도를 높이고 추적에 필요한 연산 량 및 연산 속도를 줄일 수가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 로봇의 위치 인식 시스템을 도시한다.
도 1에서, 로봇의 위치 인식 시스템(100)은 영상 획득부(101), 특징점 추출부(102), 패치 등록부(103), 메모리(104), 패치 추적부(105), 및 위치 계산부(106)를 포함할 수 있다.
로봇이 어떤 지역을 이동하면서 특정한 임무를 수행하는 경우, 영상 획득부(101)는 주기적으로 주변을 촬영하여 영상을 획득한다. 예컨대, 영상 획득부(101)는 전방의 피사체로부터 반사되는 빛을 검출하고, 검출된 빛을 디지털 신호로 변환 및 처리하여 전방의 영상을 획득하는 것이 가능하다. 이를 위해, 영상 획득부(101)에는 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor)와 같은 이미지 센서와, 이미지 센서의 출력을 수신하여 2D 이미지를 생성하는 영상처리모듈 등이 구비될 수 있다.
특징점 추출부(102)는 영상 획득부(101)로부터 획득된 영상에서 특징점을 추출한다. 예컨대, 특징점 추출부(102)는 Harris corner detection 기법을 사용하여 영상에서 물체의 코너를 추출하는 것이 가능하다.
패치 등록부(103)는 이미지 패치(image patch)를 메모리(104)에 등록한다. 이미지 패치는 추출된 특징점 주변 영역에 대응되는 영상의 특정 부분이 될 수 있 다.
패치 추적부(105)는 영상 획득부(101)로부터 획득된 영상에서 등록된 이미지 패치를 추적한다. 즉, 로봇이 이동을 하는 경우, 이전 위치에서 획득된 영상과 현재 위치에서 획득된 영상 간에 차이가 발생할 수 있는데, 패치 추적부(105)는 이전 위치에서 등록된 이미지 패치와 실질적으로 동일한 이미지 패치를 현재 위치에서 획득된 영상에서 추출하는 것이 가능하다.
현재 위치에서 획득된 영상에서 등록된 이미지 패치를 찾으면, 위치 계산부(106)는 등록된 이미지 패치와 추출된 이미지 패치 간의 특징점을 매칭하여 로봇의 위치를 계산한다. 로봇의 위치 계산 방법으로는 여러 가지 알고리즘이 이용될 수 있다. 예컨대, 확장 칼만 필터 기반 또는 파티클 기반의 동시적 위치 추적 및 지도 작성(simultaneous localization and mapping, SLAM) 기법이 이용될 수 있다.
본 실시 예에서, 패치 추적부(105)가 영상에서 등록된 이미지 패치를 추적하는 경우, 등록된 이미지 패치의 스케일 특성에 따라 이미지 패치의 위치만을 조절하여 영상을 스캐닝하거나 이미지 패치의 위치 및 스케일을 조절하여 영상을 스캐닝하는 것이 가능하다. 여기서, 이미지 패치의 스케일 특성은 스케일 불변(scale invariance) 특성과 스케일 변화(scale variance) 특성으로 구분될 수 있다.
예를 들어, 이미지 패치를 추적할 때, 등록된 이미지 패치가 스케일 불변 이미지 패치인 경우, 2개의 자유도(즉, x 좌표 변수 및 y 좌표 변수)를 갖는 파라미터를 사용하여 이미지 패치를 추적하는 것이 가능하고, 등록된 이미지 패치가 스케일 변화 이미지 패치인 경우, 3개의 자유도(즉, x 좌표 변수, y 좌표 변수, 및 스 케일 변수)를 갖는 파라미터를 사용하여 이미지 패치를 추적하는 것이 가능하다.
도 2는 본 발명의 일 실시 예에 따른 스케일 불변 이미지 패치를 도시한다.
도 2를 참조하면, 스케일 불변 이미지 패치란 이미지 패치(201) 내의 특정한 스케일 변화 중심(202)으로부터 스케일을 확대 또는 축소시켰을 때 스케일 변화 전후 간 이미지의 모양(또는 형태) 변화가 거의 없는 이미지 패치가 될 수 있다. 여기서, 스케일 변화 중심(202)은 스케일 확대 또는 축소의 기준 점으로 정의될 수 있으며, 이미지 패치(201) 내의 다양한 지점이 이러한 스케일 변화 중심(202)으로 설정되는 것이 가능하다.
도 2에서, 스케일 변화 중심(202)을 기준으로 이미지 패치(201)를 확대시킨 경우, 확대 후의 이미지 패치(203)와 원래의 이미지 패치(201) 간의 모양 변화가 거의 없는 것을 알 수 있다. 만약, 스케일 변화 중심(202)을 다른 위치로 설정한 경우, 스케일 변화 전후로 모양 변화가 발생할 수도 있으나, 모양 변화를 유발하지 않는 스케일 변화 중심(202)이 적어도 1개 존재하면, 스케일 불변 이미지 패치로 본다.
등록된 이미지 패치가 도 2와 같은 스케일 불변 이미지 패치인 경우, 패치 추적부(105, 도 1참조)는 이미지 패치의 위치만을 조절하여 이미지 패치를 추적하는 것이 가능하다.
도 3은 본 발명의 일 실시 예에 따른 스케일 변화 이미지 패치를 도시한다.
도 3을 참조하면, 스케일 변화 이미지 패치란 이미지 패치(301) 내의 모든 스케일 변화 중심(302)으로부터 스케일을 확대 또는 축소시켰을 때 스케일 변화 전 후 간 이미지의 모양(또는 형태)이 유지되지 아니하는 이미지 패치가 될 수 있다. 여기서, 스케일 변화 중심(302)은 스케일 확대 또는 축소의 기준 점으로 정의될 수 있으며, 이미지 패치(301) 내의 다양한 지점이 이러한 스케일 변화 중심(202)으로 설정되는 것이 가능하다.
도 3에서, 스케일 변화 중심(302)을 이미지 패치(301) 내의 어떠한 지점에 설정하더라도 확대 후의 이미지 패치(303)와 원래의 이미지 패치(301) 간의 모양 변화가 발생하는 것을 알 수 있다.
등록된 이미지 패치가 도 3과 같은 스케일 변화 이미지 패치인 경우, 패치 추적부(105, 도 1참조)는 이미지 패치의 위치 및 스케일을 조절하여 이미지 패치를 추적하는 것이 가능하다.
도 4는 본 발명의 일 실시 예에 따른 이미지 패치 추적 장치를 도시한다.
도 4에서, 이미지 패치 추적 장치(400)는 SII 계산부(401), 스케일 특성 결정부(402), 및 이미지 패치 추적부(403)를 포함할 수 있다.
SII 계산부(401)는 등록된 이미지 패치에 대해 스케일 불변 지수를 계산한다. 여기서 스케일 불변 지수(scale invariance index, SII)는 등록된 이미지 패치의 스케일 특성과 관련된 값으로, 스케일 변화에 따라 이미지의 변화 량이 어느 정도인지를 나타낸다. 이러한 SII는 스케일 변화에 따른 이미지 패치의 픽셀 값 변화 량의 제곱의 평균(mean of squared intensity change, MSI)에 기초하여 정의될 수 있다. MSI는 스케일 변화의 중심을 이미지 패치 내에서 어느 지점에 설정하느냐에 따라 달라질 수 있는데, SII는 각각의 스케일 변화 중심 별로 계산된 다수 의 MSI 중 최소 값으로 계산될 수 있다. 구체적인 SII 계산 방법에 대해서는 후술한다.
스케일 특성 결정부(402)는 계산된 SII에 기초하여 등록된 이미지 패치의 스케일 특성을 결정한다. 예컨대, 스케일 특성 결정부(402)는 계산된 SII와 소정의 임계 값(예컨대, 약 800~ 1000)을 비교한 후, 비교 결과에 따라 등록된 이미지 패치를 스케일 불변 이미지 패치 또는 스케일 변화 이미지 패치로 결정하는 것이 가능하다. 만약, 계산된 SII가 임계 값 미만인 경우 등록된 이미지 패치를 도 2와 같은 스케일 불변 이미지 패치로 결정한다. 만약, 계산된 SII가 임계 값 이상인 경우 등록된 이미지 패치를 도 3과 같은 스케일 변화 이미지 패치로 결정한다.
이미지 패치 추적부(403)는 등록된 이미지 패치의 스케일 특성에 기초하여 수신된 영상에서 등록된 이미지 패치를 추적한다. 예컨대, 이미지 패치 추적부(403)는 Lucas-Kanade Algorithm에 기초하여 영상에서 등록된 이미지 패치를 찾을 수가 있다. 이 때, 등록된 이미지 패치가 스케일 불변 이미지 패치인 경우, 등록된 이미지 패치의 위치를 조절하여 추적하고, 등록된 이미지 패치가 스케일 변화 이미지 패치인 경우, 등록된 이미지 패치의 위치 및 크기를 조절하는 것이 가능하다.
도 5는 본 발명의 일 실시 예에 따른 스케일 불변 지수(SII)를 도시한다.
도 5를 참조하여, SII를 계산하는 구체적인 방법을 설명하면 다음과 같다.
먼저, MSI(mean of squared intensity change)를 정의한다.
Figure 112009061993292-PAT00001
수학식 1에서, MSI는 스케일 변화에 따른 이미지 패치(501)의 intensity 변화 량의 제곱의 평균으로 정의된다. 여기서 intensity는 이미지 패치(501)의 각 픽셀 값이 될 수 있다.
그런데, 수학식 1의 MSI는 스케일 변화 중심을 이미지 패치(501)의 중심(502)으로 설정한 경우에 한정되는 것으로, 스케일 변화 중심을 이미지 패치(501)의 중심(502)이 아닌 다른 곳에 설정하면 그 값이 달라 질 수 있다.
따라서 스케일 변화 중심을 고려한 MSI를 다시 정의하면 다음과 같다.
Figure 112009061993292-PAT00002
수학식 2에서, x0 및 y0는 스케일 변화 중심을 나타낸다. 즉 수학식 2에서, MSI는 스케일 변화 중심 별로 여러 개가 계산될 수 있다. 이 때, SII는 다수의 MSI 중 최소 값으로 정의될 수 있다. 이를 수식으로 살펴보면 다음과 같다.
Figure 112009061993292-PAT00003
수학식 3에서, SII는 다음과 같은 선형 최소자승기법(linear least square method)을 이용하여 구할 수가 있다.
Figure 112009061993292-PAT00004
이와 같이, 등록된 각각의 이미지 패치에 대해 SII를 계산하면, 계산된 SII를 이용하여 등록된 이미지 패치의 특성을 스케일 불변 또는 스케일 변화로 결정하는 것이 가능하다.
도 6은 본 발명의 일 실시 예에 따라 획득된 영상을 도시한다.
등록된 이미지 패치에 대해 SII 값이 계산되고 스케일 특성이 결정되면, 이미지 패치 추적부(403)는 영상(601)에서 등록된 이미지 패치(602)를 추적한다.
이 때, 등록된 이미지 패치(602)가 스케일 불변 이미지 패치인 경우(즉, SII 값이 임계 값 미만인 경우), 이미지 패치 추적부(403)는 추적을 위한 파라미터로서 x 좌표 변수와 y 좌표 변수를 설정하고, 설정된 파라미터를 이용하여 영상(601)에서 등록된 이미지 패치(602)를 찾는다. 예컨대, 스케일 불변 이미지 패치를 추적하는 경우 2개의 자유도를 갖는 파라미터를 사용할 수 있다.
또한, 등록된 이미지 패치(602)가 스케일 변화 이미지 패치인 경우(즉, SII 값이 임계 값 이상인 경우), 이미지 패치 추적부(403)는 추적을 위한 파라미터로서 x 좌표 변수와 y 좌표 변수 외에 스케일 변수(s)도 함께 설정하고, 설정된 파라미터를 이용하여 영상(601)에서 등록된 이미지 패치(602)를 찾는다. 예컨대, 스케일 변화 이미지 패치를 추적하는 경우 3개의 자유도를 갖는 파라미터를 사용할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 이미지 패치 추적 방법을 도시한다.
도 7 및 도 4를 참조하면, SII 계산부(401)는 등록된 이미지 패치에 대해 SII 값을 계산한다(701). SII 값은 스케일 변화에 따라 이미지의 변화 량이 어느 정도인지를 나타내는 것으로, 전술한 수학식 1 내지 4 및 도 5에서 설명한 것과 같은 방식이 이용될 수 있다.
그리고, 스케일 특성 결정부(402)는 등록된 이미지 패치의 스케일 특성을 결정하기 위해 계산된 SII 값과 임계 값을 비교한다(702). 여기서 임계 값은 영상이 8 bit gray image인 경우 약 800 내지 1000의 값을 가질 수 있다.
비교 결과, SII 값이 임계 값 미만인 경우, 스케일 특성 결정부(402)가 등록된 이미지 패치를 스케일 불변 이미지 패치로 결정한다(703). 그리고 이미지 패치 추적부(403)가 스케일 불변 이미지 패치로 결정된 이미지 패치의 위치를 변화시키면서 추적한다(704).
비교 결과, SII 값이 임계 값 이상인 경우, 스케일 특성 결정부(402)가 등록된 이미지 패치를 스케일 변화 이미지 패치로 결정한다(705). 그리고 이미지 패치 추적부(403)가 스케일 불변 이미지 패치로 결정된 이미지 패치의 위치 및 스케일을 변화시키면서 추적한다(706).
이와 같이, 이미지 패치의 스케일 특성을 결정하고 결정된 스케일 특성에 따라 추적을 위한 파라미터를 적절하게 설정할 수 있으므로, 추적의 성공율과 정확도를 높이고 연산 시간을 단축시키는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨 터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
도 1은 본 발명의 일 실시 예에 따른 로봇의 위치 인식 시스템을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 스케일 불변 이미지 패치를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 스케일 변화 이미지 패치를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 스케일을 고려한 이미지 패치 추적 장치를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 스케일 불변 지수를 도시한다.
도 6은 본 발명의 일 실시 예에 따라 획득된 영상을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 스케일을 고려한 이미지 패치 추적 방법을 도시한다.

Claims (8)

  1. 등록된 이미지 패치(image patch)에 대해 스케일 변화에 따른 픽셀 값 변화 량에 기초하여 정의되는 스케일 불변 지수(scale invariance index, SII)를 계산하는 스케일 불변 지수 계산부; 및
    상기 스케일 불변 지수가 임계 값 미만인 경우 상기 등록된 이미지 패치를 스케일 불변(scale invariance) 이미지 패치로 결정하고, 상기 스케일 불변 지수가 상기 임계 값 이상인 경우 상기 등록된 이미지 패치를 스케일 변화(scale variance) 이미지 패치로 결정하는 스케일 특성 결정부; 를 포함하는 스케일을 고려한 이미지 패치 추적 장치.
  2. 제 1 항에 있어서,
    상기 스케일 변화에 따른 픽셀 값 변화 량은, 상기 등록된 이미지 패치의 스케일 확대 또는 축소의 기준 점으로 정의되는 스케일 변화 중심의 위치에 따라 달라지며,
    상기 스케일 불변 지수는, 상기 스케일 변화 중심 별 상기 변화 량의 제곱의 평균 중에서 최소 값으로 정의되는, 스케일을 고려한 이미지 패치 추적 장치.
  3. 제 2 항에 있어서,
    상기 스케일 불변 지수 계산부는, 상기 등록된 이미지 패치 내에 다수의 상 기 스케일 변화 중심을 설정하고, 설정된 각각의 스케일 변화 중심으로부터 상기 스케일 변화에 따른 픽셀 값 변화 량의 제곱의 평균을 계산하고, 계산 결과 중에서 최소 값을 상기 스케일 불변 지수로 선택하는, 스케일을 고려한 이미지 패치 추적 장치.
  4. 제 1 항에 있어서,
    수신된 영상에서 상기 등록된 이미지 패치를 추적하되,
    상기 등록된 이미지 패치 중에서 상기 스케일 불변 이미지 패치로 결정된 이미지 패치의 경우, 상기 등록된 이미지 패치의 위치를 조절하여 추적하고,
    상기 등록된 이미지 패치 중에서 상기 스케일 변화 이미지 패치로 결정된 이미지 패치의 경우, 상기 등록된 이미지 패치의 위치 및 크기를 조절하여 추적하는 이미지 패치 추적부; 를 더 포함하는 스케일을 고려한 이미지 패치 추적 장치.
  5. 등록된 이미지 패치(image patch)에 대해 스케일 변화에 따른 픽셀 값 변화 량에 기초하여 정의되는 스케일 불변 지수(scale invariance index, SII)를 계산하는 단계; 및
    상기 스케일 불변 지수가 임계 값 미만인 경우 상기 등록된 이미지 패치를 스케일 불변(scale invariance) 이미지 패치로 결정하고, 상기 스케일 불변 지수가 상기 임계 값 이상인 경우 상기 등록된 이미지 패치를 스케일 변화(scale variance) 이미지 패치로 결정하는 단계; 를 포함하는 스케일을 고려한 이미지 패 치 추적 방법.
  6. 제 5 항에 있어서,
    상기 스케일 변화에 따른 픽셀 값 변화 량은, 상기 등록된 이미지 패치의 스케일 확대 또는 축소의 기준 점으로 정의되는 스케일 변화 중심의 위치에 따라 달라지며,
    상기 스케일 불변 지수는, 상기 스케일 변화 중심 별 상기 변화 량의 제곱의 평균 중에서 최소 값으로 정의되는, 스케일을 고려한 이미지 패치 추적 방법.
  7. 제 6 항에 있어서,
    상기 스케일 불변 지수를 계산하는 단계는,
    상기 등록된 이미지 패치 내에 다수의 상기 스케일 변화 중심을 설정하는 단계; 및
    상기 설정된 각각의 스케일 변화 중심으로부터 상기 스케일 변화에 따른 픽셀 값 변화 량의 제곱의 평균을 계산하고, 계산 결과 중에서 최소 값을 상기 스케일 불변 지수로 선택하는 단계; 를 포함하는 스케일을 고려한 이미지 패치 추적 방법.
  8. 제 5 항에 있어서,
    수신된 영상에서 상기 등록된 이미지 패치를 추적하되,
    상기 등록된 이미지 패치 중에서 상기 스케일 불변 이미지 패치로 결정된 이미지 패치의 경우, 상기 등록된 이미지 패치의 위치를 조절하여 추적하고,
    상기 등록된 이미지 패치 중에서 상기 스케일 변화 이미지 패치로 결정된 이미지 패치의 경우, 상기 등록된 이미지 패치의 위치 및 크기를 조절하여 추적하는 단계; 를 더 포함하는 스케일을 고려한 이미지 패치 추적 방법.
KR1020090096196A 2009-10-09 2009-10-09 스케일을 고려한 이미지 패치 추적 장치 및 방법 KR101594113B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090096196A KR101594113B1 (ko) 2009-10-09 2009-10-09 스케일을 고려한 이미지 패치 추적 장치 및 방법
CN201010135629.9A CN102044079B (zh) 2009-10-09 2010-03-30 考虑比例跟踪图像补丁的方法和设备
US12/662,528 US8903159B2 (en) 2009-10-09 2010-04-21 Method and apparatus for tracking image patch considering scale

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090096196A KR101594113B1 (ko) 2009-10-09 2009-10-09 스케일을 고려한 이미지 패치 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110038971A true KR20110038971A (ko) 2011-04-15
KR101594113B1 KR101594113B1 (ko) 2016-02-16

Family

ID=43854870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090096196A KR101594113B1 (ko) 2009-10-09 2009-10-09 스케일을 고려한 이미지 패치 추적 장치 및 방법

Country Status (3)

Country Link
US (1) US8903159B2 (ko)
KR (1) KR101594113B1 (ko)
CN (1) CN102044079B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011056483A1 (de) 2011-04-26 2012-10-31 Hyundai Motor Company Automatikgetriebe eines Fahrzeuges

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110021191A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 로봇의 슬립 감지 장치 및 방법
CN104501794A (zh) * 2014-11-24 2015-04-08 杭州申昊科技股份有限公司 一种基于环境直线特征的地图创建方法
CN104503449A (zh) * 2014-11-24 2015-04-08 杭州申昊科技股份有限公司 一种基于环境直线特征的定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060047552A (ko) * 2004-04-27 2006-05-18 마이크로소프트 코포레이션 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭
KR100753490B1 (ko) * 2006-01-04 2007-08-31 한국과학기술원 크기불변특징변환(ｓｉｆｔ)를 이용한 디지털 워터마킹방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828769A (en) 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US6496184B1 (en) 1998-11-30 2002-12-17 William T. Freeman Method for inferring scenes from test images and training data using probability propagation in a markov network
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP2001022942A (ja) 1999-06-18 2001-01-26 Mitsubishi Electric Inf Technol Center America Inc テスト画像からの情景の推定方法
KR100497068B1 (ko) 2003-04-28 2005-06-23 김병수 디지털 이미지의 고유객체 속성 차별화 장치 및 방법
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
TWI316831B (en) * 2004-03-04 2009-11-01 Au Optronics Corp Electronic device
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060047552A (ko) * 2004-04-27 2006-05-18 마이크로소프트 코포레이션 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭
KR100753490B1 (ko) * 2006-01-04 2007-08-31 한국과학기술원 크기불변특징변환(ｓｉｆｔ)를 이용한 디지털 워터마킹방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011056483A1 (de) 2011-04-26 2012-10-31 Hyundai Motor Company Automatikgetriebe eines Fahrzeuges

Also Published As

Publication number Publication date
US8903159B2 (en) 2014-12-02
US20110085699A1 (en) 2011-04-14
KR101594113B1 (ko) 2016-02-16
CN102044079A (zh) 2011-05-04
CN102044079B (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
KR101491461B1 (ko) 공분산 기술자를 이용하는 물체 인식 방법 및 장치
US10748294B2 (en) Method, system, and computer-readable recording medium for image object tracking
CN111399492A (zh) 一种机器人及其障碍物感知方法和装置
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
KR101868903B1 (ko) 손 추적 장치 및 방법
CN110021029B (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN113052907B (zh) 一种动态环境移动机器人的定位方法
CN115144828B (zh) 一种智能汽车多传感器时空融合的自动在线标定方法
CN108074251A (zh) 基于单目视觉的移动机器人导航控制方法
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
KR101456172B1 (ko) 이동로봇의 위치인식 장치, 방법 및 이동로봇
CN116740126A (zh) 目标跟踪方法、高速相机及存储介质
KR20110038971A (ko) 스케일을 고려한 이미지 패치 추적 장치 및 방법
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
KR101333459B1 (ko) 차선 인식 방법 및 장치
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
JP6577595B2 (ja) 車両用外界認識装置
KR101725685B1 (ko) 천장 외곽선 검출에 의한 이동 로봇의 위치 인식 방법 및 장치
US20180268228A1 (en) Obstacle detection device
WO2021124657A1 (ja) カメラシステム
KR101566448B1 (ko) 깊이정보를 사용한 바닥영역 처리방법과 이를 위한 처리장치 및 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
Stock et al. Subpixel corner detection for tracking applications using cmos camera technology

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 5