KR20120044792A - 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법 - Google Patents

인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법 Download PDF

Info

Publication number
KR20120044792A
KR20120044792A KR1020100106288A KR20100106288A KR20120044792A KR 20120044792 A KR20120044792 A KR 20120044792A KR 1020100106288 A KR1020100106288 A KR 1020100106288A KR 20100106288 A KR20100106288 A KR 20100106288A KR 20120044792 A KR20120044792 A KR 20120044792A
Authority
KR
South Korea
Prior art keywords
tracking
point
thread
recognition
value
Prior art date
Application number
KR1020100106288A
Other languages
English (en)
Other versions
KR101160908B1 (ko
Inventor
이석한
정재헌
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100106288A priority Critical patent/KR101160908B1/ko
Publication of KR20120044792A publication Critical patent/KR20120044792A/ko
Application granted granted Critical
Publication of KR101160908B1 publication Critical patent/KR101160908B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법에 관한 것이다. 좀 더 구체적으로 본 발명은 인식 스레드가 카메라로부터 획득한 영상의 매 프레임에서 소정 물체를 인식하고, 그 소정 물체의 특징 점을 추출하는 (A)단계와, 상기 (A)단계에 의해 추출된 특징 점이 기 설정된 개수 이상이면, 그 특징 점을 추적 점(Tracking point)으로 생성하는 (B)단계와, 추적 스레드가 칼만 필터를 이용하여 상기 (B)단계에 의해 생성된 추적 점이 아웃라이어 추적 점인지 또는 인라이어 추적 점인지를 판단하는 (C)단계와, 추적 스레드가 상기 (C)단계에 의해 인라이어 추적 점이라고 판단된 추적 점을 데이터 셋에 저장하는 (D)단계, 그리고 상기 (D)단계에 의해 데이터 셋에 저장된 인라이어 추적 점의 개수가 기 설정된 개수 이상이 되면, 그 인라이어 추적 점을 POSIT 알고리즘에 반영하여 상기 소정 물체의 자세를 추정하는 (E)단계를 포함한다. 상술한 바와 같은 본 발명에 따르면, 본 발명은 복잡한 환경에서 실시간으로 더욱 강인한 물체의 자세를 추정할 수 있는 장점이 있다.

Description

인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법{METHOD TO REMOVE OUTLIER FOR RECOGNITION BASED VISUAL TRACKING}
본 발명은 복잡한 환경에서 강인한 인식 기반 비주얼 서보 컨트롤을 하기 위하여 아웃라이어를 제거하는 것에 관한 것으로, 더욱 자세하게는 소정 물체를 촬영한 영상의 매 프레임으로부터 특징점 추출 알고리즘을 이용하여 특징 점을 찾고, 그 특징 점으로부터 추적 점을 생성하며, 그 추적 점의 현재와 이전상태를 칼만 필터의 상태 방정식 값으로 입력하여 다음 프레임에서의 추적 점의 위치를 예측한 뒤, 그 예측결과와 실제 다음 프레임 추적 점의 비교 값을 산출하고, 그 비교 값이 기 설정된 문턱치(Threshold value)를 넘어버리는 경우, 아웃라이어(에러)로 판단하고, 기 설정된 문턱치를 넘기지 않는 경우 인라이어(유효한 데이터)로 판단하며, 인라이어만을 이용하여 그 소정 물체의 자세를 추정하도록 하는 복잡한 환경에서 강인한 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법에 관한 것이다.
본 발명은 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법에 관한 것이다.
본 발명은 앞으로 상용화될 서비스 로봇의 두뇌부에 해당하는 기술로서, 로봇이 주어진 임무를 수행하기 위해서는 물체 인식이 필수적이다.
예컨대, 로봇에게 "냉장고에 가서 콜라 캔을 가져오라"는 명령을 할 경우, 냉장고 인식, 손잡이 인식, 콜라 캔 인식 등과 같은 물체인식과정이 필요하다.
물체인식기술은 1970년대 컴퓨터가 본격적으로 나오면서부터 활발히 연구되어 왔다.
1980년대에 물체인식기술은 2차원 모양 매칭에 기반한 기술로 주로 산업비전에서 부품검사 등에 이용되었으며, 1980년대 말부터 3차원 모델 기반 물체인식기술이 활발히 연구되었다.
특히, 3차원 다면체 인식을 위해 얼라인먼트(Alignment) 기법이 성공적으로 적용되었다.
1990년 중반부터 영상기반기법이 서서히 대두되면서 좀 더 본격적인 물체인식연구가 진행되었는데, PCA와 같은 주성분 분석기법을 이용한 물체인식기법이 그 중 한 예이다.
그러나, 종래의 얼라인먼트(Alignment) 기법은 직선성분이 잘 나오는 다면체에만 작동하는 한계가 있었으며, 영상기반 방법은 픽셀값을 바로 인식에 사용하기 때문에 조명 변화 등과 같이 환경에 민감하다는 문제가 있다.
특히 종래의 방법들은 전체 모양 매칭을 근간으로 하기 때문에 가려짐이나 배경잡음에 민감하고, 물체인식과 추적을 별개로 생각하여 인식 따로 추적 따로 하기 때문에 처리 효율이 매우 떨어지는 문제가 있다.
따라서 물체를 얼마나 정확하게 인식하고, 정확하게 물체의 자세를 추정하는 기술의 필요성이 대두되고 있다.
본 발명은 상기 문제점을 해결하기 위하여 발명된 것으로, 본 발명은 소정 물체를 촬영한 영상의 매 프레임으로부터 특징점 추출 알고리즘을 이용하여 특징 점을 찾고, 그 특징 점으로부터 추적 점을 생성하며, 그 추적 점의 현재와 이전상태를 칼만 필터의 상태 방정식 값으로 입력하여 다음 프레임에서의 추적 점의 위치를 예측한 뒤, 그 예측결과와 실제 다음 프레임 추적 점의 비교 값을 산출하고, 그 비교 값이 기 설정된 문턱치(Threshold value)를 넘어버리는 경우, 아웃라이어(에러)로 판단하고, 기 설정된 문턱치를 넘기지 않는 경우 인라이어(유효한 데이터)로 판단하며, 인라이어만을 이용하여 그 소정 물체의 자세를 추정하도록 함으로써 실시간으로 더욱 강인한 물체의 추적을 수행할 수 있는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 인식된 물체를 실시간으로 추적하고, 기존의 광류 기반의 추적 방법이 추적 점의 drift로 인한 aperture 문제가 발생하는 것을 보완할 수 있는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법을 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위하여 본 발명에 의한 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법은, 인식 스레드와 추적 스레드가 멀티 테스킹으로 결합 되어있는 시스템에서, 인식 스레드가 카메라로부터 획득한 영상의 매 프레임에서 소정 물체를 인식하고, 그 소정 물체의 특징 점을 추출하는 (A)단계; 상기 (A)단계에 의해 추출된 특징 점이 기 설정된 개수 이상이면, 그 특징 점을 추적 점(Tracking point)으로 생성하는 (B)단계; 추적 스레드가 칼만 필터를 이용하여 상기 (B)단계에 의해 생성된 추적 점이 아웃라이어 추적 점인지 또는 인라이어 추적 점인지를 판단하는 (C)단계; 추적 스레드가 상기 (C)단계에 의해 인라이어 추적 점이라고 판단된 추적 점을 데이터 셋에 저장하는 (D)단계; 및 상기 (D)단계에 의해 데이터 셋에 저장된 인라이어 추적 점의 개수가 기 설정된 개수 이상이 되면, 그 인라이어 추적 점을 POSIT 알고리즘에 반영하여 상기 소정 물체의 자세를 추정하는 (E)단계;를 포함한다.
이때, 상기 (A)단계는, 인식 스레드가 카메라로부터 영상을 획득하면, 데이터베이스에 저장된 물체의 모델정보를 액세스하는 (A1)단계; 인식 스레드가 카메라로부터 입력받은 영상의 매 프레임에 특징점 추출 알고리즘을 이용하여 영상 특징점을 추출하는 (A2)단계; 인식 스레드가 데이터베이스에 저장된 물체의 모델정보에 특징점 추출 알고리즘을 이용하여 모델 특징점을 추출하는 (A3)단계; 인식 스레드가 상기 (A2)단계에서 추출된 영상 특징점과 상기 (A3)단계에 의해 추출된 모델 특징점을 가져온 뒤, 디스크립터(descriptor)를 이용하여 매칭되는 점이 있는지 판단하는 (A4)단계; 인식 스레드가 Epipolar geometry 제약조건을 이용하여 잘못 매칭된 점을 찾아내고, 그 잘못 매칭된 점을 제거하는 (A5)단계; 및 인식 스레드가 매칭되는 점을 특징 점으로 판단하는 (A6)단계;를 포함한다.
한편, 상기 (B)단계에서 (A)단계에 의해 추출된 특징 점이 기 설정된 개수 미만이면, 카메라로부터 영상을 재획득하여 상기 (A1)단계로 복귀한다.
또한, 상기 (A4)단계 수행결과 매칭되는 점이 없다면, 카메라로부터 영상을 재획득하여 상기 (A1)단계로 복귀한다.
그리고 상기 (C)단계는, 추적 스레드가 현재 측정값(current measurement)에 입력되는 현재 프레임의 추적 점 정보를 저장하는 (C1)단계; 추적 스레드가 과거 측정값(previous measurement) 및 현재 측정값이 존재하는지 판단하는 (C2)단계; 상기 (C2)단계의 판단결과 과거 측정값 및 현재 측정값이 존재하면, 추적 스레드가 그 과거 측정값 및 현재 측정값을 칼만 필터(Kalman Filter) 방정식에 적용하여 다음 프레임의 추적점 예측 상태 값을 산출하는 (C3)단계; 추적 스레드가 과거 측정값에 현재 측정값을 저장하고, 현재 측정값에 NULL값을 저장하는 (C4)단계; 추적 스레드가 상기 (C3)단계에 의해 산출된 다음 프레임의 추적점 예측 상태 값과 실제 다음 프레임의 추적 점 정보를 비교하여 에러 값을 산출하는 (C5)단계; 및 추적 스레드가 상기 (C5)단계에 의해 산출된 에러 값이 기 설정된 문턱치(Threshold value)를 초과하는 경우 아웃라이어로 판단하고, 기 설정된 문턱치를 초과하지 않는 경우 인라이어로 판단하는 (C6)단계;를 포함한다.
이때, 상기 (C2)단계의 판단결과 과거 측정값 및 현재 측정값이 존재하지 않으면, 과거 측정값에 현재 측정값 정보를 저장하고, 다시 (C1)단계로 복귀하는 것이 바람직하다.
그리고 상기 (E)단계는, 상기 소정 물체의 3D 정보 및 현재 인라이어 추적 점 정보를 이용하는 POSIT 알고리즘을 이용하여 그 소정 물체의 6-D.O.F(Degree of Freedom)를 산출한 뒤, 소정 물체의 자세를 추정하는 것이다.
본 발명에 따르면, 본 발명은 소정 물체를 촬영한 영상의 매 프레임으로부터 특징점 추출 알고리즘을 이용하여 특징 점을 찾고, 그 특징 점으로부터 추적 점을 생성하며, 그 추적 점의 현재와 이전상태를 칼만 필터의 상태 방정식 값으로 입력하여 다음 프레임에서의 추적 점의 위치를 예측한 뒤, 그 예측결과와 실제 다음 프레임 추적 점의 비교 값을 산출하고, 그 비교 값이 기 설정된 문턱치(Threshold value)를 넘어버리는 경우, 아웃라이어(에러)로 판단하고, 기 설정된 문턱치를 넘기지 않는 경우 인라이어(유효한 데이터)로 판단하며, 인라이어만을 이용하여 그 소정 물체의 자세를 추정하도록 함으로써 실시간으로 더욱 강인한 물체의 추적을 수행할 수 있는 장점이 있다.
또한, 본 발명은 인식된 물체를 실시간으로 추적하고, 기존의 광류 기반의 추적 방법이 추적 점의 drift로 인한 aperture 문제가 발생하는 것을 보완할 수 있는 장점이 있다.
또한, 본 발명이 산업용 로봇 분야에 적용되어 실시되는 경우, 그 로봇이 다양한 물체를 보다 정교하게 조작할 수 있게 하는 장점이 있다.
도 1은 본 발명의 바람직한 실시예에 의한 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법의 순서를 도시한 순서도.
도 2는 도 1의 단계 S110의 세부 순서를 도시한 순서도.
도 3은 도 1의 단계 S140의 세부 순서를 도시한 순서도.
이하에서는 상기한 바와 같은 본 발명에 의한 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법의 바람직한 실시예를 첨부된 도면을 참고로 하여 상세하게 설명한다.
도 1에는 본 발명의 바람직한 실시예에 의한 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법의 순서를 도시한 순서도가 도시되어 있다.
우선, 인식 스레드가 카메라로부터 획득한 소정 영상을 획득한다(단계 S100).
그러면, 인식 스레드가 그 획득한 영상의 매 프레임에서 소정 물체를 인식하고, 그 소정 물체의 특징 점을 추출한다(단계 S110).
물체를 인식하여 특징점을 추출하는 세부단계는 도 2를 참조하여 더욱 상세하게 설명하기로 한다.
도 2를 참조하면, 인식 스레드가 카메라로부터 영상을 획득하면, 데이터베이스에 저장된 물체의 모델정보를 액세스한다(단계 S111). 여기서 물체의 모델정보란, 미리 구조광 카메라 기반으로 제작된 물체에 대한 모델정보(물체의 영상정보, 3D 데이터 정보를 포함하는 정보)를 의미하는 것이다.
그리고 나서 인식 스레드가 카메라로부터 입력받은 영상의 매 프레임에 특징점 추출 알고리즘을 이용하여 영상 특징점을 추출한다(단계 S112).
또, 인식 스레드가 데이터베이스에 저장된 물체의 모델정보에 특징점 추출 알고리즘을 이용하여 모델 특징점을 추출한다(단계 S113).
이후, 인식 스레드가 상기 단계 S112에서 추출된 영상 특징점과 상기 단계 S113에 의해 추출된 모델 특징점을 가져온 뒤, 디스크립터(descriptor)를 이용하여 매칭되는 점이 있는지 판단한다(단계 S114).
그리고 나서 인식 스레드가 Epipolar geometry 제약조건을 이용하여 잘못 매칭된 점을 찾아내고, 그 잘못 매칭된 점을 제거한 뒤(단계 S115), 나머지 매칭되는 점을 특징 점으로 판단하는 것이다(단계 S116).
정리하면, 본 발명은 데이터베이스로부터 모델정보를 읽어와 메모리에 저장해 놓은 뒤 카메라로부터 획득한 영상과 데이터베이스의 이미지를 각각 특징점 추출 알고리즘을 이용하여 특징 점을 찾고, 그 특징 점의 디스크립터(descriptor)를 이용하여 매칭을 하며, Epipolar 제약조건을 이용하여 매치된 결과로부터 잘못 매치된 점을 찾아 제거하는 과정을 통해 물체를 최종적으로 인식하는 것이다.
한편, 추출된 특징 점이 기 설정된 개수(예컨대, 4개) 이상이면(단계 S120), 그 특징 점을 추적 점(Tracking point)으로 생성한다(단계 S130). 이러한 추적 점은 차후에 광류 기반의 추적에 필요한 추적 점으로 전환되어 물체 추적 시에 사용되어 지는 것이다.
이때, 추출된 특징 점이 기 설정된 개수(4개) 미만이면, 카메라로부터 영상을 재획득하여 다시 단계 S111로 복귀한다. 또한, 상기 단계 S114의 수행결과 매칭되는 점이 없다면, 카메라로부터 영상을 재획득하여 다시 단계 S111로 복귀한다.
그리고 나서 단계 S130에 의해 추적 점이 생성되면, 추적 스레드가 칼만 필터를 이용하여 생성된 추적 점이 아웃라이어 추적 점인지 또는 인라이어 추적 점인지를 판단한다(단계 S140). 상술한 바와 같은 아웃라이어를 검출하는 단계는 도 3을 참조하여 더욱 상세하게 설명하기로 한다.
도 3을 참조하면, 우선 추적 스레드가 현재 측정값(current measurement)에 입력되는 현재 프레임의 추적 점 정보를 저장한다(단계 S141).
그리고 추적 스레드가 과거 측정값(previous measurement) 및 현재 측정값이 존재하는지 판단한다(단계 S142).
단계 S142의 판단결과 과거 측정값 및 현재 측정값이 존재하지 않으면, 과거 측정값에 현재 측정값 정보를 저장하고, 다시 단계 S141로 복귀한다(단계 S143).
한편, 단계 S142의 판단결과 과거 측정값 및 현재 측정값이 존재하면, 추적 스레드가 그 과거 측정값 및 현재 측정값을 칼만 필터(Kalman Filter) 방정식에 적용하여 다음 프레임의 추적점 예측 상태 값을 산출한다(단계 S144).
그리고 나서 추적 스레드가 과거 측정값에 현재 측정값을 저장하고, 현재 측정값에 NULL값을 저장한다(단계 S145).
이후, 추적 스레드가 단계 S144에 의해 산출된 다음 프레임의 추적점 예측 상태 값과 실제 다음 프레임의 추적 점 정보를 비교하여 에러 값을 산출한다(단계 S146).
그리고 추적 스레드가 단계 S146에 의해 산출된 에러 값이 기 설정된 문턱치(Threshold value)를 초과하는 경우 아웃라이어(에러)로 판단하고(단계 S148), 기 설정된 문턱치를 초과하지 않는 경우 인라이어(유효한 데이터)로 판단한다(단계 S149).
한편, 상술한 바에 의해 인라이어 추적 점이라고 판단된 추적 점은 추적 스레드에 의해 데이터 셋에 저장되어 진다.
이후, 추적 스레드가 데이터 셋에 저장된 인라이어 추적 점의 개수가 기 설정된 개수(4개) 이상인지를 판단한다(단계 S160).
단계 S160의 판단결과 인라이어 추적 점의 개수가 기 설정된 개수(4개) 이상이 되면, 그 인라이어 추적 점을 POSIT 알고리즘에 반영하여 상기 소정 물체의 자세를 추정한다(단계 S170).
좀 더 구체적으로, 초기에 로딩한 소정 물체의 3D 데이터 및 현재 인라이어 추적 점 정보를 이용하는 POSIT 알고리즘을 이용하여 그 소정 물체의 6-D.O.F(Degree of Freedom)를 산출한 뒤, 소정 물체의 자세를 추정하는 것이다.
정리하면, 본 발명은 데이터 셋에 저장된 유효한 데이터 즉 인라이어 추적 점이 4개 이상인 경우, POSIT 알고리즘을 이용하여 그 영상에 있는 물체의 자세정보를 추정하고, 다음 프레임으로 넘어가 광류 기반의 물체 이동에 대한 추적과 아웃라이어 검출과정을 반복한다.
상술한 바에 따르면, 본 발명은 인식 기반의 비주얼 트래킹을 위한 물체 자세의 계산이 가능한 장점이 있다.
즉, 본 발명은 소정 목표 물체를 촬영한 영상으로부터 물체를 인식하여 인식된 정보를 기반으로 매 프레임에서 물체를 추적하는데 필요한 추적 점 정보를 만들고, 그 추적 점 정보를 매 프레임에서 추적하며, 칼만 필터의 입력으로 사용하여 다음 프레임에서 추적 점의 위치를 예측하고, 그 예측 및 실제 다음 프레임의 추적 점의 위치와 비교하는 것으로 아웃라이어를 찾아 제거하고, 인라이어만을 이용하여 물체의 올바른 자세를 추정하는 것에 관한 것이다.
이상에서는 본 발명을 특정의 바람직한 실시예에 대해서 도시하고 설명하였다. 그러나 본 발명은 상술한 실시예에만 국한되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다. 따라서 본 발명의 권리범위는 특정 실시예에 한정되는 것이 아니라, 첨부된 특허청구범위에 의해 정해지는 것으로 해석되어야 할 것이다.

Claims (7)

  1. 인식 스레드와 추적 스레드가 멀티 테스킹으로 결합 되어있는 시스템에서, 인식 스레드가 카메라로부터 획득한 영상의 매 프레임에서 소정 물체를 인식하고, 그 소정 물체의 특징 점을 추출하는 (A)단계;
    상기 (A)단계에 의해 추출된 특징 점이 기 설정된 개수 이상이면, 그 특징 점을 추적 점(Tracking point)으로 생성하는 (B)단계;
    추적 스레드가 칼만 필터를 이용하여 상기 (B)단계에 의해 생성된 추적 점이 아웃라이어 추적 점인지 또는 인라이어 추적 점인지를 판단하는 (C)단계;
    추적 스레드가 상기 (C)단계에 의해 인라이어 추적 점이라고 판단된 추적 점을 데이터 셋에 저장하는 (D)단계; 및
    상기 (D)단계에 의해 데이터 셋에 저장된 인라이어 추적 점의 개수가 기 설정된 개수 이상이 되면, 그 인라이어 추적 점을 POSIT 알고리즘에 반영하여 상기 소정 물체의 자세를 추정하는 (E)단계;를 포함하는 것을 특징으로 하는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법.
  2. 제1항에 있어서, 상기 (A)단계는,
    인식 스레드가 카메라로부터 영상을 획득하면, 데이터베이스에 저장된 물체의 모델정보를 액세스하는 (A1)단계;
    인식 스레드가 카메라로부터 입력받은 영상의 매 프레임에 특징점 추출 알고리즘을 이용하여 영상 특징점을 추출하는 (A2)단계;
    인식 스레드가 데이터베이스에 저장된 물체의 모델정보에 특징점 추출 알고리즘을 이용하여 모델 특징점을 추출하는 (A3)단계;
    인식 스레드가 상기 (A2)단계에서 추출된 영상 특징점과 상기 (A3)단계에 의해 추출된 모델 특징점을 가져온 뒤, 디스크립터(descriptor)를 이용하여 매칭되는 점이 있는지 판단하는 (A4)단계;
    인식 스레드가 Epipolar geometry 제약조건을 이용하여 잘못 매칭된 점을 찾아내고, 그 잘못 매칭된 점을 제거하는 (A5)단계; 및
    인식 스레드가 매칭되는 점을 특징 점으로 판단하는 (A6)단계;를 포함하는 것을 특징으로 하는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법.
  3. 제2항에 있어서,
    상기 (B)단계에서 (A)단계에 의해 추출된 특징 점이 기 설정된 개수 미만이면, 카메라로부터 영상을 재획득하여 상기 (A1)단계로 복귀하는 것을 특징으로 하는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법.
  4. 제2항에 있어서,
    상기 (A4)단계 수행결과 매칭되는 점이 없다면, 카메라로부터 영상을 재획득하여 상기 (A1)단계로 복귀하는 것을 특징으로 하는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법.
  5. 제2항에 있어서, 상기 (C)단계는,
    추적 스레드가 현재 측정값(current measurement)에 입력되는 현재 프레임의 추적 점 정보를 저장하는 (C1)단계;
    추적 스레드가 과거 측정값(previous measurement) 및 현재 측정값이 존재하는지 판단하는 (C2)단계;
    상기 (C2)단계의 판단결과 과거 측정값 및 현재 측정값이 존재하면, 추적 스레드가 그 과거 측정값 및 현재 측정값을 칼만 필터(Kalman Filter) 방정식에 적용하여 다음 프레임의 추적점 예측 상태 값을 산출하는 (C3)단계;
    추적 스레드가 과거 측정값에 현재 측정값을 저장하고, 현재 측정값에 NULL값을 저장하는 (C4)단계;
    추적 스레드가 상기 (C3)단계에 의해 산출된 다음 프레임의 추적점 예측 상태 값과 실제 다음 프레임의 추적 점 정보를 비교하여 에러 값을 산출하는 (C5)단계; 및
    추적 스레드가 상기 (C5)단계에 의해 산출된 에러 값이 기 설정된 문턱치(Threshold value)를 초과하는 경우 아웃라이어로 판단하고, 기 설정된 문턱치를 초과하지 않는 경우 인라이어로 판단하는 (C6)단계;를 포함하는 것을 특징으로 하는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법.
  6. 제5항에 있어서,
    상기 (C2)단계의 판단결과 과거 측정값 및 현재 측정값이 존재하지 않으면, 과거 측정값에 현재 측정값 정보를 저장하고, 다시 (C1)단계로 복귀하는 것을 특징으로 하는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법.
  7. 상기 (E)단계는,
    상기 소정 물체의 3D 정보 및 현재 인라이어 추적 점 정보를 이용하는 POSIT 알고리즘을 이용하여 그 소정 물체의 6-D.O.F(Degree of Freedom)를 산출한 뒤, 소정 물체의 자세를 추정하는 것임을 특징으로 하는 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법.
KR1020100106288A 2010-10-28 2010-10-28 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법 KR101160908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100106288A KR101160908B1 (ko) 2010-10-28 2010-10-28 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100106288A KR101160908B1 (ko) 2010-10-28 2010-10-28 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법

Publications (2)

Publication Number Publication Date
KR20120044792A true KR20120044792A (ko) 2012-05-08
KR101160908B1 KR101160908B1 (ko) 2012-06-29

Family

ID=46264500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100106288A KR101160908B1 (ko) 2010-10-28 2010-10-28 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법

Country Status (1)

Country Link
KR (1) KR101160908B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177931A (zh) * 2021-05-19 2021-07-27 北京明略软件系统有限公司 一种关键部件的检测追踪方法以及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177931A (zh) * 2021-05-19 2021-07-27 北京明略软件系统有限公司 一种关键部件的检测追踪方法以及装置

Also Published As

Publication number Publication date
KR101160908B1 (ko) 2012-06-29

Similar Documents

Publication Publication Date Title
Li et al. Monocular visual-inertial state estimation for mobile augmented reality
US10335963B2 (en) Information processing apparatus, information processing method, and program
JP4644248B2 (ja) 多重視野特徴記述子を用いた同時位置決め及びマッピング
CA2914799C (en) Method for detecting a plurality of instances of an object
Shimada et al. Hand gesture estimation and model refinement using monocular camera-ambiguity limitation by inequality constraints
Zhu et al. Vision-based manipulation of deformable and rigid objects using subspace projections of 2D contours
KR101926563B1 (ko) 카메라 추적을 위한 방법 및 장치
US9299161B2 (en) Method and device for head tracking and computer-readable recording medium
JP2016081525A (ja) 車両用画像認識システム、及び対応法
JP6330068B2 (ja) 画像分析システムおよび方法
US20190370982A1 (en) Movement learning device, skill discriminating device, and skill discriminating system
US11580784B2 (en) Model learning device, model learning method, and recording medium
Hua et al. Measurement integration under inconsistency for robust tracking
KR101160908B1 (ko) 인식 기반 비주얼 트래킹을 하기 위한 아웃라이어 제거 방법
CN111385813B (zh) 用于重复活动序列中的循环持续时间测量的系统和方法
WO2022264533A1 (ja) 検知枠位置精度向上システム、及び検知枠位置補正方法
EP2939181B1 (en) Photometric edge description
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
Lin Robotic manipulation based on 3d vision: A survey
KR101206459B1 (ko) 스테레오　카메라　기반　Ｆｕｚｚｙ-Ｋ?ｍｅａｎ ｃｌｕｓｔｅｒｉｎｇ　기법을　이용한　3차원　직선추출　기법
KR101761062B1 (ko) 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템
JP7485154B1 (ja) 映像処理システム
CN113269807B (zh) 对物体辨识模型的沿用可否进行判定的系统及方法
US20230011093A1 (en) Adjustment support system and adjustment support method
JP2019039864A (ja) 手認識方法、手認識プログラム及び情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee