KR20090066064A - 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치 - Google Patents

칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치 Download PDF

Info

Publication number
KR20090066064A
KR20090066064A KR1020070133674A KR20070133674A KR20090066064A KR 20090066064 A KR20090066064 A KR 20090066064A KR 1020070133674 A KR1020070133674 A KR 1020070133674A KR 20070133674 A KR20070133674 A KR 20070133674A KR 20090066064 A KR20090066064 A KR 20090066064A
Authority
KR
South Korea
Prior art keywords
feature point
motion estimation
state vector
real
kalman filter
Prior art date
Application number
KR1020070133674A
Other languages
English (en)
Other versions
KR100915525B1 (ko
Inventor
김혜미
김재헌
유정재
최병태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070133674A priority Critical patent/KR100915525B1/ko
Publication of KR20090066064A publication Critical patent/KR20090066064A/ko
Application granted granted Critical
Publication of KR100915525B1 publication Critical patent/KR100915525B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 칼만 필터를 이용하여 임의의 움직임을 갖는 카메라의 위치와 회전을 추적하는 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 기술에 관한 것으로, 초기 카메라의 시작 위치를 획득한 후 카메라를 통해 입력되는 영상 열로부터 매 프레임별 특징점(feature)들을 추출하고, 추출되는 특징점들과 현재의 상태 벡터를 비교하여 추가될 특징점 후보를 선정한 후 이를 구조체로 저장하며, 상태 벡터에 삽입될 특징점이 존재하고 삽입에 대한 기결정된 삽입 조건을 만족하면 상태 벡터를 갱신하고, 삽입될 특징점 후보 구조체를 갱신하며, 최종적으로 칼만 필터를 적용하여 실시간으로 카메라의 움직임을 추정하는 것을 특징으로 한다. 이렇게 획득된 칼만 필터의 상태 벡터는 다음 프레임에서 획득된 특징점들과 다시 비교하여 위의 과정을 되풀이하게 된다. 본 발명은, 칼만 필터를 이용하여 카메라의 움직임을 실시간으로 추정하여야 하는 실시간 CG(Computer Graphics)/실사 합성 시스템이나 실시간 구조 복원 시스템 등에 적용될 수 있다.
칼만 필터, 특징점, 카메라 움직임 추정

Description

칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법 및 장치{TRACKING METHOD AND APPARATUS IN REAL-TIME CAMERA TRACKING SYSTEM USING OF KALMAN FILTER}
본 발명은 실시간 카메라 움직임 추정 기술에 관한 것으로, 특히 칼만 필터를 이용하여 실시간 카메라 움직임 추정 시스템에서의 상태 벡터를 갱신하는 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법 및 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-051-01, 과제명: 디지털 크리쳐 제작 S/W 개발].
일반적으로 실시간 카메라 움직임 추정 시스템은, 입력 영상 열로부터 매 프레임(frame)마다 특징점(feature)들을 추출한다. 그리고 실시간성을 만족하기 위하여, 획득한 특징점들 가운데 카메라의 움직임 추정에 효과적일 수 있는 소수의 특징점들을 선택한다. 이러한 특징점들은 지속적일 수도 있지만, 특정 프레임에서 처음 나타났을 수도 있고, 초기에는 특징점으로 선택되었으나 이후 프레임이 진행 되면서 사라질 수도 있다.
이렇듯 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서는, 매 프레임마다 입력으로 선택되는 특징점들이 달라질 수 있다.
매 프레임별로 선택되는 특징점들은 칼만 필터의 상태 벡터 구성에 변화를 준다. 프레임이 진행되면서 새롭게 나타나는 특징점들은 카메라 움직임 추정에 추가 정보를 제공할 수 있으므로 더욱 정확한 카메라 움직임 추정을 가능하게 한다.
이에 본 발명은, 칼만 필터를 사용한 실시간 카메라 움직임 추정 시스템에서 매 프레임마다 특징점(feature)들이 추가됨에 따라 상태 벡터의 차원이 늘어날 때, 실시간으로 카메라의 움직임을 추정할 수 있는 기술적 방안을 제공하고자 한다.
본 발명의 과제를 해결하기 위한 일 관점에 따르면, (a) 카메라의 시작 위치를 획득하는 과정과, (b) 상기 카메라를 통해 입력되는 영상 열로부터 매 프레임별 특징점들을 추출하는 과정과, (c) 상기 추출되는 특징점들과 현재의 상태 벡터를 비교하여 추가될 특징점 후보를 선정한 후 특징점 후보 구조체로서 저장하는 과정과, (d) 상기 상태 벡터에 삽입될 특징점들이 존재하고 삽입에 대한 기 결정된 삽입 조건을 만족하면 상태 벡터를 갱신하고 삽입될 특징점 후보 구조체를 갱신하는 과정과, (e) 칼만 필터를 적용하여 상기 카메라의 움직임을 추정하는 과정을 포함하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법을 제공한다.
본 발명의 과제를 해결하기 위한 다른 관점에 따르면, 카메라를 통해 촬영되어 입력되는 영상의 영상 열로부터 매 프레임별 특징점들을 추출하는 특징점 추출 수단과, 상기 특징점 추출 수단을 통해 추출되는 특징점들과 현재의 상태 벡터를 비교하여 신규 추가될 특징점 후보를 선정하며, 선정되는 특징점 후보를 구조체로 저장하는 특징점 후보 선정 및 저장 수단과, 임의 조건을 만족하는 경우에 상태 벡터를 갱신하는 상태 벡터 갱신 수단과, 상기 상태 벡터 갱신 수단을 통해 갱신되는 상태 벡터에 대해 칼만 필터를 적용하여 실시간으로 카메라의 움직임을 추정하는 움직임 추정 수단을 포함하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 장치를 제공한다.
본 발명에 의하면, 실시간 카메라 움직임 추정 시스템에서 추출된 특징점에 따라 칼만 필터의 상태 벡터를 증가시켜가면서 구성을 갱신하는 구체적인 방법을 제시함으로써, 카메라 움직임 추정치의 정확도를 향상시키는 효과가 있다.
본 실시예에서는, 칼만 필터를 사용한 실시간 카메라 움직임 추정 시스템에서 매 프레임마다 변하는 특징점들로부터 칼만 필터의 상태 벡터를 획득할 때, 상태 벡터를 갱신하고자 한다.
본 실시예에서는, 실시간 카메라 움직임 추정에 적용할 칼만 필터의 일실시예로, "확장된 칼만 필터"(Extended Kalman Filter)를 적용함을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하 게 설명한다.
도 1은 본 발명의 일 관점에 따른 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 장치에 대한 개략적인 구성 블록도로서, 영상 입력부(100), 특징점 추출부(102), 특징점 후보 선정 및 저장부(104), 상태 벡터 갱신부(106), 움직임 추정부(108)를 포함한다.
도 1에 도시한 바와 같이, 영상 입력부(100)는 카메라(도시 생략됨)를 통해 촬영되는 영상을 입력받아 후술하는 특징점 추출부(102)로 제공하는 역할을 한다.
특징점 추출부(102)는 영상 입력부(100)로부터 제공되는 영상의 영상 열로부터 매 프레임별 특징점들을 추출하는 역할을 한다. 이와 같은 특징점 추출 과정은 하기 흐름도에서 보다 상세히 다루기로 한다.
특징점 후보 선정 및 저장부(104)는 상기 특징점 추출부(102)를 통해 추출되는 특징점들과 현재의 상태 벡터를 비교하여 신규 추가될 특징점 후보를 선정하며, 선정되는 특징점 후보를 구조체로 저장하는 역할을 한다.
상태 벡터 갱신부(106)는 임의 조건, 예를 들면 상태 벡터에 신규 추가될 특징점이 존재하고, 기설정된 추가 조건을 만족하는 경우에, 상태 벡터를 갱신하는 역할을 한다. 이와 같이 상태 벡터가 갱신됨에 따라 상태 벡터에 추가된 특징점은 특징점 추출부(102)로 피드백(feed-back)된다.
움직임 추정부(108)는 상기 상태 벡터 갱신부(106)를 통해 갱신되는 상태 벡터에 대해 칼만 필터를 적용하여 실시간으로 카메라의 움직임을 추정하는 역할을 한다.
이하, 상술한 구성과 함께, 본 발명의 다른 관점에 따른 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법을 첨부한 도 2 내지 도 4를 참조하여 상세히 설명하기로 한다.
먼저, 도 2는 본 발명에 따른 움직임 추정 방법의 전체 흐름도이다.
도 2에 도시한 바와 같이, 단계(S200)에서 영상 입력부(100)는, 카메라를 초기화하여 초기 카메라의 위치와 회전을 획득한다.
그리고 단계(S202)에서 특징점 추출부(102)는, 상기 영상 입력부(100)로부터 제공되는 영상의 영상 열로부터 매 프레임별 특징점들을 추출한다.
이후 단계(S204)에서 특징점 후보 선정 및 저장부(104)는, 상기 단계(S202)에서 추출된 특징점을 입력으로 하여 상태 벡터에 추가될 특징점 후보를 본 발명에 따른 방법을 적용하여 저장한다.
이와 같은 본 발명에 따른 특징점 후보 저장 과정을 도 3을 참조하여 보다 상세히 설명하기로 한다.
도 3에 도시한 바와 같이, 단계(S300)에서 특징점 후보 선정 및 저장부(104)는 현재 프레임에서 추출되고 선택된 특징점들이 새로운 특징점인지의 여부를 판별한다.
단계(S300)의 판별 결과, 새로운 특징점으로 판명되면, 특징점 후보 선정 및 저장부(104)는 상기 특징점이 이후 기술하는 추가될 특징점 후보 구조체로 저장이 되어 있는지를 판별한다(S302).
단계(S302)의 판별 결과, 이미 저장된 특징점은 제외하고 저장되지 않은 새 로운 특징점이 존재하는 경우, 특징점 후보 선정 및 저장부(104)는 단계(S304)로 진행하여 새로운 특징점을 추가될 특징점 후보 구조체로 저장한다. 이때, 상기 구조체는 하나의 특징점에 대하여 특징점이 처음 나타난 프레임과 그 때의 카메라 위치와 회전, 특징점의 인덱스, 특징점의 영상 좌표를 각각 저장한다.
삽입될 특징점 후보 구조체는 후술하는 단계(S206)에서 획득되는 구조체 갱신 정보에 따라 갱신된다. 이와 같은 과정들을 거치면 후술하는 단계(S206)의 입력으로 사용되는 삽입될 특징점 후보 구조체를 획득하게 된다.
한편, 단계(S206)에서는, 상태 벡터에 추가될 특징점 후보들 가운데 본 발명에서 제시하는 방법을 적용하여 상태 벡터를 갱신한다.
이러한 상태 벡터 갱신 과정을 첨부된 도 4의 흐름도를 참조하여 보다 상세히 설명하기로 한다.
도 4는 도 2의 단계(S206)인 칼만 필터의 입력으로 사용될 상태 벡터의 갱신 방법을 제시한다. 여기서 상태 벡터의 갱신이라 함은, 현재 상태 벡터에는 존재하지 않지만 현 프레임에서 새롭게 나타난 특징점에 대응하는 상태 벡터, 예를 들면
Figure 112007091190944-PAT00001
와 같은 상태 벡터를 추가하여 현재 상태 벡터를 확장시킴을 뜻한다.
도 4에 도시한 바와 같이, 상태 벡터 갱신부(106)는 상기 단계(S204)에서 획득된 정보로부터 상태 벡터에 추가될 특징점이 있는지를 판단하며(S400), 또한 실시간 카메라 움직임 추정 시스템에서 기설정된 새로운 특징점의 상태 벡터 추가 조건을 만족하는지를 판단하여(S402), 상기 조건들(S400, S402)을 모두 만족하는 경우에, 칼만 필터의 상태 벡터를 갱신한다(S404).
이때, 실시간 카메라 움직임 추정 시스템에서 기설정된 새로운 특징점의 상태 벡터 추가 조건으로, 다음과 같은 조건들을 예를 들 수 있다.
1) 바로 이전 프레임과, 특징점이 처음 나타난 프레임 간의 간격이 일정 프레임 이상인 경우.
2) 바로 이전 프레임과, 특징점이 처음 나타난 프레임에서 각각의 카메라 위치가 일정 거리 이상인 경우.
여기서, 현재 프레임이 아닌 직전 프레임과 특징점이 처음 나타난 프레임간의 관계를 살피는 이유는, 현재 프레임에서의 카메라 위치와 회전은 아직 획득된 상황이 아니므로 이전 프레임으로 대체하도록 하기 위함이다. 이는 실시간으로 영상 열을 획득하는 상황 하에서, 이전 프레임과 현재 프레임간의 카메라 위치 차가 크지 않다는 가정에 기반한 것이다.
이렇게 기설정된 새로운 특징점의 상태 벡터 추가 조건은 두 시점간의 베이스 라인(base line)을 일정값 이상으로 확보함으로써, 상태 벡터 갱신을 위한 특징점의 3차원 위치 초기값 획득시 적용할 중간점 알고리즘(Mid-point Algorithm)의 안정성을 확보하는데 도움을 준다. 이러한 중간점 알고리즘을 적용하기 위하여 이전 프레임들에서 획득한 카메라 정보를 입력으로 하여, 특징점의 3차원 위치를 획득하고 이를 상태 벡터의 초기값으로 설정한다.
이와 같이 상태 벡터에 추가된 특징점에 따라 특징점 후보 구조체를 갱신하기 위한 정보, 즉, 다음 프레임의 상기 단계(S204)에서 기 추가된 해당 특징점 구조체를, 추가될 특징점 후보 구조체에서 삭제하기 위한 정보를 출력한다(S406).
다른 한편, 단계(S208)에서 움직임 추정부(108)는, 상기 갱신된 상태 벡터를 칼만 필터의 초기 상태 벡터로 적용하여 실시간으로 카메라 움직임을 추정한다. 카메라 움직임을 추정한 후에는, 상기 단계(S202)로 피드백하여 다시 특징점을 추출하는 과정을 진행한다.
본 실시예에서는, 실시간 카메라 움직임 추정에 적용할 칼만 필터의 일실시예로, "확장된 칼만 필터"(Extended Kalman Filter : 이하 EKF라 함)를 적용함을 특징으로 한다.
EKF의 상태 벡터의 일실시예로, 6개의 카메라 외부변수와
Figure 112007091190944-PAT00002
개의 구조 복원 파라미터를 포함하도록 다음 [수학식 1]과 같이 설정한다.
Figure 112007091190944-PAT00003
여기서,
Figure 112007091190944-PAT00004
,
Figure 112007091190944-PAT00005
는 카메라의
Figure 112007091190944-PAT00006
방향으로의 이동(translation)과 그 미분을 나타낸다.
Figure 112007091190944-PAT00007
,
Figure 112007091190944-PAT00008
는 회전(rotation vector)과 그 미분으로서
Figure 112007091190944-PAT00009
와
Figure 112007091190944-PAT00010
시간 사이의 회전 증분에 대한 세 개의 오일러(Euler) 각도를 나타낸다.
Figure 112007091190944-PAT00011
는 하나의 특징점에 대하여 각각 영상의
Figure 112007091190944-PAT00012
좌표와
Figure 112007091190944-PAT00013
좌표, 그리고 3차원 공간의 깊이 정보를 나타낸다.
EKF의 선형 동적 모델은 다음 [수학식 2]와 같다.
Figure 112007091190944-PAT00014
Figure 112007091190944-PAT00015
Figure 112007091190944-PAT00016
여기서
Figure 112007091190944-PAT00017
는 가우시안 분포를 갖는 백색 잡음으로 모델링된 오류 항목(error term)이다.
각 프레임마다 관찰치는
Figure 112007091190944-PAT00018
개의 특징점들의 2차원 측정치들로 나타낸다. 이는 다음 [수학식 3]과 같이 예시될 수 있다.
Figure 112007091190944-PAT00019
여기서
Figure 112007091190944-PAT00020
는 비선형 함수이고,
Figure 112007091190944-PAT00021
는 가우시안 분포를 갖는 백색 잡음으로 모델링된 랜덤 변수로서 불확실성을 나타낸다.
EKF 갱신 방정식은 다음 [수학식 4]와 같이 표현될 수 있다.
Figure 112007091190944-PAT00022
Figure 112007091190944-PAT00023
이때 칼만 이득은 다음 [수학식 5]와 같다.
Figure 112007091190944-PAT00024
Figure 112007091190944-PAT00025
Figure 112007091190944-PAT00026
그리고 칼만 필터의 예측 단계는 다음 [수학식 6]과 같이 표현될 수 있다.
Figure 112007091190944-PAT00027
Figure 112007091190944-PAT00028
Figure 112007091190944-PAT00029
이상 설명한 바와 같이, 본 발명은 칼만 필터를 사용한 실시간 카메라 움직임 추정 시스템에서 매 프레임마다 특징점들이 추가됨에 따라 상태 벡터의 차원이 늘어날 때, 실시간으로 카메라의 움직임을 추정할 수 있도록 구현한 것이다.
이상, 본 발명의 실시예에 대해 상세히 기술하였으나 본 발명은 이러한 실시예에 국한되는 것은 아니며, 후술하는 청구범위에 기재된 본 발명의 기술적 사상과 범주 내에서 당업자로부터 여러 가지 변형이 가능함은 물론이다.
도 1은 본 발명의 일 관점에 따른 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 장치에 대한 개략적인 블록 구성도,
도 2는 본 발명의 다른 관점에 따른 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법을 설명하는 흐름도,
도 3은 도 2의 특징점 후보 선정 및 저장 과정의 상세 흐름도,
도 4는 도 2의 상태 벡터 갱신 과정의 상세 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
102 : 특징점 추출부 104 : 특징점 후보 선정 및 저장부
106 : 상태 벡터 갱신부 108 : 움직임 추정부

Claims (12)

  1. (a) 카메라의 시작 위치를 획득하는 과정과,
    (b) 상기 카메라를 통해 입력되는 영상 열로부터 매 프레임별 특징점들을 추출하는 과정과,
    (c) 상기 추출되는 특징점들과 현재의 상태 벡터를 비교하여 추가될 특징점 후보를 선정한 후 특징점 후보 구조체로서 저장하는 과정과,
    (d) 상기 상태 벡터의 상태에 따라 상태 벡터를 갱신하고 추가될 특징점 후보 구조체를 갱신하는 과정과,
    (e) 칼만 필터를 적용하여 상기 카메라의 움직임을 추정하는 과정
    을 포함하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  2. 제 1 항에 있어서,
    상기 (c) 과정은,
    현재 프레임에서 추출된 특징점들이 신규 특징점인지의 여부를 판별하는 과정과,
    현재 프레임에서 추출된 특징점들이 신규 특징점으로 판명되면 상기 신규 특징점이, 추가될 특징점 후보 구조체로 저장이 되어 있는지를 판별하는 과정과,
    저장되지 않은 신규 특징점이 존재하는 경우에 신규 특징점을 추가될 특징점 후보 구조체로 저장하는 과정
    을 포함하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  3. 제 2 항에 있어서,
    상기 추가될 특징점 후보 구조체는, 하나의 특징점에 대하여 특징점이 처음 나타난 프레임과 그 시점의 카메라 위치와 회전, 특징점의 인덱스, 특징점의 영상 좌표를 각각 저장하는 것을 특징으로 하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  4. 제 2 항에 있어서,
    상기 추가될 특징점 후보 구조체는, 상기 (d) 과정의 구조체 갱신 정보에 따라 갱신되는 것을 특징으로 하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  5. 제 1 항에 있어서,
    상기 (d) 과정은,
    상기 (c) 과정에서 획득된 정보로부터 상태 벡터에 추가될 특징점이 있는지를 판단하는 과정과,
    상기 상태 벡터에 추가될 특징점이 있으면 상기 실시간 카메라 움직임 추정 시스템에서 기설정된 신규 특징점의 상태 벡터 추가 조건을 만족하는지를 판단하는 과정과,
    상기 기설정된 신규 특징점의 상태 벡터 추가 조건을 만족하면 칼만 필터의 상태 벡터를 갱신하는 과정
    을 포함하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  6. 제 5 항에 있어서,
    상기 실시간 카메라 움직임 추정 시스템에서 기설정된 새로운 특징점의 상태 벡터 추가 조건은, 바로 이전 프레임과, 특징점이 처음 나타난 프레임 간의 간격이 일정 프레임 이상인 경우인 것을 특징으로 하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  7. 제 5 항에 있어서,
    상기 실시간 카메라 움직임 추정 시스템에서 기설정된 새로운 특징점의 상태 벡터 추가 조건은, 바로 이전 프레임과, 특징점이 처음 나타난 프레임에서 각각의 카메라 위치가 일정 거리 이상인 경우인 것을 특징으로 하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  8. 제 5 항에 있어서,
    상기 상태 벡터를 갱신하는 과정은,
    추가될 특징점의 판별과 상태 벡터 추가시 초기 깊이 정보 설정을 위한 중간점 알고리즘(Mid-point algorithm) 및 추가될 특징점 후보 구조체의 갱신 정보를 포함하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 방법.
  9. 카메라를 통해 촬영되어 입력되는 영상의 영상 열로부터 매 프레임별 특징점들을 추출하는 특징점 추출 수단과,
    상기 특징점 추출 수단을 통해 추출되는 특징점들과 현재의 상태 벡터를 비교하여 신규 추가될 특징점 후보를 선정하며, 선정되는 특징점 후보를 구조체로 저장하는 특징점 후보 선정 및 저장 수단과,
    임의 조건을 만족하는 경우에 상태 벡터를 갱신하는 상태 벡터 갱신 수단과,
    상기 상태 벡터 갱신 수단을 통해 갱신되는 상태 벡터에 대해 칼만 필터를 적용하여 실시간으로 카메라의 움직임을 추정하는 움직임 추정 수단
    을 포함하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 장치.
  10. 제 9 항에 있어서,
    상기 임의 조건은, 상기 상태 벡터에 신규 추가될 특징점이 존재하고, 기설정된 추가 조건을 만족하는 경우인 것을 특징으로 하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 장치.
  11. 제 10 항에 있어서,
    상기 기설정된 추가 조건은, 바로 이전 프레임과, 특징점이 처음 나타난 프레임 간의 간격이 일정 프레임 이상인 경우인 것을 특징으로 하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 장치.
  12. 제 10 항에 있어서,
    상기 기설정된 추가 조건은, 바로 이전 프레임과, 특징점이 처음 나타난 프 레임에서 각각의 카메라 위치가 일정 거리 이상인 경우인 것을 특징으로 하는 칼만 필터를 이용한 실시간 카메라 움직임 추정 시스템에서의 움직임 추정 장치.
KR1020070133674A 2007-12-18 2007-12-18 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치 KR100915525B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070133674A KR100915525B1 (ko) 2007-12-18 2007-12-18 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070133674A KR100915525B1 (ko) 2007-12-18 2007-12-18 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090066064A true KR20090066064A (ko) 2009-06-23
KR100915525B1 KR100915525B1 (ko) 2009-09-04

Family

ID=40994216

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070133674A KR100915525B1 (ko) 2007-12-18 2007-12-18 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100915525B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101409810B1 (ko) * 2012-10-24 2014-06-24 계명대학교 산학협력단 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
KR20170033126A (ko) * 2015-09-16 2017-03-24 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
KR101981000B1 (ko) * 2018-02-01 2019-05-21 선문대학교 산학협력단 융합형 필터를 이용한 깊이 영상 기반 특징점 검출 기법
KR102173244B1 (ko) * 2019-12-10 2020-11-03 (주)인펙비전 Surf 특징점 추적 기반 영상 안정화 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203109B1 (ko) * 2018-10-18 2021-01-14 한국과학기술원 인공 신경망에 기반한 영상 처리 방법 및 장치
US20220044414A1 (en) * 2018-10-18 2022-02-10 Korea Advanced Institute Of Science And Technology Method and device for processing image on basis of artificial neural network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1147669B1 (en) * 1999-11-29 2006-12-27 Sony Corporation Video signal processing method and apparatus by feature points extraction in the compressed domain.
KR100480780B1 (ko) * 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
WO2008001967A1 (en) * 2006-06-30 2008-01-03 Industry-Academic Cooperation Foundation, Yonsei University Device and method for transforming 2-d image into 3-d image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101409810B1 (ko) * 2012-10-24 2014-06-24 계명대학교 산학협력단 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
KR20170033126A (ko) * 2015-09-16 2017-03-24 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
KR101981000B1 (ko) * 2018-02-01 2019-05-21 선문대학교 산학협력단 융합형 필터를 이용한 깊이 영상 기반 특징점 검출 기법
KR102173244B1 (ko) * 2019-12-10 2020-11-03 (주)인펙비전 Surf 특징점 추적 기반 영상 안정화 시스템

Also Published As

Publication number Publication date
KR100915525B1 (ko) 2009-09-04

Similar Documents

Publication Publication Date Title
KR100915525B1 (ko) 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치
KR100899422B1 (ko) 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
JP4348353B2 (ja) パターン認識装置，パターン認識方法及びその方法を実現したプログラムを格納した記録媒体
WO2020043019A1 (zh) 定位数据的处理方法及处理装置、计算设备和存储介质
FR3034514A1 (fr) Procede de suivi de navigation d&#39;un porteur moblile avec un filtre de kalman etendu
US10075695B2 (en) Information processing method and device
CN111428651B (zh) 一种车辆的障碍信息获取方法、系统及车辆
CN112945227A (zh) 定位方法和装置
CN104488264A (zh) 使用多视点图像的差异信息来估计图像运动的方法和装置
Mourikis et al. On the treatment of relative-pose measurements for mobile robot localization
GB2500384A (en) Generating navigation data in long term autonomous robotic systems
CN109542093B (zh) 一种处理数据的方法和装置
CN112270748B (zh) 基于图像的三维重建方法及装置
JP2018132477A (ja) 深度推定装置、寸法推定装置、深度推定方法、寸法推定方法、及びプログラム
CN111179408A (zh) 三维建模的方法及设备
CN113733166A (zh) 机器人定位方法、装置、机器人和计算机可读存储介质
JP6702562B2 (ja) マルチセンサシステム、センサバイアス推定装置、センサバイアス推定方法及びセンサバイアス推定プログラム
CN114415698B (zh) 机器人、机器人的定位方法、装置和计算机设备
CN106933834B (zh) 一种数据匹配方法及装置
Ventura et al. Approximated relative pose solvers for efficient camera motion estimation
CN114119973A (zh) 一种基于图像语义分割网络的空间距离预测方法及系统
CN109581284B (zh) 基于交互多模型的非视距误差消除方法
Lenac et al. Revival of filtering based SLAM? Exactly sparse delayed state filter on Lie groups
CN111583331A (zh) 用于同时定位和地图构建的方法及装置
JP2021163279A (ja) ３次元形状復元装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee