KR102035433B1 - 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법 - Google Patents

카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법 Download PDF

Info

Publication number
KR102035433B1
KR102035433B1 KR1020180163794A KR20180163794A KR102035433B1 KR 102035433 B1 KR102035433 B1 KR 102035433B1 KR 1020180163794 A KR1020180163794 A KR 1020180163794A KR 20180163794 A KR20180163794 A KR 20180163794A KR 102035433 B1 KR102035433 B1 KR 102035433B1
Authority
KR
South Korea
Prior art keywords
camera
feature points
image data
probability distribution
camera position
Prior art date
Application number
KR1020180163794A
Other languages
English (en)
Inventor
김정호
황영배
윤주홍
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180163794A priority Critical patent/KR102035433B1/ko
Application granted granted Critical
Publication of KR102035433B1 publication Critical patent/KR102035433B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

카메라 위치 추정 방법 및 장치가 제공된다. 본 카메라 위치 추정 방법에 따르면, 카메라를 통해 촬영된 영상 데이터를 입력받고, 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하며, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신할 수 있게 되어, 예측과 갱신 단계의 독립성을 보장하는 카메라 기반의 위치 추정 기법을 적용하여 카메라의 위치 추정 및 3차원 지도 복원 시 오차가 누적되는 문제를 해결할 수 있게 된다.

Description

카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법 {Probabilistic filtering method based on key frame of moving image for Localization of camera and 3D mapping}
본 발명은 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법에 관한 것으로, 더욱 상세하게는, 영상 데이터의 특징점을 이용하여 카메라의 위치를 추정하는 카메라 위치 추정 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
카메라를 이용하여 현재의 위치를 추정하고 주변 환경에 대한 3차원 복원을 수행할 경우 시간이 지날수록 오차가 발생하고 오차가 누적되어 위치 추정 및 환경 복원에 대한 정확도가 낮아진다.
도 1은 종래의 방법에 의해 추정된 카메라의 위치 추정 경로를 도시한 도면이다. 도 1에서 빨간색 점들의 모임이 카메라의 위치 추정 경로를 나타낸다. 도 1에 도시된 바와 같이, 추정된 카메라의 경로는 오른쪽에서 왼쪽으로 갈 수록 건물을 뚫고 가는 등 점점 오차가 심해지는 것을 확인할 수 있다.
기존에는 카메라의 위치 또는 경로와 주변 3차원 정보를 확률적으로 계산하는 방법이 이용되었으며, 관련 방식이 도 2에 도시되어 있다. 도 2는 종래의 방법에 따른 카메라의 위치 추정 방법을 도식화한 도면이다.
종래 기술의 문제점은 영상을 획득한 모든 위치에 대한 확률 분포를 추정하기 때문에 추정해야 할 파라미터의 수가 많고 분포를 제대로 추정하는 것이 쉽지 않는 것이다.
따라서, 영상데이터를 이용하여 카메라의 위치 추정을 더욱 빠르고 정확하게 수행하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 카메라를 통해 촬영된 영상 데이터를 입력받고, 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하며, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 카메라 위치 추정 방법 및 장치를 제공함에 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 카메라 위치 추정 장치에 의한 카메라 위치 추정 방법은, 카메라를 통해 촬영된 영상 데이터를 입력받는 단계; 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하는 단계; 및 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 단계;를 포함한다.
그리고, 제1 특징점들은, 기존 프레임에 없었으나 현재 프레임에 새롭게 발생된 특징점들을 나타낼 수도 있다.
또한, 제2 특징점들은, 기존 프레임에도 존재하여 트래킹되고 있는 특징점들을 나타낼 수도 있다.
그리고, 추정하는 단계는, 영상 데이터의 모든 프레임에 대해 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정할 수도 있다.
또한, 갱신하는 단계는, 영상 데이터에서 키프레임(key frame)을 추출하고, 추출된 키프레임에 대해서만 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신할 수도 있다.
그리고, 갱신하는 단계는, 해당 키프레임부터 다음 키프레임 이전의 프레임까지의 프레임들을 모두 이용하여 카메라의 위치에 대한 확률분포를 갱신할 수도 있다.
또한, 갱신하는 단계는, 아래의 수식을 이용하여 키프레임에 대한 카메라의 위치 n의 성분과 3차원 복원 M의 성분으로 분리하여 카메라의 위치에 대한 확률분포를 갱신할 수도 있다.
Figure 112018127034314-pat00001
또한, 갱신하는 단계는, 키프레임에 대한 카메라의 위치 n의 성분에 대해 아래의 수식을 적용함으로써, 해당 키프레임부터 다음 키프레임 이전의 프레임까지의 프레임들을 모두 이용하여 카메라의 위치에 대한 확률분포를 갱신할 수도 있다.
Figure 112018127034314-pat00002
Figure 112018127034314-pat00003
그리고, 갱신하는 단계는, 3차원 복원 M의 성분에 대해 아래의 수식을 적용함으로써, 카메라의 위치에 대한 확률분포를 갱신할 수도 있다.
Figure 112018127034314-pat00004
한편, 본 발명의 일 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 카메라를 통해 촬영된 영상 데이터를 입력받는 단계; 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하는 단계; 및 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 단계;를 포함하는 카메라 위치 추정 방법을 수행하는 컴퓨터 프로그램이 수록된다.
한편, 본 발명의 일 실시예에 따른, 카메라 위치 추정 장치는, 카메라를 통해 촬영된 영상 데이터를 입력받는 통신부; 및 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하고, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 제어부;를 포함한다.
한편, 본 발명의 일 실시예에 따른, 카메라 위치 추정 시스템은, 영상을 촬영하여 영상 데이터를 생성하는 카메라; 및 카메라에 의해 촬영된 영상 데이터를 입력받고, 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하고, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 카메라 위치 추정 장치;를 포함한다.
본 발명의 다양한 실시예에 따르면, 카메라를 통해 촬영된 영상 데이터를 입력받고, 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하며, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 카메라 위치 추정 방법 및 장치를 제공할 수 있게 되어, 예측과 갱신 단계의 독립성을 보장하는 카메라 기반의 위치 추정 기법을 적용하여 카메라의 위치 추정 및 3차원 지도 복원 시 오차가 누적되는 문제를 해결할 수 있게 된다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에 서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 종래의 방법에 의해 추정된 카메라의 위치 추정 경로를 도시한 도면,
도 2는 종래의 방법에 따른 카메라의 위치 추정 방법을 도식화한 도면,
도 3은 본 발명의 일 실시예에 따른, 카메라 위치 추정 장치의 구성을 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 카메라 위치 추정 방법을 설명하기 위해 제공되는 흐름도,
도 5는 본 발명의 일 실시예에 따른, 2개의 프레임에 대한 특징점들을 도시한 도면,
도 6은 특징점 분리 전의 네트워크를 도시한 도면,
도 7은 본 발명의 일 실시예에 따른, 특징점 분리 후의 네트워크를 도시한 도면,
도 8은 모든 프레임에 대해 갱신을 수행하는 방식을 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, 키프레임에 대해서만 갱신을 수행하는 방식을 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, 카메라의 위치 추정 경로를 도시한 도면,
도 11은 본 발명의 일 실시예에 따른, 카메라 위치 추정의 성능을 비교한 그래프를 도시한 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을의미한다.
다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른, 카메라 위치 추정 장치(100)의 구성을 도시한 도면이다.
도 3의 전체는 카메라 위치 추정 시스템을 도시하고 있고, 카메라 위치 추정 시스템은 카메라(10) 및 카메라 위치 추정장치(100)를 포함한다.
카메라(100)는 영상을 촬영하여 영상 데이터를 생성한다. 여기에서 영상은 동영상 또는 연속하여 촬영된 복수개의 정지영상을 나타낸다. 카메라(100)는 디지털 카메라로 정지영상 또는 동영상을 촬영하여 영상 데이터를 생성할 수 있다면 어떤 종류의 카메라(100)이더라도 무관하며, 카메라를 포함하는 휴대폰이나 태블릿과 같은 장치도 포함됨은 물론이다.
카메라 위치 추정장치(100)는 카메라에 의해 촬영된 영상 데이터를 이용하여 카메라의 위치를 추정하고, 또한 3차원 지도를 생성 및 복원하고 갱신하는 기능을 수행한다. 구체적으로, 카메라 위치 추정장치(100)는 카메라에 의해 촬영된 영상 데이터를 입력받고, 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하고, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신한다.
카메라 위치 추정장치(100)는 카메라의 이동 경로와 주변 환경에 대한 3차원 지도 복원에 관한 기술이 적용되고, 카메라가 이동할수록 발생하는 오차 누적 문제를 해결하기 위해서 카메라의 위치와 복원에 대한 확률 분포를 추정하고 이를 영상데이터가 새롭게 입력될 때 마다 업데이트를 해주게 된다.
이와 관련하여, 카메라 위치 추정장치(100)는 SLAM(Simultaneous Localization And Map-Building 또는 Simultaneous Localization And Mapping) 기술이 적용된다. SLAM 기술은 미지의 환경을 돌아다니면서 로봇에 부착되어 있는 카메라만으로 외부의 도움 없이 환경에 대한 정확한 지도를 작성하는 작업으로 자율주행을 위한 기술에 해당되며, 즉, 카메라 센서로 전방의 환경을 3차원 매핑하는 동시에 현재 로봇의 위치를 파악하는 기술에 관한 것이다.
도 3에 도시된 카메라 위치 추정장치(100)는 유무선 통신을 통해 카메라(10) 와 통신가능하도록 연결되며, 카메라(10)에서 촬영된 영상 데이터를 입력받는다. 그리고, 카메라 위치 추정장치(100)는 입력된 영상 데이터를 이용하여 카메라(10)의 위치를 추정하게 된다. 카메라 위치 추정장치(100)는 명칭을 장치로 기재하였으나 특정 장치에 한정되는 것은 아니며, 서버나 일반 PC나 휴대폰이나 태블릿 등 위치를 추정하는 장치라면 어떤 것에도 적용될 수 있음은 물론이다. 도 1에 도시된 바와 같이, 카메라 위치 추정장치(100)는 통신부(110) 및 제어부(120)를 포함한다.
통신부(110)는 카메라(10)를 통해 촬영된 영상 데이터를 유선 또는 무선 통신을 통해 입력받는다. 통신부(110)는 카메라(10)와 직접 통신 가능하도록 유무선으로 연결되어 영상데이터를 입력받을 수도 있고, 메모리카드나 외장하드디스크와 같은 외장형 저장매체를 통해 영상데이터를 입력받을 수도 있다.
제어부(120)는 카메라 위치 추정장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(120)는 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하고, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신한다. 여기에서, 특징점(Keypoint)는 영상 데이터에서 영상의 특징이 되는 지점들을 나타내는 것으로, 특징점은 대부분 코너(Corner)나 선분의 끝점에서 주로 추출된다. 특징점은 다양한 기법에 의해 추출될 수 있다.
특징점들에 대해서는 도 5에 도시된 것을 참고하여 설명한다. 도 5는 본 발명의 일 실시예에 따른, 2개의 프레임에 대한 특징점들을 도시한 도면이다.
제1 특징점들은 기존 프레임에 없었으나 현재 프레임에 새롭게 발생된 특징점들을 나타내며, 카메라의 위치에 대한 확률분포 추정에 이용된다. 그리고, 제2 특징점들은 기존 프레임에도 존재하여 트래킹되고 있는 특징점들을 나타내며, 카메라 위치에 대한 확률분포 갱신(업데이트)에 이용된다.
도 5는 왼쪽과 오른쪽에 각 1개씩 연속된 2개의 프레임을 도시하고 있으며, 각 프레임에 특징점들이 빨간색과 파란색으로 표시된 것을 확인할 수 있다. 빨간색 특징점이 제1 특징점들을 나타내고 있고, 파란색 특징점들이 제2 특징점들을 나타내고 있다.
이와 같이, 제어부(120)는 카메라의 위치에 대한 확률분포를 추정할 때와 갱신할때 서로 다른 특징점들을 이용하게 되며, 이를 통해 추정시 사용되는 데이터와 갱신시 사용되는 데이터가 서로 독립된 데이터이므로, 추정시 오차가 발생하더라도 같은 오차가 갱신시에는 발생하지 않고, 반대로 갱신시 오차가 발생하더라도 같은 오차가 추정시에는 발생하지 않게 된다.
따라서, 종래의 방식은 추정시와 갱신시 같은 특징점을 이용하므로, 특징점으로 인해 발생되는 오차는 계속적으로 누적되게 되지만, 본 실시예에 따른 카메라 위치 추정장치(100)는 카메라의 위치에 대한 확률분포를 추정할 때와 갱신할때 서로 다른 특징점들을 이용함으로써, 오차가 계속적으로 누적되는 현상을 방지할 수 있게 된다.
이하에서는 도 4를 참고하여, 카메라 위치 추정장치(100)의 동작에 대해 더욱 상세히 설명한다. 도 4는 본 발명의 일 실시예에 따른, 카메라 위치 추정 방법을 설명하기 위해 제공되는 흐름도이다.
카메라 위치 추정장치(100)는 카메라를 통해 촬영된 영상 데이터를 입력받는 다(S210).
그리고, 카메라 위치 추정장치(100)는 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정한다(S220). 제1 특징점들은 기존 프레임에 없었으나 현재 프레임에 새롭게 발생된 특징점들을 나타내며, 카메라의 위치에 대한 확률분포 추정에 이용된다.
카메라의 위치에 대한 확률 분포는 아래의 수식과 같이 정의될 수 있다.
Figure 112018127034314-pat00005
여기서
Figure 112018127034314-pat00006
는 t 시간에 계산된 카메라의 위치와 3차원 주변 정보이고,
Figure 112018127034314-pat00007
는 t시간 까지 획득한 영상 정보,
Figure 112018127034314-pat00008
는 t 시간까지 획득한 카메라의 이동 정보(속도)를 나타낸다.
여기서
Figure 112018127034314-pat00009
와
Figure 112018127034314-pat00010
는 서로 독립적이다는 조건이 있으며 만일 단일 영상으로부터
Figure 112018127034314-pat00011
와
Figure 112018127034314-pat00012
에 대한 정보를 획득한다면 독립이라는 조건에 위배된다.
확률 분포를 업데이트 하는 방식은 먼저 t 시간에 획득한 카메라의 이동 정보
Figure 112018127034314-pat00013
로부터 카메라와 3차원 복원에 대한 확률 분포를 아래와 같은 수식을 이용하여 예측한다.
카메라 위치 추정장치(100)는 영상 데이터의 모든 프레임에 대해 제1 특징점들을 아래의 수식에 대입하여 카메라의 위치에 대한 확률분포를 추정한다.
Figure 112018127034314-pat00014
카메라 위치 추정장치(100)는 위와 같은 수식에 제1 특징점만을 대입하여 카메라의 위치에 대한 확률분포를 추정하게 된다.
도 6은 특징점 분리 전의 네트워크를 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른, 특징점 분리 후의 네트워크를 도시한 도면이다.
도 6에는 영상 데이터에 대한 특징점인
Figure 112018127034314-pat00015
가 하나로 입력되는 것을 확인할 수 있다. 하지만, 본 실시예에 따른, 카메라 위치 추정장치(100)는 도 7에 도시된 바와 같이, 제1 특징점인
Figure 112018127034314-pat00016
와 제2 특징점인
Figure 112018127034314-pat00017
로 구분되어 따로 입력되는 것을 확인할 수 있다.
다시, 도 4로 돌아와서, 카메라 위치 추정장치(100)는 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신한다(S230). 카메라 위치 추정장치(100)는 입력된 영상 데이터의 제2 특징점들을 이용하여 확률분포를 갱신(업데이트)하게 된다. 구체적으로, 카메라 위치 추정장치(100)는 t시간에 획득한 영상 데이터
Figure 112018127034314-pat00018
를 이용한 분포
Figure 112018127034314-pat00019
를 정의하고 S220단계에서 추정된 확률분포를 갱신하게 된다.
이 때, 카메라 위치 추정장치(100)는 영상 데이터에서 키프레임(key frame)을 추출하고, 추출된 키프레임에 대해서만 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신한다. 여기에서, 키프레임(key frame)은 영상 데이터 내의 단일 동작의 시작 프레임과 끝 프레임 등 가장 중심이 되는 프레임이나 새로운 장면이 시작되는 프레임 등의 변화가 큰 프레임을 나타내는 것으로, 다양한 영상처리 방식을 통해 키프레임은 추출될 수 있다.
그리고, 카메라 위치 추정장치(100)는 해당 키프레임부터 다음 키프레임 이전의 프레임까지의 프레임들을 모두 이용하여 카메라의 위치에 대한 확률분포를 갱신한다. 이 과정에 대해 도 8 및 도 9를 참고하여 설명한다.
도 8은 모든 프레임에 대해 갱신을 수행하는 방식을 도시한 도면이고, 도 9는 본 발명의 일 실시예에 따른, 키프레임에 대해서만 갱신을 수행하는 방식을 도시한 도면이다.
도 8의 경우, 모든 프레임에 대해 갱신하는 것을 확인할 수 있으며, 모든 프레임에 대해 갱신을 해야하므로 계산의 양이 상당하므로 위치 추정의 속도가 현저히 줄어들게 된다.
반면, 본 실시예에 따른 도 9의 경우, 키프레임인
Figure 112018127034314-pat00020
에 대해서만 위치를 추정하는 것을 확인할 수 있다. 이와 같이, 카메라 위치 추정장치(100)는 영상 데이터에서 키프레임(key frame)을 추출하고, 추출된 키프레임에 대해서만 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신한다.
또한, 도 9를 참고하면,
Figure 112018127034314-pat00021
키프레임에 대해 갱신이 수행될 때, 다음 키프레임인
Figure 112018127034314-pat00022
이전의 프레임들인 y2, y3, y4가 함께 이용되는 것을 확인할 수 있다. 이와 같이, 카메라 위치 추정장치(100)는 해당 키프레임부터 다음 키프레임 이전의 프레임까지의 프레임들을 모두 이용하여 카메라의 위치에 대한 확률분포를 갱신한다.
카메라 위치 추정장치(100)는 아래의 수식을 이용하여 키프레임에 대한 카메라의 위치 n의 성분과 3차원 복원 M의 성분으로 분리하여 카메라의 위치에 대한 확률분포를 갱신한다. 카메라 위치 추정장치(100)는 Rao-Blackwellization 기법으로부터 키프레임에 대한 카메라의 위치 n의 성분과 3차원 복원 M의 성분에 대한 확률 분포로 나누어서 아래의 수식과 같이 계산한다.
Figure 112018127034314-pat00023
그리고, 카메라 위치 추정장치(100)는 키프레임에 대한 카메라의 위치 n의 성분에 대해 아래의 수식을 적용함으로써, 해당 키프레임부터 다음 키프레임 이전의 프레임까지의 프레임들을 모두 이용하여 카메라의 위치에 대한 확률분포를 갱신하게 된다. 이와 같이 적분을 하는 것은 적은 수의 파라미터를 많은 양의 영상 데이터로부터 추정함으로써 정확도를 높히기 위함이다.
Figure 112018127034314-pat00024
Figure 112018127034314-pat00025
카메라 위치 추정장치(100)는 3차원 복원 M의 성분에 대해 아래의 수식을 적용함으로써 산출한다.
Figure 112018127034314-pat00026
이와 같이, 카메라 위치 추정장치(100)는 키프레임에 대한 카메라의 위치 n의 성분과 3차원 복원 M의 성분에 대한 확률 분포로 나누어서 각각 계산한 후에, 이를 곱하여 위와 같이 카메라의 위치에 대한 확률분포를 갱신하게 된다.
도 10은 본 발명의 일 실시예에 따른, 카메라의 위치 추정 경로를 도시한 도면이다. 도 10에 도시된 카메라의 위치 추정 경로는 도 1에서 도시된 경로와 달리, 건물을 뚫고 지나가는 등의 오차가 없이 비교적 정확한 경로인 것을 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 카메라 위치 추정의 성능을 비교한 그래프를 도시한 도면이다. 도 11에서 검정색인 GPS에 의한 경로는 객관적으로 정확한 경로를 나타내고 있다. 파란색과 하늘색으로 표시된 경로는 종래의 방식을 이용하여 추정한 경로로 GPS에 의한 경로와 차이가 있는 것을 확인할 수 있다. 하지만, 본 실시예의 방법(Proposed SLAM)을 적용하여 추정된 경로는 빨간색으로 표시되어 있으며 검정색인 GPS에 의한 경로와 거의 겹쳐져서 동일한 경로를 나타내고 있는 것을 확인할 수 있다. 따라서, 본 실시예에 의한 카메라 위치 추정장치(100)는 오차율이 매우 낮은 것을 확인할 수 있게 된다.
이와 같은 과정을 통해, 카메라 위치 추정장치(100)는 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하며, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 카메라 위치 추정 방법 및 장치를 제공할 수 있게 되어, 예측과 갱신 단계의 독립성을 보장하는 카메라 기반의 위치 추정 기법을 적용하여 카메라의 위치 추정 및 3차원 지도 복원 시 오차가 누적되는 문제를 해결할 수 있게 된다.
한편, 본 실시예에 따른 장치의 기능 및 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물은 다른 유형의 디지털 전자 회로로구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이속하는 분야의 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 카메라
100 : 카메라 위치 추정 장치
110 : 통신부
120 : 제어부

Claims (12)

  1. 카메라 위치 추정 장치에 의한 카메라 위치 추정 방법에 있어서,
    카메라를 통해 촬영된 영상 데이터를 입력받는 단계;
    영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하는 단계; 및
    영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 단계;를 포함하고,
    갱신하는 단계는,
    영상 데이터에서 키프레임(key frame)을 추출하고, 추출된 키프레임에 대해서만 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 것을 특징으로 하는 카메라 위치 추정 방법.
  2. 청구항 1에 있어서,
    제1 특징점들은,
    기존 프레임에 없었으나 현재 프레임에 새롭게 발생된 특징점들을 나타내는 것을 특징으로 하는 카메라 위치 추정 방법.
  3. 청구항 1에 있어서,
    제2 특징점들은,
    기존 프레임에도 존재하여 트래킹되고 있는 특징점들을 나타내는 것을 특징으로 하는 카메라 위치 추정 방법.
  4. 청구항 1에 있어서,
    추정하는 단계는,
    영상 데이터의 모든 프레임에 대해 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하는 것을 특징으로 하는 카메라 위치 추정 방법.
  5. 삭제
  6. 청구항 1에 있어서,
    갱신하는 단계는,
    '해당 키프레임'부터 '그 다음 키프레임의 이전 프레임'까지의 프레임들을 모두 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 것을 특징으로 하는 카메라 위치 추정 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 카메라를 통해 촬영된 영상 데이터를 입력받는 단계;
    영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하는 단계; 및
    영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 단계;를 포함하고,
    갱신하는 단계는,
    영상 데이터에서 키프레임(key frame)을 추출하고, 추출된 키프레임에 대해서만 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 것을 특징으로 하는 카메라 위치 추정 방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
  11. 카메라를 통해 촬영된 영상 데이터를 입력받는 통신부; 및
    영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하고, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 제어부;를 포함하고,
    제어부는,
    영상 데이터에서 키프레임(key frame)을 추출하고, 추출된 키프레임에 대해서만 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 것을 특징으로 하는 카메라 위치 추정 장치.
  12. 영상을 촬영하여 영상 데이터를 생성하는 카메라; 및
    카메라에 의해 촬영된 영상 데이터를 입력받고, 영상 데이터에서 추출된 특징점들 중 일부인 제1 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 추정하고, 영상 데이터에서 추출된 특징점들 중 나머지인 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 카메라 위치 추정 장치;를 포함하고,
    카메라 위치 추정 장치는,
    영상 데이터에서 키프레임(key frame)을 추출하고, 추출된 키프레임에 대해서만 제2 특징점들을 이용하여 카메라의 위치에 대한 확률분포를 갱신하는 것을 특징으로 하는 카메라 위치 추정 시스템.
KR1020180163794A 2018-12-18 2018-12-18 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법 KR102035433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180163794A KR102035433B1 (ko) 2018-12-18 2018-12-18 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180163794A KR102035433B1 (ko) 2018-12-18 2018-12-18 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법

Publications (1)

Publication Number Publication Date
KR102035433B1 true KR102035433B1 (ko) 2019-10-23

Family

ID=68460922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180163794A KR102035433B1 (ko) 2018-12-18 2018-12-18 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법

Country Status (1)

Country Link
KR (1) KR102035433B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070026912A (ko) * 2005-08-27 2007-03-09 한국과학기술원 입자 필터 프레임 워크에서 전방향 시각센서 기반 위치추정 및 매핑을 위한 방법
KR20110016160A (ko) * 2009-08-11 2011-02-17 삼성전자주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
JP2017097770A (ja) * 2015-11-27 2017-06-01 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070026912A (ko) * 2005-08-27 2007-03-09 한국과학기술원 입자 필터 프레임 워크에서 전방향 시각센서 기반 위치추정 및 매핑을 위한 방법
KR20110016160A (ko) * 2009-08-11 2011-02-17 삼성전자주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
JP2017097770A (ja) * 2015-11-27 2017-06-01 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム

Similar Documents

Publication Publication Date Title
US11538232B2 (en) Tracker assisted image capture
EP3542304B1 (en) System and method for object tracking
WO2017096949A1 (zh) 一种对目标进行跟踪拍摄的方法、控制装置及系统
JP2019133658A (ja) 測位方法、測位装置及び読取り可能な記憶媒体
US9525821B2 (en) Video stabilization
JP2002269559A (ja) 画像のテンプレートマッチング方法及び画像処理装置
CN105809658B (zh) 关心区域设定方法及装置
US8634589B2 (en) Information processing apparatus and method for registering moving objects as metadata of an image
US20160379374A1 (en) Video frame processing
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
JP6810359B2 (ja) 情報処理装置、制御方法、プログラム
CN104243796A (zh) 摄影装置、摄影方法、模板创建装置和模板创建方法
CN112465029A (zh) 一种实例追踪的方法及装置
JP2010140425A (ja) 画像処理システム
KR102315471B1 (ko) 영상 처리 방법과 장치
KR20190001086A (ko) 관성 및 단일 광학 센서를 이용한 슬라이딩 윈도우 기반 비-구조 위치 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
JP2010244207A (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
US10198842B2 (en) Method of generating a synthetic image
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
JP2017130042A (ja) 映像処理装置、映像処理方法、及びプログラム
KR102035433B1 (ko) 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20150043327A (ko) 비디오 시퀀스의 이미지들의 컬러들을 샘플링하는 방법, 및 컬러 클러스터링에의 적용
KR102163697B1 (ko) 무인항공기에 탑재되는 전자광학-적외선 카메라의 영상 지연보상 방법, 그 시스템
KR101555876B1 (ko) 영상 합성을 위한 객체 추적 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant