KR101847113B1 - 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법 - Google Patents

이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법 Download PDF

Info

Publication number
KR101847113B1
KR101847113B1 KR1020160064076A KR20160064076A KR101847113B1 KR 101847113 B1 KR101847113 B1 KR 101847113B1 KR 1020160064076 A KR1020160064076 A KR 1020160064076A KR 20160064076 A KR20160064076 A KR 20160064076A KR 101847113 B1 KR101847113 B1 KR 101847113B1
Authority
KR
South Korea
Prior art keywords
camera
line segment
image
vanishing point
information
Prior art date
Application number
KR1020160064076A
Other languages
English (en)
Other versions
KR20170133085A (ko
Inventor
윤국진
이정균
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160064076A priority Critical patent/KR101847113B1/ko
Publication of KR20170133085A publication Critical patent/KR20170133085A/ko
Application granted granted Critical
Publication of KR101847113B1 publication Critical patent/KR101847113B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 추정장치에는, 카메라의 방향에 따라서 달라지는 이미지를 제공하는 이미지입력부; 상기 이미지로부터 새로운 선분 및 추적되는 선분을 검출하는 선분검출 및 추적부; 상기 선분검출 및 추적부로부터 입력된 정보로부터 데이터를 추출하는 데이터 관리부; 상기 데이터 관리부로부터 추출되는 정보를 저장하는 메모리; 및 상기 선분검출 및 추적부로부터 받는 현재정보와 상기 메모리로부터의 과거정보를 이용하고, 필터를 이용하는 필터링 작용에 의해서 상기 카메라의 방향을 추정하는 필터부가 포함되고, 상기 필터에 사용되는 상태벡터에는, 상기 카메라의 방향을 나타내는 카메라 상태벡터 및 소실점의 방향을 나타내는 소실점벡터가 함께 포함된다. 본 발명에 따른 보다 정확한 카메라의 방향정보를 추정할 수 있다.

Description

이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법{Estimation method and apparatus for information corresponding camera orientation by using image}
본 발명은 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법에 관한 것이다. 상세하게는, 연속적으로 입력되는 이미지를 이용하여 카메라의 방향, 이미지의 선분, 또는 이미지의 소실점을 추정하는 장치 및 방법에 관한 것이다.
근래에는 드론, 및 자율주행장치 등과 같이, 자신의 위치와 이동방향을 정교하게 추정하여 스스로 이동이 가능한 이동체가 증가하고 있다. 상기 이동체는 다양한 방법으로 자신이 이동하는 방향과 위치를 알아내도록 하고 있다. 그 일 방법으로, 상기 이동체에 장착되는 카메라를 통하여 취득되는 이미지를 이용하여, 카메라의 방향 및 그 카메라가 사용되는 이동체의 방향을 알아낼 수 있는 장치 및 방법이 소개된 바가 있다. 예를 들어, 비특허문헌 1 및 2에는, 이미지를 취득하여 카메라의 방향을 추정하는 방법이 소개되어 있다.
또한, 이동체의 방향은 이미지 해석을 통해서 얻어낼 수 있을 뿐만 아니라, 자이로센서 및 관성센서를 이용해서도 확인할 수 있다.
그러나 대규모 환경에서 이동체의 방향을 추정할 때, 누적되는 오차로 인해 추정된 이동체의 위치 정확도가 하락한다. 특히, 회전에 대한 누적 오차가, 카메라의 방향을 추정하는데 있어서 오류를 일으키는 큰 요인으로서 작용한다.
1. J.-C. Bazin, C. Demonceaux, P. Vasseur, and I. Kweon. Rotation estimation and vanishing point extraction by omnidirectional vision in urban environment. IJRR, 31(1):63-81,2012. 2. J.-C. Bazin, Y. Seo, C. Demonceaux, P. Vasseur, K. Ikeuchi, I. Kweon, and M. Pollefeys. Globally optimal line clustering and vanishing point estimation in manhattan world. In CVPR, 2012.
본 발명은 상기 배경하에서 제안되는 것으로서, 카메라의 방향을 정확하게 추정하는 장치 및 방법을 제안한다. 특히, 오랜 시간이 경과하더라도 정확하게 카메라의 방향과 관련한 정보를 추정할 수 있는 장치 및 방법을 제안한다.
본 발명은 카메라의 방향정보만이 아니라, 이미지의 해석과 함께 도출되는 다양한 정보를 정확하게 추정하여 제공할 수 있는 카메라의 방향과 관련한 정보 추정장치 및 추정방법을 제안한다.
본 발명에 따른 추정장치에는, 카메라의 방향에 따라서 달라지는 이미지를 제공하는 이미지입력부; 상기 이미지로부터 새로운 선분 및 추적되는 선분을 검출하는 선분검출 및 추적부; 상기 선분검출 및 추적부로부터 입력된 정보로부터 데이터를 추출하는 데이터 관리부; 상기 데이터 관리부로부터 추출되는 정보를 저장하는 메모리; 및 상기 선분검출 및 추적부로부터 받는 현재정보와 상기 메모리로부터의 과거정보를 이용하고, 필터를 이용하는 필터링 작용에 의해서 상기 카메라의 방향을 추정하는 필터부가 포함되고, 상기 필터에 사용되는 상태벡터에는, 상기 카메라의 방향을 나타내는 카메라 상태벡터 및 소실점의 방향을 나타내는 소실점벡터가 함께 포함된다. 본 발명에 따르면 보다 정확한 카메라의 방향정보를 얻을 수 있다.
본 발명에 따른 추정방법에는, 어느 프레임에서 선분과 소실점을 추출하여 초기화하는 것; 상기 어느 프레임의 다음 프레임에서 선분을 추출하여 상태벡터-여기서, 상태벡터에는 카메라의 상태벡터 및 소실점벡터가 포함된다-를 추정하는 것; 및 상기 소실점 및 상기 소실점을 이루는 선분을 갱신하는 것이 포함된다. 본 발명에 따르면 정확한 카메라의 방향정보를 얻을 수 있다.
본 발명에 따르면, 재귀적 베이지안 필터(recursive bayesian filter)를 적용하여 계산 복잡도가 낮아져서 실시간으로 정확한 추정이 가능한 효과가 있다.
본 발명에 따르면, 서로 상관관계가 있는 소실점과 카메라의 방향을 함께 추정함으로써 추정된 카메라 방향의 정확도가 향상되는 효과가 있다. 또한, 소실점과 카메라의 방향이 함께 추정됨으로써, 맨하탄 세계 가정(모든 건물이 수직으로 제공된다는 가정)이 적용되지 않는 다양한 환경에서도 카메라의 방향을 정확하게 추정할 수 있다.
본 발명에 따르면, 소정의 시간 단위로 비정상으로 추출되는 카메라 방향과 관련되는 정보를 업데이트 함으로써, 카메라 방향의 정확도를 더욱 향상시킬 수 있다.
도 1에 선분을 획득하는 이미지의 예시도.
도 2는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정장치를 설명하는 블록도.
도 3은 관측모델을 설명하는 참조도.
도 4는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정방법을 설명하는 흐름도.
도 5는 실시예에 따른 추정장치 및 추정방법의 효과를 설명하는 그래프.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하의 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다.
도 2는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정장치를 설명하는 블록도이다.
도 2를 참조하면, 영상이 입력되는 카메라(1), 상기 카메라(1)로부터 입력되는 영상을 소정 시간 간격의 이미지로 제공하는 이미지입력부(2), 상기 이미지입력부(2)를 통하여 입력되는 프레임 단위의 이미지로부터 선분을 검출하고 시간 단위로 추적하는 선분검출 및 추적부(3), 입력되는 정보를 가공하여 정보를 추출하는 데이터 관리부(4), 데이터 관리부(4)로부터 추출되는 정보 및 추정장치의 동작에 필요한 다양한 정보를 저장하는 메모리(7), 상기 선분검출 및 추적부(3)로 부터의 현재정보 및 상기 메모리(7)로부터의 과거정보를 참조하여 현재 카메라의 방향을 추정하는 필터부(5), 및 시스템의 요구에 따라서 필요한 데이터를 출력하는 출력부(6)가 포함된다.
여기서, 상기 카메라(1)는 이미지가 입력되는 도구로서의 기능을 수행하고, 상기 이미지 정보가 저장장치로부터 별도로 입력되는 경우에, 상기 카메라(1)는 추정장치에서 필요없을 수도 있다. 상기 선분검출 및 추적부(3)는 선분의 검출 및 추적을 위한 별도의 기능 블럭으로서, 선분검출부 및 선분추적부가 서로 구분되어 있을 수도 있다.
상기 이미지에 의한 카메라의 방향과 관련한 정보 추정장치의 동작을 간단히 설명한다.
상기 선분검출 및 추적부(3)는 현재 이미지(k)에서 선분을 추출하고, 추출된 선분을 이전 이미지(k-1)의 선분과 연관시켜 추적한다. 추적된 선분은 필터부(5) 및 데이터 관리부(4)로 전달된다. 상기 선분의 추적에는 선분 정합(line segment matching)의 방법이 적용될 수 있고, 그래디언트 연산자 또는 LBD 기술자가 적용될 수 있다.
상기 필터부(5)는 상기 선분검출 및 추적부(3)로부터 제공되는 현재정보와, 상기 메모리(7)로부터 제공되는 과거정보를 이용하여, 재귀적 베이지안 필터를 이용하여 필터링을 수행한다. 물론 다른 방법이 사용되는 것을 배제하지는 않지만, 신속한 연산을 통한 실시간 응답을 얻기 위해서는 바람직하게 사용될 수 있다.
상기 필터부(5)에는, 시스템 모델(실시예에서는 등각속도모델을 이용한다)을 이용하여 카메라 방향을 예측하는 예측부(51)와, 상기 예측부(51)에서 예측된 정보를 상태벡터(카메라방향과 소실점을 함께 가지는 정보이다)와 관측모델(소실점과 소실점을 이루는 선분과의 벡터관계이다)을 이용하여 갱신하는 갱신부(52)가 포함된다.
이와 같이 상기 필터부(5)에서는 상기 관측모델에 기반하여 서로 관련도가 높은 카메라 방향과 소실점을 함께 매 프레임마다 갱신하기 때문에, 카메라 방향 및 소실점에 대한 오차를 함께 최소화함으로써 정확한 값을 유지할 수 있다.
상기 데이터 관리부(4)는, 상기 선분검출 및 추적부(3)로부터 선분정보를 받고, 상기 필터부(5)로부터 현재 카메라 방향과 관련한 정보를 입력받는다. 상기 데이터 관리부(4)는 입력받은 정보를 가공하여 메모리(7)로 저장한다.
또한, 상기 데이터 관리부(4)는 현재 정보를 출력부(6)를 통하여 출력하여, 이동체의 방향정보로서 활용하거나, 다른 측위장치에 활용되어 정확한 측위정보를 재가공하는데 사용할 수 있다. 이때 상기 출력부(6)에서 출력되는 정보로는 카메라의 방향정보, 소실점정보, 및 선분정보가 포함될 수 있다.
이하에서는 상기되는 이미지에 의한 카메라의 방향과 관련된 정보 추정장치를 더 상세하게 설명한다.
상기 이미지 입력부(2)로부터 입력되는 이미지는 프레임별로 선분검출 및 추적부(3)로 입력된다. 상기 선분검출 및 추적부(3)에서는 입력된 이미지에서 선분을 검출한다. 검출된 선분에 대한 예를 도 1에 제시되는 이미지의 예시를 통하여 확인할 수 있다.
도 1을 참조하면, 예를 들어 건물 외형이나 창틀 등이 선분(선분은 일정한 길이는 가지는 선으로 볼 수 있다)으로 검출되는 것을 볼 수 있고, 다양한 선분 검출 알고리즘을 이용할 수 있다. 상기 선분검출 및 추적부(3)에서는 상기 메모리(7)로부터 입력되는 이전 프레임의 선분정보를 활용하여 이전 프레임에서부터 계속해서 있는 선분을 추적되는 선분으로 정의할 수 있다.
상기 선분검출 및 추적부(3)에서 검출되는 상기 새로운 선분은 새로운 소실점의 검출 및 새로운 선분특징을 분류하거나 추가하는데 사용할 수 있다. 여기서, 선분 검출기로는 예를 들어, LSD 또는 EDLines를 사용할 수 있다. 또한, 선분의 추적에는 그래디언트 연산자 또는 LBD기술자를 사용할 수 있다. 추적된 선분 중에서 이상치를 제거하기 위하여 RANSAC를 이용할 수 있다.
상기 선분검출 및 추적부(3)에서 검출되는 상기 추적되는 선분은, 상기 필터부(5)로 전달되어 카메라 방향 및 소실점을 추정하는데 사용될 수 있다. 또한, 상기 선분검출 및 추적부(3)에서 검출되는 상기 추적되는 선분은 상기 데이터 관리부(4)로 전달되어 선분 특징의 분류 및 추가, 기존 선분 특징의 제거에 사용될 수 있다.
상기 필터부(5)는, 상기 재귀적 베이지안 필터를 이용하여, 현재 프레임에서 카메라 방향과 소실점을 추정할 수 있다. 상기 필터부(5)는 상기 선분검출 추적부(3)에서 출력되는 상기 추적되는 선분, 상기 메모리(7)에서 출력되는 이전 프레임의 선분 및 카메라 방향과 관련되는 정보를 참조하여 카메라 방향과 소실점을 예측하고, 갱신할 수 있다.
상세하게, 상기 예측부(51)는, 시스템모델을 등각속도모델로 정의하여 카메라 방향 및 소실점을 예측할 수 있다. 상기 갱신부(52)는 관측모델에 기반하여 예측된 카메라 방향 및 소실점을 보정한다.
상기 예측부(51)의 작용을 더 상세하게 설명한다.
상기 예측부(51)의 동작을 위하여, 카메라의 방향을 정의하기 위한 상태벡터와 카메라의 방향을 예측하기 위한 등각속도모델을 정의한다. 상기 상태벡터는 수학식 1로 정의할 수 있다.
Figure 112016050272760-pat00001
상기 수학식 1을 참조하면, 상태벡터(x)에는 카메라의 방향을 나타내는 카메라 상태벡터(xv)와 소실점의 방향을 나타내는 소실점벡터(yi)가 함께 포함된다. 상기 소실점벡터는, 해당 이미지에 포함되는 소실점의 개수만큼 존재할 수 있고(수학식 1에서는 두 개의 소실점 벡터가 포함된다), 어느 소실점벡터는 새로이 들어오고 어느 소실점벡터는 제거될 수 있다. 이와 같이 카메라의 방향을 정의하기 위해서는, 카메라의 방향을 나타내는 카메라 상태벡터와, 소실점의 방향을 정의하는 소실점벡터가 함께 사용된다. 상기 카메라 상태벡터는 상기 소실점벡터에 의해서 보정될 수 있으므로, 카메라 방향의 정확도는 더 높아질 수 있다. 반대의 경우도 마찬가지이다.
상기 카메라 상태벡터는 수학식 2와 같이 정의할 수 있다.
Figure 112016050272760-pat00002
여기서, qWC T는 카메라의 방향을 나타내는 쿼터니안(quaternion)벡터이고, ωc는 카메라의 각속도를 나타낸다.
카메라의 방향을 예측하기 위한 시스템모델로서, 실시예에서는 등각속도모델을 정의한다. 등각속도모델은 수학식 3과 같이 정의할 수 있다.
Figure 112016050272760-pat00003
여기서, qWC는 카메라 방향을 나타내고, ωc는 각속도를 나타내고, Ω는 각속도의 잡음을 나타내고, 첨자 new는 현재 프레임을 나타내고, 첨자 old는 과거 프레임으로서 직전 프레임을 나타낼 수 있다.
한편, 상기 재귀적 베이지안 필터는, 상기 예측부(51)에서 예측하고, 예측된 값은 관측모델을 이용하여 갱신부(52)에서 갱신하는 작용을 수행할 수 있다. 물론 예측부(51)에서도, 갱신부(52)에서 갱신된 이전 프레임에 대한 값을 사용할 수 있다.
실시예에서 상기 관측모델은, 상기 선분과 상기 소실점의 직교성(첫째이유: 선분에 의해서 형성되는 대원의 법선벡터와 소실점 방향벡터는 직교한다)과, 회전운동과 소실점의 상관성(둘째이유: 소실점은 카메라의 회전운동에 따라서 움직인다)에 근거하여, i번째 소실점의 방향벡터(di) 및 i번째 소실점에 교차하는 j번째 선분에 대한 법선 벡터(nij)에 의해 형성되는 관측모델 hij을 정의한다.
상기 관측모델은 수학식 4로 정의할 수 있다. 상기 관측모델은 상기 두 이유(선분과 선분이 이루는 소실점의 직교성, 및 회전운동과 소실점의 상관성)에 의해서 영이 될 수 있다.
Figure 112016050272760-pat00004
상기 관측모델을 도 3을 참조하여 설명한다.
도 3을 참조하면, i번째 소실점을 제공하는 j번째 선분(lij)의 법선벡터(nij)는, 카메라의 방향을 RWC(여기서, RWC는 기준좌표로 회귀하는 정도의 각이다)만큼 회전하면 기준좌표계에서 추정법선벡터
Figure 112016050272760-pat00005
로 표현할 수 있다. 여기서, 상기 기준좌표는 시스템이 초기화된 때의 위치로 정의할 수 있다. 이에 따르면, 상기 추적되는 선분의 상기 추정법선벡터는 소실점의 방향벡터와 항상 직교하므로 벡터의 내적은 항상 0을 산출하여야 한다. 다시 설명하면, 상기 법선벡터를 RWC만큼 회전시킨 추정법선벡터는, 회전량이 정확하다면, 소실점의 방향벡터와의 내적은 영이 되는 것이다. 만약 영에서 많이 벗어나는 경우에는, 이상 상태를 보이는 것으로서 선분 및 소실점이 잘못된 것이라고 판단하여, 소실점을 이루는 선분에서 해당 선분을 제거할 수 있다. 따라서 프레임별로 강건한 결과를 카메라 방향을 획득할 수 있다.
따라서, 상기 관측모델을 이용하여 현재 프레임의 카메라 방향을 갱신할 수 있다. 현재 갱신된 카메라 방향은, 다음 프레임의 카메라 방향의 추정에서 다음 프레임의 카메라 방향의 예측을 위하여 사용할 수 있다.
다시 돌아가서, 상기 예측부(51)의 동작을 설명한다.
상기 재귀적 베이지안 필터는 동적 시스템을 연속적으로 추정하는 것으로서, 확률적 모델을 이용한다. 따라서, 상기 등각속도모델(시스템모델)(f)과 상기 관측모델(h)는 수학식 5의 확률적 표현으로 제시할 수 있다.
Figure 112016050272760-pat00006
여기서, p는 확률분포를 나타내고, k는 프레임 단위를 나타내고, v와 w는 각각의 노이즈를 나타내고, f는 등각속도모델을 나타내고, h는 관측모델을 나타낸다.
상기 예측부(51)는, k-1시각(다시 말하면, 이전 프레임)의 상기 상태벡터에 대한 사후확률분포와, 시스템모델(실시예에서는 등각속도모델)을 통하여 수학식 6의 방법으로 k시각의 상태벡터에 대한 사전확률분포를 구할 수 있다. 여기서, 상기 사후확률분포와 관련되는 정보는 메모리(7)로부터 전달받을 수 있다.
Figure 112016050272760-pat00007
여기서, 우변 적분기호 안의 우측텀은 k-1시각의 상태벡터에 대한 사후확률분포이고, 우변 적분기호 안의 좌측텀은 시스템모델이고, 좌변은 예측부에서 추정되는 k시각의 상태벡터에 대한 사전확률분포이다.
상기 수학식 6에 의해서 예측되는 값을 얻는다.
이후에, 상기 갱신부(52)에서는 상기 예측부에서 추정된 상기 사전확률분포와 상기 관측모델을 이용하여, 수학식 7을 이용하여 k시각의 상태벡터에 대한 사후확률분포를 구한다.
Figure 112016050272760-pat00008
여기서, 분모는 정규화상수이고, 우변 분자의 우측텀은 수학식 6에 의해서 구해진 값이고, 우변 분자의 좌측텀은 현재 프레임에서 관측된 정보로서 관측모델을 나타낸다. 상기 수학식 7은, 1부터 k시각까지의 관측값(z1:k)이 주어질 때, k시각의 상태벡터에 대한 사후확률분포를 알아낼 수 있는 것으로 이해할 수도 있다.
상기 수학식 7을 이용하여 사후확률분포를 얻으면, 최소평균자승오차(MMSE: minimum mean square error) 또는 최대사후확률(MAP:maximum a posterior) 등의 방법으로 상태벡터(xk)를 추정할 수 있다. 상기 상태벡터에는 카메라 방향정보 및 소실점 정보가 모두 포함되어 있으므로 현재 프레임(k)에서 카메라 방향 및 소실점을 더 정확하게 갱신할 수 있다.
실시예에서 적용한 상기 재귀적 베이지안 필터로는, 확장 칼만 필터(extended kalman filter) 또는 무향 칼만 필터(unscented kalman filter) 또는 파티클 필터(particle filter) 등을 적용할 수도 있다.
상기 필터부(5)에서 필터링된 정보는, 상기 데이터 관리부(4)로 전달된다.
상기 데이터 관리부(4)로는, 상기 필터부(5)에서 예측 및 갱신된 카메라 방향정보와 소실점 정보, 및 상기 선분검출 및 추적부(3)에서 획득된 상기 추적되는 선분과 새로운 선분이 전달된다.
상기 데이터 관리부(4)는 상기 전달된 정보를 이용하여, 상기 새로운 선분의 분류 및 추가, 상기 추적되는 선분의 제거, 새로운 소실점의 검출, 및 기존 소실점의 제거가 수행될 수 있다.
상세하게 설명하면, 먼저 상기 새로운 선분의 분류 및 추가는, 상기 새로운 선분이 기존 소실점과 교차하는 경우에, 그 새로운 선분을 상기 기존 소실점을 이루는 선분으로 추가하는 것으로 이루어진다. 구체적으로는, 상기 수학식 4에서, 관측모델의 값이 소정의 임계치(실시예에서는 0.02) 미만이고, 카메라가 일정각도(실시예에서는 5도) 회전하는 동안 선분의 추적에 성공하거나, 일정 개수의 프레임(실시예에서는 6개의 프레임) 동안 선분의 추적에 성공하는 경우에, 상기 새로운 선분은 기존의 소실점을 이루는 선분으로 추가될 수 있다.
여기서, 상기 수학식 4는 관측모델로서, 소실점을 이루는 선분벡터와 소실점의 방향벡터와의 벡터내적은 0이 되므로, 이를 이용하여 새로운 선분이 기존 소실점을 이루는 선분으로 판단할 지의 여부를 결정할 수 있는 인자가 될 수 있다.
다음으로, 상기 추적되는 선분의 제거는, 상기 추적되는 선분이 잘못 추적되었거나, 소실점과의 대응이 잘못된 경우에, 이를 제거하는 것으로 이루어진다. 구체적으로, 상기 추적되는 선분과 상기 추적되는 선분이 이루는 소실점이, 상기 수학식 4에서 제공하는 관측모델의 값이 소정의 임계치(실시예에서는 0.0972) 이상이거나, 선분추적이 실패한 경우에는 당해 추적되는 선분을 제거할 수 있다.
다음으로, 새로운 소실점의 검출은, 상기 새로운 선분에 의해서 소실점이 새로이 검출되는 경우이다. 이때 새로이 검출되는 소실점은 상기 상태벡터에 추가되어 상기 소실점을 이루는 선분의 추적 및 상태벡터의 필터링에 이용될 수 있다. 그러나, 매 프레임 마다 소실점을 검출하는 것은 많은 시간이 소요되므로, 일정 프레임(실시예에서는 30프레임)이 경과하거나, 현재 프레임에서 소실점의 개수가 일정개수(실시예에서는 2개) 이하인 경우에 수행하도록 할 수 있다.
마지막으로, 기존 소실점의 제거는, 기존 소실점이 그 역할을 하지 못하는 경우에 이를 제거하는 것이다. 구체적으로는, 기존 소실점을 이루는 상기 추적되는 선분이 지나치게 적어서(실시예에서는 1개 이하) 소실점의 존재 의미가 약하거나, 소실점의 방향이 소실점이 검출된 방향과 지나치게 틀어지는 경우(실시예에서는 10도 이상 이동하는 경우)에 수행될 수 있다.
상기 데이터 관리부(4)는 상기되는 작업을 수행하여, 획득된 카메라 방향정보, 소실점 정보, 및 선분정보를 메모리(7)에 저장할 수 있다. 물론, 출력부(6)를 통하여 출력하여, 다른 장치에 더 사용되도록 할 수도 있다. 예를 들어, 방향이 틀어진 경우에는 이동체의 자세를 원하는 방향으로 보정하도록 하는 구동장치에 지령을 내릴 수도 있고, 현재 카메라 방향(즉, 이동체의 방향)을 저장할 수도 있다.
상기되는 과정에 따르면 한차례의 프레임에 대한 처리가 끝난 것으로서, 메모리(7)에 수록되는 정보는 다음 프레임의 정보처리에 사용될 수 있다.
이하에서는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정방법에 대하여 설명한다. 이하의 방법을 설명함에 있어서는 이미 설명된 추정장치의 설명이 그대로 참조될 수 있고, 예를 들어, 수학적인 처리나 정보의 전달과정은 이하의 방법을 설명함에 있어서 참조로 할 수 있다.
도 4는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정방법을 설명하는 흐름도이다.
도 4를 참조하면, 이동체로부터 영상정보입력(이미지가 일정의 시간 주기로 입력되는 것을 의미할 수 있다)이 시작된다(S1). 첫 이미지인 경우에는 시스템을 초기화한다(S2). 상기 초기화에는 선분 검출, 소실점 검출, 상태벡터초기화, 및 선분특징초기화를 수행한다.
상기 초기화에 대하여 상세하게 설명한다.
먼저, 선분 검출에는 상기 선분 검출기를 이용하여 선분을 검출하고, 검출된 선분으로부터 상기 소실점을 검출하고, 검출된 소실점과 각 소실점을 제공하는(즉, 소실점에 교차하는) 선분을 분류(그룹)할 수 있다. 검출된 상기 소실점을 이용하여 재귀적 베이지안 필터링에서 사용될 상태벡터를 정의할 수 있다.
초기화가 수행된 다음에는, 다음 프레임이 입력되고(S1), 상기 시스템모델(실시예에서는 등각속도모델)을 적용하여 카메라 방향을 예측한다(S4). 이후에는 선분 추적을 수행하여 현재 프레임에서의 관측값을 획득한다(S5). 획득되는 관측값에는 상기 추적되는 선분이 포함될 수 있다. 상기 카메라의 방향예측과 관측값의 획득은 서로 순서가 바뀔 수도 있을 것이다.
상기 관측모델을 이용하여 상태벡터를 갱신한다. 갱신된 상기 상태벡터를 이용함으로써, 카메라의 방향을 현재시점으로서 정확하게 갱신하여 추정하고, 이와 함께 정확한 소실점을 갱신하여 추정할 수 있다(S6). 현재 프레임에서 추정된 상태벡터는 이후의 프레임에 대하여 카메라의 방향을 예측, 및 상기 상태벡터를 갱신하는데 사용될 수 있다.
다음에는, 소실점 및 선분을 위한 분류/추가/검출/제거의 작업을 수행할 수 있다(S7). 구체적으로는, 상기 새로운 선분의 분류 및 추가, 상기 추적되는 선분의 제거, 새로운 소실점의 검출, 및 기존 소실점의 제거가 수행될 수 있다. 상기 분류/추가/검출/제거는 추정장치의 설명에서 사용된 방법이 그대로 적용될 수 있다. 이 단계를 통하여 실제 환경에서 나타나는 다양한 이상동작에 대하여 강건하게 동작할 수 있다. 다시 말하면, 어느 소실점 및 그 어느 소실점을 이루는 선분을, 새로운 상태로 갱신함으로써 변화에 더 강건한 결과를 만들어 낼 수 있다.
이후에는, 계속하여 프레임이 입력되는 지를 판단하여 다음 프레임이 있는 경우에는 이어서 상기되는 과정을 계속하여 수행한다(S8)
도 5는 실시예에 따른 추정장치 및 추정방법의 효과를 설명하는 그래프로서, metaio-10 영상을 이용하여 비특허문헌 1(보라색), 비특허문헌 2(녹색), 실시예(빨간색)를 이용하여 카메라 방향을 추정하는 실험을 수행한 결과를 나타낸다.
도 5를 참조하면, 요(yaw: 수직축을 중심으로 회전하는 것)와 피치(pitch: 카메라의 앞뒤로 지나가는 축을 중심으로 회전하는 것)의 추정치에 있어서는, 실시예의 경우에 훨씬 안정되고 실측값(파란색)과 동일한 결과를 얻는 것을 확인할 수 있었다. 롤(roll: 카메라의 좌우 측면으로 지나가는 축을 중심으로 회전하는 것)추정치에 있어서는, 가장 잘 특정되는 것으로서, 큰 차이를 얻을 수 없었다.
본 발명은 소실점 기반의 방향 추정 방법으로서, 기존 방법 대비 높은 정확도를 제공하고, 환경적 제약(맨하탄 세계 가정)에서 자유로운 특성을 가진다.
본 발명은 자율주행차, 드론, 이동 로봇 등의 제어에 사용 가능하며, 또한, 저가의 관성 센서와 같은 다른 종류의 센서가 결합된 이종 센서에 기반하는 방향 추정 시스템을 개발하는데 사용이 가능하다.
3: 선분검출 및 추적부
4: 데이터 관리부
5: 필터부
51: 예측부
52: 갱신부

Claims (10)

  1. 카메라의 방향에 따라서 달라지는 이미지를 제공하는 이미지입력부;
    상기 이미지로부터 새로운 선분 및 추적되는 선분을 검출하는 선분검출 및 추적부;
    상기 선분검출 및 추적부로부터 입력된 정보로부터 데이터를 추출하는 데이터 관리부;
    상기 데이터 관리부로부터 추출되는 정보를 저장하는 메모리; 및
    상기 선분검출 및 추적부로부터 받는 현재정보와 상기 메모리로부터의 과거정보를 이용하고, 필터를 이용하는 필터링 작용에 의해서 상기 카메라의 방향을 추정하는 필터부가 포함되고,
    상기 필터에 사용되는 상태벡터에는, 상기 카메라의 방향을 나타내는 카메라 상태벡터 및 소실점의 방향을 나타내는 소실점벡터가 함께 포함되고,
    상기 필터는 재귀적 베이지안 필터인
    이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 재귀적 베이지안 필터는, 시스템 모델로 등각속도모델을 사용하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치.
  4. 제 1 항에 있어서,
    상기 재귀적 베이지안 필터는, 관측모델로는 소실점의 방향벡터와 상기 소실점을 이루는 선분의 법선벡터의 직교성을 이용하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치.
  5. 제 1 항에 있어서,
    상기 상태벡터에 포함되는 소실점벡터의 개수는 변하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 데이터 관리부는,
    상기 새로운 선분의 분류 및 추가를 수행하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치.
  8. 제 1 항에 있어서,
    상기 데이터 관리부는,
    상기 추적되는 선분의 제거를 수행하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치.
  9. 제 1 항에 있어서,
    상기 데이터 관리부는,
    새로운 소실점의 검출 및 기존 소실점의 제거를 수행하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치.
  10. 이미지를 제공받는 단계;
    상기 이미지로부터 새로운 선분 및 추적되는 선분을 검출하는 단계;
    상기 검출된 정보로부터 데이터를 추출하는 단계;
    상기 추출된 현재 데이터와 메모리에 저장된 과거 정보에 필터를 적용하여 카메라의 방향을 추정하는 단계를 포함하고,
    상기 필터에 사용되는 상태벡터는 상기 카메라의 방향을 나타내는 카메라 방향벡터 및 소실점의 방향을 나타내는 소실점 벡터가 함께 포함되고,
    상기 필터는 재귀적 베이지안 필터인
    이미지를 이용하는 카메라의 방향과 관련한 정보 추정방법.
KR1020160064076A 2016-05-25 2016-05-25 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법 KR101847113B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064076A KR101847113B1 (ko) 2016-05-25 2016-05-25 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064076A KR101847113B1 (ko) 2016-05-25 2016-05-25 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법

Publications (2)

Publication Number Publication Date
KR20170133085A KR20170133085A (ko) 2017-12-05
KR101847113B1 true KR101847113B1 (ko) 2018-05-28

Family

ID=60920808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064076A KR101847113B1 (ko) 2016-05-25 2016-05-25 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법

Country Status (1)

Country Link
KR (1) KR101847113B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290645A (ja) * 2008-05-30 2009-12-10 Alpine Electronics Inc 車載装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290645A (ja) * 2008-05-30 2009-12-10 Alpine Electronics Inc 車載装置

Also Published As

Publication number Publication date
KR20170133085A (ko) 2017-12-05

Similar Documents

Publication Publication Date Title
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
US10399228B2 (en) Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
US10133279B2 (en) Apparatus of updating key frame of mobile robot and method thereof
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
EP3919863A1 (en) Vslam method, controller, and mobile device
US10307910B2 (en) Apparatus of recognizing position of mobile robot using search based correlative matching and method thereof
KR101572851B1 (ko) 동적 환경에서 모바일 플랫폼의 지도 작성방법
CN110517324B (zh) 基于变分贝叶斯自适应算法的双目vio实现方法
CN112734852A (zh) 一种机器人建图方法、装置及计算设备
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
CN111666891B (zh) 用于估计障碍物运动状态的方法和装置
CN111145251B (zh) 一种机器人及其同步定位与建图方法和计算机存储设备
WO2020221307A1 (zh) 一种运动物体的追踪方法和装置
WO2018081366A1 (en) Vision-aided inertial navigation with loop closure
JP6330068B2 (ja) 画像分析システムおよび方法
US11874666B2 (en) Self-location estimation method
CN114485640A (zh) 基于点线特征的单目视觉惯性同步定位与建图方法及系统
Nobre et al. Drift-correcting self-calibration for visual-inertial SLAM
CN111623773A (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
Nobre et al. Multi-sensor slam with online self-calibration and change detection
US11080562B1 (en) Key point recognition with uncertainty measurement
Hong et al. Visual inertial odometry using coupled nonlinear optimization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant