KR20160037972A - 카메라 모션 추정 및 정정 방법 - Google Patents

카메라 모션 추정 및 정정 방법 Download PDF

Info

Publication number
KR20160037972A
KR20160037972A KR1020167004902A KR20167004902A KR20160037972A KR 20160037972 A KR20160037972 A KR 20160037972A KR 1020167004902 A KR1020167004902 A KR 1020167004902A KR 20167004902 A KR20167004902 A KR 20167004902A KR 20160037972 A KR20160037972 A KR 20160037972A
Authority
KR
South Korea
Prior art keywords
state
acquisition device
image acquisition
image
measurement unit
Prior art date
Application number
KR1020167004902A
Other languages
English (en)
Inventor
아나스타시오스 아이. 무리키스
밍양 리
Original Assignee
더 리전트 오브 더 유니버시티 오브 캘리포니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 리전트 오브 더 유니버시티 오브 캘리포니아 filed Critical 더 리전트 오브 더 유니버시티 오브 캘리포니아
Publication of KR20160037972A publication Critical patent/KR20160037972A/ko

Links

Images

Classifications

    • H04N5/2329—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G06K9/68—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/23216—
    • H04N5/23258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Navigation (AREA)

Abstract

모션 추정 및 정정 시스템 및 방법이 설명된다. 일 예에서, 시스템 및 방법은 이미지 획득 디바이스와 함께 관성 측정 유닛을 사용하는 것을 포함한다. 일 예에서, 이미지 획득 디바이스는 롤링-셔터 카메라를 포함한다.

Description

카메라 모션 추정 및 정정 방법{METHOD FOR CAMERA MOTION ESTIMATION AND CORRECTION}
본 발명은 이미지를 모니터링하고 정정하는 디바이스 및 방법에 관한 것이다. 일 예에서, 본 발명은 스캐닝된 이미지를 모니터링 및 정정하는 것에 관한 것이다.
다양한 예들에서, 가속도계, 자력계, 자이로스코프, 및/또는 다른 적합한 장비 중 일부 또는 전부를 포함할 수도 있는 관성 측정 유닛(inertial measurement unit; IMU 및 프레임에 걸쳐서 스캐닝함으로써 이미지를 획득할 수 있는, 예컨대 롤링-셔터 카메라와 같은 스캐닝 카메라 또는 다른 이미지 획득 시스템이 탑재된 디바이스의 자세(즉, 포지션 및 방위)가 추정될 수도 있다. 이러한 목적을 위해서, 예컨대 확장 칼만 필터, 반복-최소화 방법, 슬라이딩-윈도우 번들 조절, 또는 다른 추정 프로세스이거나 이를 포함할 수도 있는, IMU 및 카메라의 측정치를 처리하는 상태 추정기가 개발되어 왔다. 다양한 예들에서, 상태 추정기는 스캐닝 카메라의 이미지에 있는 피쳐들의 관찰과 관련하여 사용될 수도 있다.
도 1 은 본 발명의 일 예에 따르는 로컬라이제이션 실험 도중의 방위 오차를 보여주는 그래프를 도시한다.
도 2 는 본 발명의 일 예에 따르는 실험 동안의 방위 오차를 보여주는 그래프를 도시한다.
도 3 은 본 발명의 일 예에 따르는 속도 추정 오차를 보여주는 그래프를 도시한다.
도 4 는 본 발명의 일 실시예에 따르는 시스템의 블록도를 도시한다.
글로벌-셔터 카메라와 반대로, 스캐닝 카메라는 이미지의 행들을 순차적으로 캡쳐하고, 결과적으로 전체 이미지는 이미지의 판독 시간(readout time)이라고 불리는, 제로가 아닌 지속기간의 시간 간격 동안에 캡쳐될 수도 있다. 스마트 폰과 같은 소비자 디바이스에서 발견되는 통상적인 카메라에 대하여, 판독 시간은 대략 수십 밀리초 정도일 수도 있는데, 이것은 잠재적으로 큰 시각적 왜곡을 야기하기에 충분할 수도 있다. 롤링 셔터의 효과가 무시된다면, 추정 정밀도는 크게 저하될 수 있다.
스캐닝 카메라로부터 얻어진 단일 이미지에 존재하는 장면 피쳐(scene feature)의 관찰(observation)은 단일 카메라 자세(pose)에 의존하지 않을 수도 있다. 일 예에서, 기준 시점 t가 이미지 판독 시간 도중에 선택된다. 기준 시점 t는, 예를 들어 이미지의 처음, 마지막, 또는 중간 행이 캡쳐되는 시점으로서 선택될 수 있다. 만일 어떤 피쳐(예를 들어, "모서리" 포인트 피쳐)가 이러한 "기준" 행으로부터 n 개의 행만큼 떨어진 이미지 행에서 검출된다면, 이것의 측정은 수학식 1 에 의하여 기술될 수도 있다:
Figure pct00001
여기에서 h는 카메라 모델(예를 들어, 원근 기능(perspective function))을 기술하는 측정 함수이고, t r 은 두 개의 연속 이미지 행들이 캡쳐되는 사이의 시간이며, n은 측정 노이즈이고, 및
Figure pct00002
은 시간 t + nt r 에서의 카메라 프레임에 대한 피쳐의 포지션이다. 이러한 포지션 벡터는 수학식 2 와 같이 주어질 수도 있다:
Figure pct00003
여기에서
Figure pct00004
은 시간 t + nt r 에서의 카메라 프레임과 기준 광역 프레임 사이의 회전 행렬이고,
Figure pct00005
는 t + nt r 에서의 카메라 포지션이며,
Figure pct00006
는 광역 프레임 내의 피쳐 포지션이다. 따라서, 다른 이미지 행들에서 피쳐 측정을 수행하는 것은 다른 카메라 자세에 의존할 수도 있다. 다양한 예들에서, 상태 추정을 위하여 이러한 측정을 처리하기 위하여, 추정기의 상태 벡터는 이미지의 행 당 하나의 카메라 자세를 포함할 수도 있다. 그러나, 이런 경우 수 백 개의 자세가 각각의 이미지에 대한 상태 벡터에 포함될 수도 있고, 그러면 거의 모든 상대적으로 짧은 궤적에 대하여 계산이 상대적으로 복잡해질 수도 있다.
스캐닝 카메라를 사용하는 상태 추정을 위한 특정한 방법은 카메라 궤적의 몇몇 형태의 근사화를 채용할 수도 있다. 예를 들면, 어떤 비젼-온리(vision-only) 방법은 이미지들이 기록되는 시점들 사이의 카메라 모션에 대하여 가정한다. 어떤 경우에 카메라 모션은 선형으로 변동하도록 가정될 수도 있는 반면에 다른 경우에 모션에 대한 고차원 모델이 사용될 수도 있다. 양호한 성능을 위해서, 다양한 예들에서 카메라 이미지는 상대적으로 높은 프레임 레이트로 처리됨으로써, 이미지 캡쳐 시간들 사이에서의 카메라의 모션의 변화가 상대적으로 작게 된다.
다양한 실례에서, 이미지 판독 시간 도중에 선형 및 회전 속도가 일정하다는 가정이 채용되었다. 판독 시간이 이미지가 사용되는 기간에 비하여 훨씬 작기 때문에, 이것은 그다지 엄격하지 않은 가정일 수도 있다. 그러나, 카메라의 모션 프로파일이 판독 시간 도중에 크게 변화하는 경우에(예를 들어, 디바이스가 핸드헬드이고 사람이 고속으로 이동하는 경우이거나 디바이스가 일정하지 않은 지형 위에서 고속으로 이동하고 있는 로봇에 탑재되는 경우), 이러한 가정은 더 이상 유효하지 않을 수도 있다.
다양한 실례에서, 카메라의 모션은 시간-기저-함수 공식화(time-basis-function formulation)를 채용함으로써 모델링될 수도 있다. 이러한 접근법은 복잡한 모션을 기술할 수 있지만, 계산 강도가 증가된다는 비용이 발생할 수도 있다. 신속하게 변화하는 모션을 모델링하기 위하여, 궤적을 기술하는 상태 벡터는 큰 차원을 가질 수도 있다(즉, 큰 차원의 시간-함수 기저(temporal-function basis)가 사용되어야 한다). 이러한 경우에 실시간 애플리케이션이 어렵게 되고, 시간-기저 공식화를 채용하는 다른 접근법은 오프라인 배치-추정(batch-estimation)을 채용할 수도 있다.
여러 경우에 반대로, IMU 측정이 이미지 판독 시간 도중에 카메라 궤적을 계산하기 위하여 사용될 수도 있고, 카메라 모션 자체의 모델을 사용하는 것과 반대로, 이러한 모션 추정의 오차를 모델링하기 위하여 파라메트릭 모델이 사용될 수도 있다. 다양한 예들에서, 이미지 판독 시간 도중의 IMU 포지션은 다음과 같이 모델링된다:
Figure pct00007
여기에서 추정
Figure pct00008
는 기준 자세로부터 시작해서 IMU 측정치를 적분함으로써 계산되고, 오차
Figure pct00009
는 m 기저 함수를 사용하여 다음과 같이 파라미터화된다:
Figure pct00010
여기에서 c i 는 미지의 파라미터 벡터이고, 및 f i (t)는 우리가 자유롭게 선택할 수 있는 기저 함수이다. 포지션과 유사하게, 자이로스코프 측정에 기초한 전달(propagation)이 판독 시간 도중의 IMU 방위의 추정을 계산하기 위하여 사용될 수도 있다. 이러한 추정의 오차는 3 x 1 오차 벡터
Figure pct00011
에 의하여 기술될 수도 있고, k 기저 함수를 사용하여 다음과 같이 파라미터화될 수도 있다:
Figure pct00012
여기에서 d i 는 미지의 파라미터 벡터이다. 이러한 접근법은 궤적의 형태에 어떠한 가정도 포함하고 있지 않을 수도 있고, 따라서 무작위로 복잡한 모션도 이들이 IMU의 센서의 대역폭 내에 있기만 하다면 기술될 수도 있다. 동시에, 모션의 오차는, 예컨대 기저 함수의 개수를 선택함으로써 다양한 정확도 레벨 중 하나로 모델링될 수 있다. 기저 함수의 유형과 개수는 근사화 오차가 미리 예결될 수도 있도록 선택될 수도 있다. 다양한 예들에서는, 항 수가 상대적으로 적어도 오차는 충분한 정확도로 모델링될 수도 있다.
다양한 예들에서, 선형화를 채용하는 임의의 추정기(확장 칼만 필터, 또는 반복적 최소화-기초 추정기와 같은 추정기)에서, 추정기 방정식은 측정 잔차(칼만 필터-기초 추정기에서는 "변혁(innovation)"이라고 불릴 수도 있음)의 관점에서 기술될 수도 있는데, 이것은 실제 피쳐 측정과 상태 추정
Figure pct00013
에 기초하여 기대되는 측정 사이의 차분으로서 정의될 수도 있다. 그러면 이러한 잔차는 상태 추정의 오차
Figure pct00014
를 수반하는 선형화된 표현에 의하여 근사화될 수도 있다:
Figure pct00015
Figure pct00016
여기에서 H는 상태에 대한 측정 함수의 야코비안 행렬(Jacobian matrix)이다.
Figure pct00017
및
Figure pct00018
는 반드시 동일한 파라미터화(parametrization)를 가지지 않는다(예를 들면, 방위 상태 추정은 통상적으로 3 x 3 회전 행렬 또는 4 x 1 유닛 사원수(quaternions)를 통하여 표현되는 반면에, 방위 오차는 통상적으로 최소의, 3 x 1 파라미터화를 통하여 표현된다).
수학식 2 는 IMU 자세의 측면에서 다음과 같이 쓰여질 수도 있다:
Figure pct00019
여기에서
Figure pct00020
및
Figure pct00021
는 카메라에 대한 IMU의 방위 및 포지션인 반면에, 70
Figure pct00022
및
Figure pct00023
은 t + nt r 에서의 광역 프레임 내의 IMU의 방위 및 포지션을 정의한다. 기대된 측정을 계산하기 위하여 사용되는 피쳐 포지션의 추정은:
Figure pct00024
일 수도 있는데,
여기에서
Figure pct00025
은 추정기 내의 양의 추정을 나타낸다. t + nt r 에서의 IMU 자세의 추정은 판독 시간 도중의 IMU 측정 및 시간 t에서의 IMU 상태 추정("기준 자세"의 추정)을 사용하여 계산될 수도 있다. 구체적으로 설명하면, t + nt r 에서의 추정된 IMU 포지션은 다음과 같이 계산될 수도 있다:
Figure pct00026
여기에서
Figure pct00027
은 IMU 속도이고
Figure pct00028
는 가속도계 측정을 사용하여 계산된 IMU의 추정된 가속도이다(중력, 및 바이어스, 스케일 인자, 등과 같은 임의의 시스템적인 오차에 대한 보상을 수행한 이후). 만일 유닛(unit)-사원수가 IMU 방위를 표현하기 위하여 사용된다면(우리의 구현형태에서와 같이), 그러면 시간 t + nt r 에서의 방위는 다음 미분 방정식을 시간 간격 [t, t + nt r ]에서 적분함으로써 계산될 수도 있다:
Figure pct00029
여기에서
Figure pct00030
는 IMU의 추정된 회전 속도(즉, 바이어스, 스케일 인자, 등과 같은 임의의 시스템적인 오차가 보상된, 자이로에 의하여 측정된 속도)이다.
수학식 9 및 수학식 10 에 의하여 계산된 IMU 자세의 추정을 사용하면, 피쳐 측정의 잔차는 다음과 같을 수도 있다:
Figure pct00031
선형화:
Figure pct00032
여기에서 H q 및 Hp는 시간 t + nt r 에서의 카메라 포지션 및 방위에 대한 측정 함수의 야코비안(Jacobian)이고, xa는 카메라-IMU 교정의 오차, 피쳐 포지션, 및 잠재적으로는 측정 함수에서 나타나는 임의의 추가적 변수(예를 들어, 카메라 내재적 파라미터)를 포함하며, Ha는 대응하는 야코비안이다. 수학식 3 및 수학식 4 를 사용하면, 위의 수학식은 다음과 같이 쓰여질 수 있다:
Figure pct00033
결과적으로, 추정기의 오차-상태 벡터 내의 모든 이미지 행에 대응하는 시점에서의 IMU 자세 오차를 포함하는 대신에, 벡터 c i , i = 0,…m - 1, 및 d i , i = 0,…k - 1 이 포함될 수도 있다. 이러한 벡터의 개수가 IMU 자세 오차보다 훨씬 더 작게 선택될 수 있기 때문에, 상대적인 계산 상의 절약이 이루어질 수도 있다.
기저 벡터의 선택
오차 표현식의 향들의 적합한 타입 및 개수가 주어지면 계산 상의 절약 및/또는 최종 결과의 전체 정확도에서 상대적인 개선이 이루어질 수도 있다. 함수
Figure pct00034
는 시간 기초일 수도 있고, 다음을 제공한다:
Figure pct00035
다양한 예들에서, 위의 표현식 내에서 유지할 항들의 개수를 결정하기 위하여 오차의 특정 성질이 이용될 수도 있다. 일 예에서, 처음 두 개의 항만이 유지된다면, 수학식 12 는 다음이 된다:
Figure pct00036
여기에서, n = 0 이기 때문에, 수학식의 우측은
Figure pct00037
, 즉 기준 자세의 포지션 오차와 같다. 함수를
Figure pct00038
위의 선형 함수(이것은 실제로 1차 스플라인 근사화임)에 의하여 근사화함으로써 발생되는 오차는 3 개의 좌표축에 나란히 다음에 의하여 상한이 결정된다:
Figure pct00039
여기에서 max
Figure pct00040
는 각각의 축에 나란한 포지션 오차의 제 2 도함수의 최대 절대 값, 즉, 가속도 오차의 최대 절대 값이다.
일 예에서, 2 m/sec2의 최악의 경우의 가속도 오차(이것은 다양한 예들에서 현실성이 없을 만큼 큰 것일 수도 있음)를 가정하고, 1/30 초의 판독 시간을 가정한다면, "기준 자세"가 이미지 판독 간격의 중간에서의 카메라 자세로서 선택된다면 근사화 오차는 각각의 축에 나란하게 6.9x10-5 m의 상한을 가진다. 480x640 픽셀의 해상도, 60 도의 가시 범위, 및 약 500 픽셀과 동일한 초점 길이를 가지며, 1 m의 최소 심도에 있는 오브젝트를 이미징하는 카메라에서, 이러한 크기의 모델링되지 않은 포지션 오차는 약 0.15 픽셀의 피쳐 투영에서 최악의 경우의 모델링되지 않은 오차를 초래할 수도 있다. 2 m의 심도에 있는 피쳐에 대하여, 1 m/sec2의 가속도 오차 한계가 있으면, 최악의 경우의 모델링되지 않은 피쳐 투영 오차는 0.02 픽셀일 수도 있다.
방위 오차를 모델링하기 위한 항들의 개수를 결정하기 위하여 유사한 프로세스가 이용될 수도 있다. 다양한 예들에서, 모델링되지 않은 오차는 표현 내에 오직 하나의 항만이 사용되는 경우에도 작은 값으로 유지된다:
Figure pct00041
이것을 첫 번째(0차) 항 이후에 절단된 테일러 급수 확장으로 간주하면,
Figure pct00042
의 파라미터화의 최악의 경우의 오차는 nt r max
Figure pct00043
에 의하여 주어질 수도 있다. 일 예에서, 2 도/초의 회전 속도 추정에서 최악의 경우의 오차를 가정하면, 파라미터화의 부정확성은 0.033 도 미만으로 제한된다. 일 예에서 1 도당 10 개의 픽셀의 해상도를 가지는 카메라에서, 이것은 0.33 픽셀의 최악의 경우의 모델링되지 않은 피쳐 투영 오차에 대응할 것이다.
다양한 예들에서, 수학식 11 의 피쳐 측정의 잔차는 다음과 같이 근사화될 수도 있다:
Figure pct00044
이제, 이것은 추정기의 오차-상태가 변수
Figure pct00045
및 c1을 가진다면, 스캐닝 카메라의 측정은 최소의 근사화로써 처리될 수도 있다는 것을 보여준다. 일 예에서, 글로벌-셔터 카메라에 대하여는 포지션 및 방위 오차인
Figure pct00046
및
Figure pct00047
만이 포함될 수도 있고, 따라서 스캐닝 카메라를 사용하면 어느 정도의 상대적으로 더 큰 계산 비용이 발생될 수도 있다. 그러나, 이러한 오버헤드는 상대적으로 최소인 것이고(예를 들어, 이미지당 3 x 1 벡터가 하나만 추가됨), 이것은 궤적의 복잡성과는 독립적일 수도 있다.
다양한 예들에서, 스캐닝 카메라의 측정을 처리하는 방법은 추정 오차의 성질에 적응될 수도 있다. 예를 들면, 어떤 시나리오에서 가속도 또는 회전 속도 측정의 오차가 더 크다면, 더 많은 항들이 오차의 시간-기초-함수 표현에 포함될 수도 있다. 이와 유사하게, 속도 추정에서의 오차가 매우 작다면, 포지션 오차의 표현식 내에 하나의 항이 유지될 수도 있고(수학식 12 참조), 상대적으로 최소의 부정확성을 여전히 초래할 수도 있다(이러한 경우에 근사화 오차의 상한은 nt r max
Figure pct00048
라고 주어지는데, 여기에서 max
Figure pct00049
는 각각의 축과 나란한 속도 오차의 최대 절대 값이다). 일 예에서, 표현식 내에 유지되는 항들의 개수를 변경함으로써, 정확도는 계산적 효율이 증가함에 따라서 줄어들 수도 있다.
예시적인 시물레이션
IMU의 도움을 받아 스캐닝 카메라로부터의 피쳐 측정을 처리하는 방법은 다수의 예시적인 상태 추정기에 적용가능하다. 이러한 방법의 실시를 시연하기 위하여, 이미지 내의 롤링 셔터의 존재를 고려하지 않는 접근법과 비교하여, 본 명세서에서 개시되는 방법은 하이브리드 추정기와 공동으로 적용된다. EKF 비일관성을 방지하기 위하여, 야코비안이 계산될 때에 어떤 준비를 하여야 할 수도 있다.
본 명세서에서 제시되는 결과에 대하여, 걷는 사람의 핸드-헬드 모바일 디바이스에 의하여 수집된 실세계 데이터세트의 시물레이션을 사용한다. 16 분의 도보 동안에 걸어간 총궤적 길이는 1.1 km이다. 평균적으로, 200 개의 포인트 피쳐들이 각각의 이미지 내에서 추적되고, 그들의 실세계 포지션 및 트랙 길이는 실제 데이터세트 내에서 추적되는 피쳐의 그것들과 매칭하도록 생성된다. IMU는 200 Hz에서의 측정을 제공하는 반면에, 카메라 이미지는 10 Hz에서 사용가능하다.
도 1 은 앞선 섹션에서 설명된 방법에 의하여 계산되는 IMU 방위에 대한 추정 오차(적색선), 및 카메라를 글로벌-셔터 카메라로서 취급함에 의하여 초래되는 추정 오차(흑색 쇄선)를 보여준다. 더욱이, 필터의 보고된 공분산 행렬을 사용하여 계산된 ±3 표준 편차 포락선이 점선 청색선으로 표시된다. 이미지 공분산 행렬의 상대적으로 상당한 팽창(inflation)이 이용되었다. 예시적인 경우에, 롤링-셔터 왜곡이 실질적으로 노이즈처럼 처리되었다. 그러나, 롤링-셔터의 효과가 명백하게(explicitly) 모델링되는 경우에는 상대적으로 훨씬 더 높은 정밀도가 획득되었고, 공분산 행렬에 상응하는 오차가 필터에 의하여 보고되었다.
도 2 는 동일한 실험 동안의 포지션 오차를 나타내고, 도 3 은 속도 추정의 오차를 나타낸다. 방위 오차의 경우에서 관찰되었던 것과 유사하게, 롤링 셔터를 모델링하면 추정 성능이 개선될 수도 있다.
특히 도 1 에 대해서 살펴보면, 도 1 은 로컬라이제이션(localization) 실험 도중의 방위 오차를 도시한다. 데이터를 생성하기 위하여, 추정기는 방위에 대하여 유닛-사원수 표현을 채용하는데, 도시를 위해서 오차는 롤, 피치, 및 요 측면에서 표현된다. 적색선은 본 명세서에서 설명되는 방법으로부터 얻어진 방위 오차를 나타내고, 흑색 쇄선은 카메라를 글로벌-셔터 카메라인 것처럼 처리하는 데서 비롯되는 오차를 나타내며, 청색 파선은 추정기에 의하여 보고되는 대응하는 표준 편차의 ± 3 배로서 계산되는 불확정성 포락선을 나타낸다.
특히 도 2 를 참조하면, 도 2 는 로컬라이제이션 실험 도중의, 3 개의 좌표 축과 나란한 포지션 오차를 나타낸다. 적색선은 본 명세서에서 설명되는 방법에 기인한 방위 오차를 나타내고, 흑색 쇄선은 카메라를 글로벌-셔터 카메라로서 처리하는 데에 기인한 오차를 나타내며, 청색 파선은 추정기에 의하여 보고되는 대응하는 표준 편차의 ± 3 배로서 계산되는 불확정성 포락선을 나타낸다.
특히 도 3 을 참조하면, 도 3 은 로컬라이제이션 실험 도중의, 3 개의 좌표 축과 나란한 속도 오차를 나타낸다. 적색선은 본 명세서에서 설명되는 방법에 기인한 방위 오차를 나타내고, 흑색 쇄선은 카메라를 글로벌-셔터 카메라로서 처리하는 데에 기인한 오차를 나타내며, 청색 파선은 추정기에 의하여 보고되는 대응하는 표준 편차의 ± 3 배로서 계산되는 불확정성 포락선을 나타낸다.
계통도
도 4 는 예시적인 시스템(400)의 블록도이다. 시스템(400)은 관성 측정 유닛(404) 및 이미지 획득 디바이스(402)를 포함한다. 상태 추정 회로(410)는 더 나아가 이미지 획득 디바이스(402) 및 관성 측정 유닛(404)에 연결되는 것으로 도시된다. 도 4 의 예의 상태 추정 회로(410)는, 프로세서(412), 및 메모리 모듈(414)을 더 포함한다. 일 예에서, 도 4 에 도시된 바와 같이, 시스템(400)은 사용자 인터페이스(406) 및 정정 모듈(408)을 더 포함한다. 블록도의 구성 요소들이 본 명세서에서 개시되는 구성 요소들과 대응하며, 본 명세서에서 개시되는 동작 및 계산을 수행하도록 구성된다는 것에 주의한다. 도 4 에 도시된 바와 같은 시스템이 다양한 컴포넌트를 포함하는 것으로 예시되지만, 다양한 예들에서 이러한 컴포넌트들은 선택적이며 적합한 경우 또는 원하는 바에 따라 포함되거나 포함되지 않을 수도 있다는 것에 주목하여야 한다.
도시된 바와 같이, 시스템은 이미지 획득 시스템 및 관성 측정 유닛을 포함한다. 도시된 바와 같이, 관성 측정 유닛은 이미지 획득 시스템에 부착된다. 그러나, 다양한 예들에서, 관성 측정 유닛은 이미지 획득 시스템의 구성 요소이고, 또는 이미지 획득 시스템 및 관성 측정 유닛은 셀룰러 전화기, 태블릿 컴퓨터, 또는 다른 소비자 전자 디바이스와 같은 더 큰 디바이스의 구성 요소이다.
도시된 바와 같이 시스템은 상태 추정 모듈 또는 상태 추정 회로를 더 포함한다. 상태 추정 모듈은 프로세서 및 메모리 모듈을 포함하는데, 예컨대 종래의 컴퓨터 메모리 및/또는 다른 전자 스토리지 기술, 예컨대 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 메모리, 하드 디스크, 및/또는 당업계에 공지된 다른 전자 스토리지 기술을 포함할 수도 있다. 프로세서는 마이크로프로세서, 마이크로콘트롤러, 제어기, 또는 당업계에 공지된 다른 처리 기술을 포함하거나 이들로서 구현될 수도 있다. 상태 추정 모듈은 프로세서-기초인 대신에, 본 명세서에서 개시되는 바와 같은 추정을 실행하도록 구성되는 전용 회로부에 기초할 수도 있다.
상태 추정 모듈은 디스플레이를 위하여 사용자 인터페이스로 송신되거나 그렇지 않으면 사용자에게 예컨대 원시 데이터 형태 또는 도 1 내지 도 3 에에 도시된 바와 같이 전달된다. 시스템은 선택적으로 왜곡 정정 모듈을 더 포함한다. 왜곡 정정 모듈은 상태 추정 모듈에 의하여 생성된 추정을 이용하여 이미지 획득 시스템에 의하여 생성되는 바와 같은 이미지로 정정을 인가하여 이미지에 있는 왜곡을 보상할 수도 있다. 그러나, 다양한 예들에서, 위에서 상세히 설명된 바와 같이 이미지를 획득하는 동안에 왜곡을 모델링하고 보상하기 위하여 위의 방법을 이용하기 때문에 혹(hoc) 이후 왜곡 정정은 불필요할 수도 있다.
모션 추정 및 정정 시스템과 본 명세서에서 개시된 관련 방법들을 더욱 양호하게 예시하기 위하여, 예들의 비한정적인 목록이 이제 제공된다:
제 1 예에서, 시스템은 시간 기간에 걸쳐 이미지 프레임을 스캐닝하여 이미지를 획득하도록 구성되는 이미지 획득 디바이스, 상기 시간 기간 동안 상기 이미지 획득 디바이스의 포지션, 방위, 및 움직임 중 적어도 하나를 측정하고, 검출되는 움직임의 표시를 출력하도록 구성되는 관성 측정 유닛, 및 상기 관성 측정 유닛 및 상기 이미지 획득 디바이스에 동작가능하게 연결되고, 상기 이미지 획득 디바이스의 포지션 및 방위 중 적어도 하나에 관련된 상태를 상기 포지션, 방위, 및 움직임 중 적어도 하나에 기초하여 추정하도록 구성되는 상태 추정 모듈을 포함한다.
예 2 에서, 예 1 의 시스템은, 상기 상태 추정 모듈이 추정된 상태를 출력하도록 구성되도록 선택적으로 구성되고, 상기 시스템은 상기 상태 추정 모듈로부터 출력되는 출력을 디스플레이하도록 구성되는 사용자 인터페이스를 더 포함한다.
예 3 에서, 예 1 내지 예 2 중 임의의 하나 또는 임의의 조합의 시스템은, 관성 측정 유닛이 이미지 획득 디바이스에 강성 연결되도록 선택적으로 구성된다.
예 4 에서, 예 1 내지 예 3 중 임의의 하나 또는 임의의 조합의 시스템은 이미지 획득 디바이스가 롤링-셔터 카메라가 되도록 선택적으로 구성된다.
예 5 에서, 예 1 내지 예 4 중 임의의 하나 또는 임의의 조합의 시스템은, 상기 추정 모듈이 상태를 추정하기 위하여 상기 움직임에 파라메트릭 모델(parametric model)을 적용하도록 구성되는 프로세서를 포함하도록 선택적으로 구성된다.
예 6 에서, 예 1 내지 예 5 중 임의의 하나 또는 임의의 조합의 시스템은 관성 측정 유닛이 가속도계, 자이로스코프, 및 자력계 중 적어도 하나를 포함하도록 선택적으로 구성된다.
예 7 에서, 예 1 내지 예 6 중 임의의 하나 또는 임의의 조합의 시스템은, 상기 상태 추정 모듈이 추정된 상태를 출력하도록 구성되도록 선택적으로 구성되고, 상기 시스템은, 상기 상태 추정 모듈에 동작가능하게 연결되고 상기 상태 추정 모듈로부터 출력된 상태에 따라서 상기 이미지를 정정하도록 구성되는 상태 정정 모듈을 더 포함한다.
예 8 에서, 예 1 내지 예 7 중 임의의 하나 또는 임의의 조합의 시스템은, 상기 상태 추정 모듈이 상태 추정(state estimates)의 오차의 파라메트릭 모델을 사용하여 상태 업데이트의 계산에 영향을 주도록 구성되도록 선택적으로 구성된다.
예 9 에서, 예 1 내지 예 8 중 임의의 하나 또는 임의의 조합의 시스템은 상태 추정 모듈이 시간 함수에 기초하여 발전된 파라메트릭 모델을 사용하도록 구성되도록 선택적으로 구성된다.
예 10 에서, 상태 추정 회로는 시간 기간 동안의 관성 측정 유닛의 출력에 기초하여 계산되는, 이미지 획득 디바이스의 움직임의 디스크립션(description)을 저장하도록 구성되는 메모리 모듈, 및 상기 이미지 획득 디바이스의 포지션 및 방위 중 적어도 하나에 관련되는 상태를 추정하도록 구성되는 프로세서를 포함하고, 상기 이미지 획득 디바이스는 상기 시간 기간에 걸쳐 이미지 프레임을 스캐닝하여 이미지를 획득하도록 구성된다.
예 11 에서, 상태 추정 회로는, 상태 추정 회로가 출력되는 상태를 디스플레이하도록 구성되는 사용자 인터페이스로 추정된 상태를 출력하도록 구성되도록 선택적으로 구성된다.
예 12 에서, 예 10 내지 예 11 중 임의의 하나 또는 이들의 임의의 조합의 상태 추정 회로는, 이미지 획득 디바이스가 롤링-셔터 카메라가 되도록 선택적으로 구성된다.
예 13 에서, 예 10 내지 예 12 중 임의의 하나 또는 이들의 임의의 조합의 상태 추정 회로는, 관성 측정 유닛이 가속도계, 자이로스코프, 및 자력계 중 적어도 하나를 포함하도록 선택적으로 구성된다.
예 14 에서, 예 10 내지 예 13 중 임의의 하나 또는 이들의 임의의 조합의 상태 추정 회로는, 상태에 따라서 이미지를 정정하도록 더욱 선택적으로 구성된다.
예 15 에서, 예 10 내지 예 14 중 임의의 하나 또는 이들의 임의의 조합의 상태 추정 회로는, 상기 프로세서가, 상태 추정을 업데이트하기 위한 측정 잔차(measurement residual)를 계산하기 위하여, 상기 시간 기간 동안의 상기 이미지 획득 디바이스의 모션을 모델링하도록 구성되도록 선택적으로 구성된다.
예 16 에서, 예 10 내지 예 15 중 임의의 하나 또는 이들의 임의의 조합의 상태 추정 회로는, 상기 프로세서가 상태 업데이트의 계산에 영향을 주기 위하여, 상태 추정의 하나 이상의 오차의 파라메트릭 모델을 적용하도록 구성되도록 선택적으로 구성된다.
예 17 에서, 예 10 내지 예 16 중 임의의 하나 또는 이들의 임의의 조합의 상태 추정 회로는, 프로세서가 시간 함수에 기초하여 발전된 파라메트릭 모델을 적용하도록 구성되도록 선택적으로 구성된다.
예 18 에서, 방법은 시간 기간에 걸쳐 이미지 프레임을 스캐닝하여 이미지 획득 디바이스로부터 이미지를 획득하는 단계, 상기 시간 기간 동안의 상기 이미지 획득 디바이스의 포지션, 방위, 및 움직임 중 적어도 하나를 획득하기 위하여 관성 측정 유닛을 사용하는 단계, 및 상태 추정 모듈로써 상기 이미지 획득 디바이스에 관련된 상태를 추정하는 단계를 포함한다.
예 19 에서, 예 18 의 방법은 사용자 인터페이스에 상태 추정 모듈로부터 추정된 상태를 디스플레이하는 단계를 선택적으로 더 포함한다.
예 20 에서, 예 18 내지 예 19 중 임의의 하나 또는 이들의 임의의 조합의 방법은, 이미지 획득 디바이스에 강성 연결되는 관성 측정 유닛을 사용하는 것을 더 포함한다.
예 21 에서, 예 18 내지 예 20 중 임의의 하나 또는 이들의 임의의 조합의 방법에서, 상기 이미지 획득 디바이스로부터 이미지를 획득하는 단계는, 롤링-셔터 카메라로부터 이미지를 획득하는 단계를 포함한다.
예 22 에서, 예 18 내지 예 21 중 임의의 하나 또는 이들의 임의의 조합의 방법에서, 상기 이미지 획득 디바이스에 관련된 상태를 추정하는 단계는, 상태를 추정하기 위하여 상기 움직임에 파라메트릭 모델을 적용하도록 구성되는 프로세서를 이용하는 단계를 포함한다.
예 23 에서, 예 18 내지 예 22 중 임의의 하나 또는 이들의 임의의 조합의 방법에서, 상기 관성 측정 유닛을 사용하는 것은, 가속도계, 자이로스코프, 및 자력계 중 적어도 하나를 사용하는 것을 포함한다.
예 24 에서, 예 18 내지 예 23 중 임의의 하나 또는 이들의 임의의 조합의 방법은, 상태 정정 모듈을 사용하여 상기 상태 추정 모듈로부터 출력된 출력의 상태에 따라서 상기 이미지를 정정하는 단계를 더 포함한다.
예 25 에서, 예 18 내지 예 24 중 임의의 하나 또는 이들의 임의의 조합의 방법에서, 상기 상태를 추정하는 단계는, 관성 측정(inertial measurement)을 사용하여 상기 시간 기간 동안의 상기 이미지 획득 디바이스의 모션을 모델링하여, 상태 추정을 업데이트하기 위한 측정 잔차를 계산하는 단계를 포함한다.
예 26 에서, 예 18 내지 예 25 중 임의의 하나 또는 이들의 임의의 조합의 방법에서, 상기 상태를 추정하는 단계는, 상태 추정의 하나 이상의 오차의 파라메트릭 모델을 사용하여 상태 업데이트의 계산에 영향을 주는 단계를 포함한다.
예 27 에서, 예 18 내지 예 26 중 임의의 하나 또는 이들의 임의의 조합의 방법에서, 상태를 추정하는 단계는 시간 함수에 기초하여 발전된 파라메트릭 모델을 사용하는 것을 포함한다.
본 발명의 모션 추정 및 정정 시스템, 및 관련된 방법의 이러한 예 및 다른 예 및 피쳐들은 위의 발명을 실시하기 위한 구체적인 내용에서 부분적으로 설명된다. 이러한 개관은 본 발명의 기술 요지의 비한정적인 예를 제공하기 위한 것이다 - 이것은 배타적이거나 망라적인 설명을 제공하려는 것이 아니다.
본 명세서에서 설명되는 실시예의 많은 장점들이 위에서 나열되지만, 이러한 목록은 망라적인 것이 아니다. 위에서 설명된 실시예의 다른 장점들이 본 명세서를 숙독한 당업자에게 명백하게 이해될 것이다. 비록 특정한 실시예들이 본 명세서에서 예시되고 설명되었지만, 동일한 목적을 달성하기 위하여 계획된 임의의 배치구성물이 도시된 특정한 실시예에 대하여 대체될 수도 있다는 것이 당업자들에게 인정될 것이다. 본 출원은 본 발명의 임의의 적응예 또는 변형예를 포함하도록 의도된다. 상기 설명들이 예시적인 것이며 한정적인 것이 아니라는 것이 이해되어야 한다. 앞에서 언급한 실시예, 및 다른 실시예들의 조합은 상기 설명을 재고하면 당업자들에게 명백해질 것이다. 본 발명의 범위는 위의 구성 및 제작 방법이 사용되는 임의의 다른 애플리케이션을 포함한다. 본 발명의 범위는 이러한 청구항들이 부여된 균등물들의 전체 범위와 함께 첨부된 청구항을 참조해서만 결정되어야 한다.

Claims (27)

  1. 시간 기간에 걸쳐 이미지 프레임을 스캐닝하여 이미지를 획득하도록 구성되는 이미지 획득 디바이스;
    상기 시간 기간 동안 상기 이미지 획득 디바이스의 포지션, 방위, 및 움직임 중 적어도 하나를 측정하고, 검출되는 움직임의 표시(indication)를 출력하도록 구성되는 관성 측정 유닛; 및
    상기 관성 측정 유닛 및 상기 이미지 획득 디바이스에 동작가능하게 연결되고, 상기 이미지 획득 디바이스의 포지션 및 방위 중 적어도 하나에 관련된 상태를 상기 포지션, 방위, 및 움직임 중 적어도 하나에 기초하여 추정하도록 구성되는 상태 추정 모듈을 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 상태 추정 모듈은 추정된 상태를 출력하도록 구성되고,
    상기 시스템은 상기 상태 추정 모듈로부터 출력되는 출력을 디스플레이하도록 구성되는 사용자 인터페이스를 더 포함하는, 시스템.
  3. 제 1 항에 있어서,
    상기 관성 측정 유닛은 이미지 획득 디바이스에 강성 연결되는, 시스템.
  4. 제 1 항에 있어서,
    상기 이미지 획득 디바이스는 롤링셔터(rolling-shutter) 카메라인, 시스템.
  5. 제 1 항에 있어서,
    상기 추정 모듈은 상태를 추정하기 위하여 상기 움직임에 파라메트릭 모델(parametric model)을 적용하도록 구성되는 프로세서를 포함하는, 시스템.
  6. 제 1 항에 있어서,
    상기 관성 측정 유닛은 가속도계, 자이로스코프, 및 자력계 중 적어도 하나를 포함하는, 시스템.
  7. 제 1 항에 있어서,
    상기 상태 추정 모듈은 추정된 상태를 출력하도록 구성되고,
    상기 시스템은, 상기 상태 추정 모듈에 동작가능하게 연결되고 상기 상태 추정 모듈로부터 출력된 상태에 따라서 상기 이미지를 정정하도록 구성되는 상태 정정 모듈을 더 포함하는, 시스템.
  8. 제 1 항에 있어서,
    상기 상태 추정 모듈은 상태 추정(state estimates)의 오차의 파라메트릭 모델을 사용하여 상태 업데이트의 계산에 영향을 주도록 구성되는, 시스템.
  9. 제 8 항에 있어서, 하는,
    상기 상태 추정 모듈은 시간 함수에 기초하여 개발된 파라메트릭 모델을 사용하도록 구성되는, 시스템.
  10. 상태 추정 회로로서,
    시간 기간 동안의 관성 측정 유닛의 출력에 기초하여 계산되는, 이미지 획득 디바이스의 움직임의 디스크립션(description)을 저장하도록 구성되는 메모리 모듈; 및
    상기 이미지 획득 디바이스의 포지션 및 방위 중 적어도 하나에 관련되는 상태를 추정하도록 구성되는 프로세서를 포함하고,
    상기 이미지 획득 디바이스는 상기 시간 기간에 걸쳐 이미지 프레임을 스캐닝하여 이미지를 획득하도록 구성되는, 상태 추정 회로.
  11. 제 10 항에 있어서,
    상기 상태 추정 회로는 출력되는 상태를 디스플레이하도록 구성되는 사용자 인터페이스로 추정된 상태를 출력하도록 구성되는, 상태 추정 회로.
  12. 제 10 항에 있어서,
    상기 이미지 획득 디바이스는 롤링셔터 카메라인, 상태 추정 회로.
  13. 제 10 항에 있어서,
    상기 관성 측정 유닛은 가속도계, 자이로스코프, 및 자력계 중 적어도 하나를 포함하는, 상태 추정 회로.
  14. 제 10 항에 있어서,
    상기 상태에 따라 상기 이미지를 정정하도록 더욱 구성되는, 상태 추정 회로.
  15. 제 10 항에 있어서,
    상기 프로세서는, 상태 추정을 업데이트하기 위한 측정 잔차(measurement residual)를 계산하기 위하여, 상기 시간 기간 동안의 상기 이미지 획득 디바이스의 모션을 모델링하도록 구성되는, 상태 추정 회로.
  16. 제 10 항에 있어서,
    상기 프로세서는 상태 업데이트의 계산에 영향을 주기 위하여, 상태 추정의 하나 이상의 오차의 파라메트릭 모델을 적용하도록 구성되는, 상태 추정 회로.
  17. 제 16 항에 있어서,
    상기 프로세서는 시간 함수에 기초하여 개발된 파라메트릭 모델을 적용하도록 구성되는, 상태 추정 회로.
  18. 시간 기간에 걸쳐 이미지 프레임을 스캐닝하여 이미지 획득 디바이스로부터 이미지를 획득하는 단계;
    관성 측정 유닛을 사용하여 상기 시간 기간 동안의 상기 이미지 획득 디바이스의 포지션, 방위, 및 움직임 중 적어도 하나를 획득하는 단계; 및
    상태 추정 모듈로써 상기 이미지 획득 디바이스에 관련된 상태를 추정하는 단계를 포함하는, 방법.
  19. 제 18 항에 있어서,
    상기 방법은, 상기 상태 추정 모듈로부터 추정된 상태를 사용자 인터페이스 상에 디스플레이하는 단계를 더 포함하는, 방법.
  20. 제 18 항에 있어서,
    상기 관성 측정 유닛을 사용하는 것은 상기 이미지 획득 디바이스에 강성 연결되는 관성 측정 유닛을 사용하는 것을 포함하는, 방법.
  21. 제 18 항에 있어서,
    상기 이미지 획득 디바이스로부터 이미지를 획득하는 단계는, 롤링-셔터 카메라로부터 이미지를 획득하는 단계를 포함하는, 방법.
  22. 제 18 항에 있어서,
    상기 이미지 획득 디바이스에 관련된 상태를 추정하는 단계는, 상태를 추정하기 위하여 상기 움직임에 파라메트릭 모델을 적용하도록 구성되는 프로세서를 이용하는 단계를 포함하는, 방법.
  23. 제 18 항에 있어서,
    상기 관성 측정 유닛을 사용하는 것은, 가속도계, 자이로스코프, 및 자력계 중 적어도 하나를 사용하는 것을 포함하는, 방법.
  24. 제 18 항에 있어서,
    상기 방법은, 상태 정정 모듈을 사용하여 상기 상태 추정 모듈로부터 출력된 출력의 상태에 따라서 상기 이미지를 정정하는 단계를 더 포함하는, 방법.
  25. 제 18 항에 있어서,
    상기 상태를 추정하는 단계는, 관성 측정(inertial measurement)을 사용하여 상기 시간 기간 동안의 상기 이미지 획득 디바이스의 모션을 모델링하여, 상태 추정을 업데이트하기 위한 측정 잔차를 계산하는 단계를 포함하는, 방법.
  26. 제 18 항에 있어서,
    상기 상태를 추정하는 단계는, 상태 추정의 하나 이상의 오차의 파라메트릭 모델을 사용하여 상태 업데이트의 계산에 영향을 주는 단계를 포함하는, 방법.
  27. 제 26 항에 있어서,
    상기 상태를 추정하는 단계는, 시간 함수에 기초하여 개발된 파라메트릭 모델을 사용하는 것을 포함하는, 방법.
KR1020167004902A 2013-07-24 2014-07-24 카메라 모션 추정 및 정정 방법 KR20160037972A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361857922P 2013-07-24 2013-07-24
US61/857,922 2013-07-24
PCT/US2014/048055 WO2015013534A1 (en) 2013-07-24 2014-07-24 Method for camera motion estimation and correction

Publications (1)

Publication Number Publication Date
KR20160037972A true KR20160037972A (ko) 2016-04-06

Family

ID=52393847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167004902A KR20160037972A (ko) 2013-07-24 2014-07-24 카메라 모션 추정 및 정정 방법

Country Status (7)

Country Link
US (1) US9967463B2 (ko)
EP (1) EP3025275A4 (ko)
JP (1) JP6534664B2 (ko)
KR (1) KR20160037972A (ko)
CN (1) CN105706112A (ko)
HK (1) HK1226515A1 (ko)
WO (1) WO2015013534A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
US9243916B2 (en) 2013-02-21 2016-01-26 Regents Of The University Of Minnesota Observability-constrained vision-aided inertial navigation
US9607401B2 (en) 2013-05-08 2017-03-28 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
US9967463B2 (en) 2013-07-24 2018-05-08 The Regents Of The University Of California Method for camera motion estimation and correction
US10012504B2 (en) 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
US9658070B2 (en) 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
US9709404B2 (en) 2015-04-17 2017-07-18 Regents Of The University Of Minnesota Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation
US9984301B2 (en) 2015-04-20 2018-05-29 Qualcomm Incorporated Non-matching feature-based visual motion estimation for pose determination
CN105577984A (zh) * 2015-12-27 2016-05-11 西南技术物理研究所 复合mems-imu的电子稳像装置
US10203209B2 (en) 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices
WO2018026544A1 (en) 2016-07-22 2018-02-08 Regents Of The University Of Minnesota Square-root multi-state constraint kalman filter for vision-aided inertial navigation system
CN108431869A (zh) * 2016-08-06 2018-08-21 深圳市大疆创新科技有限公司 用于移动平台成像的系统和方法
AU2017344761B2 (en) * 2016-10-20 2022-09-15 Spookfish Innovations Pty Ltd An image synthesis system
AU2018209336B2 (en) 2017-01-23 2021-11-18 Oxford University Innovation Limited Determining the location of a mobile device
JP7221203B2 (ja) 2017-01-23 2023-02-13 オックスフォード ユニヴァーシティ イノヴェーション リミテッド モバイル装置の位置特定方法
US10907971B2 (en) 2017-12-08 2021-02-02 Regents Of The University Of Minnesota Square root inverse Schmidt-Kalman filters for vision-aided inertial navigation and mapping
US11940277B2 (en) 2018-05-29 2024-03-26 Regents Of The University Of Minnesota Vision-aided inertial navigation system for ground vehicle localization
CN109040525B (zh) * 2018-08-31 2021-10-22 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
US10609288B1 (en) * 2019-03-04 2020-03-31 Qualcomm Incorporated Roll compensation and blur reduction in tightly synchronized optical image stabilization (OIS)
WO2021081707A1 (zh) * 2019-10-28 2021-05-06 深圳市大疆创新科技有限公司 数据处理方法、装置、可移动平台及计算机可读存储介质
CN111935392B (zh) * 2020-05-26 2022-01-07 许继集团有限公司 用于综合管廊吊轨机器人巡检视频数字防抖的方法和系统
US11341412B1 (en) * 2021-07-01 2022-05-24 Biomech Sensor, Llc Systems and methods for constructing motion models based on sensor data
US11468545B1 (en) 2022-04-18 2022-10-11 Biomech Sensor, Llc Systems and methods for motion measurement drift correction

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272432B1 (en) 1999-05-10 2001-08-07 Hughes Electronics Corporation System and method for correcting star tracker low spatial frequency error in stellar-inertial attitude determination systems
JP2004510363A (ja) * 2000-08-31 2004-04-02 ライテック　コーポレイション センサおよびイメージングシステム
DE102004049676A1 (de) * 2004-10-12 2006-04-20 Infineon Technologies Ag Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US7817187B2 (en) * 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US7978222B2 (en) * 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
US9766074B2 (en) * 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
US8508605B2 (en) 2009-10-14 2013-08-13 Csr Technology Inc. Method and apparatus for image stabilization
US9568321B2 (en) * 2010-04-19 2017-02-14 Honeywell International Inc. Systems and methods for determining inertial navigation system faults
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
JP5401696B2 (ja) * 2012-12-27 2014-01-29 株式会社モルフォ 画像処理装置、画像処理方法及び画像処理プログラム
US9967463B2 (en) 2013-07-24 2018-05-08 The Regents Of The University Of California Method for camera motion estimation and correction

Also Published As

Publication number Publication date
WO2015013534A1 (en) 2015-01-29
EP3025275A4 (en) 2017-02-15
US9967463B2 (en) 2018-05-08
EP3025275A1 (en) 2016-06-01
JP2016525842A (ja) 2016-08-25
HK1226515A1 (zh) 2017-09-29
JP6534664B2 (ja) 2019-06-26
CN105706112A (zh) 2016-06-22
US20160165140A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
KR20160037972A (ko) 카메라 모션 추정 및 정정 방법
US11295456B2 (en) Visual-inertial odometry with an event camera
CN107255476B (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
CN107314778B (zh) 一种相对姿态的标定方法、装置及系统
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
CN102914293B (zh) 信息处理设备和信息处理方法
Lovegrove et al. Spline Fusion: A continuous-time representation for visual-inertial fusion with application to rolling shutter cameras.
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
KR20150088636A (ko) 위치 추정 장치 및 방법
US7333133B2 (en) Recursive least squares approach to calculate motion parameters for a moving camera
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN110969665B (zh) 一种外参标定方法、装置、系统及机器人
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
US20180075609A1 (en) Method of Estimating Relative Motion Using a Visual-Inertial Sensor
JP6288858B2 (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
Castaneda et al. SLAM combining ToF and high-resolution cameras
EP3379202A1 (en) A method for determining bias in an inertial measurement unit of an image acquisition device
JP2017119102A (ja) 運動解析装置、方法及びプログラム
Yu et al. Vision-aided inertial navigation with line features and a rolling-shutter camera
Qian et al. Optical flow based step length estimation for indoor pedestrian navigation on a smartphone
JP6205387B2 (ja) 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
Rehder et al. A direct formulation for camera calibration
KR101776638B1 (ko) 복수개의 오브젝트의 공간 정보 추정 장치 및 방법
CN112862896A (zh) 基于手眼标定的异步多相机外参标定算法
Colomina et al. Pose versus state: are sensor position and attitude sufficient for modern photogrammetry and remote sensing?

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application